機械学習の”適する領域”と”適さない領域”｜ネット学習 最適プランで～リクルート 140万人データから助言～（日経新聞）

機械は「ツール」。絶対的な”正解”をくれるとは限らない。

本日は、日経新聞に掲載された「ネット学習 最適プランで　～リクルート 140万人データから助言～」をななめ斬ります。

記事概要

まずは、記事の冒頭部分を引用します。

リクルートグループは今秋をメドに、大学受験生向けにネット上で学習支援するサービスを始める。オンライン教育サービス「受験サプリ」を使い、これまで蓄積した140万人の学習履歴データを分析し、成績の良い生徒の学習方法をもとに助言する。少子化で大学受験サービスの市場が頭打ちになるなか、独自の学習支援で利用者を囲い込む。

「受験サプリ」は高校生向けに大学入試の過去問を無料で公開し、月980円で有名講師の講義動画2000本を見放題にしている。2014年度の会員数は約30万人で、大学受験生の半数に相当する利用者を集めている。

さらに、記事内では、サービスについて以下のように述べられます。

• まずは数学（微分）から始める
• 過去の会員の学習履歴から”やり方”を類型化
• 現在の会員の理解度に対して、最適な”やり方”を提示

”やり方”→”結果”の方向で「因果」がある　という前提

学習の”やり方”と、学習の”結果”には、何かしらの因果関係があるということで、”やり方（学習方法）”を指導する、ということですね。ここで重要なのは、単なる相関ではなく、「やり方→結果という因果がある」ということに対して、リクルート社は自信を持っていることです。一定の”やり方”に従えば、一定の効果が得られる、ということを前提に助言する、というわけです。

これは、人間の頭で考えてみて「因果関係がありそう」ですよね。どの順番で学べばいいのか。あるいは、何が分からない人にはどの動画を見せれば理解が進むか。というようなことは、確かに「何らかのルール」があると思います。そして、その”やり方”に従えば、確かに”結果”に繋がる感じがします。

相関は、機械学習で分かるハズ

しかし、この精度がどれほどの高さになるのか、というところは、哲学的な問題を抱えています。

勝手な想像ですが、おそらく、このリクルート社の取り組みは「機械学習」的なアプローチで取り組まれるのだと思います。（記事内に、東大で人工知能を研究する松尾豊准教授と連携する、という記述もありますし。）そうすると、どの変数が効いているのか、というのは、あまり重視されない可能性が高いです。ただ、ひたすらに「”高い結果”に対して、相関関係が高いと思われる”やり方”」がわかるわけですね。

この「相関の精度」は、かなり高い精度まで持ってこれると思います。特に、今回の取り組みでは、

過去の会員の学習履歴データとは別に、講義やテキストに含まれる言葉を自動解析して、学習項目がどういう関係にあるのかも調べる。例えば、生徒が教科書通りに学んでも理解できない場合、独自の解析に基づいて従来の教科の枠を超えた学習方法を提案する。

ということですので、「相関性が高い＝効果があると思われる学習方法」を多面的に見出だしていくわけです。

但し、ここで”人間”が考えるべきは「それって、本当に因果なの？」というところです。（関連記事：因果の「方向」を考える ）

因果ってなんだろう？

機械学習の基本的な考え方は「機械が”脳”と同じような思考経路をたどることで、個別具体的な指標ではなく”全体感をもって最適なものを見出す”」ということですので、「ある事象」が「別の事象」と”強い関係性がある”ことはバッチリわかります。今回の例でいえば、

「あるやり方をした人」は、成績（理解度？）が上がった（人が多い）　ということですが、これは、反対にいえば　「高い学習効果が上がった人」は、あるやり方をしていた（人が多い）ということに過ぎません。

ここに、もし、因果関係があるのであれば、「あるやり方をした」から、成績（理解度？）が上がった ということになるわけですね。ということは、「そのやり方をしない人」は、成績が上がらない　あるいは「そのやり方をしなかったが成績の上がった人」は、その因果関係に当てはまらない別の理由がある（別のセグメントに属している） というようなことが明らかになる必要があります。

これを検証することは、情報量が増える＝分析するパターンが増えるにつれて、どんどん困難になります。（良いとか悪いとかではなく、単純に、検証が難しくなる、というだけのことですが）

機械学習の”適するところ”は沢山ある、が、全てではない

今回の場合、「相関性が高ければ、それでいいんじゃないか」という気もします。仮に、そのリコメンドの結果が間違っていたとしても、学習者の満足度は（おそらく、そして、それほど）低下しないと思います。但し、あまりにもピッタリこない・しっくりこない学習方法ばかりリコメンドされると、満足度低下につながり、利用者の離脱を生むかもしれませんけれども。（とはいえ、”大多数”が満足すればいい、という考え方は勿論ありますし、世の中はそれで回っているというのも理解しています。）

一方、これがもしも「医療」だったとしたら？ あるいは「金融」だったとしたら？ と考えると、事情が変わってくるかもしれません。”機械の言う通り”にしたからといってネガティブな結果に繋がらないものと、考えなしに従ってしまうとリスクがあるもの、がきっとあるんですよね。さらに言えば、機械学習は、あくまでも「傾向」を読み解くのに適しているものですので、必ずしも、1 to 1 で最適化したソリューションの提供に向いているとは言い切れないわけです。

これは、機械学習がサポートツールに過ぎない、ということを意味しています。「リコメンドを採択するかどうかの判断基準が、多岐にわたるもの」で、その際に「なんで、この結果がでてきているのかを人間が判断したい」というような場合には、いわゆる”機械学習”が適さない蓋然性が高いです。論点は、常に”何のために、これをやっているのか”であり、”この結果を、ユーザーはどう使うのか”という業務設計の問題なのです。

ちなみに、今回のリクルート社の取り組みは、機械学習にしたがって、仮に、思った通りの学習効果を得られなかった人がいたとしても、無駄になる時間が数十分～せいぜい数時間程度で収まることに鑑みれば、機械学習の結果によるリコメンドで、何ら問題が無い事例と言えるのかもしれません。イマイチだなと思ったら自己判断で離反すればいいだけですし、そもそも、”リコメンドをされないこと”と”間違ったリコメンドをされたこと”の間に大きな差はないでしょうから、「大多数が、効果を得られるであろう”相関性の高い”学習方法を提案する」という思想でバッチリ フィットしているのだと思います。

本質的な問題は、そこなのか？

尚、上記のようなテクノロジーによって解決されることは、どんどんテクノロジーに任せていけばいいじゃないか、と僕は思います。が、それはそれとしたときに、「学習」における本質的な課題は、そこじゃないんじゃないかなーという思いがぬぐいきれません。記事の最後の一文を引用します。

受験サービス業界の中には「単純なｅラーニングでは学習意欲が続かない」といった指摘がある。リクルートグループのような後発企業を交え、今後は成長市場のオンライン学習サービスでも集客競争が激しくなりそうだ。

そうなんですよね。結局、「学習意欲（＝モチベーション）」ってものが、「学習効果」と因果どころか相関するのかさえ、よくわかってないと思うんですよ。そもそもの話をすれば、「学習意欲」というのが、「アプリの継続利用」とイコールなのかどうかも良くわかりませんし、いったい、何をコントロールすれば、どの効果につながることを検証しているのか、って話です。

今回の記事は「学習結果」←（に影響する）←「学習のやり方」というものを機械学習で構造的に把握しようとしている取組みだと僕は理解しています。この先は「学習意欲」←（をかきたてる）←「学習のやり方（させ方）」というところに踏み込んでいくことになるのでしょうかね。この辺りは、ゲーミフィケーションなども含めて、なかなか興味深い領域ですね。

さらに、そのあたりの「人の心の機微」みたいなものが”機械学習”によって明らかになるのかどうかについても、継続的に注目していきたいと思います

（ご参考＆余談）「こういう思考様式」が”考える”ということです

さて、本題は終わりまして、ここからは余談です。

最後に述べた”本質的な問題”というものを追求する姿勢は、「答えるべき問いを設定する」という思考様式です。もちろん、リクルート社内のこの領域を担当している方の中には、こういう視点で考えている人は沢山いると思います。また、同業界で追われる立場のベネッセなどもしっかりと理解して取り組んでいることでしょう。しかし、この記事を読んだ人が、本来自分とは関係ないこういう”ニュース”に対して「真に答えるべき問いは何か？」という視点に立てるかどうかというと、なかなか難しいのが実情だと思うわけです。

コンサルが良く言う「仮説思考」は、「答えるべき問いは何か」を考えるところから始まります。弊社ブログをご覧いただいている皆様には、ダラダラとテレビや新聞・雑誌を眺めるに留まらず、個別の事例に対して「答えるべき問いを探す」ところに注力していただきたいと思います。

ご参考：概念化と抽象化を間違えない（具体例と概念化の関係性を知る）