意外とアナログなAIとビッグデータの実際
AIとビッグデータとプラットフォーム・・・・この3つの用語を組み合わせれば、ビジネスパーソン向けのそれなりの記事は作成できる。だが、注目を集めるために連発される最新用語からなる文章は、現場における実際を教えてはくれない。
たとえば、マイクロソフトのクラウド事業の成長をとりあげた日経新聞の記事は、「AIを使った解析サービスなどのプラットフォームとなるクラウドサービス『アジュール』が中心のインテリジェント・クラウド部門が29億円の営業利益をあげた」と報告している。
「AIを使った解析サービス」と「コンピュータを使った解析サービス」と、どこが違うのか？ AIという言葉が使われていると、以前よりもっと高度なデータ分析をしているのだろうと思ってしまう。だが、「AIを使った解析サービス」と宣伝されているデータ分析サービスで、フツーの会社が実際に使うのは、以前からある統計解析手法がほとんどだ。AIクラウドサービスの提供内容をみれば、機械学習として、ニューラルネットワーク以外にもこういった以前からある統計解析手法もふくまれている。機械学習について教えますと宣伝されているeラーニングのコース内容をみてみると、統計解析のアルゴリズムに関する訓練がほとんどだったりする。
「AIを使った解析サービス」では、すべてが自動化されていて人手はいらないという印象を受ける人も多いだろうが、実際には人手がけっこうかかっている。
たとえば、「機械学習」にしても、コンピュータが自分で学習して自分で考えて実行すると思ってしまうかもしれないが、実際には、データの事前調整に結構時間がかかる。全行程にかかる時間の80％程度がデータ調整で、そのほとんどは人間の手によるものだ。
コンピュータのパワーが格段と大きくなり、データ処理のスピードが上がっても、データから価値を生み出す作業、たとえば分析のようなプロセスでは、いまのところ、やっぱり、人間の考えが加えられることによってより良い結果が得られるようになっている。そして、こういったマニュアル作業をする人たちがデータサイエンティストとか高度なデータ分析者とか呼ばれる人たちだ。データ調整がうまくできるかどうかで（「うまく」という意味は、その結果、分類や予測能力が上がることを意味する）、データサイエンティストの優劣がきまる。
企業にとってデータは金銭と同じように資産となるという意味で「データ資本」という言葉が使われるようになった。だが、データは生のままでは利益を生み出さない。データサイエンティストは、データから価値を引き出す知見やノウハウを持っている人たちだと定義してもいい。
データがデータサイエンティストの手によって価値を生み出すように、いまのAIは人間の助けを得て、初めて、機能することができる。その具体例としてAIスピーカー（スマートスピーカー）をとりあげてみる。（データ分析には人手がかかるという話は、また、後で・・・）
スマートスピーカーというと、ユーザーの言葉を認識するのも、それに応じて、例えばアマゾン・エコーのアレクサ（Alexa）が返答するのもすべてAIでなされていると誤解している人も多いようだ。が、言葉を認識するのはAI（厳密にいえば、現在利用されているのは機械学習のアルゴリズムのひとつであるニューラルネットワーク）でも、返答には人間が深くかかわっている。グーグルアシスタント、アマゾンのアレクサ、そしてアップルのSiriなど、対話型AIの多くにおいては、人間が書いたシナリオに沿ってチャットボットが返答している。
ユーザーとの対話をAIだけですることが、今の段階では、いかに難しいかを知るにはアマゾンが主催した「アレクサ・プライズ」コンテストに参加した学生たちの試行錯誤ぶりをみればよくわかる。
2016年9月に、アマゾンは対話型AIの開発推進をめざし、大学チームを対象とするコンテスト「アレクサ・プライズ」を開催すると発表した。優勝チームには50万ドル、またその大学に研究助成金として100万ドルが贈与されるという魅力的な内容だ。
コンテストの目的は、スモールトーク（small talk）を人間と20分話すことができるチャットボット（社交性のあるチャットボットということでソーシャルボットsocialbotと命名されている）を、アレクサ上に構築することだ。スモールトークというのは世間話とか軽いお喋りとか、パーティなどで初めて会った人間がする社交的な話で、天気から、最近話題になっていること、趣味など、とりとめのない会話だ。こういった会話は、相手にあわせてとか自分の気分とか、あるいはたんに沈黙を避けるために、テーマはころころ変わるものだ。それでいて、会話の流れに沿ったものでなくてはいけない。そういった会話が苦手な人もいるだろうが、それでも、極端な人間嫌いとか内気な人でもなければ（まあ、そういったタイプの人は懇親会とか交流会には出席しないだろうが・・）、ある程度の時間はつづけられる。
だが、いまのAI、とくに実用化がすすんでいるニューラルネットワークによる機械学習にとって、目的のない会話を習得することは至難の業だ。データから学んでいき、その結果を一般化（モデル化）する機械学習は、ゲームで勝つとかいった明確な目標があるときに力を発揮することができる。目標があるということは、何が正しい答かがわかっているということだ。質問（条件）と答（目的）のセットを学習することによって、自分で判断することができるようになる。明確な答があって、初めて、学習できる。世間話には「これが正しい」と断言できる答はない。正しい答の選択肢はいくつもある。
アレクサ・プライズでは、この目的のない会話を20分続けられるかどうかが目標となっている。審査員は開発されたソフトウェア（ソーシャルボット）と人間がする会話を聞いて、その結果で１～５の点数をつける。
コンテストが発表されると22か国から100の大学チームが応募し、最終審査には１５チームが残った。
勝ち残ったチームを悩ませた問題は、ソーシャルボットの頭脳のどの部分に機械学習（コンテストで使われたのは、より複雑なニューラルネットワーク構造をもったディープラーニングを利用した手法）を使い、どの部分を人間の手作りにするかだった。手作りとは、「もし、これこれこういった話が出たら、こう答える」といったif-thenのルールを人間が作成することを意味する。ルールベース手法（Rule-based Approach）ではAIのために膨大な数のルールやテンプレートをつくらなければいけない。労働集約型手法だ。
ルールベースもAIに含まれると考える人は多い。その意見に賛成するかどうかは、AIをどう定義するかによる。自分で考えて判断するのをAIとする人は、ルールベース手法はAIではないと断言するだろう。
アレクサプライズコンテストに残った１５チームにとっては、機械学習とルールベースの2つの手法のバランスをどう取るべきかが悩みとなった。実際問題として今のレベルのニューラルネットワーク手法だけでは、たとえ、深層学習と訳されるDeep Learningを採用しても、スムーズな会話を継続することは無理だ。
たとえば、あるチームは、ソーシャルニュースサイト「レディットReddit 」におけるユーザーのメッセージとレスポンス300万件のペアをニューラルネットワークで訓練した。そして、2017年の数か月、他のチームのチャットボットと同様に、アマゾンエコーを通して全国のユーザーと対話をする機会を提供されたときにテストしてみた。結果はひどいものだった。チームは、途中から、ルールを作成する手法に変えた。そして、どういった答え方をするかはテンプレートに従い、その内容は、それぞれのテーマに関するデータベースから検索するretrieve方式を採用した。
最終審査の結果はというと、１位の優勝者は機械学習とルールベースを組み合わせたハイブリッド手法を使ったチーム、２位がルールベースの手作り、３位が機械学習のみをつかったチームだった。
このように、AIスピーカーと命名されてはいても、人間の要素は非常に大きい部分を占める。その点を強調するために、スピーカー以外の例もあげてみよう。
たとえば、Facebook のAIアシスタントと呼ばれたM。音声ではなくテキストベースでユーザーと対話をするもので、カリフォルニア州の2000人のユーザーに絞って2015年からテストをしていた。この例でも、常に尋ねられる多頻度の質問の答え以外は人間が返事を書いていた。このテストは今年1月に終了している。
Facebook はAIが十分学習をしたのでテストを終了したと発表しているが、実際のところは、いまのAI技術では、ユーザーと人間並みのスムーズな対話をする（この場合は文章を書く）ことがいかに大変かわかったので（つまり、いかに労働集約型で人件費がかかるかわかったので）、テストを終了したのだろう。その証拠に、テスト終了後は、Mは、メッセンジャーのなかでキーワード検索で適切なアドバイスをするM suggestionとして残されたが、できることは非常に限られている。（たとえば、ウーバーを予約したり、アポをカレンダーに記載したり・・・）
人件費がかかることを意に介さず、反対に、AIアシスタントの個性（性格）をきわだたせようとする企業もある。グーグルには、グーグルアシスタントの返答に個性をもたせるための「デザイナー」なるものが存在する。台本作り（ルールやテンプレートづくり）に個性を発揮する人のことだ。デザイナーとして採用されるのは、それまでの従業員とは違うタイプの社員、たとえば、フィクションライター、ビデオゲームデザイナー、共感専門家、コメディアンといった左脳のクリエイティブな人間を雇用するようにしているそうだ。
先に書いたように、ルールベースもAIに入るという主張もある。これは、AIとはなんぞやという定義の違いであり、自分で考えなくちゃAIではないとする人たちも多い。その考え方に従えば、いま、実際に機能している多くのAIはAIではない。
問題は、AIという言葉が過剰利用されることで、すべて自動で人手が必要ないと思い違いをしている人が多いことだ。経営者がそう思い込んで、自社内にデータに強い人材は必要ないと考えると、話がややこしくなる。実際には、たとえ、AIクラウドと名付けられたクラウドサービスを使い、データ分析自体もアウトソーシングしている企業であろうとも、自社のデータを資産としたいのならデータのことをよく理解している担当者は必要だ。
・・・ということで、データ分析の話にもどります。
まず最初に、ビッグデータ分析に関連する誤解を解いておきたい。
ビッグデータの例として、（たぶん面白いストーリーになっているからだろうが）日本でもよく紹介されるエピソードがある。米国の小売業「ターゲット」が自社の顧客データを分析して、妊娠していると推定した顧客に妊婦が必要と思われる商品のダイレクトメールを送った。その一つが娘に届いたと怒った父親が店舗に怒鳴り込んできた。「うちの娘はまだ高校生だ。なのに、DMには、赤ちゃん用衣料とかベビーベッドのクーポン券が入っていた。おまえの店は、娘に妊娠しろと勧めているのか？！」。
店長は平身低頭あやまった。そして、数日たって、また、謝罪の電話を入れた。そしたら、電話口に出た父親の様子がおかしい。そして、きまり悪そうに、「自分は知らなかったが、娘が実は妊娠していた」と反対に怒鳴り込んだことをあやまった・・という。
このエピソードのオチは、娘が店舗から買っていた商品を分析するだけで、親すらも気づかなかった妊娠を判別した。これがビッグデータ分析の威力だというわけだ。
この出来事が起こったのは、ビッグデータなどとメディアが騒ぎ始めた2010年よりずっと前のことだ。
消費者の購買習慣を変えることはどんなに巧妙な販促活動を駆使してもむずかしい。だが、結婚、就職といった人生のイベントと同様に（・・というか、それ以上に）、赤ちゃん誕生前後の両親の購買パターンやブランドロイヤルティを変えることは比較的簡単にできる。そういった事実を知ったうえで、ターゲットは、2002年頃に、顧客が妊娠したかどうかを購買データから知ることはできないかと模索し始めた。そして、2005年ごろまでには、25種類の商品を分析することにより、顧客の妊娠予測スコアをつけるモデルを完成させた（らしい）。そして、そのスコアに従って、DMが送付された。結果として、怒った父親が店に怒鳴り込んできた。（「らしい」としたのは、プライバシー問題になるのを恐れたターゲットは、妊娠予測スコアモデルの作成を正式には認めていないからだ）。
このエピソードを2012年に報道したニューヨークタイムズも、記事の中では、まだ、ビッグデータなんて言葉は使っていない。2000年代初めのターゲットの顧客ベースは（会社は発表してはいないが）たぶん多く見積もっても数千万人くらいだろう。しかも、Facebookの創業が2004年ということからわかるように、ネット上のアクセスログデータやソーシャルメディアのテキストデータといった非構造化データはまだ含まれていない。顧客プロフィールデータや購買データは構造化データ。分析手法も、以前からある回帰分析とかマーケットバスケット分析とかいった統計解析手法が使われただけだ。
だから、このエピソードをデータ規模やデータ内容からいってもビッグデータ分析の具体例として挙げるのはおかしい・・・といちゃもんをつけることもできる。が、逆に、ビッグデータ分析とはいっても実際にやっていることの多くは、2000年以前からある伝統的統計解析による分析手法と変わっていませんよ。あるいは、また、AIクラウドサービスを利用しているからといって、実際のデータ分析は2000年以前の統計解析による分析とあまり変わっていませんよ・・・ということもできる。
AIを、そして、アルゴリズムのひとつのニューラルネットのディープラーニングを有名にしたのは、将棋とか囲碁といったゲームで人間に勝ったことだ。また、フェイスブックやグーグル、アマゾンが顔認識や音声認識で誤差率を数％台まで低くすることに成功し実績を上げたことだ。こういった例においては、結果がすべてであり、そのプロセスがブラックボックスであっても、つまりどうしてそういった結果が出るのかわからなくても問題ない。だが、ビジネスにおいては因果関係を知ることが結果と同じくらい重要になることが多い。統計解析の場合は、変数間の関係性（因果関係や相関関係など）や関係の強弱を知ることができる。だから、どうしてそういった結果を得ることになったかの説明がつく。そういった説明を得ることによって、次にはより優れた仮説を立てることができるようになる。自社ビジネスにとってより良い意思決定をすることができるようになる。
だから、フツーの企業が売上・利益を上げるためにデータ分析するときは、統計解析手法を使うことがいまでも多いのだ。そして、そのときに、アウトソーシング先の外の会社にすべてをまかせていては、肝心の知見やノウハウを獲得蓄積していくことができない。データサイエンティストとまでいかなくても、データのことをよく理解している担当者は必要だ。自らデータ分析をすることはできなくても、データ分析とはなんぞやということを理解していて、自社データの特徴とかもわかっていて、アウトソーシング先の分析者がどういった手法を使ってどういったデータの調整をして分析をするのかといった説明がわかる人は必要だ。
顧客データや購買データを含む行動データの傾向は各企業に特有なものだ。各企業における「データの特徴」は、その企業の戦略や方針を決定づける基本となる。
コンピュータのキャパに制限がなくったビッグデータ時代にはデータ規模がどれだけ大きくなっても生データのまま保存される。だが、分析には生データのまま使わないほうが良い結果を生むことが多い。たとえば、購買予測を分析するときに、顧客一人一人の某商品カテゴリーの累計購買金額を変数として使うよりは、全購買金額に占める某商品カテゴリーの割合を変数として使ったほうがより予測精度が上がるかもしれない。こういった調整とか加工をするところに、データサイエンティストの経験にもとづいた洞察力が必要となる。そして、こういったデータの準備に、データ分析者は全プロセスの80％の時間を費やしている。仮説を立ててモデルをつくる。その仮説が正しいかどうかを実行の後検証する。それがデータサイエンティストにとっての知見やノウハウになる。
クライエント側企業にアウトソーシング先のデータ分析者とコミュニケーションする能力をもった担当者がいなければ、何か不都合が起こっても、自社データに精通したデータ分析者をかかえているアウトソーシング先を変えることもできなくなる。
自社データの特質をよく知っていて、どういったアルゴリズムをつかって、どういったデータ調整をしたらよいかという知見を持っているのはアウトソーシング先のサービス会社・・・これでは、クライエント企業はデータを所有してはいても「データ資産」を所有しているとはいえない。
最近、メタデータという考え方をよく耳にする。メタデータ＝データに関する情報で、さまざまな形式の大規模データを取り扱うビッグデータの時代に必要なものとされる。各データの保管場所、保管形態、アクセス履歴、、特徴、過去にどのように操作され変換されてきたかの履歴等々が明らかになり、会社のデータ資産を明確に定義してくれる。
メタデータは、データの構造を教えてくれるものでデータを管理し、必要な情報を素早く見つけるツールとなる。だが、それだけではない、データが最初に獲得されて以降、どのように変換され操作され利用されてきたかといったデータ履歴はデータの意味や重要度をデータサイエンティストに教えてくれる。それが、データサイエンティストのノウハウ・知見の源となり、会社がもっているデータを資産とする源となる。メタデータはアウトソーシング先のサービス会社だけに所有させるのではなく、クライエント企業も共有するものでなくてはいけない。
参考文献： 1.Inside the Alexa Prize, Wired, 2/27/18, 2.Ashwin Ram, et al, Conversational AI: The Science Behind the Alexa Prize, 3. Facebook is shutting down M, its personal assistant wervice that combined humans and AI, 1/8/18, 4. How Companies Learn Your Secrets, The New York Times Magazines, 2/29/12、5.Google wants to give your computer a personality, Time, 10/16/17
Copyright 2017 by Kazuko Rudy.All rights reserved.
| | 