ビッグデータの本質な価値はデータ分析より自動化にある、という考え方
記事＝http://gigaom.com/2013/01/02/why-big-data-might-be-more-about-automation-than-insights/
投稿者＝Derrick Harris, technology journalist
投稿日＝1/2/2013
New York Timesの2012 年末の記事、" Sure, Big Data Is Great. But So Is Intuition."において、"ビッグデータバブル"の懸念が紹介されている。これは、人間が本来持っている経験や知見、ノウハウを犠牲にしてまで、ビッグデータの分析に依存する方向に社会に広がり始めている、という指摘である。
指摘の内容は、ビッグデータの到達しようとしているゴールは、データ分析の手法を"単純か"し、それを高速、かつ大量に処理する事が出来る、という点であるにも関わらず、まるで人間の能力を超えた高度な知識をもったソリューションとして扱う様な動きが見え始めている、という懸念である。この記事の作者である、Steve Lohr氏は、データ分析技術者という者は、決して人間の知識や経験を置き換える様な役割を持っているのではなく、単純にMapReduceのコードを書く事が出来る技術者である、という事をよく認識すべきである、と述べている。
ロボット工学に近い考え方を適用すべき、とも述べている。ロボットは、人間の行う作業を人間が到底行う事が出来ない速度と精度で行う事が出来るが、決して人間の高度な判断力を置き換える者ではない、という事である。
ビッグデータの活用の方法も、それをよく考慮し、導入する際も企業内の業務の中でも高速か、大量処理化を実現する工程には組み込みつつも、最終的な事業判断に於いては必ず人間の知見、経験を活かした上で結論を出すプロセスを通る事を主張している。
マシンに重たい仕事を任せる
最近この辺の問題が表面化した事例を紹介する。とあるイギリスの大学では、自然言語とマシンラーニングを利用したメディアリサーチの事例を紹介しているが、大量のニュース記事を人間がすべて読破しなくても、こういった技術を利用する事で全体の動向を分析する事が可能である事を研究している。ただし、この研究でも明らかになった事は、最終的に 分析の結果を理解し、わかりやすい分析結果を導きだすのは、研究者自身の判断である、という事であり、決してシステムの判断に依存している訳ではない。
とある法律事務所のケースでは、Recommind社の事例が紹介されている。このベンダでは、e-Discoveryの様な、弁護士が各々のケースで調査を行わなければいけない、何テラバイトもの情報を自動的に分析し、弁護士の作業効率を大幅にアップするPredictive Codingと呼ばれるソリューションを提供している。例えば、特定の裁判に関連するeメール、PDF、等をすべて網羅し、裁判に必要な情報の抽出を行っているが、その作業は、人間の行うより遥かに早い速度で処理を行う一方、やはり人間が介在した最終判断は必須である、と強調している。それだけ、人間の判断は、単なる機械的なBI嶽ではない高度な処理が存在し、まだそれは機械化出来ない時代である、という事である。
BeyondCoreというソフトウェア製品があるが、これも人間の独特な判断力を支援するBIツールであるが、最終的には人間の判断を支援するためのツールであることには変わらない。このツールの場合は人間が介在するプロセスは、最初の母体データのデータ設定、各種データの相関関係や条件を設定するステップ、さらに、最後のステップである分析結果を見て最終的な判断を下す段階である。その間のプロセスは、BeyondCoreのLucidと呼ばれるエンジンがデータを深いレベルまで解析し、下記の様な相関関係図を表示し容易な判断を下せる様なデータ表示モデルを展開する。
顧客動向マーケティングの専門ベンダーである、ClickFox 社のCEO, Marco Pacelli氏は、この考え方を下記のように述べている。
「部屋の明かりがパッとついた時に、部屋にゴキブリが数匹発見される状況を考えてほしい。BigData分析は、ゴキブリを映し出す電気の役割。しかし、どのゴキブリを殺すかを決めるのは人間であるCEOの仕事。」
逆に、ビッグデータを導入する際には、改めて最終事業判断を迅速に行う事が出来るのかどうか、会社の中で見極める事の重要性を強調している。
問題を見つけたとしても、その対策を即座に行わなければ何もしないのと同じ、という事である。
アルゴリズムは決して人間を超えない
これらの例は、さらに実際にInternet上に存在するビッグデータの置かれている状況においては、さらに異なる取り組みを強要される。Eli Pariser氏の著作、"The Filter Bubble: What the Internet Is Hiding From You." によると、インターネットに存在するサーチエンジンの裏にある広告事業に利用されるユーザプロファイル分析エンジンのアルゴリズムは、あまりにも単純で、人間が本来期待すべき高度な賢さが無く、我々の生活にさほど役立っていない、と主張している。確かにメールボックスに入ってくする広告メールは的を得ていない物も非常に多い。
こんな中で、人間はいつの間にかインターネットという物の持つ知識レベルを課題評価しているのでは、と感じる。考えてもみれば、インターネット上に存在する様々なアプリケーション（AWS, Instragram他）という物は、膨大な数のユーザに対して、かなり標準的なサービスを、 カスタマイズ出来ない条件で提供するモデルに徹しており、決してきめ細かい、という表現は出来ないはずである。
特にセキュリティや、信頼性、等ユーザの要求レベルの差異が大きい要求に対して、インターネットアプリがあまり対応出来ていない、というのはこういう背景がある、と考えるとごく自然に理解出来るはず。
人間とITを上手に融合する方法
最も理想的なモデル、というのは今後も発展を遂げて行くと期待されるが、当面は、ITによるデータ分析、そして人間による高度な判断力を組み合わせたソリューションがベストプラクティスになっていくもの、と想定される。コンシューマ向けの広告事業であろうと、企業内の事業判断を決めるプロセスに於いても、共通しているテーマである、と言える。
ビッグデータの可能性は、如何に人間が最終的に施す判断を迅速、そしてきめ細かにする事が出来る自動化の機能にある、と言える。ビッグデータの導入においては、この事をよく理解した上で戦略を策定する事が成功につながる、と言える。
