ビッグデータの本質とは何か？

ビッグデータというキーワードは、連日のようにニュースメディアの見出しを賑わせている。総務省が発表した2013年版の情報通信白書によれば、ビッグデータをフル活用した場合の経済効果は年間7兆7700億円にもなるという。

盛り上がりにもかかわらず、実を言えば、ビッグデータとは何なのかについてはっきりした定義があるわけではない。では、データ量が大きければ何でもビッグデータかといえば、それもちょっと違う。

ビッグデータはたんにデータ量が大きいだけでなく、種類や頻度といった点に特徴があるというのが、IT業界では大まかなコンセンサスとなっている。

データの種類というのは、データが構造化されているか、そうでないかということ。従来コンピューター上のデータベースで扱われてきたのは、ほとんどが構造化されたデータだった。会計システムにしても顧客データベースにしても、あらかじめ決められたフォーマットに沿って数値や文字列が格納されている。ビッグデータという場合には、こうした構造化されたデータだけでなく、文章や画像、音声、動画、位置情報など、「何でもあり」のデータが対象になる。

もう1つの特徴である頻度だが、ビッグデータと従来ではデータの追加や更新が行われる頻度が大きく異なってくる。従来型の例として挙げた会計システムにせよ、顧客データベースにせよ、すべてのデータを一元的にデータベースに集積して、それから集計なり分析なりを行うというのが基本的な考え方だ。ところが、今世界中にあふれているデータはもはやそんなやり方では処理しきれない。さまざまな機器からのセンサー情報や、ウェブサイトへのアクセス情報、そうしたデータをリアルタイムに分散処理して、データ同士の相関関係を調べたり、さらには有効な施策をすぐに打ち出すというのが、ビッグデータを利用するということなのである。

現在、ビッグデータ解析が最も進んでいるのは、EコマースやSNSなどの分野だ。これらの分野では、モノを買う、人と交流するといった記録がデータとして記録されているため、コンピューター上の処理だけで完結できる。ECサイト上での購買履歴などを元にお勧め商品を紹介してくるレコメンデーションや、サイトの閲覧履歴からクリックされる確率が高そうな広告を表示する行動ターゲティング広告は、最も身近なビッグデータ活用だろう。

決済の分野でもビッグデータ活用が進んでおり、中でも注目されているのがセキュリティシステムへの応用だ。巨大ECサイトでは1秒間に数百万という単位でデータのやり取りが行われるが、この膨大なやり取りの中から「不自然な行動」をリアルタイムに解析して警告を発する。例えば、同じECサイトで同じ人物が同じ商品を大量に買い付けていたり、購入はするのだが商品ページでの滞在時間が異常に短い、といった行動を瞬時にはじき出して、クレジットカードの不正使用を防ぐ。こうしたサービスを手がけている企業としてはPayPalの共同創業者が設立したPalantirがあり、同社は政府関係の受注だけで年間10億ドルの仕事を受注しているという。

[写真] 非構造化データの量は、90年代以降、爆発的に増大している。（総務省平成２５年版情報通信白書p.143、図表1-3-1-1より引用）