Hadoopが導くデータ変革の未来 - 必要なのは変化を受け入れる「心構え」

Clouderaは11月8日、東京都内にて「Cloudera World Tokyo 2016」を開催した。ここでは、基調講演で登壇した米Clouderaのチーフアーキテクトを務めるDoug Cutting氏、同社APACのシニアディレクターを務めるDaniel Ng氏の講演の模様をお届けする。

「データ革命」の勢いを支えるHadoop

Cutting氏については、ビッグデータ基盤「Apache Hadoop」の生みの親としてご存じの方も多いだろう。氏は「10年目を迎えたApache Hadoop」をテーマに、Hadoopの歴史を振り返るとともに、現在そして未来のITにかける想いを語った。

2016年でApache Hadoopはその登場から10周年を迎えるが、米Amazonのクラウドプラットフォームもリリースからちょうど10年が経過する。つまり、ビッグデータやクラウドという概念が、この10年をかけて浸透してきたわけだ。

「10年前に我々が使っていたITシステムは、今とはかなり異なるものでした。高価で特殊なハードウェアを用意し、そこで動かしていたソフトウェアはRDBSをはじめ、プロプライエタリなものばかりです。扱うデータも、構造化データに限られていました」とCutting氏は説明する。

Hadoop生みの親であり、米Clouderaのチーフアーキテクトを務めるDoug Cutting氏

そうしたシステムが処理対象とするデータは、帳簿や財務会計など人手で入力されたトランザクションデータだけであった。さらにソフトウェアの開発方法も今とは異なり、完全にウォーターフォール方式が主流だったため、開発されたシステムは柔軟性が乏しく、後から変更を加えるといったことは難しかった。

「しかし、それ以降に『データ革命』が起きて全ては劇的に変わりました。ムーアの法則に合わせてデータ量も指数関数的に増加し、またデジタルトランスフォーメーションによって、データのビジネス価値も拡大したのです」（Cutting氏）

このデータ革命の波及効果により、今やほとんどのデータがトランザクションではなくマシンによって生成されている。そして、データ革命の勢いを支え続けるには、低コストで汎用性の高いデータシステムが必要になる。それこそがHadoopというわけだ。

ここでいったん、Cutting氏は自分自身の過去10年に言及した。氏は、2000年代に初めてオープンソースシステムのプロジェクトに携わった際、「（今後は）コミュニティベースのオープンソース開発がソフトウェアの導入を加速するとともに、その品質を一層高めることになる」と実感したのだという。こうしたこともあって、Cutting氏は2009年、創立からわずか1年のClouderaへ参画するに至ったのだ。

再びCutting氏は、ITシステムの現在の状況へとフォーカスする。

今やハードウェアはコモディティ化しており、ソフトウェアはオープンソースの普及で柔軟なものへと変化した。そして、データも共有が進むとともにスキーマオンデマンドなかたちへと変わり、データシステムが扱う対象領域は営業、製造、マーケティングなど、ビジネス全体へと拡大している。システムの開発手法については、アジャイルが当たり前となった。

「こうした変化のおかげで、我々はありとあらゆるデータから恩恵を受けることが可能になったのです」（Cutting氏）

今、世界中で新たなデータソフトウェアのエコシステムが次々と生まれている。これについてCutting氏は、「こんなに素晴らしいことはない」と讃える。

「今我々は、かつて誰も経験したことのない、急速かつ根本的な変化と進化を経験しているのです。あまりにもめまぐるしい変化に混乱もあるかもしれませんが、この変化は受け入れなければならないものだと認識してください。我々もまた、新しい変化と、変化にふさわしいテクノロジーの提供に取り組んでいきます。ぜひ我々と一緒に、このエコシステムを新しく、より価値ある方向に導いていこうではありませんか」（Cutting氏）