Hadoop Worldは文字通り、Hadoop(大規模データ処理の基盤及びフレームワーク)に関するカンファレンスで、2014年は10月15日から17日の3日間に渡り、New Yorkで開催されました。15日はチュートリアル、16、17日の午前はキーノートがあり、午後はセッションが行われました。

チュートリアルもセッションもパラレルで、Hadoop in Action、Hadoop Platform、Enterprise adoption、Data Scienceなど11のテーマがあり、キーノートのみHadoop World 2014のサイトに動画がアップされているので視聴できます。

昨年の参加者は3,000人でしたが、今年回の参加者は5,000人を超えたと主催者から報告がありました。これ以上増えた場合はホテルを利用できなくなるとのことで、今年は会場をJavits Centerへ移しての開催となりました。参加者はHadoopのエンジニアだけでなく、営業、コンサルタント、そしてデータサイエンティスト呼ばれる人もおり、業種もITだけでなく通信、金融、証券、マスコミ、シンクタンク、官公庁と多岐に渡ります。昨年は日本から50名近くが参加したそうですが、今年はさらに増えて70名近くになったようです。

Javits Centerは日本の幕張メッセあるいは東京国際展示場のようなコンベンションセンターです。天井はガラス張りになっており、パリ万博の水晶宮を髣髴させるつくりになっています。

Javits Centerの内部

Hadoopのユーザも適用箇所も拡大し、カンファレンスの内容もハード、ソフト、事例、関連製品と多岐にわたるため、全体をレポートするのは難しくなったと感じました。Hadoop Worldは技術者向けのイベントというよりもビッグデータビジネスの担当者へのイベントに変化したように思います。

キーノートで主催者の1つであるCloudera社のCSO(最高戦略責任者)のMike Olson氏が、「以前はHadoop及び関連プロジェクトの中身を話したが、今はこうしたプロジェクトが何をしているかを話している」と講演したように、まさにHadoop及びエコシステムが完全にコモディティ化し、それを使って何ができるのか、何をするのかという話が多くなりました。その何かにはもれなくビッグデータが関わっています。

以前のHadoop WorldではHadoopの産みの親、Doug Cutting氏からHadoopのロードマップの提示や、新しいHadoopのエコシステムの技術的な紹介がありましたが、今回は簡単な挨拶と紹介で終わっています。また、2年前まではHadoopの名前およびロゴにもなった像のぬいぐるみを持ち歩いていたのですが、今年も姿を見る事は出来ませんでした。Mike Olson氏いわく、「Hadoop disappears」を文字通り実践されているのかもしれません。

メインの講演会場

Hadoop Worldをどう整理するのか難しいところですが、今回はSpark、データサイエンス、ライフケアの観点で振り返ってみたいと思います。