製造業のIoT活用をはじめるためのTalendとClouderaのビッグデータ基盤 – マイナビニュースフォーラム 2017

12月8日、東京都新宿区にて開催された「マイナビニュースフォーラム2017 Winter for データ活用～企業間競争に勝ち残るビッグデータ活用術～」。同イベントの製造業セッション1の講演では、ビッグデータ活用に定評のあるClouderaとTalendがそれぞれ得意分野を分担して発表する形式でおこなわれた。本稿ではその会場の様子をお伝えしよう。

データ活用はどんな企業でも可能

「データ活用の必要性が叫ばれていますが、実際には十分に活用しきれていないと考える企業の方が多いのではないでしょうか」と、口火を切ったのは、Cloudera マーケティング部でシニアマネージャーを務める吉田一貫氏だ。

企業が大量に持っているデータの活用状況において、ビジネス上の意思決定に使用されている構造化データは全体の50％に過ぎず、非構造化データにおいては1％未満と言われている。また、データアナリストの業務80％がデータの特定や準備、いわゆる前処理に時間を費やされていると吉田氏は指摘する。

「これは、企業内のデータがサイロ化している、つまり効果的なデータ基盤が構築できていないことが理由の一つと考えています」

一方で、データ活用がきちんとできている「データドリブン」と言われる企業も存在している。「実際にこういった会社はこの10年間で急激な成長を遂げています」と吉田氏は分析。企業価値を高めるのにデータ活用がいかに大切であるかを訴えた。社会的な背景に目を移すと、デバイスの数が爆発的に増え、それに伴うデータも膨大な量となることが予想されている。2020年には300億台の接続されたデバイスが登場し、データ量は現在の440倍になるとも言われている。すなわち、データドリブン企業となることが、今後のビジネスに大きな影響を与えることは必至なのだ。

そのような状況の中、吉田氏はデータドリブン企業に必要な技術トレンドが3つあると指摘。「オープンソース」「クラウド」「機械学習」がその柱になるという。オープンソースによる技術革新のスピード、クラウドによる低コストで柔軟な運用、機械学習による膨大な量のデータ分析がその理由だ。

Cloudera マーケティング部シニアマネージャー吉田一貫氏

「データの力によって、現在不可能なことも近い将来に可能になるとClouderaは信じています。どの企業もすでにデータを持っており、現在はデータドリブン企業でなくても、これからデータ活用をしていくことは十分可能です」と吉田氏は力を込めて語る。

続いて同氏は、自社のサポート部門で行なっている障害予測ソリューションをはじめ、IoT分析のコスト最適化、予兆保全、研究・製品開発への活用などにおける実際の事例を発表。

「我々がご提案している『Cloudera Enterprise』は、クラウド、あるいはオンプレなど様々な環境ごとに、あるいはデータベースごとに個別に格納されたデータを、統合データ基盤として構築します。これにより、データの所在場所に関わらず、統一された管理設定やセキュリティポリシーを横断的に適用することができます。また、従来はデータ量の増加に合わせ、サービス停止を伴うサーバの増強が必要でしたが、Clouderaのソリューションは拡張性の高い分散処理を特徴としており、ミッションクリティカルなサービスを止めることなく、増加するビッグデータに対応することが可能です」(吉田氏)

データドリブン企業を目指す製造業者のよい参考になる情報を提供してくれた同氏には盛大な拍手が送られた。

クラウド環境に向け最適化された、機械学習と分析のための最先端の基盤「Cloudera Enterprise」

Hadoop Speakの性能を最大化するビッグデータ統合基盤

続いて登壇したのはTalendのプリセールスマネージャー三浦氏だ。同社は、ビッグデータや業務アプリケーションをシームレスに統合/連携するマルチクラウド対応データ統合プラットフォームを提供し、企業のあらゆるデータ活用をサポートしている。

Talend プリセールスマネージャー三浦大洋氏

「データ活用はIT部門に留まらず、ビジネスの現場で行われるようになってきています。ビッグデータを全社規模で効率よく活用するために必要なデータプレパレーションをご紹介します」と三浦氏は講演を始める。

同氏はまず、複数ソースのデータ統合から分析を行い製品開発に活用しているGE社の事例を次のように紹介する。

「様々なデータベースやIoT、SNSやオープンデータなどにあるデータを統合し、それを蓄積基盤へ保管していつでも使えるようにしています。蓄えたデータは他のシステムと連携しながら相互活用していき、データの分析結果を必要な部門へ渡していく。この一連の流れでデータ活用の基盤を設計/構築することが必要です。加えてデータ基盤を横断的にカバーするセキュリティやガバナンスもサポートする必要があります」

Talendでは、データの一連の流れを作るデータ基盤とセキュリティのすべてに対応するソリューションを提案している。開発環境となる「Talend Studio」で開発したアプリケーションは、オンプレミスやクラウドHadoop環境にデプロイして運用するシンプルな構成になっており、企業レベルでの運用をサポートする管理機能も充実している。さらにビジネスユーザー向けのデータプレパレーション機能により、現場でのデータ活用を促進できる。

「データプレパレーション機能では、ブラウザベースのGUIによって、自分が使いたいデータをすぐに取得することができます。また、データの見える化や、データベースに含まれる異常値や欠損データを検出し、容易に修正することも可能です」（三浦氏）

IT部門に依頼しなくても、セルフサービスでビジネスユーザーが必要なデータを取得できるよう設計されており、同氏はデモンストレーションを交えつつ基本操作を解説。容易な操作でデータが整えられるので、ユーザー自らが使いやすい形にすることも可能な点を強調した。このソリューションによって、IT部門の負担は改善され、ビジネスユーザーもスピーディーに業務を遂行できることをデモンストレーションで示してくれた。

「Talendはデータ統合ベンダーとして『Cloudera Altus』をサポートしています。インテリジェントなパイプラインを簡単に構築してシームレスなデプロイを実現。開発からテストまで一元的な管理が可能です」（三浦氏）

前半に登壇したClouderaのソリューションとの連携により、データ活用はさらに身近になるというわけだ。Talendを使うことでSparkネイティブな高速データ統合が容易に実現でき、さらにClouderaと組み合わせることで、高いスケーラビリティと柔軟性を持ったデータ活用基盤の構築が可能となる。

優れたデータ統合基盤と管理基盤があれば、あらゆる企業にとってビッグデータの有効活用ができることを実感できたセミナーだった。