【コマツマイニング事例】Snowflakeのデータクラウドで4兆行にのぼるコマツのIoTデータを管理

コマツマイニング株式会社（Komatsu Mining Corp.）は世界の鉱山業者に高度な機器、システム、ダイレクトサービスを提供しています。その製品ブランドにはP&H、Joy、Montabert などがあります。同社の統合型のテクノロジー、サービス、ソリューションは、エネルギー、ハードロック、工業鉱物といった多様な一次産品市場の採掘作業に欠かせないものとなっています。

課題：エンドユーザーのレポーティングニーズを満たせない複雑なデータウェアハウスの置き換え

サポート負担となっていたコマツのオンプレミスデータウェアハウスには、数種類の機器からIoTデータが送り込まれ、一部の機器の運用環境は過酷で予測不可能なものでした。そのアーキテクチャは複雑で、サーバーインフラストラクチャのコストもかさんでいました。コマツマイニングのアナリティクスプラットフォーム部門担当リードアーキテクトであるShawn Terry氏は「データサイロが原因で管理に支障を来していた」と振り返ります。また、セルフサービス機能が限られていたため、エンドユーザーが自分でレポートを作成できず、代わりにTerry氏のチームが各リクエストに応じてカスタムレポートを作成しなければなりませんでした。

ソリューション：伸縮性のあるスケーラビリティとニアゼロマネージメントを実現するデータクラウド

Terry氏のチームは、Snowflakeのデータウェアハウスコンポーネントを採用して、会社全体のビジネスデータを統合することにしました。コマツは「ストアアンドフォワード」方式により、数百台の機器から最大5万のユニークセンサーポイントを含むファイルをSnowflake にロードしています。データは事前にコマツのファイル読み込みAPIで処理され、Apache Kafkaにプッシュ送信されます。Microsoft Azure BlobStorageを使用してKafkaの出力を保存します。Apache Spark がKafkaからトピックを読み取り、ストレージからデータを取得して、何らかのデータ操作を実行し、Spark用Snowflake コネクターを使用してSnowflake にデータをロードします。

「Snowflakeのおかげでコマツはすごいことを成し遂げました。サイロ化したデータセットをSnowflakeで統合できたのです。毎週、新しいリクエストを受けて、Snowflakeにデータを取り込んでいます。全社的に喫緊のビジネス課題を解決するソリューションと言えます」（コマツマイニング アナリティクスプラットフォーム部門担当リードアーキテクト Shawn Terry氏）

結果：エンタープライズ規模の統合データ／アナリティクスプラットフォーム

コマツのデータプラットフォームは、小規模なオンプレミスのウェブアプリケーションからスタートしました。それがSnowflake に移行した結果、世界中の20種類の主要機器と数百台の機械からIoTデータを取得するエンタープライズ規模の統合データ／アナリティクスプラットフォームに進化したのです。このプラットフォームで127のテーブルを使用し、40テラバイトのデータ、4兆行の時系列IoTセンサーデータを扱っています。さまざまな機器から100万のデータファイルを使用して毎日、80 ～ 100億件のメッセージがSnowflake にロードされています。コマツは生データを集計してセンサーおよびアラームレコードを作成し、毎日100万のKPIデータポイントを取得しています。以前はサイロ化していた複数のデータセットは現在、Snowflake に統合され、新しいデータセットが定期的に追加されています。Terry氏は次のように述べています。

「グループ、組織、お客様の間で以前より簡単に情報を共有できています。Snowflake を共通の環境とした結果、それが可能になりました」（Shawn Terry氏）

将来：セキュアなデータ共有

今後も引き続き、Terry氏のチームはビジネスユニットと協力して新しいデータセットを取り込んでいきます。コマツでは、Snowflake のデータへのアクセスを要求する内部および外部ユーザーが増えています。Terry 氏は「お客様がそれぞれの環境で、Power BI、Tableau、Grafanaといったアナリティクスツールを使用してデータにアクセスできるというのがいいですね」と述べています。Terry 氏のチームは、Snowflake のセキュアデータシェアリングを使用して即時のセキュアなデータアクセスを実現し、データ交換やファイルのやり取りを不要にする予定です。

なぜ、Snowflakeなのか

・伸縮性のあるスケーラビリティにより、データウェアハウスクラスタのスケールアップ／ダウンが可能
・ニアゼロメンテナンスによりチームが戦略的ビジネス構想に専念できる
・ストレージとコンピュートを分離することでパフォーマンスの安定性とコストの可視化を実現
・データキャッシングにより優れたクエリパフォーマンスを提供
・Azure Active Directory の認証により組織全体のレポートをサポート
・セキュアデータシェアリングにより運用データに読み取り専用でアクセスして開発／テストを実現

※本記事はSnowflakeから提供を受けております。

[PR]提供：Snowflake