製造業のデータプラットフォームにおける課題とSnowflakeデータクラウド

ビジネスのデジタル化やDXによって、指数関数的に増加しているデータを高速に、効率的にデータプラットフォームに取り込むためにはどのようにすべきか?そして、そのデータをどのように活用して有機的にビジネスにフィードバックしていくのか?このような課題への取り組みは先進的なIT企業だけで進んでいるのではなく、最近では一般的な企業においてもこのような課題の解決に向けて、クラウドの活用や高速でスケーラブルなデータプラットフォームの検討が進んでいます。今回のコラムでは、製造業そしてIoTでのデータ活用に目を向けていきたいと思います。

製造業における変革の力

皆様も感覚的に分かるように、この2-3年で変革の波が押し寄せています。そして、製造業全体を見渡しても、いくつかの重要なテーマが見えてきています。

1) 業界全体のサプライチェーンに関して、予測不可能性と混乱が高まっています。COVID-19や現在の欧州の不安定な状況は、世界中のサプライチェーンの回復力と柔軟性を試し、現在までに全世界で推定4兆ドルの収益損失をもたらしています。

2) スマート・マニュファクチャリング戦略を導入している製造業を対象としたMcKinseyの最近のレポートが示すように、インダストリー4.0は特に重要となってきています。インタビューに応じた企業の94％が、インダストリー4.0が危機の際の業務継続に役立ったと回答しています。

3) 接続されたIoTデバイスの数は、現在世界で350億個、2025年には750億個に増加すると予測されており、大きなチャンスと課題を抱えています。過去には、製品がどのように使用されているかを考える必要はありませんでしたが、電力を供給するすべての機器に無線LANが搭載され、B2BからB2B2Cへの移行と新しいデジタルフィードバックループの構築により、これらの洞察を得ることができるようになりました。このようなデータの流れを把握しているチームは、サービス側で新たな収益の流れを生み出すだけでなく、顧客のために革新的で新しいサービスを提供する方法を変革しています。しかし、このようなデータをサイロから取り出し、大量のデータを収集することは困難です。

・参考 ／Snowflake 「製造業向けデータクラウド」

https://resources.snowflake.com/solution-briefs/the-data-cloud-for-manufacturing
（参考日：2022年8月31日）

製造業のデータプラットフォームにおける課題 - データサイロ

データ活用を進める際に、社内システムに格納されているデータを部門やシステム横断的に活用することを検討することは初期の重要なポイントになります。しかし、部門によって個別管理されていたり、システムが分断されているためにデータを取り込めないなど、価値実現を阻むデータサイロ(=ある組織・グループやシステムごとに管理・保有されるデータが他のグループやシステムから容易に、もしくは全くアクセスできない状態のデータ)が存在します。そして、データサイロの増加によってデータの価値・可能性を引き出すことができずにいたり、データサイロが原因となってDXが進まないという声も聞かれます。

では、なぜデータサイロは発生するのか?その原因としては2つに大別されます。

●　組織・部門間の縦割りが引き起こすセクショナリズムによるデータサイロ化

他部門が何をやっているのか、どんなデータがあるのかを知らない、他部門がどのようなシステムを使っているのか分からない、という状態が原因となって発生する。

●　システム(または技術的負債)によるデータサイロ化

特定の業務を効率化する目的で個別最適で開発され、システム間においてデータ形式が異なることなどにより、データ活用が進まない・出来ない状態が原因となって発生する。

最近では、SaaSの活用、アプリケーションクラウド(PaaS)やインフラストラクチャークラウド(IaaS: AWS、Azure、GCP)の浸透に伴い、所有するデータの量は爆発的に増えましたが、それらのデータは複数の異なる環境に、またはオンプレミスとクラウドに分散して保存されているのが現状です。

データサイロから価値を引き出すには多くのコストと時間がかかります。さらに、複数のテクノロジーやクラウドにまたがるガバナンスとコラボレーションを維持するのは困難を極めます。

Snowflakeデータクラウドとその特長

Snowflakeデータクラウドを使えば、データサイロを解消し、データの価値を解き放つことができます。データやユーザがどこに存在するかに関係なく、複数のパブリッククラウドにまたがり単一のシームレスなデータ体験を提供するのがデータクラウドです。そこでは、多くの組織がサイロ化されたデータを統合して、ガバナンスの効いたデータを容易に見つけ、安全に共有し、多様な分析ワークロードを実行することが可能になります。そのエンジンとなるのがSnowflakeのプラットフォームです。

では、Snowflakeデータクラウドの構成を見ていきましょう。データクラウドは、次に示す2つの主要要素で構成されています。

1. プラットフォーム: あらゆる規模のビジネスをグローバルに接続する独自のアーキテクチャ設計を提供
2. コンテンツ: より効果的な意思決定、製品、サービス、ビジネスの推進に活用可能なデータクラウド内の関連性や価値が最も高いコンテンツ。これには顧客、SaaSプロバイダー、パートナーなどからのデータが含まれます。

Snowflakeのプラットフォームは、あらゆる種類の幅広いデータソースから構造化/半構造/非構造データを格納・管理し、コラボレーション、データエンジニアリング、サイバーセキュリティ、データサイエンス、アプリケーションのユースケースで活用できる統合プラットフォームで、次の重要な要件を実現する3つの独自レイヤーによって構成されています。

• 伸縮性のある高性能エンジン
• インテリジェントなインフラストラクチャー
• クロスクラウドなSnowgrid

以降では誌面の都合上、Snowflakeの特長として製造業で活用できる「データエンジニアリング」と「コラボレーション」について見ていきます。

製造業でSnowflakeを活用する

冒頭の「製造業における変革の力」でも触れましたが、DX推進の中で、IoTデータの活用は大きなテーマです。しかし、データサイロによってせっかく取り込んだIoTデータを他部門や他システムと連携できないとなると、ビジネス価値を引き出すことができません。

Snowflakeでは、このような分散された組織・環境から、容易に、かつ効率的・高速に、様々なデータを取り込む機能を提供しており、これらを「データエンジニアリング」ワークロードと総称しています。

ここでは、IoTデータをロードするためのSnowpipeを紹介します。

Snowpipeは、継続的にIoTデータのような少量で到着するデータをニアリアルタイムで効率的・高速にロードするための機能です。具体的にはクラウドのオブジェクトストレージ(例: AWS S3)のイベント通知を利用して、ロードする新しいデータファイルの到着をSnowpipeに通知して、ターゲットテーブルに自動ロードします。活用シーンとしては、まさにIoTデータの取り込みが分かりやすいかと思います。IoTデバイスから発生するデータをクラウドのオブジェクトストレージに置きさえすれば、Snowpipeにより連続ロードすることを自動化できます。効果・メリットは連続ロード自動化の仕組みを容易に構築できることとサーバレスで効率的に高速にロードできることが挙げられます。

自部門が保有する1stパーティデータだけではなく、ビジネス価値を引き出すために他部門やビジネスエコシステム(グループ企業間)の2ndパーティデータをプライベートなデータコラボレーション空間を作成してデータ共有(直接共有/リーダーアカウント/データエクスチェンジ)することや、さらにその範囲を3rdパーティデータ(パブリック)まで広げたSnowflakeマーケットプレイスを提供しており、これら一連を「コラボレーション」ワークロードと総称しています。

データクラウドでデータ共有とコラボレーションを行うには複数の方法があります。Snowflakeマーケットプレイスを利用して、大手データプロバイダの3rdパーティデータやデータサービスを発見したり、自社所有のデータ製品を販売し、データクラウドに配信することができます。 また、直接共有で他のSnowflakeアカウントとデータ共有できるほか、リーダーアカウントを介してSnowflakeをまだ利用していない企業との共有など、エコシステム全体での共有が可能になります。さらに、データエクスチェンジを使用して、ビジネスユニット間でのデータ共有やデータの発見を管理することができます。以下の図は、データ共有とコラボレーションを活用した製造業データクラウドの一例です。

製造業でのSnowflake活用事例

最後に、製造業でのSnowflake活用事例をいくつか紹介したいと思います。

海外の製造業から、「コラボレーション」ワークロードで活用しているSiemens Healthineers​​様(PDF(英語))です。別会社を買収・合併の初日にCRMデータをグローバルで利用できるようにしました。従来、このプロセスには相当な時間が必要で、買収先の規模や抽出すべきサイロ化されたデータの量によっては、数週間から数ヶ月かかることも想定されましたが、Snowflakeのデータ共有機能により、米国のデータを欧州で利用できるようになるまで、統合プロセスはわずか20分程度で完了しました。これにより、営業チームはデータをすぐに分析して新たなインサイトを導き出し、グローバルな意思決定を促進するとともに、クロスセルなどにデータ活用できるようになりました。

次に、「データエンジニアリング」ワークロードで活用しているKomatsu Mining様(Web、 PDF)です。小規模なオンプレミスのデータウェアハウスからSnowflakeに移行した結果、世界中の20種類の主要機器と数百台の機械からIoTデータを取得するエンタープライズ規模の統合データアナリティクスプラットフォームに進化させることができました。40TBのデータ、4兆行の時系列IoTセンサーデータを扱っています。さまざまな機器から100万のデータファイルを使用して毎日80-100億件のメッセージがSnowflakeにロードされています。以前はサイロ化していた複数のデータセットは現在、Snowflakeに統合され、新しいデータセットが定期的に追加されています。「グループ、組織、お客様の間で以前より簡単に情報を共有できています。Snowflakeを共通の環境とした結果、それが可能になりました。」とコメントいただいております。そして、将来はSnowflakeのデータ共有機能を使って即時のセキュアなデータアクセスを実現し、データ交換やファイルのやり取りを不要にする予定です。

日本のお客様で、IoTデータ分析プラットフォームとしてSnowflakeを採用いただいたNTTスマイルエナジー様(Web、 PDF)は、誰もが思い付いたとき自由にデータ分析が行える環境を実現しました。その効果としてまず挙げられたのはデータ活用に対する社内の意識の変化で、現在、有志による活用が進む一方、経営層の意識改革にもSnowflakeは大きな役割を果たしています。Snowflake導入には、将来の情報共有基盤づくりという狙いもあり、Snowflakeによる価値あるデータの活用、さらにはデータ共有機能を活用することも考えているとのことです。

そして、日本の製造業として、DX注目企業2022(経済産業省、東京証券取引所、情報処理推進機構)に選定(2022年6月)、製造業のDXを支援する新会社「横河デジタル」を設立(2022年7月)、製造業のDX成功例として語られることが多いのが、横河電機様(Web、 PDF)です。Snowflakeによる分析処理の劇的な高速化を実現し、DX推進における大きな成果に繋げています。さらに分析処理に要する時間の劇的な短縮化による開発サイクル高速化が、現在取り組む予測型AI開発においても大きな役割を果たしています。

この他にも多くのお客様でSnowflakeが活用されており、 こちらにSnowflake採用事例がまとまっていますので、ぜひアクセスください。

※本記事はSnowflakeから提供を受けております。

[PR]提供：Snowflake