100億件のIoTデータ分析を約70倍高速化、東芝がDWH不要の「GridDB V6.0」を提供

このIoTニュースのまとめ

・東芝が大規模IoT向けデータベース「GridDB Enterprise Edition V6.0」の提供を開始
・100億件規模の時系列データ分析を約2900秒から約41秒へ高速化
・DWHを併用せず、データの収集から長期間データの分析までを単一基盤で実行可能

東芝は、大規模IoTシステム向けスケールアウト型時系列データベース「GridDB Enterprise Edition(GridDB E.E.)」の新バージョンとなる「GridDB E.E. V6.0」の提供を11月4日より開始した。

GridDB E.E.は、設備やセンサー、運用ログなどから高頻度かつ大規模に発生する時系列データのリアルタイム処理を目的としたデータベース。ペタバイト級のデータへの対応に加え、高い信頼性や柔軟な拡張性、SQLインタフェースによる開発のしやすさなどを特徴としている。

産業IoT(IIoT)や社会インフラの分野では、設備やセンサーなどから収集した大量の時系列データを長期間蓄積し、設備運用の最適化や品質管理、予兆保全などに活用するニーズが高まっている。

一方、従来の大規模IoTシステムでは、データの収集と蓄積を担うデータベースと、長期間にわたるデータの分析を担うデータウェアハウス(DWH)を組み合わせる構成が採用される場合があった。この構成では、収集用データベースからDWHへのデータ転送や加工処理が必要となり、リアルタイム分析が難しくなるほか、システム構成の複雑化や導入・運用コストの増加が課題となっていた。

列指向索引で必要なデータを効率的に読み出し

GridDB E.E. V6.0では、長期間蓄積された時系列データを効率的に格納し、高速に分析する「列データ高速分析機能」を新たに搭載した。

同機能では、分析の対象となる列を「列指向索引」として保持し、分析時に必要な列データだけを効率的に読み出す。多数のカラムを持つ大規模なテーブルから一部のカラムを参照する場合に、不要なデータの読み出しを抑え、I/Oの削減につなげる仕組みとなっている。

また、列指向索引のデータを圧縮して格納し、圧縮した状態のままメモリ上で演算することで、ストレージから読み出すデータ量とメモリ使用量を抑えながら、分析処理を高速化するという。

• 

  列データ高速分析機能を活用したデータ収集・分析基盤の統合イメージ (出所:東芝)

これにより、従来は分析専用のDWHで処理することが多かった長期間の時系列データについても、GridDB単独で高速に分析できるようにした。データの収集基盤と分析基盤を統合することで、基盤間のデータ転送や加工処理を削減し、収集したデータを同一の基盤上で分析できるとしている。

100億件の分析処理を約2900秒から約41秒へ短縮

東芝によると、工場IoTを想定した約100億件の長期間時系列データを用いた測定では、従来バージョンのGridDB V5で約2900秒を要していた集計処理を、GridDB V6では約41秒で実行できたという。処理時間は従来比で約70分の1に短縮されたことになる。

• 

  100億件の長期間時系列データ分析における処理時間の比較 (出所:東芝)

測定には、日時、文字列、数値からなる20カラム、約100億件の工場IoTデータを使用。6コアCPU、64GBメモリ、12TB HDDを搭載したサーバ6台によるクラスタ環境で、日付による絞り込みと1～3カラムの集計関数からなるテーブルスキャンクエリを実行した。

GridDB E.E. V6.0では、分析用のデータ転送や整形処理を削減できるため、収集したデータをそのまま分析可能になる。設備監視や予兆保全、品質管理、需給最適化など、迅速な判断が求められるシステムにおけるリアルタイムなデータ活用を支援する。

また、分析専用DWHや収集用データベースからDWHへのデータ連携処理を削減できるため、システム構成の簡素化も可能になる。分析専用基盤が不要となる構成では、ハードウェアやソフトウェア、保守・運用にかかるコストの削減も期待できるという。

製造やエネルギー、社会インフラでの利用を想定

GridDB E.E. V6.0は、製造、エネルギー、社会インフラなど、大量の時系列データを扱い、デジタル化やAI活用が求められる領域での導入を想定している。

特に、設備やセンサーから発生するデータをリアルタイムに収集し、長期間蓄積されたデータを高速に分析する用途への適用を見込む。東芝では、GridDBを産業IoTや社会インフラ分野におけるデータ活用基盤として引き続き強化し、リアルタイムデータ活用の高度化とAI活用の推進に貢献していくとしている。