日立製作所は11月14日、Hadoopデータ処理基盤で行うビッグデータ分析を、最大100倍に高速化する技術を開発したと発表した。

この技術は、ソフトウェア処理に合わせて作られているデータ処理手順を、ハードウェア上の並列処理に適した手順に変換した上で、さまざまな形式のデータをFPGA(Field Programmable Gate Array)上で高速に処理することを可能にしたもの。

同社はHadoopの処理手順を解析し、分散処理効率を考慮した上で、FPGAでの並列処理に適した順序に処理命令を変換する、データ処理手順変換技術を開発。また、さまざまなデータの形式やサイズを判別する解析回路を設け、データ形式やサイズに応じて複数のデータを一つの回路でまとめて処理するなど、並列処理の最適化調整を行う回路設計を考案した。

技術概要

同社はこの技術をHadoopデータ処理基盤に適用し、サンプルデータの分析を行った結果、データ処理性能を最大100倍に高速化できることを確認したという。

同社ではこれにより、高速分析に必要なサーバ数を大幅に削減することができるため、現在広く行われているHadoopベースのビッグデータ分析の低コスト化が可能だとしている。

同社は今後、顧客との実証実験を通じて、本技術の実用化をめざすとしている。