NECは12月3日、ビッグデータ向けに世界最速レベルのリアルタイム処理を低コストで実現するソフトウェア技術を開発したと発表した。
NECが今回開発した技術は、高速処理に適した数十から数百のプロセッサを実装した汎用メニーコアサーバをさらに効果的に活用するソフトウェア。このソフトウェアは、分析処理を実行するアプリケーションプログラムの効率的な並列化と、並列化された処理を多数のプロセッサコアに均一に分散させることを可能にする。
並列化技術では、NECがベクトル型スーパーコンピュータの開発で培ったプログラムの並列化技術を応用し、並列化されていないプログラムを並列処理に適したプログラムに容易に変換する技術を開発。これにより、従来は数個のプロセッサコアにしか割り当てできなかったプログラムも、汎用メニーコアサーバ中の数百個以上のプロセッサコアに割り当てることができ、処理の高速化を実現した。
負荷分散技術では、並列処理で発生するプロセッサコア間の処理負荷の差異を瞬時に均一化する技術を開発。負荷が大きいプロセッサコアから小さいプロセッサコアへ、自動的に処理を移す階層的負荷制御を実現する。
NECはこのソフトウェア技術の効果を検証するため、数百人が映っている映像の中から1名を特定する処理に適用し、百個以上のプロセッサコアを搭載したメニーコアサーバで実行した。その結果、従来は数分を要していた処理を1秒以内に短縮することができ、処理速度を100倍以上に高められることを確認したという。
