NTTデータおよびNTTデータ数理システムは4月27日、データウェアハウス(DWH)に蓄積されるより大量なデータに対してより高速にデータ分析を行うためのIn-Database Analytics技術を共同で開発し、HPC(High Performance Computing)環境において大規模ベンチマークを実施した結果、従来比1000倍以上の件数の高速データ分析に成功したと発表した。
両社は、従来のデータ分析技術ではビッグデータを対象とした場合、処理速度や扱えるデータ量に限界があるとして、分析処理(=Analytics)をデータベースの中で(=In-Database)実施する技術開発(以下、In-Database Analytics技術)に取り組んできた。
|
In-Database Analyticsによるデータ分析の仕組み |
今回の大規模ベンチマークでは、In-Database Analytics技術をSAPのDWH「SAP IQ」に適用し、インテル製最新プロセッサを搭載した業界標準サーバの環境において分析処理性能を測定した。
その結果、R言語などの従来の分析ツールや既存製品の処理限界量に比べ、1000倍以上のデータ件数が分析可能になり、単位時間内における処理速度も大幅に向上することを確認したという。
また、1000並列以上という大規模環境においてもサーバ数やコア数に合わせて性能向上する、高い性能拡張性を確認。
そのほか、HPC環境においてノード数を1ノードから10ノード、20ノードに増加させた場合、SAP IQの卓越した並列分散処理に相乗して、10ノードで約5倍、20ノードで約10倍と線形的に処理性能が向上する高いスケールアウト効果が確認された。
