日本電気(以下、NEC)は15日、同社の次世代イノベーションプラットフォーム「SX-Aurora TSUBASA」上でAIにも利用可能なビッグデータ向け高速分析プラットフォームを、米Hortonworksと共同開発すると発表した。

2017年9月にビッグデータ活用における大規模分散処理プラットフォーム分野での戦略的協業の強化を発表した両社は、より幅広い業種や分野でビックデータの高速かつ高度な分析を可能にするため、両社の強みを活かしたソリューション基盤を、2018年度中に提供予定だとしている。また、今回の共同開発の成果はオープンソースとしての公開が予定されている。

この共同開発により、SX-Aurora TSUBASAはHadoop/Spark領域での代表的なリソース管理・分散アプリケーション管理基盤である「YARN」に対応する。従来のHadoop/Sparkによるビッグデータ解析プログラムがSX-Aurora TSUBASA上で管理可能となり、容易なアプリケーション連携とシステム管理者の負荷軽減を実現する。YARNを利用している一般的なシステム構成では、従来同等の解析を最大99%少ないサーバリソースで実行できるということだ。

また、NECのミドルウエア「Frovedis」をSparkに組み込むことにより、SX-Aurora TSUBASA上でのSparkを使用したAIアプリケーションが、従来のサーバ比で最大100倍高速に動作するという。Spark上で機械学習用のライブラリ「MLlib(エムエルリブ)」などを活用したAI・ビッグデータ処理を高速に実行したい利用者へ、通常のHadoop/Sparkと同様な管理環境で利用可能な使いやすいプラットフォームとして提供していくということだ。

NECは、SX-Aurora TSUBASAをHadoopアプライアンス製品「Data Platform for Hadoop」に適用し、AI・ビッグデータ分析をより高速かつ正確に実行できる環境を提供することで、顧客のビジネス成果向上に貢献するとしている。