世界一のスパコン「神威 太湖之光」のディープラーニング

Sunway TaihuLightのディープラーニング

Sunway TaihuLightでは、swDNNというライブラリが用意されている。このライブラリには、全対全接続部の計算を行うBLAS、プーリング層、活性化関数、バッチ正規化、そして、90%以上の計算時間を占める畳み込み層の計算ライブラリが含まれている。

swDNNの性能として、畳み込み計算の性能が1.6TFlops以上で、これはNVIDIAのcudnn v5と比較して1.91倍～9.75倍と言うグラフが示されたが、測定条件がまったく分からないので、判断のしようがない。

基本的な演算を行うswDNNはできたが、ニューラルネットを記述して学習や推論を行う、いわゆるフレームワークは、現在、開発中である。標準的なフレームワークの1つであるCaffeをベースにカスタマイズを行っており、MPIを使う2レベルのパラメータサーバを使う並列化をおこなうという。

swDNNを使ってSunway-Lingoという碁プログラムの開発も進んでいる。

長期計画であるが、伝統的なHPCアプリケーションでは、これまでのサイエンスからサービスに用途を広げることに力を入れて行く。気象や気候シミュレーションの利用、地震データの処理、流体解析を使った先進的製造などが挙げられている。

そして、ディープラーニング関連のアプリケーションも重点項目である。swDNNフレームワークの開発、face++と協力して顔認識、Dogouと協力して音声認識や翻訳などの開発を進める。また、将来的には、DNN用のSunwayチップの開発と言う可能性も考えられるという。

そして、ビッグデータに関しては南京のNational Health and Medical Big Data Centerと連携して行く。

中国は、スパコンハードウェアの分野では、米国と並ぶ世界のトップとなっており、2016年11月のGordon Bell賞の受賞に見られるように、アプリケーション分野でもトップレベルに近づいてきている。ディープラーニングやビッグデータの分野は、TaihuLightの利用は始まったばかりという印象であるが、中国にはBaiduやDeephiなどのディープラーニングでは先頭を走る企業があり、急速に力を付けてくると予想される。

以上、長い話になったが、COOL Chips 20でのHaohuan Fu教授の基調講演は盛りだくさんで、TaihuLightについても、多くの新しい情報が含まれていた興味深いものであった。