理研のスパコン「菖蒲システムB」がGreen500で連覇

スパコンのエネルギー効率を競うGreen500は、理化学研究所(理研)の和光本所の情報基盤センターに設置されたExaScaler製の「Shoubu System-B(菖蒲システムB)スパコン」が前回に続いて1位を獲得した。また、高エネルギー加速器研究機構(KEK)に設置された「Suiren2(睡蓮2)」が2位、PEZYの社内に設置された「Sakura(桜)」が3位になり、昨年11月と同様に上位3システムをPEZY/ExaScalerのスパコンが占めることになった。

  • バージニア工科大のWu Feng教授

    Green500の1位となったPEZY/ExaScalerのShoubu System-Bを表彰する主催者であるバージニア工科大のWu Feng教授

菖蒲システムBの前回のスコアは17GFlops/wであったが、今回は、18.4GFlops/wと8.2%スコアを伸ばしての1位受賞となった。

ISC 2018のGreen500 BoF(Bird of Feathers)では、1位システムの関係者が受賞記念の講演を行うのが慣例となっており、今回は、ExaScalerのCTOである鳥居淳氏が講演を行った。

  • ExaScalerの鳥居淳CTO

    ISC 2018のGreen500 BoFで1位受賞記念講演を行うExaScalerの鳥居淳CTO

低消費電力と高演算性能を両立するPEZY-SC2チップ

これらの3システムは、PEZYが開発した独自仕様のPEZY-SC2と呼ぶ超メニーコアのプロセサを使っている。PEZY-SC2は1チップに2048プロセサエレメント(PE)を集積する。NVIDIAのGPUのCUDAコアは32コアが同一の命令を実行するSIMT方式であるが、PEZYのPEは全PEが独立の命令列を実行できるMIMD(Multiple Instruction Multiple Data)方式のプロセサである。SIMTの方が命令処理系のオーバヘッドが小さく低電力にできそうな気もするが、PEZYは独自のシンプルな命令系を使い電力効率を高め、Green500 4位となったNVIDIAのDGX SaturnV Voltaスパコンを超える高い電力効率を実現している。

  • PEZY-SC2プロセサの特徴

    PEZY-SC2プロセサの特徴。MIMDのPEを2048個集積し、低電力で動作する。各PEは8wayマルチスレッドで動作する (出典:このレポートのすべての図は、ISC 2018のGreen500 BoFにおけるExaScalerの鳥居CTOの発表資料のコピーである)

PEZY-SC2チップの諸元を次の図に示す。製造プロセスはTSMCの16nm FinFET+でチップサイズは27.2mm×23.7mmと巨大である。2048個のPEのクロックは1GHzが目標であるが、現在は700MHzで動作しているという。また、PEに加えて、各種の制御を行うための6個のMIPS64コアを搭載している。

カスタムの2TB/sの高バンド幅のメモリI/Fを実装しているが、現在は、まだ、TCI-DRAMが完成しておらず、メモリは4ポートの2400MHzのDDR4(4ポート合計で76.8GB/s)を使っている。

PEZY-SC2の演算性能は倍精度浮動小数点演算では4.1TFlops(1GHzクロック時)で、消費電力は計算値であるが200Wとなっているが、これは1GHzクロックの時の値である。Green500測定は、700MHzのクロックを使用し、菖蒲システムBの512チップの内の400チップを使用して行っている。この時のシステム全体の消費電力は47kWであり、PEZY-SC2チップ1個あたりの消費電力は117.5Wと計算される。しかし、PEZY-SC2は2048PEの内の64PEは歩留まり向上のための冗長となっており、使用しているPEは1984PEとなっている。さらに、この電力値は4チャネルのDDR4 DRAM、Xeon D CPUやInfiniBandなどの電力を含んでおり、チップ単体の消費電力はもっと小さいはずである。

  • ZS-2.2の諸元

    16nmのFinFET+プロセスで作られ、チップサイズは27.2mm×23.7mm。クロックの目標は1GHzであるが、現状では700MHzで動作させている。1GHz動作時の推定消費電力は200W

ZettaScaler-2.2スパコンの実装は特徴的である。次の図のようにPEY-SC2を1個搭載した小型のボードを32枚搭載するブリックと呼ぶボードを4枚搭載し、次の図の実装で128個のPEZY-SC2プロセサを搭載できる。

ブリックは底のボードのコネクタに繋がり、ここから電源を供給する。このため、ZettaScaler-1スパコンで見られたブリックの上側の電源コネクタやケーブルが不要になり、すっきりした実装になっている。

電源ユニットは底のボードに搭載され、3相200VのACから直接48VDCを生成し、電源の損失を減らしている。

  • ZettaScaler-2.2システムの実装

    ZettaScaler-2.2システムの実装は、32個のPEZY-SC2を実装するブリックが単位であり、この図に見られる単位で128チップを搭載できる。200V3ΦACから48VDCを作る電源は底部のボードに収容されている