ZettaScalerスパコンの最大の特徴「浸漬液冷」

ZettaScalerスパコンの特徴は、部品を搭載したプリント基板を絶縁性液体に漬けてしまう浸漬液冷を行っている点である。次の図のように、1kWを空冷する場合は、空気の場合は、毎分3.34m3の空気を送る必要があり、そのためのファンは125Wの電力を消費してしまう。しかし、浸漬液冷では毎分0.021m3と1/1590の体積の冷媒を動かせばよく、そのためのポンプの消費電力は19.8Wで済むという。

  • 1kWの発熱を空気で冷却する場合と液体に浸漬して冷却する場合の比較

    1kWの発熱を空気で冷却する場合(左)と液体に浸漬して冷却する場合(右)の比較。液体を使えば、空気の1590分の1の体積の冷媒で済み、冷媒を動かすのに必要な電力は125Wから19.8Wに減少する

2017年11月のTop500ではGyoukou(暁光)のHPL性能は19.1PFlopsであったが、12月には20.4PFlopsまで性能を上げ、電力効率も14.2GFlops/wから16.3GFlops/wまで改善した。同時に、菖蒲システムBの電力効率も17.0GFlops/wから18.4GFlops/wに改善した。

  • 暁光は2017年末にHPL性能と電力効率を改善

    暁光のハードウェアが揃ったのは2017年11月のTop500のデータ提出の締め切り直前で、十分な調整が出来なかった。このため，データ提出後も改善を続け、12月13日にHPL性能と電力効率の改善を発表した。これにより、暁光のHPL性能は20.4PFlopsとなり、菖蒲システムBの電力効率は18.4GFlops/Wに改善された

HPL性能と電力効率の改善手法

この性能の改善は、HPLで計算する行列のサイズを1,309,440から1,388,800と大きくしたことが効いている。なお、暁光のHPLの行列サイズは5,952,000であり、これも大きくされていると思われるが、具体的な数字は公表されていない。

電力効率の改善は、行列サイズの拡大に加えて、電源ユニットの変換効率を5%改善し、512個のPEZY-SC2チップの電源電圧を個別に調整し、消費電力を最適化した。この電源電圧の調整を自動で行うシステムを開発し、一晩で菖蒲システムBの512個のPEZY-SC2チップの電源電圧を最適化できるようになったという。

菖蒲システムBの場合は、これらの対策全体でGFlops/Wを8%改善することができ、電力効率を18.4GFlops/Wに引き上げた。

  • HPLの行列サイズの拡大と、電源周りの最適化で、さらなる高性能化と低消費電力化の両立を実現

    改善の第1点は、HPLの行列のサイズを1,309,440から1,388,800に拡大したことである。そして、電源の効率を5%引き上げ、システムの512個のPEZY-SC2チップの電源電圧を最適値に自動調整するプログラムを開発した。これにより、一晩で電源電圧調整ができるようになった。結果として、菖蒲システムBの電力効率は8%改善した

次の図のグラフが菖蒲システムBのHPL実行時の消費電力の推移を示すものである。最後の方で、計算する行列が小さくなって、仕事の無いPEZY-SCが出てきて消費電力が減るのはある程度はやむをえないが、消費電力が減っている期間が短い方が望ましい。この消費電力の推移のグラフを見ると、全部のPEZY-SC2チップを遊ばせないようにうまく負荷分散する計算法になっていることが分かる。

  • 菖蒲システムBのGreen500の測定条件と測定結果

    菖蒲システムBのGreen500の測定条件と測定結果。レベル1測定であるので、ネットワークは全部、計算ノードは40%のノードだけの電力を測定している。最後の10%くらいの期間では消費電力が減っている程度で、比較的良い負荷分散が行われていることが分かる

Top500のレポートでも触れたが、現在は、海洋開発研究機構(JAMSTEC)との共同研究が打ち切られ、暁光は撤去されてしまった。Top500は、稼働中のシステムだけのリストであるので、自動的に暁光は2018年6月のTop500リストから姿を消すことになってしまった。

少人数のベンチャーの製品であるので、使えるツールが揃っていないとか、慣れないと最適化が難しく使い難いという評判も聞くが、これだけの規模のスパコンを倉庫で眠らせるのはもったいない。ぜひ、どこかが設置の名乗りを上げて貰いたいものである。

  • 暁光は現在、倉庫で眠っている

    海洋開発研究機構(JAMSTEC)との共同研究が打ち切られ、暁光は撤去され、現在は倉庫で眠っている。もったいない話である

V100 GPUを搭載したスパコンも開発中

現在、PEZY/ExaScalerでは、NVIDIAのV100 GPUをアクセラレータとして使うZettaScaler-2.4の開発を行っている。次の図を見ると、細長いボードにCPUと3個のV100 GPUが搭載され、このボードが12枚でブリックになるようである。

NVIDIAのV100 GPUの方が性能が良いという訳ではないが、V100 GPUを搭載したシステムが欲しいというユーザの要求に応える製品開発である。次回のGreen500には、このシステムで参加できる予定であるという。

  • PEZY/ExaScalerは、PEZY-SC2の代わりにNVIDIAのV100 GPUを使うZettaScaler-2.4を開発している

    PEZY/ExaScalerは、PEZY-SC2の代わりにNVIDIAのV100 GPUを使うZettaScaler-2.4を開発している。V100を使いたいというユーザの要望に応えるための開発である。ZettaScaler-2.4は、次回のGreen500へのデータ提出を狙っている

開発が遅れている次世代メモリ技術

PEZYはUltraMemoryと共同で、プロセサと積層DRAMチップを磁界結合で2TB/sのバンド幅の接続するTCI(Thru Chip Interface)を開発している。

PEZY-SC2はDDR4 4ポートの76.8GB/sのメモリバンド幅しかないが、TCIが使えるようになれば、これが2TB/s(4個の積層TCI DRAMを使用する場合)と20倍以上のメモリバンド幅となり、メモリ性能は改善する。

TCIは開発が遅れているが、2018年の末にはいくつかの評価結果を公表できると考えているという。

  • PEZYとUltraMemoryは磁界結合で、MPUとDRAM間を高バンド幅で接続するTCIの開発を進めている

    PEZYとUltraMemoryは磁界結合で、MPUとDRAM間を高バンド幅で接続するTCIの開発を進めている。TCIの開発は遅れているが、今年末にはいくつかの評価結果を発表するという

次世代プロセサは7nmを採用

そしてPEZYの社内ではPEZY-SC3の設計が進んでおり、もうすぐにテープアウトの予定であるという。PEZY-SC3は7nmプロセスを使い、4096プロセサコアを集積する。そして各コアは128bit長のSIMD演算器を搭載するとのことであり、同一クロック周波数での倍精度浮動小数点演算性能は、SC2と比べて4倍になる。

さらに、PEZY-SC3を使ってZettaScaler-3スパコンを開発する。浸漬液冷の能力の改善など行い、30GFlops/Wの電力効率を目指す。

  • SC3は7nmプロセスを使い、4096PEを集積する

    PEZYはSC3の開発を続けており、もうすぐテープアウトの予定という。SC3は7nmプロセスを使い、4096PEを集積する。各PEは128bit SIMDとなり、同一クロックでのSC3の演算性能は、SC2の4倍となる。PEZY-SC3チップを使い、ZettaScaler-3スパコンを開発する。ZS-3スパコンでは30GFlops/Wを目指す

ということで、PEZY/ExaScalerは前社長のスキャンダルによるダメージにも拘わらず、開発を続けているだけではなく、意気軒高である。