理研に設置されたExaScaler/PEZYの液浸スパコンシステム「Shoubu(菖蒲)」

6月25日に理化学研究所(理研)とPEZY、ExaScalerは、理研の情報基盤センターへのスーパーコンピュータ(スパコン)「Shoubu(菖蒲)」の設置を行い、6月末には一部試験稼働の予定と発表した。理研の菖蒲スパコンは、高エネルギー加速器研究機構(KEK)に設置された「Suiren Blue(青睡蓮)」と同じExaScaler-1.4マシンであるが、Suiren Blueは1液浸槽であるのに対して5液浸槽の構成となっている。Suiren Blueの発表資料では、ピーク演算性能は428.3TFlopsとなっており、5液浸槽では2141.5GFlopsと国内有数の規模になる。

ExaScaler-1.4の基本的な保守単位は、4計算ノードを収容する「ブリック」である。次の写真に示すように、キャリアボードと呼ぶ基板にXeonモジュール(中央の白いヒートシンク)と4個のPEZY-SCモジュール(黒いヒートシンク)を搭載したものが1つの計算ノードで、キャリアボードの表裏にノードが搭載される。そして中央の厚いアルミ板の両側に同じものが載るので、ブリック全体では4ノードを収容している。なお、この写真の左下の箱はキャリアボード経由で2ノードに電力を供給する安定化電源モジュールである。

ExaScaler-1.4の液浸槽は16ブリックを収容し、各ブリックは計算ノードを4個搭載しているので、全体では、Xeon 64個、PEZY-SC 256個のシステムとなる。また、ExaScaler-1.4は、これらのノード間を接続するInfiniBand(IB)スイッチを液浸槽に内蔵している。

次の写真のように、Shoubuでは5台のExaScaler-1.4の液浸槽が並んでいる。なお、奥に見える無限大マークの筐体は、富士通のFX100で構成されるHOKUSAI(北斎)Great Waveスパコンである。

ExaScaler-1.4の液浸槽は、2014年11月にGreen500で2位となったKEKのSuirenに使われているExaScaler-1の液浸槽よりは一回り大きくなっている。しかし、冷媒のパイプの取り回しなどがコンパクトになっているので、設置面積的にはほとんど増加していないという。

次の写真は、液浸槽を裏側から見たもので、冷媒を循環させるパイプや電源ケーブル、IBケーブルなどが見える。左側にある黒い筐体には、液浸槽をまたぐノード間の接続を行うIBスイッチが収容されている。

液浸槽は16台のブリックを収容することができるが、取材した時点では手前側の12ブリックだけが実装され、奥の4ブリックのスペースは空きであった。各ブリックからは4本のIBケーブル、2本の電源ケーブルが引き出されており、液浸槽の上部はケーブルが混み合っている。ただし、大部分のIBケーブルは液浸槽に内蔵されたIBスイッチに接続されており、後ろ側の窓から外に引き出されているIBケーブルの本数は少なくなっている。

冷却のために冷媒を循環させているので、次のビデオのように、液面は湧き上がっているように見える。

前の写真を注意深くみると、各ブリックの中央には厚いアルミ板があり、その上端に近い部分に丸い穴が開いている。この部分にクレーンのフックを取り付けてブリックを釣り上げて交換や保守を行う。しかし、ケーブルが輻輳しているので、被さっているケーブルを抜かないと、ブリックを取り出せない感じである。

クレーンの台は、液浸槽の端に付けられたレールに乗っており、前後方向に移動する。そして、クレーンは台の上で左右に移動するようになっており、任意のX、Y位置のブリックのところにもっていくことができるようになっている。

ブリックは約15kgと重いので、モーターで釣りあげる構造になっている。なお、液浸槽のカバーは手前に引き上げて液浸槽の裾に収納される構造になっており、クレーン移動やブリックの交換の邪魔にならないようになっている。

6月末の一部試験稼働という発表の通り、取材時点では12ブリック×5液浸槽でフル実装にはなっていなかったのであるが、近いうちに、フル実装に引き上げ、さらに半年ごとに仕様を更新して行くとのことである。