2014年11月のGreen500では、ドイツのGSI Helmholtz Centerの「L-CSC」というマシンが5,271.81MFlops/Wで1位、高エネルギー加速器研究機構(KEK)の小型スーパーコンピュータ(スパコン)「Suiren(睡蓮)」は4,945.63MFlops/Wで、惜しくも2位となった。しかし、既報のように、ソフトウェアのチューニングにより、このほど全区間電力での性能として、L-CSCを超える5452MFlop/Wを達成したと発表された。

睡蓮スパコンは高エネルギー加速器研究機構(KEK)の計算機センターに設置されている。このセンターの主要マシンは「SAKURA」と「HIMAWARI」というIBMのBlueGene/Qシステムであり、睡蓮は、そのマシンルームの端のコンピュータ室空調機(CRAC)と壁の間の隙間に設置されている。

KEKに設置された睡蓮スパコン。手前の蓋の空いた2台とその奥に2台の液浸槽があり、合計4台の液浸槽で32ノードのシステムを構成している。人物はExaScalerのCOOである齊藤公章氏

上記の写真に写っている人物がExaScalerのCOOである齊藤公章氏で、同氏が背中を付けているのがコンピュータ室空調機で、壁までの距離は1.5m程度しかない。本来、コンピュータを置くスペースではないのであるが、睡蓮が小さく、液冷なので冷気を供給する必要がないので置けてしまったということになっている。

各液浸槽には8枚のマザーボードが垂直に挿入された形で入っており、各マザーボードは2ソケットで、Xeon E5 2660 V2 CPUが2個搭載されている。そして、各Xeon CPUから、PCI Express経由で4枚のPEZY-SCボードが接続されている。ということで、睡蓮全体は32マザーボードで、Xeon E5 2660 V2が64チップ、PEZY-SCボードが256枚で構成されている。

蓋を開けた状態。各液浸槽に8枚のマザーボードが垂直に挿入されている。手前に見えるケーブルはInfiniBand

液浸槽にはマザーボードの上端を少し超える高さまで、冷媒のフロリナートが入っているが、透明で、よく見ないと液体が入っているのが分からない。

32枚のマザーボードからは各2本のInfiniBandケーブルが出ており、液浸槽の間に置かれたMellanox製のIBスイッチで相互接続されている。

4台の液浸槽の中間に置かれているInfiniBandスイッチ(壁際)

液浸槽でPEZY-SCやCPUを冷却して、温まったフロリナートはパイプで室外に引き出され、ポンプで冷却器に送り込まれる。冷却器はエアコンと同じようなもので、フロリナートを冷却する。そして手前に見えるのはエアコンの室外機に相当する部分で、外気に熱を排出する。なお、冷却系は冷却槽ごとに独立であり、基本的に同じものが4系統設置されている。

この冷却系は、睡蓮が止まっている状態では15℃以下にフロリナートの液温を下げることができるが、稼働している場合の液温は30℃～35℃程度になる。

室外に置かれた睡蓮の冷却器。全部で8台の冷却器がある。後ろに見える窓の向こう側に睡蓮が設置されている。これらのパイプにはフロリナートが流れており、中央に見える青いポンプで循環させている

各液浸槽に余裕を持たせるためと、種々の熱交換器の効率を確認する目的で、各液浸槽に2台の冷却器が設置されており、この2台を直列接続するか並列接続するかを実験的に切り替えられる構成になっている。このため、パイプが多く、複雑な配管になっているという。なお、この実験から得られた知見は、次のExaScaler-1.5に反映していくという。