既報の通り2014年10月14日にExaScalerが液浸の冷却システムを発表した。この冷却システムは、完全開放型で保守性に優れ、システム全体を高効率に冷却できると謳われている。

このExaScalerは、1024コアのPEZY-SCプロセサを開発したPEZY Computingの姉妹会社で、PEZY-SCやその後継チップのような高密度プロセサの実力を十分発揮させるためには、高密度の発熱を冷却できるシステムが不可欠ということで、PEZY Computingの齊藤社長兼CEOが中心となってPEZY Computingとは別に開発を推進し、今年4月に設立された会社である。

不活性の液体にプリント板ごと漬けて冷却する液浸の冷却システムとしては、東京工業大学のTSUBAME-KFCが採用したGreen Revolution Computingのシステムがある。このシステムは、SpectraSynという合成オイルを使うもので、保守などの際にプリント板を引き上げた場合、オイルの除去に時間と手間がかかり扱いにくいという問題があるという。このため、齊藤社長の発案と基本構想から、より扱い易い液冷システムの研究を開始し、ある程度めどがついた今年4月に、この方式の冷却システムを開発するExaScalerを立ち上げたとのことである。

このExaScalerが8Uの浸漬液冷システム「ESLC-8(Exascaler Submersion Liquid Cooling-8)」の開発を発表したので、早速、どのようなものかを取材に行った。取材に対応して戴いたのは、ExaScalerの方ではなく、創業者であるPEZY Computingの齊藤社長である。これは、社員9名のExaScalerの幹部は、共同研究を行っている大学共同利用機関法人 高エネルギー加速器研究構(高エネ研)に出張していて、都合が付かなかったという事情もある。

今回、発表されたESLC-8の諸元を次の表に示す。

ESLC-8の諸元

1Uの薄型サーバを8台収容する液浸冷却槽を持ち、各サーバには最大4台のGPUを搭載することができる。2台の室外機を接続した場合の冷却能力は13,800Kcal/hで、これは16kWの連続負荷に相当する。冷媒は、不活性のフッ化炭素系の液体とのことであるが、詳細な仕様は非公開となっている。そして、冷却液を100リットル/分の能力をもつポンプで循環させている。

全体の重量は約480kgで200リットルの冷媒の重量が大きな割合を占めているという。

今回発表されたものは1Uサーバを8台収容するESLC-8だけであるが、同社は、 1Uサーバを16台、32台収容するより大型のESLC-16、ESLC-32やより小型のESLC-4(1Uサーバ4台)も順次、開発して行く計画であるという。

液冷システムとしては、合成オイルを使う方式とフッ化炭素を使う方式の製品が、すでに販売されている。合成オイルを使うものとしては、前述の東工大のTSUBAME-KFCなどがあり、フッ化炭素系のNOVECという冷媒を使う冷却は、香港のASICMINERというビットコインの採掘センターで使われている。Allied Controlという会社が開発したこのシステムは、電子部品の発熱でNOVECを気化させて、気化熱で熱を運び、冷却して液体に戻すという二相式の冷却方式を用いている。気化熱を使うので、少量の液体で多くの熱を運べるという点で効率の良い方式であるが、蒸気を逃がさずに冷却してもとの液体にして循環させる必要があり、密閉式のシステムとする必要があり、運用上、扱いにくい点があるという。

このため、ExaScalerでは、1カ月で1%程度と蒸発量の少ない高沸点のフッ化炭素系の冷媒を用い、開放系で運用しても高価な冷媒の減少が少なく、合成オイルと比較すると、保守の際の面倒が大幅に少ないシステムを完成したという。

ExaScalerは前述の高エネ研以外に、東京大学理学部情報科学科とも共同研究契約を結んでおり、11月16日から開催されるSC14において、東京大学のブースでESLC-8をパネル展示する予定である。

次の写真に、ESLC-8の浸漬冷却槽の外観を示す。冷却槽の右側の面の下側の2本のパイプが冷たい冷却液を送り込むパイプで、左側の面の上側に見えるのが温まった冷却液を取り出すパイプである。それぞれ2本ずつのパイプがあるが、これらは並列になっており、2系統の室外機に接続できるようになっている。

ExaScalerのESLC-8浸漬冷却槽

浸漬冷却槽を上からみたところ

ケーブルは冷却槽の上端に近い側面に設けられた穴から引き出されており、右側のケーブルはInfiniBandスイッチへの接続用である。冷却槽には蓋があり、ケーブルの引き出し口にもゴムの幕が付けられているが、密閉という状態にはなっていない。

この写真では冷却液に浸かっているのかどうか分からないが、実物に目を近づけて見るともやもやと冷却液が湧き上がってくる模様が見える。