不活性液体を使う浸漬液冷方式

コールドプレートでは主要発熱部品だけの放熱に限定され、より多くの部品の放熱を行おうとすると、カスタムの切削加工などが必要となり、コストが掛かる。それなら、電気を通さない不活性の液体にプリント板を漬けてしまえば、全部の部品の放熱ができるという方式が考えられる。これが不活性液体を使う浸漬冷却である。

不活性の液体として使われているのは、Exxon Mobile Chemicalが製造している商品名「SpectraSyn(Poly-Alpha-Olefin:PAO)」、3Mが製造している商品名「Fluorinert(Fluorocarbon)」、同じく3Mが製造している商品名「Novec(PerFluoroKetoneやHydroFluoroEtherなど)」がほとんどである。

SpectraSynは車のエンジンオイルのようなもので比較的安価であるが、多少べとつくので、修理などの際にプリント基板や部品から取り除くのが大変という難点がある。FluorinertやNovecは蒸発してしまうのでしばらく放置すれば取り除けるが、冷却液が非常に高価なのが難点である。例えば、通販サイト「モノタロウ」でのフロリナート1.5Kg入りのビンの値段は、種類によって異なるが、34,900～50,353円となっている。1.5Kgといっても比重が1.7～1.9くらいと重いので、ビールの大瓶より少し多い程度の体積でしかない。つまり、ビールの100倍以上高い液体である。Novecの方はフロリナートの半分くらいのお値段であるがそれでも安くはない。

大量に買えばもっと安くなるのであろうが、これで数100リットルのタンクを満たすのは大変である。

Green Revolution Cooling(GRC)はSpectraSynを冷媒として使っている。写真の製品は42Uの標準ラックを横に倒してオイルに漬けたようなもので、これにオイルを循環させて、外部の熱交換器で冷却している。なお、この写真では隙間をあけてサーバを入れているが、詰めて実装することができる。昨年11月と今年6月のGreen500で1位を取った東工大のTSUBANE-KFCは、このGRCの製品を使っている。

LiquidCool Solutionsの製品は、サーバボードをアルミのケースに入れて密閉し、ケースにオイルの供給と排出のコネクタを付けたという構造になっている。合成オイルで満たされるのはケースの中だけなので、開放型のGRCのものより多少は扱い易いと思われるが、修理などの際は、ケースを開けて、オイルを除去する必要があり、手間が掛かりそうである。

なお、この写真ではアルミケースを水槽に入れているが、これは浸漬液冷という演出だけで、通常の使用ではこのように浸漬されることはない。

Student Cluster CompetitionのOklahoma大のブースに置かれていたGreen Revolution Coolingの合成オイル浸漬冷却槽

前回Green500 1位のTSUBAME-KFCの1ノードを浸漬展示

LiquidCool Solutionsの合成オイル冷却モジュール

東工大は、京コンピュータを1つのキャビネットに収容するTSUBAME 4を2021～2022年に完成させるいうロードマップを持っており、このTSUBAME 4の研究のため、試作機を作っており、NVIDIAのJetson TK1という組み込み用のボードを使った36ノードの試作機をSC14で展示した。この写真のようにプリント板の下半分だけを合成オイルに漬けて冷却している。主要な発熱部品は下半分に搭載されているので、これでも液冷の効果は得られる。また、上側にあるコネクタ類はオイルに浸からないので、保守やケーブルの繋ぎ変えが簡単にできるという。

東工大のTSUBAME Golden Box。NVIDIAのJetson TK1　36ノードのクラスタ。CPUは18.4GFlops、GPU部は単精度だが364.8GFlopsで消費電力は16W

腰まで合成オイルに漬ける冷却。主要な発熱部品は下半分に搭載されているので、これで冷却可能。右側に見えるポンプで油を循環させている

循環するオイルの吹き出し口は、オイルがドーム状に盛り上がる

ICEOTOPEは、3MのNovecを冷媒として使っている。写真に見られる密閉型のモジュールはNovecで満たされている。モジュール内部にはNovecと外部からの冷却水の間の熱交換器が組み込まれており、モジュールには冷却水を供給する。つまり、外部から見ると、水冷のモジュールと同じになっている。

LSIの発熱でMovecを気化させ、熱交換器で冷却して、液体に戻すという2相式の冷却であるので、比熱で熱を運ぶより効率が高いと思われる。

下の写真はNovecの製造元の3Mのブースに展示されたもので、Novecを満たした水槽にプリント板を漬けている。展示のため、蓋が十字に置いてあるが、動作中は蒸気を逃がさないように蓋を閉める必要があると思われる。

ICEOTOPEのPetaGenシステムのモジュール。Novecを使う密閉型の2相冷却方式を使っている

ICEOTOPEの2次冷却水を冷やすラジエータ

Novecの製造元の3Mの浸漬冷却の展示

中に見えるループは気化したNovecを冷やして液体に戻す冷却水のパイプと思われる

今回のGreen500で2位となったExaScaler/PEZYの展示は、何故かSuiren(睡蓮)スパコンが設置されているKEKのブースではなく、共同研究先の東京大学(平木研究室)のブースにあった。アクセラレータであるPEZY-SCのチップやボードは実物が展示されていたが、重くて嵩張る水槽は無く、パネルでの展示であった。

Suirenは浸漬液冷で、これまで冷媒はフッ化炭素系というだけで詳細は非公開であったが、今回、3Mのプレスリリースで、FC-43という沸点174℃、密度1880Kg/m3のものを使っていることが明らかになった。

Green500で2位となった3MのFluorinert液浸のSuirenのパネル展示。ESLC-8浸漬槽の展示は無かった

1024コアのPEZY-SCチップとそれをSuirenに搭載するためのPCIeボードの展示