浸漬液冷はHPC/スパコンの未来を救うのか? - ExaScalerが保守性に優れた完全開放型の液浸冷却システムを開発

浸漬されているユニットは次の写真のような1Uのサーバで、大きなヒートシンクのついた2個のXeonが搭載され、左右の4カ所にPCI Express(PCIe)カードの搭載スペースが設けられている。ここには、GPUやPEZY-SCカードなどが搭載されることになる。

浸漬冷却槽から引き揚げられたサーバボードは、このようにプラスチックのトレイに入れて縦に置かれた状態にしておくと、1時間くらいで冷却液はトレイに流れ落ちてしまい、PCIeボードの交換などの作業ができる状態になるという。しかし、CPUソケットのような微細な構造では隙間に冷却液が残りやすいので、CPUの交換などは3時間待って行っているとのことである。なお、トレイに溜まった冷却液は冷却槽に戻して再利用している。

冷却液に触らせてもらったが、水と比べると、少し、ぬるっとする感じはあるものの、水とあまり変わらない感触で、オイルのように手に残る感じは無かった。また、フッ化炭素は消化されないので飲み込んでも無害である。ExaScalerが使っている冷媒は蒸発量が少なく、また、フッ化炭素は蒸発してもオゾン層を破壊するという問題もないとのことであり環境にもやさしい。

そして、温まった冷却液は室外機で冷やす。冷却は次の写真のエアコンの室外機のようなユニットで冷媒を圧縮して、下にある黄色いナイロンのワイヤで固定された円筒状の熱交換器に供給し、冷却液を冷やすという仕組みになっている。なお、この熱交換器はかなり大きいが、実用システムでは、より小型のものに置き換えるという。

この熱交換器からの20℃程度に冷却された冷却液を、ポンプを使って冷却槽に送り込む。冷却槽の底には、左側の写真に示す六角形の断面のパイプがあり、1Uあたり7個のノズルから冷却液を噴出している。右側の写真では、冷却液を通して、明るく見える真上に吹き出すノズルと、暗く見える左右の斜め上方向に吹き出すノズルが見えている。この写真では1U分の空きスペースしかないので1カ所しか見えないが、冷却槽全体では、左の写真のブロックが2個連結されており、8Uの各サーバに冷却液を供給している。

これらのノズルから噴出された冷却液は、発熱部品を冷却して、ボードの上の部分から排出パイプ側の小部屋へと流れて行く。排出される冷却液の温度は、発熱量によっても違うが、一応、最大で30℃程度を目安としているとのことである。

ここで浸漬されているサーバにはXeon E5-2660 v2が搭載されているが、フル動作に近いHPLの動作状態でも、チップ温度は36～37℃に収まっているとのことである。このサーバを空冷した場合は、61～62℃とのことで、大幅にチップ温度を下げる効果があることが分かる。

このように浸漬液冷により、CPUだけでなく、電源なども含めてすべての電子部品の温度が下がって故障率が低くなる。それに加えて、チップのリーク電流が減って消費電力が下がるという効果も得られる。

現状では、このような浸漬液冷システムはスパコンなどHPC向けに限られているが、ExaScalerは、将来的には、クラウドのデータセンターの冷却にも使われるようになり、大きな需要が生まれると考えており、HPCとデータセンター市場に向けた事業展開を計画しているとのことである。

今回の取材で感心したのは、PEZY ComputingのオフィスからExaScalerのオフィスへ向かう間の雑談で、フッ化炭素系の冷媒は、価格が高いことが問題と指摘したときの齊藤社長の答えである。フッ化炭素系の冷媒は30～40年前からあり、合成物質としての基本的な特許は、もう切れている。また、現在、製造されているものは、色々な用途に使われているが、冷却用に最適化されたものではない。炭素長や側鎖の分岐構造を変えることにより、もっと冷却用に適したフッ化炭素が作れる可能性がある。PEZY ComputingがFabを使って1024コアのLSIを作っているように、ExaScalerが化学メーカーを使ってそのようなフッ化炭素を作る可能性がある。現在は生産量が少なく高価であるが、冷却用としてまとまった量を生産するようになれば、数年後にはフッ化炭素の値段を数分の1まで下げられる可能性があるという。

コンピュータ屋からは、このような発想は出てこず、目から鱗であった。そして、齊藤社長の行動力からすれば、実現してしまいそうな気がする。