ISC 2019 - 中国Sugonが展示した浸漬液冷サーバラック「Nebula」

独フランクフルトで6月に開催された「ISC 2019」において、中国のSugon(曙光)は浸漬液冷を採用したサーバラック「Nebula」を展示した。実は昨年11月に開催されたSC18でもNebulaは展示されていたのであるが、今回は、クーラント(冷媒)を冷却する熱交換器なども見える状態で展示しており、構造が良く分かる展示であった。

次の写真のように、NEBULAと大きく書かれている扉の部分はサーバを入れるラックであるが、その右側にはLEDのようにも見える光で囲まれた2つの四角いスペースがあるが、これは熱交換用の機器を収容するラックである。そして、開いている熱交換部の扉で隠れているが、右側にももう1本、サーバを収容するラックがあるということで、3本のラックが一組になった作りである。

ISC 2019でSugonが展示したNebula、3本のラックが一組になっている

以下に示す2枚の図は、Depei Qian教授の中国のエクサプロトタイプの発表スライドから抜き出したものであるが、3本のラックが一組でSilicon Unitになっている図が描かれている。展示員の身長から見てラックの高さは優に3mを超える大きな筐体である。そして、次の図では、それが3段に積まれており、右端のシリコンキューブは10m程度の高さと思われる。

Depei Qian教授の中国のエクサスパコンの状況の発表の中のSugonのプロトタイプの発表スライドの写真を借用したもの。右から2番目のシリコンユニットが展示されたNebulaに対応すると考えられる

SugonのエクサプロトタイプとNebulaの計算ノードは同じものではないが、冷却系は似通っていると思われる。クーラントは沸点50℃のImm058と呼ばれる物質で、プリント板ユニットはImm058で液浸冷却し、蒸発した冷媒を水冷して液体に戻してポンプで循環させている。

沸点が50℃であるので、半導体の温度は最大でも50℃程度であり、かなり低温で、信頼度の高い状態での動作となっている。

Qian教授の発表を撮影した写真から、液浸冷却の部分を抜き出したもの

実は、Nebulaの写真で光っていたのはLEDではなく、次の写真のように窓枠を止めているビスの頭である。この部分が温まったクーラントを冷却する熱交換器で、銅色のパイプが鈍く光っているのは、表面積を増やして熱交換の効率を高めるための加工が施されているためと思われる。

Nebulaのクーラントを水で冷やす熱交換器。中が見えるようになっているのは展示用の特別製かもしれない

次の写真は液冷ロッカーの2つの窓の間に置かれている表示パネルの写真で、クーラントの液体の温度は21.6℃と表示されている。一方、冷却水の温度は23.1℃と表示されており、なぜかクーラントより冷却水の方が温度が高いという不思議な状態になっている。

シリコンユニットの冷却系の表示ユニット

キャビネットの中を覗き込むと、バックパネルの上側に2つのパイプコネクタがあり、赤い蓋がかぶっている上側のコネクタが温まったクーラントの排出側、下側のコネクタがクーラントの供給側と思われる。

その下の横長の小さいコネクタは電源のようである。その下にはインタコネクトやI/Oのコネクタが何個も縦方向に並んでいる。

プリント板ユニットはねじ止めで、挿抜用のてこも付いておらず、挿抜に時間が掛かり保守性は悪そうである。

上の段はプリント板の挿入されていない状態で、バックパネルに付けられたクーラントの供給、排出コネクタが見える

次の図の左側に見えるプリント板の一番奥の小さいヒートスプレッダのLSIがCPUで、手前の4個はGPUのようである。このプリント板はエクサプロトタイプとは明らかに違うものである。

この写真でも一部には反射がみられるように、プリント板の上(手前)側には透明な蓋があり、中はImm058という絶縁性の液体で満たされている。

Nebulaのシャシーを覗き込んだ写真。左端のプリント板は通電されており、ヒートッスプレッダからImm058が蒸発した泡が出ていた

次の写真はNebulaを裏側から見た写真で、左がプリント板が入るラックで、右が冷却用ラックである。青いパイプがクーラントの供給コネクタに繋がっており、赤いパイプは熱交換器に繋がっており、温まったクーランドの排出パイプと思われる。蛇腹がついた横方向に走るパイプも熱交換器につながっており、冷却水のパイプであると考えられる。