SC15 - HPCではすでに常識となった液冷技術

大量のCPUやGPUを使うHPCクラスタでは、消費電力は数10～数100kWは当たり前で、大きなスパコンでは数MWというものもある。消費電力のほとんどは熱になるので、これを冷やすことが重要になる。また、性能を上げるためには、計算ノードを高密度で実装して、ノード間の配線を短くすることが望ましい。

実装密度を高くすると設置床面積を小さくできるというメリットもある。しかし、そうすると発熱密度が高くなるので、たくさんの熱を効率よく運び出すことが必要になる。

通常のサーバやPCは、ファンを使って空気で熱を運ぶのであるが、空気は比熱が小さいので、それほど多くの熱を運ぶことはできない。このため、HPCのサーバでは、より比熱が大きく、体積当たり、より大量の熱を運ぶことができる液体で熱を運ぶという方法が注目を集め、すでに常識という感じになっている。

熱を運ぶ液体であるが、大きく分けて、水と絶縁性の液体を使う方法がある。水は安価で比熱も大きいのであるが、電気を通すのでLSIを搭載する基板やコネクタなどに接触すると故障の原因になってしまうという問題がある。

絶縁性の液体としては、ミネラルオイル(車のエンジンオイルに近い油)と3Mなどが製造するフッ素系の液体がある。これらの液体は電気を通さないので、プリント基板を直接漬けてしまうことができるが、ファンやHDDなどのメカニカルに動作する部分があるものは漬けられない、また、プラスチックなどは物によっては冷媒に溶けてしまうものもあるという問題がある。

水で熱を運ぶ水冷システム

「ASETEK」は水冷システムを販売しており、ASETEKの水冷を使っている会社は数多い。次の写真は、SC15において富士通ブースに展示されていたASETEKの水冷システムを使うサーバモジュールである。プリント板の中に見られるオレンジ色の丸いものがASETEKの水冷コールドヘッドで、これを空冷の場合の冷却フィンの代わりにCPUなどの高発熱のLSIに取り付ける。コールドヘッドには黒いパイプが接続されており、これを通してコールドヘッドに水を供給して熱を運ぶという仕組みになっている。

次の写真に見られるように、富士通やIBMのOpenPowerも使っており、写真には写っていないがCRAYも使っている。SC15の展示では、それらの会社のプリント板を並べて展示していた。

「CoolIT」も水冷システムを販売する大手である。次の写真に見られる黒い四角のものがコールドヘッドであり、下側に水の入と出のパイプを接続する。

そして、同社は多数のコールドヘッドに水を供給する「Rack Direct Contact Liquid Coolingユニット」を展示していた。大型のものは19インチラック全体を占める。この装置は650kWを冷却することができるので、40kWのサーバラックなら16ラックを冷却することができる。それほど規模が大きくない場合は、2UサイズのDCLCユニットを使うこともできる。こちらは40kWの冷却能力を持っている。

DCLCは温まった1次冷却水の熱を2次冷却水に伝え、2次冷却水はクーリングタワーやドライクーラーで冷やされて循環するという構造になっている。