東工大のTSUBAME2.0に見る高性能/高効率化に向けた各種技術

説明が前後するが、計算ノード自体は空冷であるが、筐体全体としては冷水を使って水冷されており、計算機室に排出される熱はほぼゼロとなっている。したがって、普通の計算機室で見られる床下からの冷風の吹き出し口はない。このような冷却系を採用することによりPUE(Power Usage Effectivenessの頭文字をとったもので、スパコン本体の消費電力に対して、冷却などの消費電力を加えた全体消費電力の比を示す)=1.28を実現している。一般にはPUEが2程度のセンターが多い中で、1.28は非常に低い値である。

なお、平面図で計算ノードを置く部屋の外側に冷水を作るチラーユニットが4台設置され、床下のパイプを通して冷水を計算ノード筐体に供給している。チラーユニットは、言ってみれば、冷たい飲み水を作るウォータークーラーの親分のような装置である。

計算ノードやVoltaire 4036Eスイッチは水冷用ではなく、通常の空冷用として設計されたものを使っている。TSUBAME2.0ではこのような空冷用のコンポーネントと自動車のラジエータのような水冷熱交換器を筐体に組み込むことによって、計算機室内に熱を排出しない設計となっている。

計算ノードの背面の写真で、左に写っているファンが計算ノードの右端のファンで、右側の黄色いラベルがはってあるのがシロッコファンである。右側の図のように、筐体前面から空気を吸い込み、計算ノード自体は通常の空冷であるが、後ろのファンからの排気は筐体内で折り返されてシロッコファンで圧力をかけて水冷熱交換器に送り込まれている。ここで95%～97%の熱が除去されて筐体前面に排気されるという構造になっている。

前に書いたように、この計算ノード筐体は1トンと重いので、次の写真に見られるように、床に置くのではなく、地面から直接立ち上げた鉄枠の上に鉄板を置いた架台に設置されている。

1階の別室には、約6PBの容量をもつLuster並列ファイルシステムと1.2PBのホームノードのディスク群が収容されている。

このストレージは水冷ではなく、通常の空冷であり、右の写真に見られるように床には冷風の吹きだし口がある。そして、左の写真を注意深く見ると、冷風と温風が混ざり合わないよう、筐体の上、ギリギリのところまで天井が来ている。これは建物の天井ではなく、実はビニールテントのようなもので、ストレージ筐体群を囲むことで実現されている。このあたりにも電力効率を考えた細かい配慮がなされている。

そして、計算ノードであるが、6コアのIntel Xeon 5600プロセサを2個とNVIDIAのM2050 GPUを3台搭載する細長いサーバを使い、1筐体に32計算ノードを詰め込んでいる。このような高密度サーバは標準品では存在せず、東工大が仕様を示して各社にこのようなサーバを開発してくれないかという打診を行い、それに応じてくれたのがHPであるという。

この結果、開発されたのが上の写真に示すHPのDL 390s G7というサーバである。写真では銅パイプのついたM2050 GPU2台しか見えないが、このサーバは2段重ねになっており、下側にはM2050が1台、Xeon 5600が2個が搭載されている。これで、GPU合計で1.55TFlops、CPU側は140GFlopsの倍精度浮動小数点演算性能を持っている。

また、Xeonボードには2個のQDR InfiniBandポートが内蔵されており、通信バンド幅は80Gbpsとなる。そして、ローカルストレージとして60GB(120GBのノードもある)のSSDを2台内蔵しており、高速のファイルとして使用できる。

M2050のTDPは225Wとなっており、これを3台内蔵すると冷却設計はかなり厳しいことになる。このため、随所にスポンジブロックを詰めて、風の流れを調整している。このスポンジブロックの位置であるが、HP本社の技術部隊からmm単位で置き場所を指定してくるという。なお、M2050のヒートシンクについている銅パイプは、水冷ではなく、中央にあるGPUチップの熱をヒートシンクの広い面積に広げるためのヒートパイプである。

そして、このDL 390 G7サーバ4台を2列2段に搭載するケースにいれてラックに搭載している。