SC12 -さまざまなニーズに対応できる柔軟さを持たせたCrayのスパコン「XC30」

Cray XC30の実物を見る

SC12で展示されたCray XC30の前面の扉を開けると、横に並んだ2枚のコンピュートブレードが8段挿入されたシャシーが3台搭載されているのが見える。シャシーから若干のケーブルが出ているが、ブレード自体は前面からのケーブル引き出しは無い。

裏側に回ると、Dragonflyトポロジの接続ケーブルが見える。2筐体のグループを構成する場合は、2筐体の間をつなぐ黒いケーブルが多数存在するのであるが、今回の展示は1筐体だけなので、ケーブルは比較的すっきりとしている。

XE6などはブレードが縦に挿入されており、筐体下部に大きなファンを置いて空気を吹き上げて冷却していたのであるが、XC30ではブレードが水平に置かれているので、横方向に風を送る必要がある。このため、コンピュータ筐体の隣にファンを入れた筐体を設けている。

各筐体は内部で暖まった空気を冷やす水冷のコイルを持っており、白い断熱材をまいた冷却水の給排水パイプが見える。

このXC30システムの写真に見られるように、2つの計算ノード筐体がペアで隣接して配置されており、これがDragonflyトポロジのグループを構成する。そして、グループの間に幅の狭いファン筐体が配置されている。この写真の左側から空気を取り入れ、ファンで計算ノード筐体に送り込み、ブレードを冷却して暖まった空気を液冷コイルで冷やし、グループのペアとなる筐体に送り込む。ここでもブレードの冷却で暖まった空気を液冷コイルで冷やし、その空気を次のファン筐体に送り込む。

このように、筐体の列の左端から空気を取り込み、右端に排出するという構造で、間にファンと液冷コイルが分散して配置されているという構造と考えられる。筐体の列全体を1つのダクトのようにして空気を流すという実装は見たことが無く、おそらく、XC30が初めてではないかと思う。

XC30のXeonブレードは、左の写真では、手前側にPDC(Processor Daughter Card)が2枚搭載され、合計8個のXeon E5が搭載されている。ヒートシンクにType1、Type2と書いてあるのは、風上側のType1は冷却フィンの枚数が少なく、風上のCPUの発熱で暖まった空気で冷やされる風下のCPUは、フィンの枚数の多いType2が付くという作りになっている。

そうすると、2枚並んだブレードの風下側のブレードでは、さらにフィンの枚数の多いType3とType4のヒートシンクが必要になるが、そのようになっているのかどうかは聞き漏らした。しかし、筐体の背面の写真を見ると、どちらのブレードも光ファイバの接続が中央に来ているようである。つまり、左側のブレードと右側のブレードは機能は同じでもレイアウトは鏡像対称の別物で、ヒートシンクも空気温度を考えて個別にチューニングされているのではないかと思われる。

右側の写真はAries LSIの付近をアップで撮ったもので、右側にバックプレーン側のコネクタが見える。手前側が30ポートのローカル接続のコネクタで、奥のコネクタが2リンク分を束ねた光ケーブルのコネクタである。

このブレードには52VDCを供給し、ブレード内のDC-DCコンバータで必要な電圧に下げているとのことで、ブレードの電源電流を下げてプリント基板の電源層の銅箔を薄くし、コストを低減しているという。