2010年11月のTop500で第4位、Green500では第2位になった東京工業大学(東工大)のスーパーコンピュータ「TSUBAME2.0」の披露会が12月2日に行われた。ということで、この機会にTSUBAME2.0を見てきた。

Green500第2位の垂れ幕のかかる東工大学術国際情報センターの建物(左)とTSUBAME1.2とTSUBAME2.0の配置図(右)

TSUBAME2.0は東工大の学術国際情報センターという建物に設置されている。前世代の「TSUBAME1.2」は441m2の面積を占めていたが、TSUBMAE2.0ではピーク演算性能は0.17PFlopsから2.4PFlopsと約12倍に向上しているが、床面積は335m2へと減少している。上の配置図は下が1階で、上が2階の図であり、TSUBAME1.2では本体が2階にあり、一部が1階という配置であったのに対して、TSUBAME2.0では本体とディスクファイルなどが1階で、テープライブラリなどの一部装置が2階という逆の配置となっている。

この後の写真に出てくるが、TUSBAME2.0の筐体は約1トンの重量があり、施設担当から2階は荷重がもたないので、1階に置いてくれと言われたそうである。2階の床を補強するという手も無くはないが、1階の平面図の上側に書かれた2部屋の事務室の方々に2階に移ってもらうほうがコストも安いということで1階に本体を設置する面積を確保したそうである。

TSUBAME2.0の全体構成は次の図のようになっている。

TSUBAME2.0の全体図

TSUBAME2.0は全体図の下側に書かれたように計算ノードが44筐体あるが、この内の18計算ノード筐体とFirst Rail、Second Railと書かれたVoltaireのGrid Director 4700というInfiniBandスイッチが1階の一方の部屋に入っており、残りの28計算ノード筐体が隣接した部屋に設置されている。そして全体図の上側に書かれた並列ファイルシステムなどが1階の平面図の下側の部屋に設置され、全体図の右側に書かれたテープライブラリなどが2階に置かれている。なお、計算ノードが接続されているEdge Switchと書かれたVoltaire 4036E InfiniBandスイッチは計算ノードと同じ筐体に搭載されている。そしてInfiniBandスイッチ間の接続の斜めの線は光ファイバである。この後の写真に出てくるオレンジ色のケーブルが光ファイバで、総延長は約100kmになるという。

Voltaire 4700スイッチと18計算ノード筐体が置かれている部屋は、次の写真のようになっている。

1階の計算ノードの置かれた部屋の筐体群(左)、手前側にVoltaire 4700が3筐体あり、その奥に計算ノードが9筐体並び、同じ構成が通路を挟んで両側にある

計算ノード筐体は次の写真のように、上下にVoltaire 4036Eが各2台搭載されている。なお、上側の4036Eスイッチからはオレンジ色の光ファイバが出ているが、下側のスイッチからは出ておらず、スイッチ間でも近距離は電気の伝送を使っているようである。そしてその上下に各4個のケース(この写真では下側の2個は写っていない)が搭載されている。各ケースには4個の計算ノードが収容されているので、計算ノード筐体には32計算ノードと4台のVoltaire 4036Eスイッチが搭載され、全体図の16ノードの纏まり2つ分を構成している。

計算ノード筐体の前側。オレンジの光ファイバが出ているのがVoltaire 4036E InfiniBandスイッチ

計算ノード筐体の前側には、次の写真のような液晶の状態表示パネルが取り付けられている。

計算ノード前面の液晶パネル

この表示を見ると、この計算ノード筐体に供給されている冷水の温度は8℃で発熱を吸収して排出される水の温度は16℃であることが分かる。また、また、この筐体の水の流量は毎分18リットル、容量は19.9kWと表示されている。なお、発熱の多い筐体でも水の流出温度はほぼ同じになるようにバルブで流量を調整している。