京コンピュータの現状について発表する理研の黒川氏

2012年2月16日に開催された理化学研究所(理研)シンポジウムにおいて、理研の黒川原佳氏から京スパコンの構築と現状についての発表が行われた。

京スパコンの開発当初の目標は、

• LINPACK性能で10PFlopsを達成する
• 実アプリケーションで数PFlopsを達成する
• 高性能かつ低エネルギー消費のシステムであること
• 高信頼性・高可用性のシステムであること
• ユーザが使いやすいように運用できるシステムであること

というものであり、2011年11月のTop500においてLINPACKで10.51PFlopsを出し、第一の目標を達成。そして10万原子のナノワイヤの電子状態の解析というアプリケーションでGordon Bell賞を受賞し、第二の目標もクリアした。また、HPC Challengeの性能測定でも、表彰が行われる4つ分野すべてでトップを取った。

また、2011年11月のGreen500においては性能電力比830.18GFlops/Wで、32位にランクインした。32位と言っても、1PFlopsを超える上位のシステムは東京工業大学(東工大)のTSUBAME2.0の958.35GFlops/Wしかなく、スパコンの規模が大きくなるとエネルギー効率は低下傾向ということを考えると、トップレベルのエネルギー効率を実現しており、3番目の目標も達成している。

高信頼に関しては、まだ、データが少ないが、CPUは水冷によりチップ温度を下げた効果か、予想よりも故障が少ないという。

京コンピュータの開発スケジュールは次の図のようになっており、現在は80%程度まで来たところであるが、黒川氏は、ここからが重要という。

京コンピュータの全体開発スケジュール

京スパコンは2011年の8月に全部のハードウェアが揃い、現在は、2012年11月の共用使用の開始に向けて、特定のアプリケーションのチューニングのための実行と、システムソフトウェアのチューニングが行われている状況である。そして、今回の黒川氏の発表では、プレリミナリの結果であるが、一部の実測性能が公表された。

京スパコンでは、8万個以上の計算ノードを接続するため、Tofuと呼ぶインタコネクトが開発された。

Tofuインタコネクトの接続

Tofuの構造はちょっと複雑であるが、青い球で表された12個の計算ノードが左端の図のようにつながったものが基本ユニットで、これを中央と右の図の球ように3次元に並べる。そして、隣接する12計算ノードの基本ユニット間を接続する。この図では1本の線やパイプで書かれているが、実は、基本ユニットの中で同じ位置にある青い球同士に接続があり、12本の接続の束になっている。

そして、右の図のように3次元の配列の両端にある球同士を繋いでループにしている。この図は3次元トーラスの模式図であるが、正確に言うと、京のTofuインタコネクトでは図の前面の球から一番奥の球へのループの接続は存在しない。

京スパコンのラックには上下に12枚の計算ノードボードが実装されており、それぞれのボードには4つの計算ノードが搭載されている。次の図に示すように、3回のボードで、12計算ノードの基本ユニットを構成し、ラック1本に8個の基本ユニットを収容している。

京スパコンの物理的な接続

そして、2本のラックの16基本ユニットとラックの中央にあるIOノード(2本で12ノード)をZ軸のループで接続している。この2ラックの単位を右下の図のように、XYに並べ、横方向のX軸はループ接続し、縦方向のY軸は折り返しの無いメッシュ接続になっている。

なお、計算ノードボード内とボード間のラック内の接続はプリント基板の配線であるが、ラックをまたがる接続はケーブルで行われており、ケーブルの本数は約20万本で、総延長は1000kmに上る。

Tofuインタコネクトはこのような隣接ノード間の接続であるので、隣の計算ノードにデータを送る場合以外は、中間にある計算ノードを経由してバケツリレー的に送ることになる。従って、離れた計算ノード間の通信が多くなると、中間の計算ノードは中継回数が多くなり、混雑渋滞が発生するということが起こる。このため、データを送る場合、どの経路を通してどのような順序で通信したら渋滞の発生が減り、全体として短時間で通信できるかを工夫することが重要になる。