SC11 - 20PFlopsを目指すIBMのBlue Gene/Q

ローレンスリバモア国立研究所とIBMがTop500の1位奪還を狙って開発を進めているスパコンがBlue Gene/Q(BG/Q)である。SC11でのIBMのブースでは、Blue Gene/Qのボードと筐体が展示された。また、11月14日に発表されたTop500では、64,384コア(4筐体)のBG/QシステムがLINPACK性能 677.1TFlopsで17位にランクされている。そしてこのBG/Qは、ローレンスリバモア国立研究所の20PFlopsのSequoiaシステム、アルゴンヌ国立研究所の10PFlopsのMiraシステムでの採用が決まっている。

BG/Qのハードウェアであるが、次の図のような階層になっている。

BG/Qの基本になるのは、BG/Qプロセサチップである。このチップは16個の計算コアを搭載している。そして、プロセサチップを16GBのDRAMと一緒に小型のプリント板に搭載したものがCompute Cardとなる。

その上の階層が、32枚のコンピュートカードとインタコネクトを構成するリンクチップや光モジュールを搭載するNode Cardである。そして、合計16枚のノードカードを搭載するMidplane、2枚のミッドプレーンと最大4個のIOドロワーを収容するRack(ラック:筐体)があり、ラックを並べてインタコネクトで接続したシステムという階層になる。ミッドプレーンはその名の通り、ノードカードを表裏から8枚ずつ挿入できる。

BG/Qのプロセサチップは、18個のプロセサコアと32MBのL2キャッシュ、2チャネルのDRAMコントローラ、そしてチップ間の接続を行うルータなどを集積したチップである。IBMの45nm SOIプロセスで作られ、チップサイズは360平方mmである。

18個のプロセサコアがあるが、アプリケーションの計算処理に用いるのは16コアで、1コアはOSを動かすコアである。そして、もう1つのコアは不良を許容して歩留りを上げるための冗長コアである。なお、コアの接続は可変になっており、不良コアはどの位置にあっても良い。 プロセサクロックは1.6GHzとなっており、各コアは1サイクルに8浮動小数点演算を実行できるので、チップのピーク演算性能は1.6G×8×16(コア)=204.8GFlopsとなる。そして、この時の消費電力は55Wとなっている。

「京」コンピュータのSPARC64 VIIIfxは8コアで128GFlops、58Wであり、「京」の商用版である富士通のFX10スパコンに使われるSPARC64 IXfxは16コアで236.5GFlops、110Wである。これらと比べると、BG/QのComputeチップは、ピーク性能はSPARC64 IXfxより若干低いものの、「京」では別チップとなっているインタコネクト部分を含んでも消費電力は半分であり、エネルギー効率の高いチップである。システムレベルでもTop500で17位にランクされた4筐体システムの消費電力は340.5kWであり、1989MFlops/Wと「京」の2倍以上の性能/電力を達成している。

BG/Qのコンピュートカードは、中央にBG/Qチップがあり、その両側にメインメモリとなるDDR3 DRAMチップが各18個ずつ取り付けられている。また、基板の裏側にもDRAMを取り付けることができ、最大72個のDRAMを搭載できる。

この写真でも一部のDRAMには空色のサーマルペーストが付いているが、このような熱伝導を良くするペーストを塗り、写真の上側に見えるアルミ削り出しの放熱板を取り付ける。

BG/Qのノードカードは32枚のコンピュートカードと、他のミッドプレーンと接続を行うためのリンクチップと光モジュールを搭載している。

このノードカードの写真の手前に見える黒いブロックはミッドプレーンに接続するコネクタであり、オレンジのケーブルは他のミッドプレーンに繋がる光信号を伝える光ファイバである。そして、コンピュートカードは8枚×4列に並んでいるが、一列おきに裏表が逆になっており、左端の列は裏側のDRAMが見え、その右の列は放熱用のアルミ板が見えている。

次の写真に見られるように、ノードカードには水冷したレールが8本通っており、コンピュートカードのアルミ板をこのレールに押し付けて放熱するという構造になっている。

I/Oドロワーは8枚のI/OカードとPCIeカードなどの接続インタフェースボードを収容する。I/Oカードもコンピュートカードと同じカードであるが、BG/Qチップは空冷で、比較的大きな銅のヒートシンクが付いている。