XC30はどのようなスパコンか

Cascadeは、 DARPAのHPCSプロジェクトの契約でCrayが6年間を掛けて開発した次世代スパコンであり、XC30の名称で製品化された。このスパコンは、スイスのCSCS、ドイツのHLRS、米国のNERSCなどへの納入が決まっており、我が国でも京都大学の学術情報メディアセンターへの納入が決まっている。しかし、今回のTop500に載っているXC30システムは、RubyというCrayの社内設置のシステムだけで、このシステムは216.4TFlopsで113位にランクインしている。

Crayは、SC12でCascadeに関する論文を発表し、技術情報を公表した。

SC12でCascadeの論文発表を行うCrayのGreg Faanes氏

CrayのXC30はIntelのXeon E5プロセサをCPUとして使っており、CPUは他社と同じである。従って、スパコンハードウェアとしての最大の差別要因は計算ノード間をつなぐインタコネクトである。このため、この論文も大部分はインタコネクトの記述で占められている。

XC30のインタコネクトは、Crayがスタンフォード大のBill Daly教授と共同で開発したDragonflyというトポロジのネットワークで、これを実現するインタコネクトチップはAriesと呼ばれている。

前の世代のXEやXKスパコンではGeminiというLSIで、X+/X-/Y+/Y-/Z+/Z-の6方向に腕が出ており、インタコネクトのトポロジは3Dトーラスであった。これに対してAriesでは40本の腕が出ており、これで「Dragonfly」というトポロジのインタコネクトを作る。

また、GeminiはAMDのOpteron CPUとHyperTransportで接続されるが、AriesではCPUとの接続はPCIe Gen3になっている。かつて、CrayはOpteronの納入が遅れシステムが納入できず、大きな損失を蒙ったことがあり、その反省からAriesでは、標準であるPCIeをインタフェースとして選んでいる。

Ariesに内蔵されたクロスバは48ポートで、その内の40ポートが他の計算ノードとの接続ポートであり、残りの8ポートが、2ポートずつ4つのCPUにPCIeGen3経由で接続される。

Aries LSIは48ポートのスイッチを内蔵し、CPUとはPCIe Gen3で繋がる(以降のすべてのスライドは、SC12におけるFaanes氏の論文発表のスライドを撮影したもの)

このスライドで面白いのは一番下の注釈で、AriesはIntelの商標で、Intelの許可を受けて使用していると書かれている。Ariesを開発したのはCrayであるが、その後CrayはAriesを開発部隊や特許などをIntelに売り渡しており、商標もその時、Intelのものになったのであろう。

次の図のように、PCIe Gen3でXeon E5デュアルソケットの計算ノードに繋がる。このCPUチップ間の接続はIntelのデュアルQPIである。このAries1個とCPUチップ2個のノード4組が1枚のCompute Bladeに搭載される。

XC30は、1つのシャシー内に16枚のコンピュートブレードを収容し、6シャシーを2筐体に収容する。この2筐体をグループと呼ぶ。

そして外部へ接続する40リンクは、Rank1と呼ばれる同一シャシー内のコンピュートブレード間を接続するために15リンク、Rank2と呼ばれる6シャシー間の接続に15リンク、Rank3と呼ばれるグループ間の接続に10リンクが使われる。Rank1とRank2の接続は比較的距離が短いので電気ケーブルが使われ、14Gbpsという高速の伝送が使われている。一方、グループ間の接続となるRank3は光ファイバが使われ、こちらは12.5Gbpsで伝送を行う。

1つのリンクには各方向3本の伝送路があり14Gbpsの場合は各方向42Gbps(5.25GB/s)、12.5Gbpsの場合は各方向4.69GB/sで伝送ができる。一方、計算ノードと接続するPCIe Gen3は16GB/sの伝送路であり、Ariesのリンクの3本分程度のバンド幅があり、各計算ノードに割り当てられた2本のリンクの情報を伝送するのに十分なバンド幅である。

Ariesからは4本のPCIe Gen3が出ており、それぞれにXeon E5デュアルソケットの計算ノードが繋がる。Rank1のシャシー内部の接続に15リンク、Rank2のシャシー間の接続に15リンク、そしてRank3のグループ間接続に10リンクが使われる

Cascadeのコンピュートブレードは写真の右端にAries LSIがあり、2つの計算ノードが載ったQPDC(Quad Processor Daughter Card)というドータカードが2枚搭載されている。将来的にXeon PhiやKepler GPUをサポートする時には、ハードウェアとしてはそれらのチップを搭載したPDCを作り、載せ替えれば良いと思われる。そして、コンピュートブレードのバックプーン側にはRank1、2のリンクの電気信号とグループ間を接続する光リンクのコネクタが出ている。

CascadeのXeon Compute Blade。Aries LSIと2ノード搭載のQPDCが2枚搭載されている

シャシーには2枚のブレードを横に並べたものが8段積み重ねられ、合計で16枚のブレードが収容される。そして、筐体にはこのシャシーが3段に積まれている。前世代のXE6と比べると、筐体の大きさは約1.5倍になっているが、筐体あたりのCPU個数は2倍になっているという。

Cascadeのシャシーと筐体

なお、XE6ではブレードが縦であったが、XC30ではブレードは水平に置かれており、空気の流れも水平方向になる。