XT5世代のJaguar

いずれにしても、2009年11月のTop500で1位となったシステムは、6コアのAMD Opteron 2534 CPUチップを使うXT5システムである。Jaguar全体でCPUコアを22万4162コア使っており、ピーク演算性能は2,331.0TFlopsである。そして、HPLの実行性能として1,759TFlopsを達成してTop500の1位となった。この時の消費電力は6,950kWとなっている。

現在はIntelの半導体プロセスのつまづきからAMDのプロセサが強く、米国のFrontier、El Capitanという2つの次世代ExaスパコンはAMDのCPUとGPUを使うことになっているが、このXT4/5 Jaguarの頃もAMDのCPUが強かった時代で、JaguarはAMDのOpteron CPUを使っている。

XT4スパコンでは、ノード当たりのOpteronチップは1個であったが、Jaguarの計算ノードは2個のOpteron 2435 CPUをHyperTransportで接続したものとなっている。そのため、XT4時代より発熱も増えており、XT5スパコンでは液冷となっている。

図3に示すように、このOpteron 2個のノードをCrayのSeaStar2+ルータチップで構成する3次元トーラス網に接続してJaguarシステムを作っている。なお、この3次元トーラス網には計算ノードだけでなく、Jaguarのログインノード、ネットワークノード、I/Oノードなども接続されている。

  • Jaguar

    図3 XTスパコンの構成例。XTスパコンは計算ノード、ログインノード、ネットワークノードなどを3次元トーラス網で接続する (出典:Scalable by Design The Cray XT Series of Supercomputers,Cray Corporate Update)

Opteron 2435 CPUチップは6コアを集積し、CPUクロックは2.6GHzとなっている。したがって、1つのノードの倍精度浮動小数点演算のピーク演算性能は124.8GFlopsである。CPUチップは6MBのL3キャッシュを内蔵し、これを6コアで共有している。メモリはDDR2-800 DIMMでメモリ容量は16/32GB、メモリバンド幅は25.6GB/sとなっている。

図4に示すように、各計算ノードの2個のOpteron CPUは2本のHyperTransportで相互に接続されており、一方のOpteronからHyperTransportでSeaStar2+ルーターに繋がっている。HyperTransportのバンド幅は6.4GB/sであるが、計算ノードと3Dトーラスネットワークとの実効的なデータ転送速度は4GB/s程度であるという。

  • Jaguar

    図4 Jaguarの計算ノード。Top500で1位となったJaguarは6コアチップを2個使用しており、12コアである (出典:Scalable by Design The Cray XT　Series of Supercomputers,Cray Corporate Update)

(次回は5月7日の掲載予定です)