コンピュータアーキテクチャの話(461) 2個のCPUと1個のGPUで構成された天河一号Aのコンピュートサブシステム

天河1Aのコンピュートサブシステムの構成

天河1Aのコンピュートサブシステムは、2個のIntel Xeon X5670 CPU(6コア、2.93GHzクロック)と1個のNVIDIAのM2050 GPU(448 CUDA Core、1.15GHzクロック)で構成されている。コンピュートノードあたりのピーク倍精度浮動小数点演算能力はCPU側が140.46GFlops、GPU側が515GFlopsである。

一般には、1個のCPUに複数個のGPUを接続するのであるが、天河1Aでは2個のCPUの片側だけにM2050 GPUを接続するという構成になっていると思われる。なお、天河2号では2個のCPUに3個のXeon Phiを接続しており、1個のCPUには2個のXeon Phi、もう一方のCPUには1個のXeon PhiとNICを接続するという構成になっている。NUDTのスパコン設計者は、2個のCPUの負荷がアンバランスになっていることをあまり気にしていないように思われる。

天河1Aのピーク演算性能(Rpeak)は4,701.0TFlopsであるのに対して、LINPACK性能(Rmax)は2.566.0TFlopsであり、Rmax/Rpeakは54.6％である。しかし、CPUに接続されるGPU数がすべて同じとなっている東工大のTSUBAME2.0のRmax/Rpeakは52.1％であり、2つのCPUの負荷が非対称な構成でも性能にはあまり影響は無いようである。

そして、天河1Aはこのコンピュートノードを7168ノード備えており、メモリの総量は262TB、ディスクの容量は2PBとなっている。つまり、ノード当たりの平均メモリ量は36.6GBである。この大部分は32GBのコンピュートノードのメインメモリと、3GBのGPUのデバイスメモリである。なお、GDDR5メモリを使うデバイスメモリのメモリバンド幅は148GB/sとなっている。

天河1Aのフルロードの場合の消費電力は4.04MWであり、その場合の電力効率は635.1MFlops/Wとなる。

図4にCPUボードの写真を示す。4個のIntel CPUが載っており、2ノード分のCPUボードであると思われる。左側の2個の冷却フィンの方が高いように見えるのは、冷却風が右から左に吹いており、左側のCPUの冷却風は右側CPUのDIMMメモリが邪魔になって風量が不足するのを避けるためではないかと思われる。