コンピュータアーキテクチャの話(460) CPU+GPUに自主開発プロセサを追加してTop500 1位を獲得した「天河一号A」

天河一号Aスパコンの概要

天河一号Aは、中国の国防科学技術大学(NUDT)が設計製造したスパコンである。計算エンジンとしてはNVIDIAのM2050 GPUを使い、CPUとしてはIntelのXeon X5670 CPUを使っている。1つの計算ノードは2個のCPUと1個のGPUで構成されており、天河1Aスパコンは7168個の計算ノードを持っていた。

これだけを見ると平均的なCPU+GPUノードを使うスパコンに見えるかもしれないが、天河1Aは自主開発の「FT-1000(飛騰-1000)」というプロセサを追加して搭載している。FT-1000はSunと富士通が開発したSPARC V9命令アーキテクチャのプロセサで、8スレッドを並列実行するコアを8個搭載するストリーミングプロセサで、サービスノードと呼ばれるユニットを構成している。

サービスノードは天河1Aスパコン全体の管理、診断や、I/O、計算ノードをつなぐファットツリーネットワークの制御などを行うもので、天河1Aには1024台のサービスノードが付けられていた。

NUDTは、天河1Aの計算ノード間を接続するインタコネクトを自主開発した。基本的にはInfiniBandと似たインタコネクトであるが、データ伝送速度が2倍に引き上げられたというのが大きな改良項目である。そのため、NUDTはNICチップと16×16のクロスバのスイッチチップを自主開発している。各種ノードの間は、ファットツリー構造のネットワークで接続されている。

天河1Aの計算ノードのCPUとGPUは米国のメーカーから標準パーツを購入したが、サービスプロセサのFT-1000とネットワークを構成するルータチップとNICチップの合計3チップは自主開発している。

そして、OSはKylin LinuxというOSを使っている。Kylin Linuxは、マルチコア、マルチスレッドプロセサ用に最適化され、ヘテロジニアスな計算処理の同期、電力管理、システムの故障回復機能などが最適化されているLinux OSであるという。

天河一号Aスパコンの構成

天河1Aの外観を図2に示す。このスパコンは、天津市の国防科技大のキャンパスにある天津国立スパコンセンターに設置された。

図2 2010年11月の第36回Top500で1位となった中国の天河一号 (この記事のすべての写真は撮影者の鈴木氏の許可を得て使用している)

天河一号Aスパコンは図3に示すように、コンピュートサブシステムとストレージサブシステム、サービスサブシステムを通信サブシステムで接続した形になっている。そして、モニタリングと診断サブシステムが全体の動きを監視する形になっている。

なお、ストレージサブシステムについては情報が無いが、MDS、OSSなどと書かれているので、Lustreファイルシステムが使われていると推測される。

図3 天河1Aスパコンの全体構成 (天河-1Aのすべての図の出典は、Xiang-Ke Liao，“The TianHe-1A Supercomputer: Its Hardware and Software”，Journal of Computer Science and Technology · May 2011)