2010年秋のスーパーコンピュータランキング「Top 500 List」で首位に輝いた中国製スーパーコンピュータ「天河一号A (Tianhe-1A)」を覚えているだろうか。今回、この天河一号Aのある中国の天津市内にある国家超級計算天津中心(National Supercomputer Center in Tianjin)を取材する機会を得たので、ここに紹介してみたい。

中国天津市にある国家超級計算天津中心(National Supercomputer Center in Tianjin)。このビル内にスーパーコンピュータ「天河一号A (Tianhe-1A)」が設置されている

中国製スパコン「天河一号A」とはどんなマシンか?

まず簡単におさらいしておくと、前述の「Top 500 List」は毎年6月と11月の2回、世界にあるスーパーコンピュータをパフォーマンス計測でランキング付けし、その順位をWebサイトで概要とともに紹介している。同プロジェクトは1993年からスタートしているが、ランキングトップに輝いたのはほぼすべて米国製または日本製のマシンだけであり、ここに同2国以外である中国からエントリーしたマシンが登場したことは、国自体の勢いも含めて象徴的な出来事として捉えられている。なお、Top 500の1位にランクインしたのは中国のスーパーコンピュータでも「天河一号A」と呼ばれるシステムで、前モデルにあたる「天河一号」から構成を変更したアップグレード版にあたるものだ。天河一号自体も2009年11月のTop 500でランキング5位にリストアップされており、563TFLOPSを達成している。天河一号Aは現在ランク2位となっているが、2.566PFLOPSを達成しており、旧モデルのおよそ5倍近いパフォーマンス増を実現している。

最近のTop 500は2008年のIBM Roadrunnerを皮切りにPFLOPS級のマシンが次々と登場しており、最新の2011年11月のランキングにおいては上位10のマシンはすべてPFLOPSの性能を達成している。2009年のランキングで旧モデルの天河一号が5位にランクインしていたのと比較して、いかにパフォーマンスが全体に上昇しているかがわかるだろう。またGPUを採用したスーパーコンピュータがランキング上位に登場する傾向も見て取れ、例えば現在のランキングで2位の天河一号A、4位の星雲(Nebulae)、5位のTSUBAMEまで、なんと上位5台中の3台がGPUコンピューティングベースのマシンとなっている。

天河一号Aはつまり、PFLOPS級のスーパーコンピュータであり、かつGPUコンピューティングの技術を導入したという、昨今のスーパーコンピュータの2大トレンドを取り込んだマシンだといえるだろう。このマシンはどのような目的でどのように作られ、そしてどのように現在活用されているのだろうか?

天河一号Aのハードウェア概要

天河一号Aが設置されているデータセンター「国家超級計算天津中心(National Supercomputer Center in Tianjin:NSCC-TJ)」は、中国の首都である北京にほど近い港町として古くから栄えた天津市に位置している。NSCC-TJのビルがある周辺は天津浜海新区と呼ばれ、天津市中心部からやや離れた振興開発エリアに属する。ビル周辺には大学の研究機関などが集まった一種のリサーチパークを構成しており、今回見学した天河一号Aの鎮座するビルの横には新たなビルが複数建設中であったりと、さかんな研究開発が進んでいる様子がうかがえる。

NSCC-TJ周辺は大学の研究機関などが集まった一種のリサーチパークとなっており、現在も天河一号Aのあるビルの隣接地には新たなビルが建設されている

NSCC-TJの特徴の1つとして、見学センターやプレゼンテーションルームが完備されている点が挙げられる。ある程度外部に「見せる」ことを前提とした作りとなっている

見学者用に公開されているエリアはNSCC-TJビルの1階と2階で、1階は天河一号A本体のあるサーバルーム、2階が会議室やプレゼンテーションルームの配置されたスペースとなっている。ある程度外部にシステムを公開し、プレゼンテーションすることを前提した作りになっている印象だ。見学に際しては国家超級計算天津中心主任(Director of National Supercomputer Center in Tianjin)の劉光明(Guang-Ming Liu)氏が登場し、NSCC-TJや天河一号Aについての解説を行った。

「天河」のロゴ。NSCC-TJビルの外壁上部にも天河の大きなロゴが設置されており、センターのシンボルとなっている

国家超級計算天津中心主任(Director of National Supercomputer Center in Tianjin)の劉光明(Guang-Ming Liu)氏(写真左)

NSCC-TJは、中国科学技術省や天津浜海新区(Tianjin Binhai New Area)の地域政府らをスポンサーに学術研究のための拠点として設立された経緯がある。天河一号/天河一号Aともに中国人民解放軍国防科学技術大学(Chinese National University of Defense Technology:NUDT)によって開発され、中国全土ならびに諸外国へとコンピュータリソースを提供することを目的としている。天河一号Aのハードウェア構成は1万4336個のIntel CPU (Xeon X5670)、7168個のNVIDIA GPU(M2050)、そして2048個のGalaxy FT-1000という3種類のプロセッサ、262TBのメモリ、2PBのストレージ、120のコンピュータ用キャビネット、14のストレージ用キャビネット、6つの通信用装置の組み込まれたキャビネットで成り立っている。このうち、Galaxy FT-1000という詳細不明のプロセッサとインターコネクトに関する技術は中国が独自開発したプロプライエタリなもので、どのように利用されているのかは不明だ。だが2PFLOPS以上のピーク性能を実現したシステムであり、インターコネクトやネットワーク関連のスイッチはかなり優秀なものだと想像される。また、もともとの初期プロジェクトではFT-64というFT-1000の前身となるストリーミングプロセッサをベースにシステムが構築されており、後の天河一号でIntel XeonとAMD製のATI GPUを採用し、最終的にNVIDIA製品へとGPUをスイッチしたことで現在のシステムが完成している。

NSCC-TJの成り立ち。中国科学技術省や天津浜海新区(Tianjin Binhai New Area)の地域政府をバックに、学術研究のための拠点として設立されている

NSCC-TJのフロア概要。1階が天河一号Aの鎮座するサーバルームとなっており、2階がプレゼンテーションルームや会議室になっている

天河一号Aの基本スペックとシステムダイアグラム

インターコネクトにはTH-Netと呼ばれるプロプライエタリな仕組みが実装されており、最大8レーンのチャネルボンディングに対応した10Gbpsの接続パスが提供される。接続トポロジーは階層型構造になっている。またNUDTではインターコネクト実現にあたってNRCというスイッチ処理用の専用ASICを起こしており、NRC 1つあたりのスループットは2.56Tbpsになるという。NRCにはノードとのインタフェースとなるNICがやはりASICとして用意されており、PCIE 2.0経由で160Gbpsでの接続が行われている。こうしたハードウェアや、その上で動作するアプリケーションはすべてLinux OSで管理されている。

ノード間を結ぶインターコネクトの仕組み。HPCにおける肝ともいえる部分だが、この部分の作り込みがよく行われていることがわかる

どのような用途で利用されているのか?

問題は、これらコンピュータリソースの活用方法だ。劉氏によれば、「生物医学研究」「資源採掘」「地球変動研究」「天気/気候予測」「流体シミュレーション」「新エネルギー/物質研究」「エンジニアリングデザイン/シミュレーション/解析」「リモートセンサー収集データの解析」「基礎科学研究」「アニメーション/映画制作」などの応用事例が挙げられている。特に利用ユーザーと使用コンピューティングパワーともに利用率が高いのが「基礎科学研究」と「生物医学研究」の2つで、これだけで利用率の6割近くを占めている。

ソフトウェア部分のスタックを図示したもの。天河一号AはLinuxをベースとしたOSで動作している

天河一号Aの適用分野の例

天河一号Aの利用状況を利用メンバーと利用率のグラフで表したもの

天河一号Aの利用例。CPU利用オンリーのアプリケーションが多いようだ

劉氏によるプレゼンテーションのまとめ

Top 500ランキング1位の証明書がプレゼンテーションルームの前に飾られている

このほか、今回のプレゼンテーションでは劉氏によって5つの具体的な利用事例を紹介されている。核融合研究や地質探索、気候変動シミュレーション、生物医学、暴風シミュレーションなどの研究だ。興味深いのは紹介事例の5つのうち、3つがCPUオンリーのアプリケーションで動作しているという点だ。GPUの活用は現在研究中の段階だという。NVIDIAによれば、この手のCPU+GPUをベースとしたスーパーコンピュータは、そのピーク性能の多くがGPUによって生成されるものであり、CPUオンリーのワークロードではコンピューティングリソースがフル活用されていない可能性が高い。中国が優秀なハードウェアを得たいま、次に目指しているのは応用分野でのさらなる活用と、そのためのアプリケーションの最適化にあると考えられる。その意味で、中国のスーパーコンピュータが本領を発揮するのはまだまだこれからだといえるかもしれない。研究開発に貧欲であり、今後のポテンシャルが非常に大きなものだという印象を受けた。

デモストレーションや説明会を行うビル2階にあるプレゼンテーションルーム。部屋の隅には天河一号Aを構成するコンポーネントやアプリケーション事例の数々が展示され、説明ボードとともにアピールされていた

NSCC-TJに招待した来場者らにセンターの利用状況や概要について説明する劉氏

天河一号AのプロセッシングユニットはCPU (Intel Xeon)、GPU、CPU (FT-1000)という3つのパーツから構成されている。それぞれのユニットボードを抜き出したところ

天河一号Aを構成する謎のCPU「FT-1000」。写真のスペックシートには800MHz-1GHzの動作クロックを持ち、8つのコアで最大64スレッドを同時実行可能だという。中国が独自開発したプロセッサとのことだが、クロック周波数の低さや同時実行スレッド数の多さから考えて、おそらくSun Microsystems (現Oracle)が開発した「UltraSPARC-T (Niagara)」に近い、高い実行効率性を重視した超並列プロセッサだとみられる

インターコネクト用のスイッチングチップ「NRX」

こちらはNICに利用されるチップ。どちらも「Galaxy」の刻印があり、「天河」にかけたオリジナルチップであることが示されている

スイッチングボードとバックプレーン用の通信ボード

PFLOPS級スーパーコンピュータ構築を目指して6年以上前にスタートした天河のプロジェクトだが、当初はレンダリングやデザイン、基礎的なシミュレーションなどでの活用から始まり、ハードウェア性能とともに徐々に応用範囲を増やしていった経緯がある。NSCC-TJによれば、現在はGPUを活用した事例を増やしつつある段階であり、天河一号Aはそのスタート地点ともいえる。

NSCC-TJビルの1Fにある天河のサーバルーム。このような形でびっしりとサーバが配置されている

サーバルームの入り口から奥へと進んでいくと、全面ガラスで隔離されたエリアがある。ただロック等はされていなかったため、セキュリティ等の理由ではないとみられる

サーバルーム最奥部の様子。電源パネルがある

サーバ構成はシンプルで、床上げされたサーバルームの床下にケーブルを這わせてノード同士を接続している形とみられる。そのため冷却機構もシンプルで、このような形状の天井から冷やされた空気が落ちてくるエアフローを採用している