柱が一本もない「京」の計算機室

現時点(2012年4月時点)では世界最高性能のスパコンであり、2012年11月からの本格稼働を予定している「京コンピュータシステム(理化学研究所の呼び方は「京」、あるいは「京」コンピュータである)」は、神戸のポートアイランドにある理化学研究所の計算科学機構(Advanced Institute for Computational Science:AICS)に設置されている。

京コンピュータ。50m×60mのフロアに計算ノード筐体が並ぶ(提供:理化学研究所 計算科学研究機構)

これらの写真のように、京コンピュータのピーク演算性能11.28PFlopsを実現するための多数の計算ノード筐体は、柱が一本も無い幅50m、奥行60mという大きな計算機室に置かれている。

AICSの建屋は研究棟、計算機棟、熱源機械棟および特高変電施設からなる。研究棟は地上6階であるが、計算機棟は各フロアが研究棟のほぼ2階分の高さがあり、地上3階となっている。そして、3階に計算ノードとローカルファイルシステムが置かれ、2階は、3階の機器の空調などの設備が置かれている。そして1階にはグローバルファイルシステムが置かれ、地下1階は1階の機器の空調装置が置かれている。

そして、研究棟と計算機棟は免震構造に載っており、震度6強の地震にも耐える構造になっている。

研究棟と計算機棟の建屋の構造

京コンピュータシステムの全体構成は、次の図のようになっている。

京コンピュータシステムの全体構成(出典:2012年2月の理研シンポジウムにおける黒川氏の発表)

京コンピュータは、赤色で描かれたコンピュートノード群とそれに直結されたIOノード群からなっている。そして、IOノードにはローカルファイルシステムを構成するディスクストレージが接続されている。

そして、IOノードから、青色で描かれたグローバルIOネットワークを経由して、グローバルファイルシステムに繋がっている。さらに、グローバルIOネットワークは、IOノード群の右側に描かれた前処理や後処理を行うサーバ群や外部とのネット接続や使用者が接続するフロントエンドサーバ群を接続している。これらの機器は、建屋の1階に設置されている。

また、IOノードは管理用のEthernetを経由して、図の左下に描かれたシステム管理やシステム制御用のサーバに繋がっている。

計算ノードはSPARC64 VIIIfx CPUチップとメインメモリとなるDIMM、それにICCと呼ぶTofuインタコネクトを構成するチップからなり、4ノード分が1枚のシステムボードに搭載されている。

SC10で展示された京コンピュータのシステムボードとSPARC64 VIIIfxのウェハ

システムボードの右側の4個の銅色の水冷ヒートシンクの下にSPARC64 VIIIfx CPUがあり、左側に4個並んだ小ぶりの水冷ヒートシンクの下にICCチップがある。そして、縦縞のように見えるのはメインメモリのDIMMである。

SPARC64 VIIIfxプロセサは富士通が開発した8世代目のSPARCプロセサであり、fxがついているのは科学技術計算向けのプロセサであることを示している。SPARCは、元々Sun Microsystems(現Oracle)と共通仕様で開発してきたプロセサであるが、SPARC64 VIIIfxではHPC-ACEと呼ぶ富士通独自の科学技術計算向けのアーキテクチャ拡張が行われている。