極細同軸でメインメモリとCPUを接続
次の図は、NECスパコンのメモリテクノロジの比較の図である。SX-5のボードはSDRAMを使い、記憶容量は4GBであったが、ESではFPLRAMを使い512MBと1/8の記憶容量となっている。これはメモリバンド幅を優先してカスタムDRAMを作ったことによるロスであろうか。
-
ESではFPLRAMを使い、メモリバンド幅を10倍にしたが、メモリ容量はSX-5の1/8になっている。CPUとメモリ接続のバンド幅を高くするために極細同軸ケーブルで接続ピン数を増やし、最短ピン間隔0.5mmのコネクタを開発した
高バンド幅のCPUとメインメモリの間の接続も極細同軸を約2万本と膨大である。システム全体では、このケーブルの長さは9000kmに上る。この接続には医療機器の超極細同軸ケーブルの技術を応用したという。次の図に断面図が書かれているが、0.66mm×0.85mmというシャープペンシルの芯と同じくらいの太さの同軸ケーブルを使い、ノードあたり2万本の接続を行うのは大変である。
-
CPUとメモリ間の接続はシャープペンシルの芯なみの極細同軸ケーブルを開発した。ノード当たり約2万本の接続で、システム全体では9000kmの同軸ケーブルを使っている
単段クロスバを使う地球シミュレータシステム
そして、地球シミュレータ全体は640のノードを持ち、それらは単段のクロスバに繋がっているという構造になっている。単段のクロスバはノード間に専用のデータの通路があり、通信パターによって込み具合が変わってバンド幅が小さくなってしまうというようなことがない。
同一チップに入っている8台のプロセサは共通メモリで仕事の分担は容易であるが、他のチップのメモリのデータは直接はアクセスできず、ノード間のMPI通信が使われた。
-
各ノードには1個のCPUチップがあり、その中に8個のプロセサ(VPP)が入っている。8個のVPPは16GBの共有メモリに接続されている。640台のすべてのノードは単段のクロスバに接続している
地球シミュレータシステムはPN筐体に2ノードを収容し、320筐体に640ノードを集積している。1個のCPUチップにVPPを8台搭載しているので、システム全体では5120台のVPPがあることになる。5120×0.5GHz×16Flops/サイクルでピークベクトル演算性能は40.96TFlopsとなる。
そして、ノード間を接続する単段クロスバを収容するのがIN筐体である。PN筐体のDWHは140cm、100cm、200cmであるが、IN筐体は120cm、130cm、200cmで多少大きい筐体である。
クロスバはノード当たり12.3GB/sのデータ転送ができ、システム全体では7.8TB/sのデータ転送性能を持っている。
(次回は10月30日に掲載します)
