Top500 Linpackベンチマーク

2006年6月にはOpteronサーバだけで38.18TFlopsを達成したのであるが、前に書いたように、TSUBAMEシステムの360台のX4600サーバにはClearSpeed Advanceと呼ぶアクセラレータが搭載されている。

このアクセラレータはCSX600というClearSpeed社のコプロセサを2個と1GBのメモリを搭載するPCI-Xインタフェースのボードであり、X4600サーバのPCI-Xスロットに挿入されている。CSX600チップは、次の図に示すように、Mono Exec Unitと書かれたマルチスレッドのRISCプロセサにPoly Execution Unitと呼ぶ96個の演算ユニットが接続された構成になっている。クロックは250MHzと低いが、何しろ演算ユニットの数が多いのでピーク性能は48GFlopsと高性能である。また、このCSX600を2個と1GBのメモリを搭載したアクセラレータボード全体で25Wと、性能に比較して消費電力が小さい。

2006年11月のTop500では、このアクセラレータボードを使ってLinpack性能を38.18TFlopsから47.38TFlopsに向上した。しかし、この性能測定ではX4600サーバを648台使用しているが、CleraSpeedアクセラレータがついた計算ノードが360台、付いていない計算ノードが残りの288台という不均一な構成となる。この性能の違う2種類の計算ノードの能力をフルに引き出すためのチューニングを松岡研の遠藤講師が工夫され、最終的にはClearSpeed無しの計算ノードにはOpteron用の計算を4プロセス、ClearSpeed付きの計算ノードには、Opteron用の計算を3プロセスとアクセラレータ用の計算を3プロセス割り当てるという構成に落ち着いた。このときのOpteron用の計算プロセスはブロックサイズ240の行列積単位としているが、アクセラレータ用のプロセスはブロックサイズ960で4倍のサイズとなっている。(ブロックサイズが何を意味するかを簡単には説明できないので、これが理解できないと夜も眠れないという読者は、HPL の説明やソースコードを参照して戴きたい。)

ClearSeedアクセラレータのピーク性能は96GFlopsであり、360枚のアクセラレータの合計の性能は約35TFlopsであるが、Linpack性能は9.2TFlopsしか向上していない。これは、PCI-X経由で使うオーバヘッドなどがあり、同社のBLAS(Basic Linear Algebra Subprograms)を使っても、行列サイズによるが30～40GFlopsの性能しか得られないためである。また、定格の250MHzクロックでは演算結果が誤る場合があり、東工大ではクロックを233MHzに低減して使っているために、性能が若干ダウンしている。

また、アクセラレータにより、実際の計算としては30%程度の性能向上が得られているのであるが、アクセラレータを制御するためにOpteron側の性能が5%程度消費されてしまう分が相殺され、結果として25%程度の性能向上になっているという面がある。このように、アクセラレータのピーク性能に対するLinpack性能の向上という点ではあまり効率的ではないのであるが、消費電力的にはアクセラレータは1%程度の電力しか消費しておらず、消費電力に対する性能向上という点ではX4600を増設して同性能を達成するのに比べて非常に効率が高い。

以上のように、TSUBAMEシステムは、2006年11月には9.2TFlopsの性能向上を実現したのであるが、米国のSandia国立研究所のRedstormはシングルコアOpteronをデュアルコアに交換し、クロックもアップして性能を2倍以上に引き上げるというように他のシステムも性能増強が相次ぎ、TSUBAMEはTop500のランキングでは2位後退して9位になってしまった。しかし、アジア第一位の座はキープし、2006年11月にフロリダ州タンパで開催されたSC06で、松岡教授が表彰を受けられた。