Top500はHPLだけでランキングを行っており、プロセサの演算器からキャッシュまでの性能の評価が中心となっている。これでは、あまりにも一面的な評価であるという反省から作られたのが「HPC Challenge(略称HPCC)」である。

HPCCはTop500と同じHPLに、キャッシュとメモリの間の性能を評価するSTREAM、他の計算ノードのメモリアクセスも含めた性能評価としてのFFTとRandom Accessなどのベンチマークプログラムを追加し、全体で7種のプログラムの実行性能でスパコンの性能を評価する。

HPC Challengeは、スパコンの各部を評価する7つのベンチマークプログラムを使って性能を評価する

スパコンの性能を多面的に評価するという点では良いのであるが、複数のプログラムの場合、プログラムAではシステム1よりシステム2の方が性能が高いが、プログラムBでは逆にシステム1の方が性能が高いということが起こり、順番にランキングすることができない。

このため、HPCCでは、Top500のHPLと、STREAM、FFT、Random Accessの4つのプログラムを主要ベンチマークと呼び、それぞれのプログラムの性能の1位から3位のシステムを表彰している。

2013年の表彰は次の表のようになったが、実は、これは昨年とまったく同じで、上位に食い込む可能性のある天河2号などはHPCCには登録申請を行わなかったようである。

HPL STREAM Random Access FFT
1位 9796TFlop/s
京コンピュータ
理研AICS		 3857TB/s
京コンピュータ
理研AICS		 2021GUPS
Power775
IBM Dev.Eng.		 206TFlop/s
京コンピュータ
理研AICS
2位 1534TFlops
CRAY XT5
ORNL		 525TB/s
Power775
IBM Dev.Eng.		 472GUPS
京コンピュータ
理研AICS		 133TFlopp/s
Power775
IBM Dev.Eng.
3位 1344TFlops
Power775
IBM Dev.Eng.		 398TB/s
CRAY XT5
ORNL		 117GUPS
BlueGene/P
LLNL		 12TFlop/s
NEC SX-9
JAMSTEC
2013年11月のHPC Challengeの1～3位

この4種のベンチマークプログラムで測定された性能の上位システムの表彰を、HPCCではクラス1(Best Performance)表彰と呼んでおり、HPCCにはもう1つクラス2表彰がある。

2013年HPCCクラス2では、筑波大が初勝利

クラス2はMost Productivityの表彰で、並列プログラミング言語などを使い、多数ノードを効率的に使うプログラミングが高い生産性で行えるという成果に授与される。

クラス2の応募者は、クラス1の主要4種のベンチマークのうちの3種とその他の2つのベンチマークカーネルについて、プログラムの特徴や、行数、性能などを発表して生産性の高さをプレゼンテーションする。それを10人の審判が評価して投票で最も優れた発表を決める。

昨年は、IBM、CRAY、イリノイ大、筑波大の4者の発表があり、IBMのTardieu氏のX10によるプログラムが最高性能賞、CrayのChamberlain氏のChapelによるプログラムが最もエレガントな言語賞に輝いた。

今年のクラス2の出場者は、IBMのSaraswat氏と筑波大の中尾氏(受賞当時。現 理研 計算科学研究機構(AICS))の2名であった。

2013年のClass 2出場者はIBMのSaraswat氏と筑波大の中尾氏(受賞当時)の2人

IBMは、X10言語を使い、256コアのPower7、16KコアのBlueGene/Q、そして32Kコアの京コンピュータと3種のスパコンでの動作をアピールした。対する筑波大の中尾氏は、筑波大と理化学研究所AICSが共同で開発を行っているXcalableMPの実装を使い、8K、32K、64Kコアの京コンピュータでの動作のスケーラビリティと性能の高さをアピールした。

中尾氏は、2012年は受賞を逃したが、2013年は、通常は数1000行のプログラムとなるHPLを306行で記述し、16Kノードの京コンピュータシステムで、ピーク性能の44.5%を達成している。また、Random Accessでは250行のプログラムで16Kノードを使って162.8GUPSを達成しており、これはクラス1での82Kノードでの472GUPSと比較しても高い性能である。

中尾氏の結果。HPL、RandomAccess、FFTとStream TriadとHimenoベンチを測定したシステムのノード数、性能、ソース行数(SLOC)の一覧

結果として、10人の審判のうちの6人が筑波大の発表の方が生産性が高いと判断し、筑波大のクラス2初勝利となった。

HPC クラス2の表彰状をもつ中尾氏

なお、Top500の表彰では受賞者が賞状をもち、主催者や関係者と並んで写真撮影用のポーズを取るのであるが、HPCCの表彰はポイッと賞状を渡すだけのそっけないもので、写真を撮る間が無い。ということで、中尾氏にHPCC BoFの終了後にポーズを取っていただいた。