Top500はHPL(High Performance LINPACK)というプログラムの実行性能(Flops値)でスパコンのランキングを行うものであるが、Green500は、HPLを実行しているときの消費電力でFlops値を割ったFlops/Wというエネルギー効率でスパコンのランキングを行う。ただし、Green500リストに入れてもらうには、あまり小さいコンピュータではダメで、Top500の500位のシステムと同等以上の性能を持つことが要件になっている。

Top500はスパコンの性能向上を後押しするランキングであるが、Green500はエネルギー効率の高いスパコンの開発を後押しするランキングである。

今回のGreen500では、TUSBAME-KFCが1位を獲得

SC13でのGreen500 BoF(Birds of a Feather:同類の集まりの意味)において、Green500の主催者であるバージニア工科大のWu Feng教授が第14回Green500の上位10システムを発表した。

SC13のGreen500 BoFでTop10を発表するWu Feng教授

今回、第1位に輝いたのは、4503.17MFlops/Wを達成した東京工業大学のTSUBAME-KFCである。なお、筑波大のHA-PACS TCAシステムが3位、東工大のメインスパコンであるTSUBAME2.5システムが6位と日本勢は健闘している。

東工大のTSUBAME-KFCのGreen500 1位の受賞。左端が主催者のWu Feng教授。その隣が東工大の松岡教授、GPUメーカのNVIDIAのSumit Gupta氏、東工大の額田準教授。一人置いて、遠藤準教授

TSUBAME-KFCはNEC(SuperMicroのOEM)の「LX 1U-4GPU/104Re-1Gマザーボード」を使い、2ソケットのE5-2620v2(Ivy Bridge EP、2.1GHz、6core)に 4台のTesla K20x GPUを接続した計算ノード40台で構成されている。ノード間の接続にはFDRのInfiniBandを使っている。

TSUBAME-KFCがGreen500の1位のエネルギー効率を実現した理由の第1は、2ソケットのXeonに4台のK20xを接続していることである。TSUBAME2.5では2ソケットのXeonに3台のGPUであったのに比べてGPUが1台増えており、その分、エネルギー効率が上がっている。また、Xeonも最新のE5-2620v2になりCPUのエネルギー効率も上がっている。

第2の理由はGreen Revolution Computingのオイル槽にサーバをジャブ漬けしてチップ温度を下げていることである。26℃の空気で冷却した場合は、CPU0のチップ温度は50℃であるのに対して、26℃の油に漬けた場合は40℃と、チップ温度は10℃下がっている。

CPUやGPU、そしてGDDR5チップの消費電力はスイッチングに伴うアクティブな電力と、トランジスタの漏れ電流によるスタティックな電力の合計であるが、アクティブ電力はほとんど温度に依存しないが、漏れ電流はチップ温度に大きく依存する。このため、26℃の空冷の場合に比べて、28℃の油浸でチップ温度を下げると、ノードの消費電力は749Wから693Wと約7.5%減少している。

空冷と油浸でのチップ温度と消費電力の違い

しかし、油の温度を19℃に下げてCPU0のチップ温度を31℃に下げても、ノードの電力は691Wで2Wしか減少していない。

ただし、この図のデータは、油浸の場合、なぜGPU2だけ他のGPUと比べて温度が低いのか、GPU0、1は油温が9℃下がってもチップ温度は3～5℃しか下がらないのかなど良く分からない点がある。この点については、遠藤先生や額田先生にも質問してみたのであるが、やはり、良く分からないとのことであった。

それはともかく、油浸で7.5%消費電力が減り、約8%、MFlops/W性能が向上している。仮にこの寄与分が無かったとすると、TSUBAME-KFCのスコアは4170MFlops/Wとなり、2位のケンブリッジ大の3632MFlops/Wとの差は半減する。

第3の理由は、MFlops/W値が最大となる条件を探して、そのデータをGreen500に登録していると言う点である。

次の図は、性能を変えてMFlops/W値を測定した結果で、Top500に登録した最大性能の場合はエネルギー効率は3700MFlops/W程度であるが、(電源電圧とクロックを下げて)性能を2割程度落とすとエネルギー効率は4500MFlops/W程度となる。この図に見られるように、それ以上に性能を下げても、MFlops/Wは低下してしまう。他のシステムがどのようなチューニングを行っているのかは不明であるが、TSUBAME-KFCは動作条件をGreen500シフトしているという点でも頑張って性能を上げている。

TSUBAME-KFCのLINPACK性能(X軸)と電力効率(Y軸)。最大性能は電力効率最大ではない

消費電力の測定は、Green500のアキレス腱で、問題が多く残っている。それは後述することにして、TSUBAME-KFCをはじめとして、大部分のGreen500登録はレベル1という電力測定法を使っている。

HPL全体の実行中の平均電力は31.18kW。規定のLevel 1の平均電力は27.78kW

この図はHPLを実行する場合のTUBAME-KFCの消費電力の推移を示したもので、HPL実行のコアフェーズの平均電力は31.18kWとなっている。しかし、レベル1の電力測定ではコアフェーズのはじめと終わりの10%を除いた中間の80%の時間の中の、20%の時間、あるいは1分のどちらか長い方の時間の平均電力を使えばよいという規定になっている。

HPLの計算過程は、行列の上辺と左辺を皮をむくように処理していくので、最後の方は処理する行列が小さくなって消費電力が少なくなる。このため、中央の80%の時間の最後の1分間の平均電力の27.78kWを使ってMFlops/Wを計算している。