Sequoia25での電力測定

Sequoiaはピーク性能20PFlopsでTop500 3位のシステムであるが、これに5PFlopsのVulcanシステムを連結したのがSequoia25というシステムである。なお、このシステムは、その後、切り離されてしまったので、Top500のリストには登録されていない。

Sequoiaの給電は、電力会社から受電する6台の2000KVAのトランスからそれぞれ分電盤につながり、分電盤から16分岐してPDUに繋がっている。そして各PDUがSequoiaの1筐体に電力を供給するという構成になっている。

Sequoiaの電源供給系。6台の2000KVAトランス、6台の分電盤から、それぞれ16台のPDUに分配し、各PDUが1筐体に給電している

そして、分電盤の入力のところと16台のPDUへの出力のところに、瞬間電力とエネルギー積分値を計測できるシーメンス製の電力計が設置されている。

各分電盤のメインブレーカの部分と16台のPDUへの供給系に電力計を付けている

結果を集計したところ、分電盤の入力と出力の測定に9.2%の違いがあり、調査したところ、120台の電力計のうちの11台に設定ミスがあり、正しい結果が報告されていないことが分かったと言う。

Sequoia25の測定ではレベル3を目指していたが、120台の電力計の内、11台の設定が間違っていて、測定ができず、不本意ながらレベル2になってしまった

結果として、全システムの電力を実測していないのでレベル2の測定ということになってしまったのであるが、その他の点では、レベル3のすべての要件を満たしているとのことである。

結果として、HPL性能21.41PFlopsを11.5MWの平均電力で実行し、1861.41MFlops/Wとなった。これはレベル1測定より約12%低い値

結果として、エネルギー効率は1861.41MFlops/Wとなり、これはネットワークを除外したレベル1の測定と比較して約12%低い値であるという。

Piz Daintでの電力測定

Piz DaintはTop500 6位のスパコンで、今回のGreen500では3186MFlops/Wで4位、ペタフロップス以上のスパコンでは、第1位の電力効率として表彰されたシステムである。Piz DaintはCRAYのXC30スパコンで、Xeon E5-2670 2ソケットに2台のNVIDIAのK20xを接続した計算ノードを使っている。その意味では普通の市販のスパコンと言えるが、Piz DaintはGPUを使いながら、ピークFlopsの80.5%のHPL性能を実現している。

GPUを使い慣れた東工大でも、HPL性能は、TSUBMAE-KFCではピークの69%、TSUBAME2.5ではピークの50.7%である。これに比べるとPiz Daintの80.5%驚異的で、これがPiz Daintの電力効率が高い主因である。

なお、筑波大のHA-PACS TCAシステムもピークの76.1%のHPL性能を達成しており、これがGreen500 3位を獲得する上で大きく貢献している。

最もグリーンなペタフロップススパコンとして表彰を受けるPiz Daintの関係者

Piz Daintは、計算ノード筐体が27、2筐体ごとにブロワー筐体がついており、これが合計17筐体存在する。Piz Daintでは、これらの筐体に電力を供給するPDUの部分に電力計を設置している。また、HPLの実行にはファイルは不要といっても、OSを動かしたりするためなどにはファイルは必要なので、ファイル1筐体の電力も測定に含めている。

Piz Daintは27計算筐体からなるCRAYのXC30システムで、□で囲まれた計算筐体へのPDU、17台の冷却用のブロアー筐体へのPDUと1筐体のファイルシステムへの電力を測定している

結果として、平均電力は1754kW、電力効率は3186MFlops/Wとなった。これに対して、インタコネクトの電力などを含まないレベル1測定では3864MFlops/Wとなり、これに比べるとレベル3測定は約17.6%低い値となっている。また、この3864MFlops/WはHPL実行の全コアフェーズの平均電力を使って計算したもので、電力の少ない20%の期間の値を使えば、さらにレベル1測定によるMFlops/W値は向上するという。

レベル3測定の結果は3186GFlops/W。これに対してレベル1なら3864MFlops/W。測定期間を20%にすればさらに値はアップする

Green500の将来の課題

3864MFlops/WのスコアでもPiz Daintは、Green500ではTSUBAME-KFCに次いで2位になる値で、公平なランキングを行うためには、レベル2、3の測定に統一したいところである。

また、ファイルシステムなどはどこまで測定に含むのか、データセンターの冷却の電力をどう扱うか、電力計の精度の規定など、電力測定の方法を改善していく必要があるという。

解決を必要とする事項

そして、現在は、ワークロードとしてHPLを使っており、主にプロセサとメモリしか動かしていないが、ストレージやI/Oを動かすようなワークロードも考える必要がある。また、現在はシステムの規模などとは無関係に1つのリストにまとめているが、クラス別のリストを作るなども考えていく必要があるとのことであった。