SC13 - 新しいエネルギー効率指標Total-power Usage Effectiveness(前編)

データセンターのエネルギー効率の指標としてのPUE(Power Usage Effectiveness)は2006年に提案されたものであるが、この7年ですっかり定着した。PUEは、データセンターが年間に消費するエネルギーをサーバなどのIT機器が年間に消費するエネルギーで割ったものと定義され、要するにIT機器以外の冷却などに必要とするエネルギーがどの程度の比率になっているかを示している。なお、冷却に必要なエネルギーは外気温に左右されるので、PUEは1年間のエネルギーを測ることになっている。

2007年ころのデータセンターのPUEは2.5程度、つまり、IT機器の消費電力の1.5倍程度が空調や給電ロスになっていた。1MWの電気を1年間使用すると、電気代は約1億円となる。このため、MW級のIT機器を使う巨大データセンターでは、電気代が運用費用の大きな割合を占めており、PUEの改善は経済的にも非常に重要である。

このため、PUEの改善に力が注がれ、2013年の高効率なデータセンターのPUEは1.3を切り、1.1を下回るというデータセンターも出てきている。

しかし、PUEは完全ではない。IT機器の筐体の中にファンがある場合は、そのファンの消費電力はIT機器の消費電力になるが、データセンターに設置されているファンの消費電力はオーバヘッドの消費電力になる。

この図のように、(a)IT機器の中にファンがあり、データセンターにもファンが有って空気を循環させるケース、(b)IT機器の中だけにファンがあるケース、(c)データセンターだけにファンがあるケースを考えると、(b)のPUEが一番小さくなるが、本当に、この構成が一番エネルギー効率が良いとは限らない。

そこで、IT機器のエネルギー効率ITUEを、IT機器に供給されるエネルギーと、本当にCPUやメモリ、ディスクなどが消費するエネルギーの比で定義する。

そうすると、データセンター全体のエネルギー効率TUEは、TUE=PUE×ITUEで表される。このようにTUEを使えば、ファンがIT機器内にあっても、機器外にあってもファンの電力はCPUやメモリが使うエネルギーに対するオーバヘッド側にカウントされることになる。

TUEは、2013年6月のISCで提案され、最優秀論文賞を獲得した新しい考え方である。SC13において、このTUEに関するBoF(Birds of a Feather:同じ羽を持つ鳥の群れから転じて、同好の士の集まりの意味に使われる)が開かれた。

Oak Ridge国立研究所のJaguarスパコンでのITUEの計算

このTUE BoFで、Oak Ridge国立研究所のJaguarスパコンのITUEを計算した経験が報告された。

JaguarはCRAYのXT5スパコンであり、次の図のように、480VACがキャビネットに供給され、内部で52VDCに変換されて各ブレードに配られる。そしてブレード内で12VDCに変換され、プロセサ、メモリ、そしてインタコネクト用のSeaStar LSIに電力を供給するVRMに配られている。

ITUEを求めるには、CPU、メモリ、SeaStar LSIの消費電力を求める必要があるが、この値は直接には測定できないので、なんらかの方法で推定する必要がある。1つの方法は、CRAYが発表した電力の内訳をしめしたパイチャートを使う方法である。このパイチャートを信頼するとITUEは1.47と見積もられる。

また、メーカのCRAYはIBCとVRMを合わせた効率は84%と言っており、この数字とA点、X点での測定値を使えばITUEは1.49と計算できる。

この2つの方法で推定したITUEの値は比較的良く一致している。このようにメーカが公表している数字からITUEを計算することは容易であるが、ITUEを実測だけで求める手段が無いという問題があるという。

ローレンスリバモア国立研究所のSequoiaスパコンでのTUEの計算

LLNLのSequoiaスパコンはIBMのBlueGene/Qスパコンで、LLNLのITUEの推定は、IBMのいう給電系の効率だけから求められており、1.24となっている。

そして、これに別途測定したPUEを掛けるとTUEは1.57と求められる。