Hot Chips 23 - FacebookのOpen Computeプロジェクト

大規模なWebデータセンターは1カ所で数万台ものサーバを設置している。サーバの値段もさることながら、500Wの消費電力のサーバを2万台使うと10MWの電力消費となる。1KW時10円としても毎時間10万円で、連続稼働すると年間で8億7600万円の電気代になる。また、10MW分の熱を空調で冷やそうとすると、この空調にも10MW程度の電力を必要として、電気代は倍増してしまう。

ということで、大規模データセンターの調達、運営コストを下げることはWebサービスの大手企業にとっては利益に直結する重要事項である。業界最大手のGoogleは、創業当時から簡単でコストの安いサーバを自分で作るなどのコスト低減を推し進めてきたが、効率の良いデータセンター構築技術は重要な企業ノウハウとして秘密主義を貫いている。

一方、Facebookは、自社のデータセンター構築技術をオープンにし、それを標準として業界で改善を続けていくOpen Computeというプロジェクトを立ち上げた。オープンソースソフトのように、皆が使い、改善を続けていく方が結果的に効率が良く、大量に同じ仕様のサーバなどが調達されることになり、大規模データセンターの構築が容易となる。それによって、次世代のスタートアップの立ち上げを容易にする。そして、Facebookという会社のイメージを改善してより質の高いエンジニアを引きつけることができるようになると考えている。

2011年8月に開催されたHot Chips 23において、Facebookの4人の担当者が講師となり、3時間半に及ぶチュートリアルを行って、Open Computeプロジェクトの説明とアピールを行った。このチュートリアルをもとに、Facebookの提唱するOpen Compute Projectを見ていこう。

電源供給のロスを減らして節電

通常の大規模データセンターでは電力会社から35kVあるいは12.5kVの高圧を受電し、それをトランスで三相480V(2つの端子の間の電圧は480VAC。これは三相の中点から各端子の電圧を見ると277VACで、Facebookのスライドには両方の値が出てくるが同じものである)に降圧する。それをUPS(Uninterruptible Power Supply:無停電電源)を通して、99.999%(年間5分以下)の停電の品質に改善する。

そして、UPS出力の480VACを一般的にはラックごとに設置したPDU(電源コンセント。降圧する場合はトランス込)で208VACあるいは120VACに降圧してサーバに供給する。高い電圧で送る方が電流が減り、配線抵抗によるロスが減るので、データセンター内は480Vで配り、分散したPDUでサーバ用の208/120VACに降圧するのが一般的である。

さらにサーバの電源は供給された208VACから12.5VDCや3.3VDCを作り、それらの電源からCPUやDRAMなどの部品に供給する電圧をマザーボードに搭載されたVRM(Voltage Regulator Module)で生成する。

しかし、電力会社の供給網から配電盤を通ってUPSまでの間で2～3%のロスが発生する。また、UPSはACを整流してDCに変換し、それをバッテリに溜め、再度、インバータでACに変換するため8～12%のロスが発生する。そして、UPSの出力をPDUを通してサーバの電源の入り口に届けるまでに2～3%のロスが発生する。また、サーバ内の電源やVRM部分で23～40%のロスが生じ、電力会社から買った電力のうちの50%～70%しかCPUやDRAMなどを動かすことには使われず、残りは電源供給系でロスとして熱になってしまう。

これに対して、Facebookが最近、オレゴン州のPrinevilleに建設したデータセンターの電源供給系は次の図のようになっており、電力会社から供給される高圧電源を480Vに落とし、それを直接サーバの電源に供給している。電力会社の供給網からの2~3%のロスは同じであるが、UPSのロスはない。

ここで、問題は停電であるが、UPSの内蔵バッテリで電源を維持できるのは数10分程度に限られるので、連続稼働を必要とするデータセンターではバックアップにディーゼル発電機が設置されている。そして、停電すると自動的にディーゼル発電機が始動する。従って、UPSはディーゼル発電機が動くまでの数10秒程度をカバーすればよい。このような考え方で、Facebookは480VACと48VDCの両方を入力とする特注の電源を開発した。そして、通常は480VAC入力で動作するが、ノートPCの電源と同じ考え方で、ACが供給されている間はACを使い、ACが切れると自動的に48VDCのバッテリ入力に切り替わる。このFacebookの方式は専用のUPSは持っていないが、このAC、DC両入力の電源と48VDCのバッテリの組み合わせによって、全体としてはUPSとして動作する。そして、このUPSは年間3秒以下の停電と大型の480VACのUPSに比べて10倍可用性が高いという。

このようにしてPDUを使わずに480VACで分配を行うことにより分配のロスが1～2%に減少する。また、高入力電圧で高効率の12VDC出力のサーバ電源を開発し、サーバ内でのロスを14%に低減している。これにより、供給された電力の82～83%がCPUやDRAMに届くことになる。

50～70%の効率の場合は、100Wの電力を部品に供給するためには140～200Wの電力が必要であるが、82～83%の場合は120W程度の電力ですみ、その差分の電気代が節約できる。また、消費電力が減るということは、その分、発熱が減るということであり、冷却に必要な電力も減らすことができる。