2014年度後半に25PFlops以上の性能で完成予定の東工大のTSUBAME3.0

GTC Japan 2012のアカデミックセッションの講演で、東京工業大学(東工大)の松岡聡教授がTSUBAMEスパコンの将来像を明らかにした。現在のTSUBAME2.0のピーク演算性能は約2.3PFlopsであるが、これを2014年度の後半に完成予定のTSUBAME3.0では25～30PFlopsに引き上げる計画である。

エクサに向けたGPUによるウルトラグリーンコンピューティングと題する講演を行う東工大の松岡教授

松岡教授のグループは、科学技術振興機構のCRESTプログラムの中のULP-HPCという超低消費電力ハイパフォーマンスコンピューティングの研究を行っている。

ULP-HPCの全体スキーム

ULP-HPCでは10年後にスパコンの性能/電力を現状の1000倍に高めることを目的とし、 (1)数理的な新手法に基づいた性能モデル・省電力の自律自動最適化(チューニング)技法を、(2)超マルチコア・ベクトルアクセラレータ・次世代省電力メモリ・省電力高性能ネットワークなどのハードウェア基盤、仮想機械やスケジューラなどのソフトウェア基盤・冷却や電源などの設備基盤などを融合的に活用する、新しいHPC向けの超省電力化基盤の開発を行い、(3)我国No.1スパコンの東工大「TSUBAME(100TFlops級)」上に、(2)の要素を研究基盤として追加し、(4)実際の大規模HPCアプリケーションをベースに超省電力向けアルゴリズムを開発することで、この目標を達成することになっている。ただし、この研究は平成19年度の採択であるので、ここで言う10年後の半分は既に経過している。

ULP-HPC研究プランに沿って、2007年3Qから1年半で基礎開発、その後第1次統合化を行い、2010年3Qにはこれらの研究成果を用いてTSUBAME2.0を完成してきた。

ULP-HPC研究プラン。研究成果は、2010年3QのTSUBAME2.0、2014年度のTSUBAME3.0に適用される計画となっている

そして現在は、アプリの最適化、システムの最適化、冷却の最適化で、それぞれ2倍の性能/電力を達成する方法を研究し、並行してTSUBAME3.0の設計を行っている。この設計に基づき、2014年度にTSUBAME3.0を完成するという流れである。

10年で1000倍の性能/電力の改善の内訳

10年で1000倍の性能/電力改善に向けた高密度コンテナ側スパコン

10年で1000倍の性能/電力の改善であるが、ムーアの法則による微細化が100倍で、メニーコア、GPUの活用により5倍、動的電力制御技術で1.5倍、そして冷却電力の削減で1.4倍の改善をもくろんでいる。

そして、東工大は、TSUBAME3.0に向けたウルトラグリーン・スパコン研究設備の概算要求を文部科学省(文科省)に出しているという。

TSUBAME3.0に向けた東工大の概算要求の内容

このウルトラグリーン・スパコンの研究では、高密度コンテナ型のスパコンセンターで、(1)PUEが1.1以下で年間の2/3以上は冷却電力ほぼゼロを実現し、(2)2013年度前半にはTesla K20(Kepler 2)GPUをTSUBAME2.0に追加して、単精度～10PFlopsのTSUBAME2.5にアップグレードして性能/電力を改善し、2015年のTSUBAME3.0では倍精度で25～30PFlops、TSUBAME1.0と比べて500～1000倍の性能/電力比を実現する。そして、ULP-HPCの成果の超省電力ミドルウェアやアプリケーションを整備するというプランになっている。ただし、これは概算要求で、松岡先生はTwitterで、「TSUBAME2.5の実現には、数億円足りない」とつぶやいているので、まだ、必要な予算が獲得できるかどうかは分からない。

冷却の電力削減のために油浸冷却システムを導入

冷却の電力削減も大きなテーマで、昨年12月に油浸冷却のプロトタイプを導入したという。

Green Revolution Coolingのオイル槽を使った油浸冷却のプロトタイプ。消費電力が約15%減

そして、TSUBAME-KFCというコンテナ型のデータセンター全体を油浸にし、35℃～45℃に暖まった油を水で冷やし、水はクーリングタワーで冷却するというやり方で年間の殆どの期間で、事実上PUE<1.0 を達成するという実験計画を進めている。油浸で冷却効率は改善されるが、保守性などの問題も予想され、実験を通して問題を潰して実用化を目指す。

油浸のコンテナ型データセンターの実験を行うTSUBAME-KFC

TSUBAME-KFCのKFCはあのKFC(Kentucky Fried Chicken)で、松岡先生のTwitterでは「フライドチキンは鶏肉を油で揚げるとカロリーと保存性が大幅に高くなる効果に着目し、同じ鳥類のTSUBAMEも同様に油揚することによって、エクサフロップス時代のスパコンとしてのエネルギー効率と信頼性を高めるものです」と書かれている。

そして、2013年7月に予定しているTSUBAME2.5では、予算が許せば、4224個すべてのFermi GPU(GF100)をKepler GPU(GK110)に置き換えるというアップグレードを行う予定である。

TSUBAME2.5では、現在のFermi GPUをKepler 2(GK110)に置き換え、単精度では12PFlops以上となり、京スパコンを抜く計画となっている

全部のGPUのアップグレードが行われれば、単精度浮動小数点演算性能は12PFlopsを超え、京スパコンを抜いて国内トップの性能となる。東工大とアステラス製薬がTSUBAME2.0を使う創薬の共同研究契約を結んだことが発表されたが、このような計算では単精度で良い計算が多く、TSUBAME2.5の方が京より速いこともあり得る。

一方、GK110の倍精度浮動小数点演算性能は単精度の1/3であり、4PFlops強の性能で、こちらは京スパコンの40%弱のピーク性能となる。