このところ、天河2号、神威・太湖之光とTop500の首位は中国が独占してきたが、今回、Oak Ridge国立研究所のSummitが5年ぶりに首位を米国に奪還した。SummitはIBMのPOWER9 CPU　2個にNVIDIAのV100 GPUを6個接続した計算ノードを4356台使用するシステムである。

SummitのHPL性能は122.3PFlopsと、初めて100PFlopsを超えたスパコンとなった。また、Summitは消費電力あたりの性能でランキングするGreen500でも13.9GFlops/wを達成し、5位にランキングされている。

  • ></span>Top500 1位の表彰を受けるSummitを設置しているORNL関係者とシステムのメーカーであるIBM、NVIDIAとMellanoxの関係者

    Top500 1位の表彰を受けるSummitを設置しているORNL関係者とシステムのメーカーであるIBM、NVIDIAとMellanoxの関係者

今回のTop500の上位10システムは、次の表のようになっている。

  • 第51回Top500リスト上位10システム

    第51回Top500リスト上位10システム。黄色は今回新登場のシステムである。下の人物は、Top500主催者の1人のErick Strohmaier氏 (このレポートの図は、Top500セッションでの発表を撮影したものである)

2位は、前回まで1位であった中国の神威・太湖之光である。太湖之光の構成は、最初に世界一になった2年前から変わっていない。そして3位はLawrence Livermore国立研究所に設置されたSierraである。SierraはSummitの姉妹マシンで、IBMのPOWER9 CPU 2個に4個のV100 GPUを接続した計算ノードを4320ノード使用している。

4位は中国の天河2Aである。天河2Aは、天河2号のアクセラレータ部をXeon Phi(Knights Corner)から中国独自開発のMatrix-2000という演算アクセラレータに交換して、HPL性能を33.9PFlopsから61.4PFlopsにほぼ倍増したマシンである。

5位には産業総合技術研究所(産総研)のAI Bridging Cloud Infrastructure(ABCI)システムがランクインした。ABCIは富士通製のマシンで、Xeon Gold CPU 2個に4個のV100 GPUを接続した計算ノードを1088ノード使用している。

また、50℃程度の高温の水でCPUやGPUを冷却することで冷却のエネルギーを減らし、12.05GFlops/wという高い効率を実現している。しかし、POWER9 CPUを使うSummitやSierraはCPUとV100 GPUを高速のNVLink2で接続できるのに対して、Xeon CPUはNVLink2をサポートしていないので、PCI Expressで接続せざるを得ない点が、ちょっと不利である。

HPCGランキング

HPL(High Performance Linpack)は密行列の係数行列を持つ連立1次方程式を計算するプログラムである。LINPACKによる性能ベンチマークが始まった25年前には、このような密行列の計算は、現実の計算と一致していた。

しかし、計算モデルが巨大化するにつれて、モデル内の近傍の状態だけが計算に影響し、遠く離れた状態は計算に影響しなくなる。結果として係数行列の一部だけが非ゼロで、距離の遠い大部分の係数はゼロという疎行列になってきている。このため、密行列を解く方法であるHPLの性能は、実際のアプリケーションの性能とあまり一致しなくなってしまっている。

密行列の解法で疎行列を解いても良いのであるが、疎行列の場合はそれに適した方法を使った方が効率が良い。このような観点から作られたベンチマークがHPCG(High Performance Conjugate Gradient)である。

HPCGでは、HPLのような連続アドレスのメモリアクセスではなく、複雑なメモリアクセスが必要となる。そして、そのようなアクセスを行う場合のメモリバンド幅が性能に大きく影響する。

HPLでは、ピーク演算性能の60%～95%性能が得られるマシンが一般的であるが、HPCGベンチマークではピーク演算性能の1%～3%程度の性能であることが多く、1%以下というマシンもある。

このため、HPLは最高の演算性能が得られるケースで、HPCGは最低の演算性能が得られるケースで、一般のアプリケーションの性能はその中間になると考えられる。このため、昨年11月の第50回のTop500リストから、HPCGの性能の欄が新設された。

そして、第51回のTop500でのHPCGの1位に輝いたのは、Summitである。

  • HPCG性能1位で表彰を受けるSummitチーム

    HPCG性能1位で表彰を受けるSummitチーム

太湖之光のHPCG性能が480.8TFlops(ピーク演算性能の0.38%)であるのに対して、Summitは2.926PFlops(ピーク演算性能の1.56%)のHPCG性能をマークしている。Summitは、HPCG性能で1PFlopsを超えた初めてのスパコンでもある。

また、HPCG性能2位はLLNLのSierraで、1.796PFlops(ピーク演算性能の1.5%)とこちらも1PFlopsを超えている。Summit、Sierraともにピーク演算性能の1.5%のHPCG性能を持っており、太湖之光などの中国の巨大スパコンよりもバランスの取れたマシンであると評価されている。

2018年7月8日訂正:初出時、HPCGの性能第2位をSequoiaと記載しておりましたが、正しくはSierraとなりますので、訂正させていただきました。ご迷惑をお掛けした読者の皆様、ならびに関係各位に深くお詫び申し上げます。

Green500ランキング

スパコンの消費電力低減は重要性を増しており、消費電力1WあたりのHPL性能でランキングを行うGreen500は注目のランキングである。今回のリストでも前回に引き続きExaScalerのShoubu System-Bが18.4GFlops/wで第1位となった。

  • Green500 1位で表彰を受けるExaScalerの鳥居CTO

    Green500 1位で表彰を受けるExaScalerの鳥居CTO。右はGreen500主催者のWu Feng教授

暁光はどうなったのか?

昨年11月の第50回リストでは、Top500の4位に海洋開発機構(JAMSTEC)に設置されたExaScalerのGyoukou(暁光)がランクされていた。この時のHPL性能は19.135PFlopsである。2017年10月末のTop500データの締め切りには間に合わなかったが、ExaScalerは2017年12月13日に、暁光システムで、HPL 20.41PFlopsを計測したというプレスリリースを出している。したがって、2018年6月の第51回Top500リストには、20.41PFlopsを超える値で登場すると見られていたが、蓋を開けると、リストからは暁光の名前は無くなっていた。

その理由であるが、次の図のように、暁光を使ったJAMSTECとの共同研究が打ち切りになり、現在はJAMSTECから撤去されて運用を停止しているとのことである。Top500は運用中のシステムだけを載せるという原則があり、運用停止中のシステムは入れることができないのだ。もし運用を継続していれば、20.41PFlopsでTop500 5位という可能性があったのであるが、幻となってしまった。

  • ここに画像の説明が入ります

    HPL性能では国内トップの暁光は、現在、運用停止中でTop500リストから姿を消した状態になっている (出典:鳥居CTOのGreen500受賞記念講演での発表資料を撮影したもの)

ExaScalerでは、暁光を設置して運用してくれる主体を募集中とのことで、きちんと運用できるところであれば、国内でなくても良いとのことである。