2021年、HPCの進歩が達成したこととそのインパクト - ISC 2021

恒例であるが、ISCを締めくくるのはインディアナ大学のThomas Sterling教授の講演である。

昔は、スパコンは専用の計算ノードを専用のネットワークでつないで作るのが常識であったが、1993年にSterling教授とDonald Becker氏は、コモディティのパソコンノードを繋いで科学技術計算用のコンピュータを作るというBeowulfプロジェクトを提唱し、このやり方でより安価にスパコンが作れることを示し、スパコン開発の方向性を大きく変えた。ということで、Sterling先生はスパコン界では大御所で、ISCでは毎年、基調講演を行っている。

ISC 2021はコロナのためバーチャル開催となったので、書斎からClosing Keynoteを行うインディアナ大学のThomas Sterling教授 (このレポートのすべての図はSterling教授の基調講演のビデオキャプチャである)

この10年+を振り返ってみると、スパコンの性能は伸びてきているが、2020年にエクサフロップスを超えることはできなかった。また、2019年の終わりに新型コロナウイルス感染症(COVID-19)の流行が始まりスパコン界にも大きな影響を与えた。

図1 この10年+のHPCを振り返るとエクサスケールの性能に手が届きそうなところに近づいた。科学技術のFP64の計算では、ExaFlopsは実現していないが、エクサスケールAIには届いた

特筆すべきはCOVID-19の影響で世界は1.5年にわたってパンデミックに襲われている。全世界で400万人以上が新型コロナで死亡し、米国だけでも60万人が死亡した。初期には有効な治療法が無く、死者が増えた。また、政治家などのリーダシップもうまく対応できなかった。

2021年に入り、ワクチン接種が急速に立ち上がった。これは素晴らしい医療のブレークスルーである。しかし、世界を見ると、地域によってワクチンの供給には大きな偏りがある状況である。

図2 これまでにない大パンデミックで、米国だけでも60万人がCOVID-19で死亡した

HPCは新型コロナに対しすぐに立ち上がり、治療薬の探索、ウイルスの構造モデリングから、感染を防ぐマスクのモデルなどの解析を行い、ウイルスと戦った。日本は富岳とABCI 2.0を投入し、ドイツはPRACEと協力してJUWELSを投入した。米国ではTACCやNCSA、ORNLのマシンが動員された。そして、ヨーロッパではスイスのCSCSのPiz Daintが動員された。

図3 ウイルスに立ち向かうため、日本、米国、ドイツ、スイスなどの主要なスパコンが動員された

COVID-19の感染解析や薬剤探査などで活躍した日本の富岳は、メニ―コアのArm CPUで、48計算コアと4個のアシスタントコアを持つチップを用いている。米国のスパコンはCPU+GPUというヘテロなアーキテクチャが一般的であるが、富岳は単一コアのホモジニアスなアーキテクチャでもCPU+GPUのヘテロ構造と遜色ない計算エンジンが作れることを実証した。富岳はTop500に加えて、HPCG、HPL-AI、Graph500でも1位となり、広範な計算処理で高い性能を発揮することを示した。

富岳の性能はエクサフロップスには届いていないが、HPL-AIの低精度演算では2EFlopsの性能を出しており、エクサの入り口に立つマシンである。

図4 日本でCOVID-19との戦いに参戦した富岳は、48個の計算コアを持つホモジニアスなアーキテクチャである。Top500に加えてHPCG、HPL-AI、Graph500でも1位となり、広範囲の計算に高い性能を持つことが示された。下の写真は富岳が置かれている理研のR-CCSの松岡センター長

従来の観点でのFP64演算性能で最初のエクサフロップスマシンになるのはOak Ridge国立研究所に設置されるFrontierスパコンとみられる。CPUはAMDのGenoaで、GPUもAMDのInstinct GPUが使用される。FP64演算でのHPL性能は～1.5EFlopsと見られる。消費電力は30MWで建造費用は6億ドルと言われる。写真に見られるようなラックが104本並ぶマシンであり、設置面積的には富岳より小さそうである。

図5 最初のFP64でのエクサスパコンになると見られるOak Ridge国立研究所に設置されるFrontierスパコン。HPE Cray製のスパコンで、AMDのGenoa CPUを使う。アクセラレータもAMD製のInstinct GPU。消費電力は30MWで、建造費用は6億ドル

次の写真は25年前のもので、性能的に言えば100万Flops以前のもので、当時1TFlopsを初めて超えたSandia国立研究所のASCI Redスパコンが写っている。CPUはIntel製の200MHzクロックのPentium Proである。消費電力は850kWであるが、104ラックで、これはFrontierと同程度のサイズである。なお、ASCI RedのCPUは、その後、333MHzクロックのPentium IIにアップグレードされている。

ASCI Redは2008年に1PFlopsを達成しており、その後、11年で1000倍の性能になった。しかし、その後、すでに13年が経っているのに、世界は、まだExaFlops(Rmax)に到達していない。

図6 ASCI Redは1997年に1TFlopsを超えたマシンである。最初に1PFlopsを達成したのは2008年で、11年で1000倍の性能になっている。それから13年が経ったが、まだ、エクサフロップスには到達できていない

図7はカリフォルニア大バークレー校のNERSC(National Energy Research Scientific Computing Center)に設置されるプレエクサのPerlmutterスパコンである。このスパコンの名前は宇宙の膨張が加速していることを発見したカリフォルニア大のSaul Perlmutter教授にちなんで名づけられたものである。

宇宙の膨張を加速しているダークエネルギーは宇宙全体の質量の大部分(70％弱)を占めているのであるが、その正体は不明と言う宇宙最大の謎である。Perlmutterは宇宙論の研究にも使われる予定で、ダークエネルギーの研究にも力を発揮することが期待される。

図7 NERSCに設置されるAIスパコンのPerlmutter。16bit FPでは4ExaFlopsの性能を持つ

Perlmutterはフェーズ1では、AMDのMilan CPUと4個のA100 GPUからなる計算ノードを1536ノード持っている。演算能力はFP64では約60PFlopsであるが、FP16を使うAI計算では約4ExaFlopsの性能となっている。

ストレージは35PBの容量のLustreファイルシステムで、5TB/sのバンド幅を持つ。

そして、フェーズ1の1年後くらいにフェーズ2が計画されており、フェーズ2の増強ではGPU無のCPUだけのノードを追加することになっている。

用途としては制御された核融合、気候モデリング、データ解析のためのAI計算、宇宙論のシミュレーションなどが挙げられている。

図8 フェーズ1はMilan CPUと4つのNVIDIAのA100 GPUからなる計算ノードを1536ノード設置する。フェーズ2ではCPUオンリーのノードを増強する

ヨーロッパではEuro Joint Undertaking計画でフィンランド、ベルギー、チェコ、デンマーク、エストニア、アイスランド、ノルウェイ、ポーランド、スウェーデン、スイスの10か国が協力して0.5EFlopsのスパコンをフィンランドに設置し、パーティションを切って分割して利用する。これらの国々では単独で大型のスパコンを持つのは費用がかかりすぎるので、このように集まってトップレベルのスパコンを利用する仕組みを作るのは良い考えであると思われる。

図9 ヨーロッパでは10か国が協力して0.5EFlopsのマシンをフィンランドに設置する

英国の気象庁(Met Office)は10年間で15億ドルの予算で世界トップクラスの気象用のスパコンを導入する。Microsoftが主契約者となるAzureクラウドのスパコンで、ハードウェアはHPE Crayが供給する。

最初のシステムの導入は2022年の夏の予定である。CPUはAMDのMilanで、1.5Mコアのシステムとのことである。4つのQuadrantに分割され、合計で60PFlopsの計算性能を持つ。

これにより、より詳細な気象モデルを使えるようにして、多くのシナリオの気象を解析し、地域的な気象の予報精度を上げ、異常気象の予報精度を改善することを目標としている。そして、Met Officeは、途中でこのスパコンの性能を3倍に引き上げるアップグレードを行うことを計画している。

なお、気象予報はサービスの停止が許容されないシステムであるので、システムは4重化して、2台で同じプログラムを並列に実行して、一方が故障しても他方で実行を継続できるというシステム構成となっている。

図10 英国の気象庁は10年間で15億ドルの予算で気象、気候関係の解析を行うスパコンを導入する

中国は、天河を開発した国防科技大のチーム、太湖之光を開発したNRCPCのチームとスパコンメーカーのSugonの3つのチームがエクサスパコンを開発中であると言われる。NRCPCの次世代の神威スパコンは、太湖之光の2倍の80,000ノードの規模で、ピーク演算能力は1ExaFlops、Rmaxで700PFlops程度と推定される。プロセサは上海のSMIC(中芯国際集成電路製造)の14nmプロセスで作られるという。

しかし、中国が米国の技術を使うことに対する米国の締め付けが強まっており、中国のエクサスパコンの開発がどのように進んでいるのかはあまり良く分からない。

図11 中国は天河スパコンを開発した国防科技大のチーム、太湖之光を開発したNRCPCのチームとSugon(旧:曙光)の3チームがエクサスパコンを開発中と言われる。NRCPCの次世代神威スパコンはFP64で700PFlopsと推定される

エクサスパコンでは多数の計算ノードが大量のデータをやり取りして計算を進める。この通信を担うネットワークではMessage Passing Interfaceが標準的に使われている。

図12で、Sterling教授の写真の左の写真に写っているのは、この計算ノード間の通信のデファクトスタンダードとして使われているMessage Passing Interfaceの開発に貢献したイリノイ大学のBill Gropp教授である。

Message Passing Interface(MPI)は30年前に作られ、その後も改良が続けられ、現在では、学会、業界、政府などのすべてのコミュニティでノード間の通信の標準として使われている。

図12 Message Passing Interfaceはすべてのコミュニティで標準として使われている。このMPIの開発に大きな貢献をしたのはイリノイ大のBill Gropp教授である。この功績他で、Gropp教授は2008年にIEEEのSydney Fernbach(シドニー・ファーンバック)賞を受賞した