ExaScaleの実現に向けた候補技術

Exaに向けては、プロセサは太湖之光で使われているメニーコアと、天河-2Aで使われているCPU+アクセラレータという方式が候補に挙がる。インタコネクトはIntelのOmni Path Architecture、InfiniBand、あるいは独自のインタコネクトで200～400Gbpsを目指す。

ソフトウェアは科学技術計算向けとビッグデータ向けが必要と考えられる。冷却は水冷と空冷のハイブリッドか浸漬冷却が候補であるという。

  • 有力なExascale機のテクノロジの選択肢

    現在、有力なExascale機のテクノロジの選択肢。プロセサは太湖之光のようなメニーコアCPUか、天河-2AのようなCPU+アクセラレータ方式

NUDTの提案は、計算ノードはCPU+アクセラレータのヘテロアーキテクチャである。ヘテロアーキテクチャは天河1号、2号で採用され、Summitスパコンでも採用されたアーキテクチャである。高演算性能のアクセラレータを使えば、エクサスケールマシンに必要なノード数を減らすことができ、Exascaleシステムを実現することが出来る現実的なアプローチである。

現在のMatrix-2000アクセラレータをベースにしたMatrix-3000アクセラレータは、512以上のコアを集積し、8TFlops以上の演算性能と40GFlops/Wを目指す。

  • NUDTの選択はCPU+アクセラレータ

    NUDTの選択はCPU+アクセラレータ。演算性能が高く、Exascaleの実現に必要なノード数を抑えることができる。Matrix-2000をベースに半導体プロセスを改善して、コア数を512以上に増やし、ピークを8TFlops以上に引き上げ、40GFlops/Wを超える効率を目指す

第3世代のTH-Express 3インタコネクトは、400Gbps以上のバンド幅を持ち、接続トポロジとしては3次元バタフライの採用を考えている。3次元バタフライを使えば、Exascaleシステムでも4～5ホップで2つのノード間でデータを送ることができる。

そして、パストレーシング、リンクテスト、フォールトトレーシングなどのインテリジェントなネットワーク管理やQoS、フォールトトレランスなどの実現を考えているという。

  • インタコネクトは自主開発のTH-Express 3

    インタコネクトは自主開発のTH-Express 3となる。バンド幅は400Gbps以上となる。接続トポロジは3Dバタフライとして、どのノード間も最大4～5ホップで届くようにする

ソフトウェアとしては科学技術計算だけでなく、Hadoop、Spark、Stormなどのビッグデータ解析やディープラーニング向けのソフトウェアプラットフォームの整備を考えている。

  • ソフトプラットフォームはさまざまなものを開発

    ソフトウェアプラットフォームは科学技術計算用に加えて、ビッグデータ用やディープラーニング用のプラットフォームを開発する

冷却は空冷と水冷を組み合わせたハイブリッド冷却を考えている。この方式は多くの実績のある成熟した効率の高い冷却方式である。

  • 冷却は水冷と空冷のハイブリッド冷却を考えている

    冷却は、HPCの世界では実績の多い、水冷と空冷のハイブリッド冷却を考えている。浸漬液冷などと比べるとコストも安い

Exascaleシステムのイメージは、0.5TFlopsのCPU2個と8TFlopsのアクセラレータ2個からなる計算ノードを作り、2ノードを搭載するマザーボードを作る。この計算ノードは20TFlops以上の演算性能となる。

そして128ノードを収容するサブラック、512ノードを収容するキャビネットを構成し、60Kノードを持つフルシステムを構成する。このフルシステムは200以下のキャビネットに収まる。

なお、0.5TFlopsのCPU 2個と8TFlopsのアクセラレータ2個では20TFlopsには足りない。しかし、60Kノードあればピーク演算性能は1ExaFlopsという計算になる。

  • NUDTのExascaleシステムの階層構成

    NUDTのExascaleシステムの階層構成。0.5TFlopsのCPUと8TFlopsのAPUを2つずつ使って計算ノードを構成する。マザーボードには2ノード搭載、サブラックには128ノードを収容。キャビネットには512ノード収容で、システム全体は60Kノードで構成され、ストレージなどを加えても200キャビネットに十分収まる

国外のオープンコミュニティとの交流は続ける中国

オバマ政権に禁輸を食らって、Tianhe-2のアップグレードにMatrix-2000の開発を余儀なくされた中国は米国の意向には影響されないHPC環境の確立を第一に考えており、ExascaleのHPCエコシステムを独自で開発しようとしている。

より敵対的なトランプ政権の対応を考えると、中国としては、この方針は妥当なものであると思われる。

ただし、次のスライドにはHadoop、TensorFlow、Sparkなどの文字が見られ、オープンコミュニティとの交流は続けていく姿勢と考えられる。

  • 中国は自主開発のプロセサをベースにエコシステム作成を目指す

    中国は自主開発のプロセサとISAをベースにHPCのエコシステム全体を作ることを目指す

開発の道筋であるが、中国としては政府の主導が基本方針となる。巨大システムについては国家スパコンセンターが整備を担当し、国家的なHPCシステムの構築は国家のサポートで行われる。そして、スパコンの整備は世界のトップレベルを維持する。同時に、情報テクノロジの自主開発を推進する。

  • 中国のExascaleシステムの開発は政府が主導

    中国のExascaleシステムの開発は政府が主導する。国家のスパコンセンターは巨大システムを設置し、各種の目的に使用する共同利用システムを作る

HPC分野で進む中国の台頭

最後に、登壇した講演者全員とモデレータのYutong Lu教授が並んで撮影を行った。次の写真の左から、Yutong Lu NUDT教授、ORNLのKothe氏、理研の石川裕氏、バルセロナスパコンセンターのSergi Girona氏、代役で中国のExascaleシステムの状況を講演したRuibo Wang氏である。

  • Upcoming Exascale Computingセッションのモデレータと発表者

    Upcoming Exascale Computingセッションのモデレータと発表者。左端はモデレータのYutong Lu教授。左から順に、ORNLのKothe氏、理研の石川氏、BSCのGirona氏、NUDTのWang氏

このセッションの発表で、米国、ヨーロッパ、中国のExacaleシステムは、演算器密度の高いGPUなどのアクセラレータかメニーコアアーキテクチャのプロセサが使われる方向であることが明らかになった。一方、日本はArm v8+SVEということで、ベクタ演算機構は搭載するものの、システム全体の演算器数の点ではGPUなどを使う米、欧、中国などの方式と比較すると、少ない設計となると推測される。

Post-Kを推進する理研の計算科学研究センターのセンター長に就任した松岡聡先生は、東工大のTSUBAMEシリーズのスパコンの開発でアクセラレータ付きのスパコンの実用化の先頭を走って来られた方であり、これから、どういう風に舵を切っていかれるのか、筆者としては興味深いところである。

それから、このセッションに直接関係はないが、NUDTのYutong Lu教授が、来年のISC 19のプログラムチェアを務めることが発表された。なお、今年のISC 18のプログラムチェアはLawrence Berkeley国立研究所のHorst Simon教授、ISC 17のプログラムチェアは、 Top500で有名なJack Dongarra教授、一昨年のISC 16のプログラムチェアは東工大(現在は理研の計算科学研究センター長)の松岡聡 教授が務めており、ここでも中国の台頭が明らかである。

また、Yutong Lu教授は、ISCとしては初めての女性プログラムチェアであると思われる。