2014年11月のGreen500で2位となり、一躍、知名度を上げたPEZY ComputingとExaScalerは、「ExaScaler-1.5」という新機種の開発を表明していた。このほど、PEZYはこの新機種用の高密度計算ノードが動き始めたことを発表した。

ExaScaler-1

「ExaScaler-1(ES-1)」は、Supermicroの2ソケットの1Uサーバ用のマザーボードを使い、2個のXeon E5-2660 v2 CPUそれぞれに4個のPEZY-SCチップを接続している。そして、ES-1は絶縁性の冷却液にマザーボードを直接漬ける浸漬液冷という冷却方式を使っている。

次の図のような浸漬槽を使い、1台の液浸槽には8枚のボードを挿入する。従って、液浸槽あたりPEZY-SCチップが64個入っている。

3枚のマザーボードを挿入した状態の液浸槽。下に見えるのは、冷媒を吹き出すノズル

Green500で2位となったKEK(高エネルギー加速器研究機構)の「睡蓮スパコン」は4液浸槽で構成されており、システム全体ではXeonが64個、PEZY-SCが256個のシステムとなっている。

液体で冷却することにより、空気と比べるとはるかに多くの熱を運び出すことができるのであるが、ES-1では既製品の空冷用のマザーボードを使ったので、あまり、小さくはならなかった。また、既製品の汎用のマザーボードであるので、ES-1としては不要な機能も搭載されているという問題があった。

ということで、不要な機能は省いてできるだけ小型化し、多くの熱を運べる液冷のメリットを最大限利用する高密度のシステムを開発することにしたという。ES-1の時にはXeon E5-2660 v2 CPU、DDR3メモリを使い、4個のPEZY-SCチップをXeon CPUに接続するためにPLX(買収されて現在はAvagoの1部門)のPCIスイッチを使用していたが、Xeon E5 v3 CPUやDDR4 DRAMなどが使用できるようになったので、新しいシステムでは、これらの最新の部品を採用している。

ExaScaler-1.5システム

「ExaScaler-1.5(ES-1.5)システム」については、既報のように、今年2月のPCクラスタワークショップ in大阪2015においてその構想が発表されている。次の図はこのワークショップで発表されものであるが、左側に描かれているように、表裏それぞれにXeon CPUと4個のPEZY-SCチップを搭載するボードを2枚まとめたものが1つの単位となる。そして、ES-1.5では、新型の液浸槽にこの基本単位を4×4の16本収容する。

この単位は、14cm角で、長さは80cmの角柱で、それがアレイ状に並んで液体に浸かっているところは、まさに原子炉の燃料棒である。高密度の発熱を冷却しようとすれば、目的や用途は違っても類似の構造になるというのは理解できる。

ES1.5の構造。右は上から見た図で、16個のブリックが挿入される。各ブリックはXeon 2個と8個のPEZY-SCを登載するキャリアボードが2枚で構成されている

今回発表のExaScaler-1.4の計算ノード

ES-1.5では1個のXeonに接続される4個のPEZY-SCチップ同士をPCI Expressで接続し、直接通信できる機能を持たせる予定であったが、今回は時間切れでキャリアボードに配線が収まらず、実現できなくなったとの理由で、PEZYは律儀にES-1.5ではなく、ES-1.4という名称を用いている。

次の写真が構成単位の写真で、キャリアボードと呼ぶ相互接続ボードの上に、左から2枚のPEZY-SCモジュール、Xeonモジュール、2枚のPEZY-SCモジュール、そしてInfiniBand NICやSSDなどが載っているIOモジュールが搭載される。そして、この写真には含まれていないが、InfiniBand NIC(立っている2枚の小型ボード)の隣のスペースには電源が置かれる。

同じモジュール群が裏側にも搭載されるので、このキャリアボード1枚に2ノードを搭載することになる。そして2枚のキャリアボードをまとめて角柱状にしたものを「ブリック」と呼んでいる。

下が表裏で2ノードを搭載するキャリアボード。上は、1ノード分のモジュールボードを並べて置いたもの。ほぼ対応する位置に置かれているが、IOモジュールは裏返して取り付けられるなど、位置関係は正確ではない

なお、この写真では、Xeon CPUのヒートシンクは付いておらず、両脇のDIMMソケットにもDDR4 DIMMは挿入されていない状態である。

ES-1では2ソケットマザーボートであったので、2個のXeon CPU間はQPIで接続されていたが、ES1.4では計算ノードはXeon 1個+PEZY-SC 4個となり、2個のXeonの間はInfiniBand経由で接続されるという構成になった。

現在は8Gbit品のDDR4 DRAMが入手できず、4Gbit品を使わざるを得ないという。そのため、ES-1.4ではPEZY-SC 1チップあたりのメモリは16GB、Xeon 1チップあたりのメモリは64GBと、ES-1の時と比べると半減している。

次の図は、左がES-1のマザーボード(2ノード相当)で、右はES-1.4のキャリアボードとモジュールを比べたものである。2ノード分となるES-1.4のブリックの半分の厚みは70mmであるので1Uサーバ(44.45mm)の約1.6倍の厚みであるが、この写真に見られるように、面積は非常に小さくなっており、体積を大きく減少させ、実装密度を向上している。また、ES-1では電源接続のケーブルが多く見られるが、ES-1.4ではコネクタによる接続と、モジュールボードをキャリアボードに取り付けるネジで電源やグランドの接続を兼ねるなどの方法で、ケーブルレスを実現している。

左はES-1の1Uサーバ(右下の部分だけ、PEZY-SCボードが置かれている)。右はES-1.4のキャリアボードと1ノード分のモジュール。ただし、これらは取り付けの参考イメージであり、置き方は正確ではない

PEZYでは、現在、ブリック半分を組み立てたものをES-1の液浸槽に入れて試験や測定を始めている。

ブリックの半分を組み立て、ES-1の液浸槽に差し込んで試験を行っている。液面に天井のライトが反射した丸いスポットの右側に見えるXeonの放熱フィンは、本番ではロープロファイルになる。左端の2本がInfiniBandのケーブル。その右側の電源にはファンが付いているが、これは使われていない

表1は、PEZYが発表したES-1とES-1.4の比較表で、ES-1は最適化を行った結果、ES-1.4は初めて動いたという状態であり、ES-1.4にとっては不利な比較である。ES-1.4 ではPEZY-SCチップのクロックを690MHzから766MHzに引き上げており、そのお蔭でLINPACK性能を5.76%改善している。クロックの向上の割りには性能の向上が小さいのは、メモリ容量が半減したことと、現在PCI Expressが2.0でしか動いていないことが影響しているという。しかし、チューニング前で、ES-1と同等以上の性能、エネルギー効率を実現しており、まずまずといったところである。

表1 PEZYが発表したES-1とES-1.4の比較表

今年は、フランクフルトでのISC15の開催が7月となり、Top500やGreen500の締め切りが例年より約1カ月遅くなったのであるが、それでもTop500が6月26日、Green500が6月30日と残りは1カ月を切っている。やっと1/2ブロックをES-1の液浸槽につけてテストを始めたという状況的では、これらの締め切りまでにES-1.4の結果をTop500やGreen500に提出するのは難しく、11月のSC15での登録を狙っているのではないかと思われる。しかし、昨年11月のTop500やGreen500では驚異的なスピード開発を実現したPEZYであるので、また、齊藤社長のマジックが働かないとは言えない。