理研のスパコン「Shoubu(菖蒲)」、LINPACK性能で1PFlopsを達成

2016年6月8日に理化学研究所(理研)で、「スーパーコンピュータHOKUSAIとShoubu、研究の最前線」と題するシンポジウムが行われ、PEZY/ExaScalerの齊藤社長が基調講演を行った。その中で、菖蒲(Shoubu)スパコンは、2015年11月には部分的な稼働で605.6TFlopsで135位であったが、ノイズを低減した新パッケージのPEZY SC-npチップに交換するなどのアップグレードを行い、今回は全系を動かし、LINPACK性能で1PFlopsを超えたことを明らかにした。

2015年11月のTop500では、理研の情報基盤センターのメインスパコン(スーパーコンピュータ)である「Hokusai Great Wave」は989.6TFlopsであったので、Hokusaiの性能が前回と同じであるとすれば、Top500的にはShoubuの方が上回ることになる。もちろん、Top500はスパコンの性能の一面だけを測定したランキングであり、これをもって菖蒲の方が高性能とは言えないが、理研がペタフロップス級のスパコンを2台設置する状況になったとはいうことは間違いない。

スパコンのランキングとしては、LINPACK性能でランキングするTop500と、エネルギー効率に着目しLINPACK性能/WでランキングするGreen500がある。従来、両者は独立で、LINPACK性能は、ある程度電力には目をつむって性能が最大になる条件で測定し、Green500の方は、電源電圧を下げるなど、LINPACK性能は下がるがGFlops/Wは上がるという条件で測定するということが可能であった。

しかし、この6月の応募からは、Top500とGreen500が統合され、両者に共通の1つの測定の結果を持って応募するということに変更になったという。また、電力の測定法がより厳密になり、Green500のGFlops/W値は下がると見られるという。

上の図のように、ここ数年、Top500全体の性能合計や500位スパコンの性能は明らかに伸びが鈍化しているが、齊藤社長は、スパコンが物理的に大型化しているのが、最近のLINPACK性能の伸びの鈍化の一因と見ている。そして、小型の液浸スパコンで性能向上を再加速する考えである。この方向でZettaScaler-2.0から3.5に至る開発を行えば、技術的には2018年11月に1ExaFlopsを超えられると見ている。

そして、2020年には5nmプロセスを使いPEZY-SC4を開発する。16,000コアを集積し、100GFlops/Wの電力効率を目指すという。タワーサーバ1台で100PFlopsと京コンピュータの10倍の性能となり、冷却系を含めた体積効率や性能密度は、京の1万倍以上となるという目論見である。

菖蒲の現状であるが、2015年11月の時点では、PEZY-SCチップのパッケージのノイズが多く、動作の安定度が低く、全系の稼働までこぎつけることができなかったが、今回はノイズを低減したパッケージを開発して全系の稼働を達成した。また、パッケージのノイズを減らしたことで、電源電圧をさらに下げることが可能になり、性能/電力も改善したという。

その結果、今回のTop500/Green500の応募では1PFlopsを超えるLINPACK性能を登録することができたという。

しかし、Top500/Green500の登録サイトは、まだ、値の登録が可能な状態にあり、菖蒲のGFlops/W値をみて、上積みに努力するところがあるかもしれないとの懸念があるとのことで、GFlops/Wの値は発表されなかった。

菖蒲であるが、さらなる電力効率の改善、液浸槽の上面がケーブルが輻輳していて保守性が悪い点の改善、液浸槽の小型軽量化、冷却能力の改善とPUEの改善が課題であるとした。

検討している改善の1つは48Vの直流給電で、PSU(Power Supply Unit:電源ユニット)を不要にし、電力効率も改善できる。また、InfiniBandのスイッチも計算ノードと同じ寸法にして液浸し、液浸槽内部で閉じる接続は液浸槽内で接続し、外部に引き出すケーブルの本数を減らす。

そして、現在は液相のフロリナートの循環で冷やしているが、気相と液相を使う二重合液浸冷却の導入などを考えているという。