IBM

毎年、興味深いのはIBMの展示である。POWER IH(POWER 775と同じ)を使うNCSAのBlue Waters計画から撤退し、今年はPOWER 775は展示しないのではないかと思っていたのであるが、案に相違してPOWER775も展示していた。

POWER 775サーバのシステムボード

POWER 775サーバのシステムボードの拡大写真。手前の上側が黒いかまぼこ型のものがインタコネクトLSI、奥のかまぼこ型がCPUを4チップ搭載したMCM。CPU MCMの手前と奥に見える縦縞のものがメモリボード

従来、気象関係の機関ではPOWERプロセサを使うスパコンが多数派で、今もそれが続いているようである。POWER 775もEnvironment Canadaが8192コアのシステムを2システム、欧州の中期気象予報機構であるECMWFが8192コアと4096コアのシステムを各1システム、United Kingdom Meteorological Officeが7680コアのシステムを2システム、また、日立のSR16000の5504コアのシステムが北大、3456コアのシステムが京大に入るなど、Top500に14システムがランクインしている。

やはり、今年のハードの展示の目玉は20PFlopsを目指すBlueGene/Q(BG/Q)である。昨年もBG/Qの32計算ノードボックスやIOノードボックスは展示していたものの、筐体レベルの展示は無かったが、今回は筐体も持ち込んでいた。しかし、その中はガラガラで、右側のパイプから黒いホースが繋がっている32計算ノードボックスが1台と、クロック分配や全体の制御の行う1Uのユニットが1台載っているだけである。

最終的には、32計算ノードボックスが上側に8台搭載され、裏側にも同じように載るので、上側で計16台、512計算ノードが搭載できる。そして、下側にも同様に512計算ノードが搭載でき、1筐体で1024計算ノードとなるのは、従来のBG/Pと同じである。

BG/Qは水冷であるので、筐体の右側に水の供給と排出を行う銅色のパイプが見える。また、水冷であるので、BG/LやBG/Pのように風の通り道となる斜めのセクションを設ける必要はないのであるが、ドアには斜めの模様を付け、これらのマシンと共通の外観イメージにしようとしているようである。

IBMのBlue Gene/Qの筐体前面の扉が開いた状態

展示されたIBMのBlue Gene/Qの筐体の内部。32計算ノードボックスが1台と1Uの制御ユニットがあるだけで中はガラガラ

そして、4階のメインのIBMブースとは別に6階の展示場にスペースを取って、人気クイズ番組のJeopardy!で過去のグランドチャンピオン2人を破ったIBMのWatsonシステムのデモが行われていた。WatsonはPOWER 750サーバを90台も使う大規模システムであり、端末だけをSC11の会場に持ち込み、Watson本体はリモートである。

IBMのBlue Gene/Qの32計算ノードボックス

そして、ブースに来た人にWatsonと対戦させてくれるのであるが、なにしろグランドチャンピオンに勝つシステムなので、筆者が見ていた範囲では、対戦者は全く歯が立たないという状態であった。

WatsonとのJeopardy!対決 右の女性が対戦者

CRAY

IBMが撤退したNCSA(National Center for Supercomputing Applications)のBlue Watersは、CRAYが受注したことが11月14日に発表された。ということで、NCSAのブースにはBlue Waters is Back!と書かれたポスターが貼られていた。

NCSAのブースに貼られていたBlue Waters is Back!のポスター

新Blue Watersに使われるCRAYのXK6ハイブリッドスパコン

何しろ、XK6が235筐体という規模で、全体として188Mドルの大型受注で意気の上がるCRAYである。早々に納入を開始し、2012年の早い時期にEarly Scienceシステムとして一部を使用可能にし、全部が納入され、本格稼働を開始するのは2012年末という忙しいスケジュールであるが、CRAYは大丈夫、間に合うと言っている。

CRAYの新製品のSonexion 1300ストレージシステム。最大50PB以上にまで拡張可能という

XK6の計算ノードボード。手前4個がNVIDIAのGPUで中央に横に4個並んでいるのがAMDのInterlagos CPU。一番奥がCRAYのGeminiインタコネクトLSI

SC11ではXK6のボードが展示されていた。Blue Watersでは、AMDの16コアのOpteron 6200(Interlagos)CPUとNVIDIAの次世代のKepler GPUを各4個搭載する。写真の手前側に4台のGPUが搭載されるスペースがある。ただし、Keplerはまだ無いので、この写真のボードに写っているのは多分Fermi GPUで、3台はヒートシンクがついているが、1個は取り外された状態になっている。そして、その奥に横一列に4個のCPUがついている。前世代のボードと同じく、冷却風の風上となり、空気温度の低い右側のCPUのヒートシンクはフィンの枚数が少なく、風下に行くほど空気温度が上がるので、枚数の多いフィンを付けてチップ温度をバランスさせるという細かい芸当が使われている。一方、NVIDIAが作っているGPUの方のヒートシンクは全部同じであり、このような芸の細かいことはやっていない。

そして、一番奥の2つのLSI(一方はヒートシンク有、一方は無しの状態)がCRAYのGeminiインタコネクトLSIである。

また、従来、CRAYは計算ノードだけで、スパコンシステムのストレージは手掛けていなかったが、11月14日にSonexion 1300と呼ぶ製品を発表し、これが展示されていた。Lustreファイルシステムを採用し、最小50TBから最大は50PB以上までスケールするという。

Data Direct Networks(DDN)

CRAYのストレージを紹介したので、ついでに高性能ストレージの大手メーカーであるDDNの展示をみていこう。同社のブースでは、11月9日に発表したSFA 12Kストレージシステムを展示していた。

写真のシステムは、筐体の上側にメタデータサーバなどを搭載し、下側に4Uのディスクドロワーを搭載している。HDDボックスには84台のHDDを収容し、筐体あたり最大3.4PBのストレージとなる。そしてデータ転送速度は1システムで40GB/sであり、10PFlops級のスパコンに必要な1TB/sの転送速度を25システムで実現できるという。また、In-Storage Processingと呼ぶ機能を持っており、データをCPUまで持ってくることなく、ストレージコントローラ内である程度の処理を行うことが出来るようになっている。

DDNの新製品「SFA 12Kストレージ」

SFA 12Kのディスクドロワー

SGI

SGI(Silicon Graphics Inc.)は11月14日に発表した新製品のICE Xクラスタを中心に展示していた。NASAは、現在、Top500 7位でピーク性能1.3PFlopsのPleiadesをこのICE Xに置き換えて、10PFlopsにアップグレードするという計画を発表している。右側の写真に見られるように、各ブレードに8コアのSandy BridgeであるXeon E5プロセサを2個搭載し、1筐体で288チップを収容できる 下側の写真はSGIの得意のccNUMA技術を使ったSGI UVである。

SGIの新製品「ICE Xサーバ」

ICE Xのブレード

Pittsburgh Supercomputer Center(PSC)は8筐体のシステムを設置し、全体で4096コアが32TBの共通メモリを持つという巨大メモリ使用環境を構築している。このPSCのシステムはBlacklightと呼ばれ、SGIの展示でもこのマシンはBlacklightと書かれていた。これはSGI UVの開発コード名がUltra Violetで、紫外線は目に見えない黒い光であることに由来しているからであると思われる。

SGI独自技術のccNUMAマシンのSGI UV

Appro

Approは日本国内では筑波大のT2Kシステムを納入した実績があり、Top500に13システムをランクインさせているメーカーである。日本のメーカーのTop500システムは、富士通が4システム、日立が5システム、NECが2システムであるので、これらの国内3社の合計よりもApproのTop500システム数は多い。ApproのXtreme-Xシステムの最大のものはローレンスリバモア研究所のZinシステムで、Sandy Bridge EPプロセサ 46,208コアでピーク性能0.96PFlops、Top500の15位というものである。

日本国内でも筑波大のT2Kなどを受注したApproの新製品のXtreme-Xシステム

Xtreme-Xのブレード。2段重ねで、上側がNVIDIAのGPUを2台搭載し、下側はX86の2ソケットサーバとなっている