京スパコンを支えるインフラストラクチャ

地震のほか、潮風や電力関連にも配慮した建屋

ポートアイランドは埋め立てで作った人工島であるので、一般的にはあまり地盤が良くない。そのため、サンドコンパクションパイル(砂杭)を多数打ち込んで地盤を改良して、液状化が起こらないようにしている。また、長さ34mの杭を打ち、その上に基礎を作り、沈下でビルが傾いたりしないようにしている。

更に、地震に備えて、研究棟と計算機棟は免震構造の上に載せられている。免震構造としては、地面の揺れを建物に伝えないようにする積層ゴムアイソレータが使われている。それに加えて、振動のエネルギーを吸収して揺れを減らす鉛ダンパーとU型鋼製ダンパーが設置されており、震度6強の地震に耐えられる設計である。

積層ゴムアイソレータが横方向にずれると、地面と建物の位置がずれる。このため、建物は免震構造だけで地面に繋がるという構造になっており、建物の外周と周囲の地面の間は1m位の隙間がある。もちろん、そのままでは危険であるので、通常は蓋をして塞いでいるが、大きな地震が発生すると揺れで蓋が外れ、建物と地面がずれることができるようになっている。当然であるが、この隙間と蓋は建物の外周をぐるっと囲んでいる。

AICSの敷地の標高は約6mであり、満潮時には海面からの高さは4.5m程度となる。しかし、5m超の防波堤があるので、計算上10m程度の津波までは大丈夫である。東日本大震災をうけて神戸市は防災計画を見直し中であるが、2012年3月に公表された暫定版の津波浸水想定区域図では、AICSの所は、浸水は無いと想定されている。

京コンピュータの電源としては、関西電力からの受電に加えて、自家発電のための2台のガスタービン発電機を備えている。このガスタービンの発電量は最大6MWである。もともとの設計では1台は故障に備えたアクティブスタンバイで、片方だけを運用に使う予定であったが、現在は、原発停止の影響で関西電力の電力需給がひっ迫しているので、両方を動かす場合もあるといるという。

関西電力からは70kVの高圧を受電し、それを特高施設で6.6kVに落として他の建屋に供給している。受電能力は約30MWとかなり余裕がある。京コンピュータは停電に備える電池を使う無停電電源は持っていないが、グローバルファイルシステムは自家発電のガスタービンから電力を供給しており、停電になってもガスの供給が続いている限り、グローバルファイルの電源は保たれるようになっている。

70kVの線も6.6kVの線も地下を通されているので、特高施設は、見たところは箱が並んでいるだけである。

自家発電には川崎重工製のガスタービン発電機が2台設置されている。この装置は圧縮した都市ガスを燃やしてタービンを回し、それに接続された発電機を回して発電する。発電に加えて、タービンの排熱を回収して蒸気を作るコジェネレーションシステムとなっている。この蒸気は、後に述べる冷水を作るのに使われる他、通常のボイラーのように温水を作るなどの用途に使われる。電気と蒸気の出力を合わせるとエネルギー効率は70%以上と火力発電所よりも効率が良いという。

このガスタービンは蒸気を作る元となる給水系や排熱回収ボイラー、排気の消音器などを含めると2階建の家くらいのサイズがあり、この写真に写っているのは心臓部だけである。

そして、計算機棟では特高施設、あるいはガスタービン発電機からの6.6kVをキュービクルで三相200Vに降圧して計算ノード筐体やファイルシステムの筐体に供給する。

京コンピュータの冷却は、冷水で冷やす部分と空気で冷やす部分がある。SPARC64 VIIIfx CPUとインタコネクトを構成するICCチップは水冷である。

計算ノード筐体には毎分44リットルの14～15℃の冷水が供給され、CPUとICCチップの発熱を吸収する。発熱は各チップの動作状態にもよるが、排出される水の温度は17℃以下である。

一方、システムボードの写真では縦縞のように見えるメモリDIMMや、ローカルファイルシステム、電源などは空冷になっている。水による冷却は、全体としてみると、総発熱量の半分であり、残りの半分は空気で冷却しているという。

3階に設置された計算機ノードの冷却系は、次の図のようになっている。

3階の床は、高さ1.5mの上げ床となっており、床下の部分はケーブルを通すのに加えて、冷水のパイプが通っている。ここから分配配管で計算ノード筐体に接続している。そして、床下は冷気の通路にもなっており、床が格子になっているコールドアイルと書かれた部分から計算機室に吹き上げる。

計算ノード筐体は、この冷気を吸い込み空冷のコンポーネントを冷却して、筐体の反対側のホットアイルに排出する。排出された暖まった空気は天井を伝い、計算機室の両端に設けられたレタン(Return)チャンバーを通って2階の空調機械室に戻る。

2階には、暖まって戻ってきた空気を吸い込み、冷水で温度を下げて、床貫通ダクトを通って3階の床下に吹き込む空調機(エアハンドラ)が設置されており、計算機室の温度を20℃に保っている。2階には50台(内40台が動作)のエアハンドラがあり、地下1階には14台のエアハンドラが設置されている。エアハンドラ1台の流量は毎時7万立方メートルであり、3階の計算機室の空気の流量は280万立方メール/時にのぼる。空気の質量は1立方メートルでおおよそ1.2kgであるので、これは一時間に30万トン、毎秒80トンの質量を秒速数mで動かすわけであり、相当、強力なモーターを必要とする。このため、機器の消費電力の20～30%の電力を空調のために消費しているという。

エアハンドラの中の1台は、蒸気を加えて加湿したり、コールドコイルで除湿したりする多機能空調機であり、これを使って計算機室の湿度をコントロールしている。

なお、この構造ではコールドアイルの冷気の一部がそのまま天井に抜けてしまう。また、空気のループが大きく、エアハンドラの電力が多くなる。このため、最近のデータセンターでは空調機を計算機筐体の近くに設置してループを小さくしたり、コールドアイルの空気がホットアイルに流れ込まないような設計や、水冷バックドアで発熱を吸収して空調に熱を回さないという設計が一般的になっている。しかし、計算機棟の設計は2007年度に行われており、空調の設計思想も1世代古いものになっている。

また、2階には、3階の計算ノードと1階のグローバルファイルシステムを接続する光ファイバなどを通す貫通孔が4カ所に設けられている。接続には多芯の光ファイバが使われているので、貫通するケーブルの本数は想像していたよりもずっと少なかった。

京コンピュータの発熱は、冷水を供給し、暖まった水を回収するという方法で計算機室から運び出されている。従って、この水を冷やして還流させることが必要となる。これを行うのが熱源機械棟に設置された4台の蒸気吸収冷凍機と3台のターボ冷凍機である。

基本的には蒸気吸収式の冷凍機を使うが、蒸気の量はガスタービン側の発電量によっても変わるので、インバータ制御で出力を可変できるターボ冷凍機で調整を行い、冷水の温度を14～15℃に保っている。そして、冷却された水は、熱源機械棟のポンプで計算機棟に送り出される。

暖まって戻ってきた冷却水を冷凍機で冷やすと、奪った熱はより温度の高い水の形で排出される。この熱はクーリングタワーで大気中に放熱される。熱源機械棟の屋上には、このクーリングタワーが並んでいる。

クーリングタワーの円筒のように見える部分は煙突のような単なる筒と大きなファンで、実際の熱交換はその下部にある車のラジエータのような部分で行われる。気温が低いときには水蒸気が冷えて水滴となり、タワーからもくもくと白い雲が出るのが見られるそうであるが、筆者が訪問したときは4月にはいっており、雲は見えなかった。

京コンピュータの赤い筐体が並んでいるのも見ものであるが、それを支えるインフラストラクチャは計算機室の2倍近い面積を必要としている。また、内部の様相は、コンピュータ機器が置かれた計算機室とは大きく異なり、工場に入ったような感じである。国内では京コンピュータに次ぐ規模の東京工業大学(東工大)のTSUBAME 2.0のインフラストラクチャと比べると圧倒的に規模が大きく、非常に印象的であった。