最新の高性能計算処理コンピュータ導入事例にみる、必要な提供電力と耐荷重

第1回：最大提供電力30kVA、耐荷重3tに対応する次世代データセンター - 2018年1月にサービスインはこちら

2017年6月にYahoo! JAPANはディープラーニングに特化したスーパーコンピュータ「Kukai(クウカイ）」の開発を公表した。あわせて同社はKukaiが省エネランキング「GREEN500」において世界第2位を獲得したことも発表。この開発に協力したHPCシステムズの代表取締役社長の小野 鉄平氏は「KukaiはCPUが80個、GPUが160枚搭載され、合計で57kVAを使用するシステム」であることを明らかにした。小野氏はほかの事例として「自動車開発の流体力学計算に使用しているHPCは68台のノード(コンピュータ)構成で総消費電力は37.4kVAが必要だ」と紹介した。

こうした例からもわかる通りコンピュータの並列処理やGPUの多重化によって、高性能コンピュータには膨大な電力が必要となり、従来のデータセンターではその電力を支えきれないという深刻な課題が浮き彫りになっている。

• Yahoo! JAPANが発表したディープラーニングに特化したスパコン「Kukai」のスペック。音声認識エンジンやYahoo!JAPANのアプリに活用されている

12月14日、都内で開催されたデータドック主催の「新潟・長岡データセンター オープン記念プライベートセミナー ～高性能計算処理の「今」を理解する～」では、招待講演として、HPCシステムズの代表取締役小野氏が「HPCがインフラとなった現在」と題して登壇した。

• HPCシステムズ 代表取締役 小野 鉄平 氏

HPCや高性能計算処理コンピュータの導入事例

「HPC」とはHigh-Performance Computingの略称で、主に科学技術計算用コンピュータを指す。量子化学計算や分子動力学計算、計算化学シミュレーションなど、特別な分野に使われる印象だが、近年は様子が変わってきた。HPCはパブリッククラウドにも次々に導入され、東京証券取引所のシステム「arrowhead」のバックエンドに使われたり、公共のITシステム、自動運転、ロボティクス、検索連動型広告など、広く活用されるようになってきた。

「HPCは今や科学技術分野に限らず一般の企業でも利用する、いわゆるインフラとして一般化している傾向にある」と小野氏は語り、HPCの導入事例を紹介した。たとえば、創薬開発で利用される高性能コンピュータは、合計175台のサーバ構成で、CPUの総コア数は3100。ほかの例では、合計320台構成で、5120コア等と膨大な規模のものもある。また、半導体開発分野で使われているものは合計100台構成、1600コアのHPCが利用されているという。

導入時に課題となるのが、最大提供電力量、床耐荷重だとして具体例を通して説明した。1台あたり2800Wで10台構成のディープラーニング用途のGPUサーバ構成を例にすると、電力量は28kVAとなる。10段のラック1基に10台を積んだ状況が理想的だ。

しかし、従来のデータセンターは、1ラックあたり2～4kVAが最大電力提供を上限としているところが多く、大きいところでもせいぜい6kVA程度であった。電力量の制限から10台入るラックの中に2台しか置けないため、それを5ラック借りて運用することになり、コスト高になる。また、2台でも十分な冷却がままならないことが多いという。

• 1ラックあたり最大電力6kVAのデータセンターの場合、5ラックを借りて2台ずつ並べることになり、非効率だという

HPC導入においては床耐荷重が課題となる事例もある。ビッグデータ解析用のサーバは1台あたり2500W、ハードディスク(HDD)の数が膨大な構成となるが、12TBのHDDを90基束ねるシステムの場合、1ケースあたり140kgのラックが10台となり、総重量は1400kg(1.4トン)になる。床耐荷重600kg/平米の場合、下図のようなラック配置となり、やはりラック1本に収容することはかなわない。

小野氏は「新潟・長岡データセンターの、1ラックあたりの最大提供電力「30kVA」、床耐荷重「3.0トン」(平米あたり)というスペックはHPCにもきちんと対応していると評した。

• 同日のセミナーでデータドックが提示した「新潟・長岡データセンター」が提供するスペック

パブリッククラウドやオンプレミスの課題

また、大手外資企業が運営するパブリッククラウドサービスが人気だが、小野氏は「HPC向けの環境を構築しようとするとコスト高になる。HPCでは1TB級のデータを転送するケースはよくあるが、データ通信量による課金の場合、とても高額な利用料金となり、転送終了するまでに数日から1週間かかる、といった通信速度の問題を抱えるケースも少なくない」と紹介した。

また、米国企業が運営しているパブリッククラウドサービスを利用する場合、米国愛国者法の影響を受ける可能性がある。テロ関連情報が懸念される場合、保存しているデータや情報を開示しなければならないと定めているため、研究開発技術情報や企業の開発情報が流出する懸念がある。また、同じサービスを利用しているほかのユーザが捜査を受けることで、自社もシステム停止などの影響を受けるリスクがある。これはファシリティが日本にあっても米国の企業であれば法律が適用される。では、オンプレミスではどうかと、自社や研究機関内にHPCを設置することを検討しても、敷地内のCO2の総排出量の問題からそれも叶わないケースがほとんどで、結果的に導入を諦めてしまうことが多いという。

こうした一連の理由から、現状は一般企業でもHPCがインフラとなりつつあるものの、その仕様に対応できるデータセンターはあまりに少ない。小野氏はHPCがインフラとなる現在、新潟・長岡データセンターはまさにこれからの高性能コンピュータを支える設備として理想的なものであるとし、期待を寄せた。

高電力サービスの問合わせが急増

セミナーでは続いて、「ブロックチェーン関連技術"DLT"の紹介とビジネスの広がり」と題して、Orbのセールスコンサルタントである吉田氏が登壇。近年で話題になっているブロックチェーンや、それを発展させた仮想通貨や決済ソリューションである「orb DLT」のコンソーシアム型データベースと分散トランザクションのしくみなどについて解説した。その上で仮想通貨や決済システムを支える大規模データセンターの重要性が今後はますます増していくことなどに触れた。

• Orb　セールスコンサルタント 吉田岳彦氏

そして、セミナーの最後にデータドック 営業本部 本部長の竹之内 憲氏が登壇。竹之内氏は「63%」と「70%」という数字を提示。「63%」は全国で約600棟のデータセンターがあるなかで、首都圏にその約63%が集中していること、そして「70%」の確率で首都圏においてマグニチュード7クラスの直下型地震が今後30年以内に発生するといわれていることを説明した。

• データドック 営業本部 本部長 竹之内 憲氏。「地震が起こることは防ぐことはできないが、63%のデータセンターが集中している地域に、70%の確率で直下型地震が起こるのであれば、地方分散も推進しなければならない」

また、データセンターの竣工年代別のグラフを提示し、竣工してから20年以上が過半数を占めている状況を指摘。今後はデータセンターの老朽化も課題になるという。

「20年前と現在ではアーキテクチャーが大きく変わっています。そして今まさにビッグデータやディープラーニングの導入ニーズの高まりから、ラックの集積度は上がって耐荷重が重視され、最大提供電力量のニーズは跳ね上がっている。しかし、竣工10年未満の施設は30%程度にすぎず、それらに対応できるところは数少ないのが現状です」(竹之内氏)

• データセンターの半数以上か竣工してから20年以上が経過している

また「ここ数ヶ月で、6kVAを超える高電力案件についての問い合わせ内容が増え続けている」ことを紹介し、「ラックあたりの供給電力が大きくならないと、高性能計算処理により変革を遂げる社会基盤を支えることはできない」ことを痛感しているという。

• 2017年度1Qから3Qにかけて、6kVA超のサービスに関する問合わせが急増している

「これからのデータセンターは二極化する。メガクラウドの受け皿となる超大規模データセンターと、高性能計算処理を支える特化型のデータセンターだ。データドックは後者となり、HPCや高機能計算コンピュータに対応できるサービスを提供していく」と竹之内氏は最後に抱負を語った。「新潟・長岡データセンター」は2018年1月よりサービスインしている。

第1回：最大提供電力30kVA、耐荷重3tに対応する次世代データセンター - 2018年1月にサービスインはこちら

[PR]提供：データドック