富士通研、クラスタ型スパコンのネットワークスイッチを4割削減

富士通研究所は7月15日、数千台規模のPCクラスタ型スパコンシステムのネットワークを構成するスイッチの台数を、ネットワーク性能を維持したまま約4割削減する技術を開発したと発表した。

詳細は、7月28日より新潟市で開催される「SWoPP 2014(Summer United Workshops on Parallel, Distributed and Cooperative Processing 2014)」にて発表される。

スパコンが持つ高い演算性能を幅広いアプリケーションで利用するためには、サーバ間を接続するネットワーク性能を高める必要がある。Fat Tree型ネットワーク構造では、接続するサーバの規模に応じて階層を決め、ツリー状にスイッチを接続するTree型ネットワーク構造の経路を冗長化することで高いネットワーク性能を実現できるが、6000台規模のサーバを接続するためには36ポートのスイッチが約800台必要となる。

Fat Tree構造は経路が冗長化されているため、PCクラスタ上の解析処理で用いられる高速フーリエ変換などの実行時に発生する全サーバ間通信で高いネットワーク性能を発揮する。一方、サーバ当たりの演算性能はプロセッサのコア数の増加やGPGPUのようなアクセラレータの利用により劇的に向上している。しかし、演算性能に対応してバランスよくネットワーク性能を向上させるためには、多数のスイッチを利用することが必要になり、部材、電力、設置面積のコストが増加してしまうという課題があった。

今回、PCクラスタに新たなネットワーク接続形態の適用と、最適なデータ交換手順の考案により、少ないスイッチ数で多くのサーバ収容を可能にする技術を開発した。これにより、同程度のノード数を接続するFat Tree型ネットワーク構造と比較して、必要となるスイッチ数を約4割削減しつつ、全サーバ間通信という最も負荷の高い通信パターンにおいて従来と同程度の性能を実現したという。

具体的には、すべてのスイッチ同士が直接接続するフルメッシュ構造の各辺に間接接続用のスイッチを配置し、複数のフルメッシュ構造を接続した構成を新たに開発した。これにより、3段構成のFat Tree型ネットワーク構造と比較して必要なスイッチ数を1段分削減できるため、スイッチポートの利用効率が高く、必要なスイッチそのものを削減することが可能となった。

また、全サーバ間通信では、すべてのサーバが他のすべてのサーバに対してデータを転送するが、スイッチ数を削減するとサーバ間の経路が少なくなるため衝突が発生しやすくなる。そこで、サーバ間のデータ転送処理において、多層のフルメッシュ型ネットワーク構造を活かして、各スイッチの頂点(AからF)に接続されるサーバが別々の頂点に向かうようにスケジューリングし、さらに異なる層の間(a1からd3)も含めて経路内での衝突を回避することにより、全サーバ間通信でFat Tree型ネットワーク構造と同等の性能を実現した。

同技術を用いることで、創薬や医療、地震や気象解析などに用いる大規模なPCクラスタ型スパコンの性能を維持したまま、設備コストや電力コストを低減することができ、省エネと高性能を両立するスパコンの提供が可能になる。今後、同技術の2015年度中の実用化を目指す。また、スイッチ台数を増加させることなく、さらに大規模な計算機システムに適用可能な構成も継続して検討していくとコメントしている。