天河1AのサービスサブシステムとFT-1000プロセサ

天河1Aのサービスサブシステムの1ノードは2個のFT-1000 CPUで構成されている。FT-1000はSPARC V9命令セットアーキテクチャを使う中国開発のプロセサである。

FT-1000は65nmプロセスで製造され350Mトランジスタを集積している。このFT-1000チップに8コアを集積し、各コアは8スレッドを同時に実行できるアーキテクチャとなっている。FT-1000チップのクロックは1GHz、メモリアクセスのクロックは400MHzである。

図6に見られるように8コアと8個のL2キャッシュバンクがあるが、間にキャッシュクロスバが入っているので、どのコアがどのL2キャッシュスライスでも使うことができる構造になっている。

そして、L2キャッシュにデータが無い場合はメモリコントロールユニットを使ってDDR3メモリにアクセスする。また、図の右端に描かれているように、PCIe2.0のインタフェースを通してI/Oにアクセスできるようになっている。

  • 天河1A

    図6 FT-1000プロセサのブロックダイヤグラム

天河1Aは1024個のサービスノードをもっている。天河1Aでは高性能のユーザコンテナが使えるが、FT-1000ではコンテナの仮想化のためにVirtual Compute Zoneを動かしているようである。

  • 天河1A

    図7 FTコンピュートノード。4個のFT-1000プロセサが搭載されているので、これも2ノード分のボードであると考えられる。右下のプロセサの冷却フィンは、展示のために取り外している

ネットワークルーティングチップ(NRC)とネットワークインタフェースチップ(NIC)

ネットワークルーティングチップ(NRC)のアーキテクチャを図8に示す。図にみられるように、NRCは16チャネルの双方向インタフェースを持ち、図の中央に描かれたクロスバで、任意のポート間を接続することができる。

ネットワークはInfiniBandと同様のFat Treeであるが、天河1AではルータチップとNIC(Network Interface Chip)は自主開発して、ポートあたりのバンド幅を20GB/sに引き上げている。

NRCの各チャネルは8bit幅で10Gbpsで伝送を行っているが、チャネルと書かれたブロックの中で直列/並列変換を行っており、内部のチャネルとクロスバの間は256bit幅で312.5MHzの伝送を行っている。

  • 天河1A

    図8 NRC(Network Routing Chip)のアーキテクチャ

図9にネットワークインタフェースチップのブロックダイヤグラムを示す。NICは16レーンのPCIe2.0でホストと繋がり、32の仮想ポートを持っている。NICは短いメッセージの転送用のパケット通信機能と、長いメッセージ用のRDMAをサポートしている。

また、NICはマルチキャストやブロードキャストなどの集合通信(Collective Communication)を最適化する機能も持っている。

  • 天河1A

    図9 天河1AのNICのブロックダイヤグラム

これらのNRCとNICチップは90nmプロセスで製造され、NRCは460Mトランジスタ、NICは150Mトランジスタである。

  • 天河1A

    図10 NRCチップ

  • 天河1A

    図11 NICチップ

(次回は8月13日の掲載予定です)