215mm角のCerebrasの巨大マシンラーニングエンジン - Hot Chips 31

しかし、このようなウェハスケールLSIを作るにはいくつものチャレンジがあった。

第一のチャレンジは露光の単位で作られる分割されたダイの間の接続である。通常のLSIでは1回の露光でパターンを形成できる3cm角程度の面積が1つのチップとなり、それらを分離して個別のチップとするためのスクライブラインが作られる。

これではウェハ全体を1つの巨大なLSIにすることはできない。

• 

  キャプションがここに入ります

CerebrasのWSEに見られる黒い丸を繋いだ部分が通常のウェハのスクライブラインの部分である。CerebrasはTSMCに掛け合って、スクライブラインの部分に隣のタイルと接続する配線を作ってもらい、この配線でタイルを2次元メッシュ状に接続している。次の図に青線で描いたのがスクライブラインの領域に作ったタイル間を接続する配線である。この部分に配線を作ることにより、ウェハ全域をカバーする2次元メッシュを作って40万個のコアを接続している。

• 

  通常は配線を作れないスクライブラインの領域に、タイル間を繋ぐ配線を作り、全部のコアを繋ぐ2次元メッシュネットワークが作れるようにした。これでタイルをまたぐ高バンド幅、低レーテンシの通信が可能となった

2番目のチャレンジは歩留まりである。全部で40万個のコアがあるので、平均的に製造不良のコアは1万個に1個としても、平均的には40個の不良コアがある計算になる。これでは完全良品のWSEは作れない。

• 

  40万コアが集積されているので、全コアが良品となる確率はほとんどゼロである

そこで、冗長設計を行った。右の図のように、不良コアがあった場合には、配線を変更して不良コアを避けて一番上の行にある冗長コアを組み込む。これで全部のコアが動作する完全良品が作れる。なお、一列に2個以上の不良コアがある場合は、このやり方では良品にはできない。

• 

  一番上の列に冗長コアを用意しておき、不良コアがあったら、配線をずらして、不良コアを切り離し、冗長コアを使用する

3番目のチャレンジはパッケージの熱膨張である。シリコンの熱膨張率は小さいが、PCBボードの熱膨張率は大きい。このため、ある温度でパッケージのピンが上側のWSEと下側のPCBボードに接触したとしても、温度が変わると、接触しなくなってしまう。チップが小さい場合はずれも小さいので問題になりにくいが、WSEのような巨大なチップでは大きな問題になる。熱膨張の小さいFR4プリント基板でも15ppm/℃程度であり、30℃温度が変わると450ppm伸び縮する。

WSEの場合、対角線の長さは約300mmであるので、その450ppmは0.135mmとなる。このため接点には横方向のストレスが掛かり破壊してしまう。また、接点をスライドさせれば破損しないが、高密度の接点では接点がパッドから外れてしまう。

• 

  シリコンの熱膨張率は小さいが、プリント基板の熱膨張率は大きい。WSEのようにサイズが大きいと膨張のずれが大きく、機械的なストレスも大きい

これは非常に難しい問題であるが、Cerebrasは膨張率の違いを吸収するコネクタを開発したという。次の図で見ると多少柔らかいゴムのような素材にコネクタのピンを植え、伸びの大きい周辺部ではピンをより斜めにしてずれを吸収する。ただし、斜めになったピンは高さが少し減少するため、接点への接触圧が減るのでコンタクトが心配であるが何とかなっているようである。

あるいは、多少、ピンを長めにしておいて撓んでプリント板のパッドに接触するような設計になっているのかもしれない。いずれにしても、ピンの付きあてで多数のピンを接触させるのはデリケートである。

そして、もう1つの問題は、どうやって、ピンの傾きをプリント基板の伸びに合わせるかである。これについてはCerebrasはうまく解決している。WSEの写真を見るとスクライブラインの交点の部分に黒い丸があるが、実はこの部分はウェハに穴が開いている。この穴にねじを通しコネクタの下面をプリント基板に密着させ、コネクタの上面はWSEに密着させれば、それぞれの接触面の膨張と一致した伸びが得られる。ただし、この図に見られるように、上面はWSE直接ではなく、青色で書かれたインタポーザがあり、WSEシリコンにはダイを保護するダイレチクルが付いている。

• 

  独自のコネクタを開発し、パッケージPCBの伸びを吸収する。金メッキパッドにピンを突き当てて接触させるのはかなり微妙であるが、高い組み立て精度でそれを可能にしていると思われる

したがって、パッケージの組み立てはチャレンジである。このようなパッケージは存在せず、自分で開発する必要がある。パッケージはPCB、コネクタ、ウェハ、コールドプレートを含み、精密な組み立てを必要とする。

• 

  このようなパッケージは存在せず、自社で開発する必要があった。パッケージは、PCB、コネクタ、ウェハ、コールドプレートを含み、精密な組み立てが必要であった

カスタムパッケージの組み立てのため、カスタムのマシンやプロセスを作った。また、必要な精度が出せるツールも開発した。

• 

  必要な精度が出せるパッケージツールを自社開発した

そして、5番目のチャレンジは電力供給と冷却である。通常の給電ではWSEの中心付近では電源電流は少ないが、外側に近づくにつれて電流が大きくなり、電源電圧の低下が大きくなる。

また、シリコン基板にコールドプレートを付け空冷するのでは15kWの消費電力を冷却できない。

• 

  20万Aの電源供給と15kWの消費電力を実現するため、WSEの裏面からの給電と、表面からの水冷を行っている

このため、Cerebrasでは、WSEの下側に多数の電源を付けて分散して給電している。何しろ、2万Aの給電であり、多数の電源を並列運転しなければ、この電流は供給できない。

また、冷却はWSEにコールドプレートを付けて水冷するのであるが、普通のコールドプレートのように水を流すだけでは間に合わず、コールドプレートの各所に水を噴射する構造となっている。

• 

  電源はWSEの各所から分散して給電し、放熱も分散してコールドプレートに水を噴射して冷却している

このCerebrasのウェハスケールのシステムであるが、筆者が取材に行った時には2台が動いており、ポテンシャルカストマのデータを使って学習を行っているということであった。すでに何社かのポテンシャルカストマがあり、その中には日本の会社も1社入っているとのことである。