Lightmatterの光AI推論アクセラレータ「Mars」を読み解く - Hot Chips 32

Lightmatterは、Hot Chips 32において、「Mars」と呼ぶAI推論用アクセラレータを発表した。

このアクセラレータがその他のAIアクセラレータと大きく異なるのは、中心となるAI計算が電子的に行われるのではなく、光で行われるという点である。

ただし、AI処理の中には光での計算に向いている処理と、光でやるよりも電子的に処理する方がやりやすい処理があり、Marsでは、前者の処理はシリコンフォトニックスチップで実行させ、後者の処理は通常のシリコンチップで行わせている。

Lightmatterのフォトニックにマトリクス計算を行うMarsアクセラレータボード。光で計算するので、計算は光速で、かつ消費電力が小さい (このレポートのすべての図は、LightmatterのCarl Ramey氏の発表スライドのスクリーンキャプチャである)

半導体素子の微細化に横たわる熱問題

1990年頃からトランジスタのスイッチエネルギーの低減のペースが鈍ってきている。常温で動作させる素子のスイッチエネルギーは常温の熱エネルギーより小さくはできないので、スイッチエネルギーには下限があり、これは微細化のスローダウンのだけのせいではない。

トランジスタのスイッチのエネルギーは微細化に伴い減少してきたが、1990年ころからは低減の速度が低下してきている。スイッチエネルギーは熱エネルギーよりは大きい必要があり、トランジスタのスイッチ効率が悪化するのはやむを得ない

スイッチのためのエネルギーが小さくならないで、素子の密度が高くなると、チップは熱くなる。その結果、熱のせいで全部のトランジスタを動作させられないDark Siliconの問題、クロック周波数を上げられないとか、特別なエキゾチックな冷却が必要となるという問題が出てくる。

1つのパッケージに入るチップの消費電力としては400W程度が実用的には限界と考えられる。

シリコンチップの発熱が大きくなると、全体を使えないダークシリコン、クロック周波数の飽和、エキゾチックな冷却などが必要になる

AIの増加する計算量を光で処理するメリット

次の図は、AIの計算量の推移を示すものであるが、AI計算の増加ペースはムーアの法則の5倍であり、エレクトロニクスでは、このペースについて行けない。

AIの計算量の増加はムーアの法則の5倍の速度で、エレクトロニクスでは追いつけない

光情報を処理するシストリックアレイは、データの伝送に必要となるエネルギーが小さくて済み、光を使うテンソルコアは電子回路より高速で動作し、小さいエネルギーで動作する。そして、光は波長多重や偏波多重という技術を使うと、1つの回路で多重度倍の並列処理を行うことができる。

電子回路の場合のレーテンシは100ns程度であるが、光を使えば100ps程度と1000倍のスピードで処理ができる。信号処理の速度も電子処理では2GHz程度であるが、光を使えば10倍の20GHz程度で処理ができる。消費電力も電子回路では回路当たり1mW程度であるが、光なら1μWで済む。それで、処理回路のチップ面積は同程度であり、フォトニクスでの処理には大きなメリットがある。