Micron Technologyは7月26日(米国時間)、最大24GBの容量を持つHBM3 Gen2を発表した。これに関してオンラインの形で詳細の説明が行われたので、その内容をお届けしたい。

  • HBM3 Gen2のパッケージイメージ

    Photo00:HBM3 Gen2のパッケージイメージ

昨今HBMメモリはデータセンターやAI/ML、HPC向けに特化した形で利用されている。当初はGPUの搭載からスタートしたが、HBMメモリそのものの価格の高さやCoWoSに代表されるSilicon Interposerの理由が必須ということで高コストのソリューションとなっており、その高コストが正当化できるデータセンターや昨今ではAI/ML向けなどに絞られている格好だ。

そのAI/ML向けが今後急激に伸びる、というのがMicronの推定である(Photo01)。

  • HBMを必要とするようなハイパフォーマンスAIプロセッサが必要になる見通しが立った

    Photo01:生成AIの急激な普及というか、これまで持て余し気味だったAI技術が生成AIの誕生により急速に広まり、これに合わせてHBMを必要とするようなハイパフォーマンスAIプロセッサが必要になる見通しが立ったというべきか

主に生成AIがその牽引役であるが、ご存じの通りNLM(Neural Language Model)をベースにした生成AIは、パラメータの数そのものが桁違いに多い(GPT-3では175B個だったのが、GPT-4では1.75T個などと言われている)事もあり、より大量のメモリを高速にアクセスできる必要がある。

こうしたトレンドを睨んで今回発表されたのがHBM3 Gen2である。同じ8-High(8層)構成でも従来の16GBから24GBに容量が増加、信号速度も9.6Gbps/pin、トータル1.2TB/sec以上になり、それでいながら転送効率を2.5倍以上に向上させたとしている(Photo02)。

  • このPerf/WattはHBM3ではなくHBM2/HBM2eとの比較の模様

    Photo02:このPerf/WattはHBM3ではなくHBM2/HBM2eとの比較の模様

そもそも昨今のAIプロセッサではとにかくメモリの容量と速度の両方が致命的に足りておらず、これがボトルネックになっているのは半ば周知の事実である。Micronの試算によれば、HBM3を今回のHBM3 Gen2に切り替える事で、大規模言語モデルの学習が30％高速化され、推論のスループットは50％向上するとしている(Photo03)。

  • 問題はこの資産がどんなプロセッサをベースにしたものか？　という話

    Photo03:問題はこの資産がどんなプロセッサをベースにしたものか？　という話で、多分GPUか何かをベースにした結果と思われる

ちなみに今回の発表は8-Highで容量24GBであるが、これに続き12-High 36GBの製品も投入予定とされている(Photo04)。

  • 推論はともかく学習に関してはFP32への回帰が始まりつつある

    Photo04:推論はともかく学習に関しては、あまりデータサイズを小さくすると精度の下落が激しいので、再びFP32への回帰が始まりつつある。そうなるとメモリ容量はさらに必要という訳だ

DRAM部は1βnmプロセスを利用し、これは広島工場で製造。一方コントローラの方は台湾で製造される。単に容量を増やしたのみならず、DRAMとコントローラをつなぐTSVの密度を上げた事で、実質的にTSVの本数は2倍になり、それでいながらパッケージは小型化され、しかもノイズ耐性を引き上げSignal Integrityを向上させた、としている(Photo05)。

  • Thermal Impedance reductionについては明確な数字、あるいは具体的な技術の説明はなかった

    Photo05:Thermal Impedance reductionについては明確な数字、あるいは具体的な技術の説明はなかった(というか、ぼかされた)のだが、TSVの本数が倍になった事はそれなりに貢献しているものと考えられる(TSV経由での放熱は馬鹿にならない)

転送速度あたりの消費電力削減は先にも述べたが、例えばHBM 1stackあたり4W削減できれば、1000万枚のGPUの運用コストを5年間で5億5000万ドル減らせる、というのはまぁわかりやすいメリットである。

HBM3 Gen2の主な技術諸元がこちら(Photo06)。

  • ちなみにHBM3 Gen2はHBM3とDrop-in Compatibleとの事

    Photo06:ちなみにHBM3 Gen2はHBM3とDrop-in Compatibleとの事。もっとも既存のI/Fは9.6Gbpsの転送はサポートしていないから、高速性をフルに活用するにはI/Fの更新が必要になるが

接続は引き続きCoWoSに代表されるSilicon Interposer経由となる。ちなみに信号はNRZのまま9.6Gbpsまで引き上げられた。余談だが、今年のVLSI SymposiumでSamsungは次世代HBMに向けた15GbpsのNRZのI/Fの試作結果を発表している(C23-1)。これに比べればまだ9.6Gbpsは容易ということなのだろう。

ちょっと興味深いのは今後のロードマップ(Photo07)である。

  • 今回のHBM3 Gen2は1βプロセスでの量産

    Photo07:今回のHBM3 Gen2は1βプロセスでの量産だが、これに続きEUVを利用する1γプロセスと、さらにその先に関しても開発を行っているとの事

MRDIMMの話はCOMPUTEXのレポートでご紹介したが。Micronも2024年にはサーバ向けにMRDIMMとCXL Memoryをリリース予定とされる。また2025年にはGDDR7を、2026年にはHBM Nextがリリースされる予定だそうだ。このHBM Nextは1.5TB/secが最初のターゲットであり、つまり12Gbps/pinということになる。

ところで余談だが、今回の製品をHBM3eではなくHBM3 Gen2としたのは「あまりに性能が良いのでEnhance Versionではなく世代が違う事を明示的に示したかった」のが理由だそうで、なので他社は多分HBM3eとしてリリースしてくることになるかと思われる。このHBM3 Gen2、現在は主要な顧客の元で検証を進めており、量産出荷は2024年第1四半期を予定しているとの事である。