AIデータセンター向け次世代低消費電力DRAMのサンプル出荷を開始

Micron Technologyは10月21日、AIデータセンターにおける低消費電力メモリの導入拡大に向けて、モジュールあたり192GBの容量を実現した「SOCAMM2(Small Outline Compression Attached Memory Module)」の顧客向けサンプル出荷を開始したことを発表した。

  • 192GB SOCAMM2

    顧客向けサンプル出荷が開始された192GB SOCAMM2の外観 (出所:Micron)

容量を増やしながら、1γプロセスにより電力効率を向上

SOCAMM2は、LPDRAM SOCAMMの機能拡張モデルで、同等の省スペースフットプリントを維持しながら50％の容量拡大を実現。この容量拡大により、リアルタイムの推論ワークロードでは最初のトークンまでの時間(TTFT)が短縮されることとなり、Llama 3 70Bモデル OSL=128での推論処理の場合、NVIDIAのGH200 NVL2構成(288GB HBM3E + 1TB LPDDR5x)、LMCacheを使用した同社の社内検証では80％以上の高速化が見込まれたという。

また、同社の1γ DRAMプロセスを採用することで、電力効率を前世代のLPDDR5x比で20％以上向上させたとするほか、同等容量のRDIMMと比較して電力消費を2/3に削減(128GBで比較した場合)でき、かつモジュールサイズを1/3に縮小できるようになるとする。さらに、この省電力化によりCPUに50TBの低消費電力DRAMメインメモリを接続できるようになる(NVIDIA NVl144ラックシステムで計算)など、フルラック構成のAIクラスタで大きな効果を得ることができるともしている。

なお、現在はモジュールあたり最大192GBで最大速度9.6GbpsのSOCAMM2が顧客向けサンプルとして出荷されているが、将来的な容量拡張にも柔軟に対応可能としているほか、量産については顧客の製品リリースに併せて開始される予定だとしている。