MicronのHBM3EがNVIDIAに採用、独自規格のAIサーバ向けメモリ「SOCAMM」の出荷も開始

Micron Technologyは、データセンターのAIサーバに搭載されるAI GPU向け高性能メモリとなる「HBM3E」がNVIDIAに採用されたこと、ならびに新たなメモリソリューション「SOCAMM(Small Outline Compression Attached Memory Module)」の量産出荷を開始したことを明らかにした。

• 

  SOCAMMとHBM3E 12H 36GBの概要。SOCAMMがNVIDIAのGrace(CPU)向け、HBM3E 12H 36GBがB300/GB300(GPU)向けという扱いとなっている (資料提供:Micron、以下すべて同様)

出荷が開始されたSOCAMMは、NVIDIA GB300 Grace Blackwell Ultra SuperchipをサポートするためにNVIDIAと共同開発されたモジュール型のLPDDR5Xメモリソリューションで、同社ではデータ処理の高速化、優れたパフォーマンス、比類のない電力効率、そしてサービス性の向上を実現し、AIワークロードの増加に対応する高容量メモリを提供すると説明している。具体積な性能としては、14mm×90mmという業界標準のRDIMMフォームファクターの約1/3の大きさとなり、コンパクトかつ高効率なサーバデザインを実現することができるほか、LPDDR5Xの採用により、標準のDDR5 RDIMMと比べて消費電力も1/3に削減することを可能としたとする。

• 

  SOCAMMの概要。NVIDIAのGPUとCPUを組み合わせた環境で活用することを目的に独自規格として開発されたとする

また、16ダイ積層のLPDDR5Xメモリを4つ配置して128GBのメモリモジュールを実現。同容量のRDIMMと比べて2.5倍以上の帯域幅を提供することで、より大規模なトレーニングデータセットや複雑なモデルへの高速アクセスを可能とするとともに、推論ワークロードのスループットの向上ならびに同時ユーザー数の増加を可能とするとしている。