AMD、PCIeカードタイプのGPU推論アクセラレータ「Instinct MI350P」を発表

まとめ

・AMDがPCIe Gen5対応の推論GPUカードを発表
・CDNA 4アーキテクチャを採用。128基のCUと144GBのHBM3Eを搭載
・既存サーバへの搭載によりAI処理能力の向上が可能

AMDがPCIeカード型推論GPUを発表

半導体大手のAMDは5月7日、PCIe Gen5デュアルスロット対応GPU推論アクセラレータカード「Instinct MI350P」を発表した。PCIeカードのフォームファクターを採用することで、CPUでは対応できないAI処理能力を必要とするものの、専用GPUアクセラレータプラットフォームへの投資に踏み切れない企業にとって最適な選択肢になるという。

同社では、企業がすでに所有しているデータセンターインフラストレクチャに適合するように設計されているため、既存の電源、冷却(空冷)、ラックのインフラを大きく変更することなくオンプレミスで推論を導入することができるようになると説明している。

MXFP4で最大4600TFLOPSの性能を提供

• 

  「Instinct MI350P」の概要 (出所:AMD)

高スループットを実現する低精度MXFP6およびMXFP4をネイティブサポートしているほか、INT8やBF16などの高精度フォーマットにも対応。精度に関わらず、GPUスループットを最大化し、メモリ使用量を削減することで、電力と冷却の要求を低減するように設計されているという。

ほかのMI350シリーズ同様、CDNA 4アーキテクチャを採用。128基のコンピュートユニット(CU)と144GBのHBM3Eの搭載により、最大4TB/秒の速度で動作することで、ピーク性能は2299TFLOPS、MXFP4では最大4600TFLOPSを実現するとしている。

なお、AMDでは同製品について、推論やRAG向けの小規模から大規模に至る幅広いAIモデルでの活用に最適と説明している。