米NVIDIAは11月13日（現地時間）、データセンター向けアクセラレーターの新モデル「NVIDIA H200」を発表した。生成AIやHPC向けワークロードを強力に加速し、莫大なデータ処理をサポートするとしている。

  • 「NVIDIA H200」発表 - GPUメモリに世界初のHBM3e搭載、帯域幅4.8TB/sの容量141GB

NVIDIA Hopperアーキテクチャを採用し、GPUメモリとして世界で初めてHBM3eを採用するハイパフォーマンスコンピューティング向けプラットフォームの新製品。毎秒4.8TBの莫大な帯域幅で141GBのGPUメモリ空間を構成しており、前世代のNVIDIA A100比で容量は2倍、帯域幅は2.4倍へと増加。処理能力の一例として、700億パラメータのLLMであるLlama 2は推論速度がほぼ2倍に高速化したという。

NVIDIA H200搭載製品は、4ウェイ構成か8ウェイ構成のNVIDIA HGXサーバーブレードとして提供。HGX H100システムとハードウェアとソフトウェアの両方で互換性を維持しており、NVIDIA GH200との組み合わせでも利用可能。最大構成となる8ウェイ構成では最大32ペタフロップスを超える推論性能（FP8）を実現する。

ASRock Rack、ASUS、Dell Technologies、Eviden、GIGABYTE、Hewlett Packard Enterprise、Ingrasys、Lenovo、QCT 、Supermicro、Wistron、Wiwynnなどのパートナーから、2024年第二四半期以降発売を予定。CoreWeave、Lambda、Vultr に加え、Amazon Web Service、Google Cloud、Microsoft Azure、Oracle Cloud Infrastructureなどのクラウド事業者でも採用したインスタンスが随時利用できるようになるとしている。