「NVIDIA Blackwell」アーキテクチャ発表 - TSMC製造限界の最大ダイ採用、10兆パラメータのLLM訓練に

米NVIDIAは3月18日（現地時間）、同社が主催する国際カンファレンス「NVIDIA GTC」の中で、最新アーキテクチャ「NVIDIA Blackwell」を発表した。データセンター向け製品への採用もあわせてお披露目されており、「NVIDIA B100」「NVIDIA GB100」へと搭載される。

「NVIDIA Blackwell」アーキテクチャ発表 - TSMC製造限界の最大ダイ採用、トランジスタ数2,080億個

ゲーム理論と統計を専門とする数学者であり、アメリカ科学アカデミーに初めて殿堂入りした黒人の学者「David Harold Blackwell」氏からネーミングされ、これまで提供されてきたNVIDIA Hopperシリーズから継承される最新アーキテクチャ。“世界で最も強力なチップ”と表現されており、カスタムされたTSMC 4NPプロセスで製造。最大2,080億個もの莫大なトランジスタを集積し、最大10兆ものパラメータを備えた大規模言語モデルのトレーニングをサポートするという。

NVIDIA Hopper世代で初めて搭載された独自の「トランスフォーマーエンジン」は第2世代へと刷新され、新たに4bit floatingにおける2倍の計算速度を実現。GPU間の接続は第5世代NVLinKへと強化され、GPUあたりの双方向スループット1.8TB/秒・最大576個のGPU間での高速通信に対応。信頼性と可用性・セキュリティ機能をRASエンジンで確保し、データベースクエリの高速化用に専用の解凍エンジンも内蔵する。

NVIDIA Blackwellアーキテクチャの採用製品として、第5世代NVLinKで相互接続した72個のBlackwell GPUと36個のGrace Blackwellスーパーチップを搭載し、独自DPU「BlueField-3」を組み合わせた「NVIDIA GB200 NVL72」も発表。NVIDIA Quantum-2 InfiniBandとSpectrum-Xを通じて最大400Gb/sのネットワーク速度に対応する。