米Googleは11月9日（現地時間）、独自開発するAIアクセラレーター「TPU」の第8世代に「TPU 8tx」と「TPU 8i Max」を追加すると発表した。8txは機密データを扱う推論向け、8i Maxは長大なコンテキストを処理する用途向けで、AIエージェントの運用に必要なセキュリティやメモリ性能を強化する。
同社は4月に、大規模なモデル学習向けの「TPU 8t」と、低遅延の推論向けの「TPU 8i」を発表している。今回の2システムは、これらのチップを基に、パッケージやネットワーク、セキュリティ機能などの構成を変更したもの。第8世代のラインアップは4種類となる。
TPU 8txは、セキュアな機密推論に最適化したシステムで、小規模な学習にも適するとしている。TPU 8tと同じシリコンを採用し、ホストCPUには第5世代AMD EPYCプロセッサーを組み合わせ、処理中のデータやモデルの重みをハードウェアレベルで保護・隔離する機密コンピューティング（Confidential Computing）に対応する。
ネットワークには、低遅延の推論向けに開発した「Boardfly」を採用する。同社によると、TPU 8tに比べて遅延を最大で半減でき、機密コンピューティングに伴う性能低下もほぼないという。
主な対象は規制の厳しい業種の企業や政府機関などである。非公開データを用いたファインチューニング、大規模モデルの知識を小規模モデルに移す「蒸留」、強化学習によるエージェントの訓練などを同じシステム上で実行できる。学習用と推論用の別々のクラスター間で、機密データを移動させる必要を減らす。
TPU 8i Maxは、低遅延のTPU 8iチップ2基を単一パッケージに統合したシステムである。Googleによると、TPU 8iに比べて演算能力、SRAM容量、広帯域メモリ「HBM」の帯域幅がそれぞれ2倍となる。
複数のAIエージェントがソフトウェアのコード全体や数時間分の動画を扱うような大規模な処理では、メモリから演算部へのデータ供給が追いつかなくなることがある。演算能力とメモリ性能を併せて拡大することで、こうしたメモリ帯域の制約の緩和を狙う。また、既存のラックの設置面積に2倍のシリコンを搭載でき、床面積当たりの演算能力に加え、電力当たりの演算能力も高められるとしている。
ソフトウェア面では、開発・運用を支援するツールも拡充する。10月にオープンソース化した「TorchTPU」により、PyTorchのコードやHugging FaceのモデルをTPU上でネイティブに実行できる。Claude Code、Cursor、Google Antigravityと連携し、導入作業の自動化やカーネルの自動チューニングを行う「TPU agent suite」もプレビュー提供する。
さらに、推論時の文脈を保持するKVキャッシュなどを効率よく移動する「TPU Sync」をオープンソース化する。TPUのHBM、ホストメモリ、共有ストレージ、ネットワークを組み合わせ、長大なコンテキストを扱う際のメモリ管理やデータ転送を最適化する。
AI導入で業務量20%削減も経営成果は出ず - リコーが見つけた3つの課題と解決策
