AI推論時代のインフラに何が必要か？ NTTドコモビジネスが語る「AIOWN」構想

生成AIの普及に伴い、AIインフラに求められる条件が変わりつつある。モデルを構築する「学習」に加え、利用者の要求に応える「推論」の比重が高まり、AIエージェントやフィジカルAIでは応答速度や電力、計算資源の配置が重要になる。

10月8～9日に開催された「NTT docomo Business Forum'26」に登壇したNTTドコモビジネスエバンジェリスト林雅之氏は、次世代情報通信基盤「IOWN」を活用した分散GPUの取り組みと、GPUやネットワーク、電力などを統合して運用する「AIOWN」の構想について解説した。

AIの「学習」から「推論」へ - 変わるインフラ要件

林氏は冒頭、AIインフラを巡る昨今の動向を紹介した。AIの活用は、大規模な汎用モデルの開発を中心とする段階から、企業業務に特化したAI、複数の処理を担うAIエージェント、現実世界で動作するフィジカルAIへと広がっている。それに伴い、完成したモデルを使って予測や応答を返す推論の重要性が高まっているという。

「AIのワークロードは、学習から推論へシフトしています。学習は大量のデータを使ってモデルを作る工程ですが、推論は予測や応答をよりリアルタイムに返していくものです。AIエージェントの活用が広がり、推論が常時発生するようになると、インフラにかかる負荷も高まっていきます」（林氏）

NTTドコモビジネスエバンジェリスト林雅之氏

もっとも、学習の需要も今後伸びていくため、双方を想定したインフラ設計が必要となるだろう。データセンターも、AI向けGPUの高性能化に伴ってラック当たりの消費電力や発熱量が増大し、100kWを超える構成も想定される。従来の空冷だけでは対応が難しくなり、液冷の導入や電力供給方式の見直しが必要になるという。

林氏が、推論が常時発生する時代のインフラ要件として挙げたのが、遅延、電力、配置の3点だ。具体的には、リアルタイム推論に対応する低遅延なネットワーク、GPUの高密度化に伴う電力の確保、エッジとの組み合わせやデータ主権を考慮した分散配置が必要になると語った。

通信からコンピューティングへ光化を進める「IOWN」

こうした課題への技術的な取り組みとして紹介されたのが、NTTグループの次世代情報通信基盤「IOWN」だ。その中核にあるのは、電気による伝送や接続を可能な部分から光へと置き換えていく光電融合技術である。

「IOWNのポイントは光電融合技術にあります。大容量の電気通信では、伝送距離が延びるにつれて消費電力が増えますが、光通信ではその増加を抑えられます。これから電力需要が増えていく中で、電気で行っていた部分を光に置き換えることが重要になります」（林氏）

IOWNの主要技術

IOWNを支える主な技術には、光電融合デバイス、APN（All Photonics Network）、分散型の光コンピューティングがある。APNは通信ネットワークの全区間で光波長を占有し、大容量・低遅延・低消費電力の通信を実現する技術だ。NTTドコモビジネスは、APNを活用するサービス「docomo business APN Plus powered by IOWN」の提供を始めている。

さらに、IOWNによる光化は通信ネットワークだけにとどまらない。NTTグループは、コンピューティング内部にも光を使う範囲を広げようとしている。

「現在、実現できているのはデータセンター間をAPNでつなぐ部分です。次に取り組んでいるのはボードとボードを光でつなぐIOWN 2.0で、その先にはチップ間を光でつなぐIOWN 3.0があります。さらにダイ間通信へと進めていく考えです」（林氏）

このロードマップでは、データセンター間接続に当たるのがIOWN 1.0、半導体のダイ間接続に当たるのがIOWN 4.0だ。ボード間接続（IOWN 2.0）では商用化と量産化に向けた取り組みが進み、チップ間接続（IOWN 3.0）では2028年ごろの展開を目指しているという。

光電融合技術のロードマップ

離れたデータセンターを、一つの計算基盤のように利用

APNの活用例として林氏が取り上げたのが、分散型コンピューティングだ。国内のデータセンターは東京や大阪に集中しており、各地への分散が検討されている。その際、課題となるのが離れた拠点間の通信遅延である。

「東京や大阪にデータセンターが集中しています。北海道から九州まで分散させていこうという動きがありますが、場所が離れると遅延が気になります。そこをAPNでつなぐことによって、低遅延なコンピューティング環境を使っていこうという考え方です」（林氏）

NTTドコモビジネスは、APNで離れた拠点のGPUを結ぶ仕組みを「GPU over APN」と呼ぶ。この仕組みを使って学習や推論などの処理を実行し、さまざまな条件で評価を進めている。

GPU over APNでは、「拠点間の距離が離れていても、一つのクラスターのように計算資源を利用できる」（林氏）という。同氏は、今後、データセンターの分散化が進む中で、APNによる低遅延の拠点間接続は重要になると見解を示した。

GPUや電力を含む統合運用を目指す「AIOWN」

林氏は続いて、NTTグループが推進するAIネイティブインフラ「AIOWN」を紹介した。これは、GPU、ネットワーク、電力などのリソースを最適化し、全国に分散したデータセンターやエッジまで含めて統合運用することを目指す構想だ。拠点間の接続には、IOWNの光ネットワークを活用する。

「AIOWNは、GPU、ネットワーク、電力、エッジ、セキュリティの統合オペレーションを含めたAIネイティブインフラです。これまでのICT環境はCPUや通信帯域が中心でしたが、AI時代にはGPUを中心に、応答速度やトークンスループットが求められるようになります」（林氏）

従来のインフラ要件にAI時代の要件が加わる

トークンスループットは、AIが一定時間に処理できるトークン量を示す指標だ。林氏は、応答に時間がかかる一部の処理の遅延を表すテールレイテンシとともに、AI時代の重要な性能指標に挙げた。

「私が特に重視しているのはトークンスループットです。トークンスループットやテールレイテンシへの対応は、ネットワークだけではできません。GPUや高帯域メモリーといった演算リソース、APNなどの光インターコネクト、推論ソフトウェア、ストレージ、電力・冷却、さらに運用の最適化まで考える必要があります」（林氏）