ソフトバンクは、AIデータセンター向けソフトウエアスタック「Infrinia AI Cloud OS」を1月21日に開発発表した。AIデータセンター事業者がGPUクラウドサービスを効率的に構築・運用できる基盤で、オーダーメードのソリューション導入や自社開発を行った場合と比べると、総所有コスト(TCO)や運用負荷の低減につながるとしている。

  • 「Infrinia AI Cloud OS」の概要図

    「Infrinia AI Cloud OS」の概要図

「Infrinia AI Cloud OS」は、マルチテナント対応のKubernetes as a Service(KaaS)や、大規模言語モデル(LLM)の推論機能をAPIで提供するInference as a Service(Inf-aaS)を、自社のGPUクラウドサービスとして構築できるソフトウエアスタック。AIモデルの学習から推論までを、柔軟かつ効率的に提供する環境を迅速に実現できるという。なおKubernetes(クバネティス)とは、アプリケーションのデプロイやスケーリングを自動化したり、コンテナ化されたアプリケーションを管理したりするためのオープンソースのシステムのことを指す。

「NVIDIA GB200 NVL72」などの最先端GPU基盤上において、BIOS設定やRAID設定、OS構成、GPUドライバー設定、ネットワーク設定、Kubernetesコントローラー、ストレージ設定までを自動化。AIワークロードの要件に応じたクラスターの作成・更新・削除時には、ソフトウエア定義によって物理接続(NVIDIA NVLink)とメモリー(Inter-Node Memory Exchange)を動的かつ即座に再構成できるほか、GPU間の接続帯域の最大化を実現する仕組みも備えている。

推論サービスでは、Kubernetesやインフラを意識せずにLLMを選択するだけで利用可能。OpenAIと互換性のあるAPIにより、既存のAIアプリケーションをそのまま利用できるドロップイン対応も可能で、複数ノード間でのシームレスなスケーリングを実現するという。

セキュリティ面では、暗号化されたクラスター通信やテナント分離機能を提供する。システムのモニタリングやフェールオーバーなど運用・保守に関わる作業を自動化し、AIデータセンター事業者の管理画面や顧客管理システム、請求システムと接続するためのAPIも備える。

ソフトバンクは今後、自社のGPUクラウドサービスへ「Infrinia AI Cloud OS」を導入予定だ。Infriniaチームは、ソフトバンク傘下のSB Telecom America Corp. 内に設けられた、インフラアーキテクチャーやシステムの開発を担当するチームで、Infrinia AI Cloud OSのグローバルでの普及に向け、海外のデータセンターやクラウド環境への展開を進めていくとしている。