GPUだけに頼らないAI基盤を日本で構築へ、ai&が韓国RebellionsのNPUサーバを100台導入

この半導体ニュースのまとめ

・韓国Rebellionsがai&との協業を通じ、日本市場へ本格参入
・ai&がRebel100を8基搭載するRebelServerを100台規模で導入へ
・高効率なNPUをGPUなどと組み合わせ、日本国内でAI推論サービスを提供

韓国のAI半導体スタートアップRebellionsと、日本でAIインフラ事業を展開するai&は9月30日、9月15日に発表した協業内容に関して、日本国内メディア向けに説明会を開催した。

両社はこの協業を通じて、RebellionsのAI推論向けNPU「Rebel100」を8基搭載するAI推論サーバ「RebelServer」を、ai&が国内で運営するデータセンターへ100台規模で導入を進めていくこととなる。

RebelServerを4台組み合わせると、32基のRebel100を搭載するAI推論ラック「RebelRack」となる。100台のRebelServerが導入された場合、Rebel100の搭載数は最大800基となる。

RebelServerの最初の100台が最初のバッチとして10～11月に、ai&が東京で運営している既存データセンターに導入される予定。その後も同社は12月にも東京に新たなデータセンターを開設予定で、今後の協業の進展次第で、追加でそうした新たなデータセンターなどへのRebelServerの導入が期待されるという。

Rebellionsとai&による協業発表の説明会での記念撮影。左がai&の共同創業者兼 CEOのDavid Bennett(デビッド・ベネット)氏、右がRebellions CBOのMarshall Choy(マーシャル・チョイ)氏

RebelServerを最大100台、NPUは最大800基

Rebellionsは2020年に韓国で設立されたAI半導体スタートアップで、AI推論向けNPUの設計に加え、アクセラレータカード、サーバ、ラック、POD、データセンター向けシステム、ソフトウェアスタックまでを開発している。

今回、発表を行ったMarshall Choy(マーシャル・チョイ)氏は、Rebellionsがグローバル市場での事業拡大に向け、2025年11月に米国法人を設立した際に、CBO(最高事業責任者)として入社。同社のグローバル事業開発、営業、アライアンス、チャネル、製品管理などを統括し、米国法人を海外展開の拠点として顧客や戦略パートナーの開拓を進める役割を担っている。

同氏は同社入社以前、AI半導体メーカーのSambaNova Systemsで製品管理、営業、マーケティングなどのグローバル組織を率い、直近では最高顧客責任者(CCO)を務めた。SambaNova以前はOracleやSun Microsystemsで20年以上にわたり、エンタープライズシステムの製品戦略や市場展開に携わった経歴を持っており、SambaNova在籍時は、［製品担当上級副社長として、独自AI半導体「SN40L」と3階層のデータフローメモリ、ソフトウェア、システム、基盤モデルを組み合わせたフルスタック戦略を説明するなど、技術とビジネスの両方に精通した人物である](https://news.mynavi.jp/techplus/article/20240725-2992160/)。

同氏によると、韓国のSK Telecomではすでに100台を超えるラック規模で同社製品が導入されており、社内用途から顧客向けAIサービスまで適用範囲を広げているという。今回のai&との協業については、RebellionsにとってAI推論システムを商用サービスとして日本市場へ本格展開する最初の大規模案件に位置付けられるとする。

一方、ai&はRebelServerを単独で運用するのではなく、NVIDIAやAMD、TenstorrentなどのAIアクセラレータと組み合わせた複数種類の演算基盤を利用するヘテロジニアスなAIインフラを構築。ワークロードの規模や処理内容、求められる応答速度、コストに応じて適切なハードウェアへ処理を割り振ることで、高性能GPUだけですべての推論を処理する場合と比べ、設備投資と運用コストを抑えたAI活用を顧客企業に提供していくとしている。

ai&による日本でのAI推論基盤構築に向けた取り組みの概要。今回の協業の最初のステップとしてai&はRebellionsのRebelServerを100台導入。GPUに限らず柔軟にAI推論性能を向上させていくことで、2027年末までに国内10か所のデータセンター運用を開始し、40MW規模のAIインフラ容量確保を目指す

4つのチップレットで約2PFLOPSを実現

Rebel100は、大規模言語モデル(LLM)や混合専門家モデル(MoE)、マルチモーダルAIの推論処理を想定して設計されたRebellionsのフラッグシップNPUである。

Samsung Electronics(サムスン)のファウンドリ部門Samsung Foundryが提供する4nmプロセスを採用し、同一設計の4つのチップレットをUCIe-Advancedで接続したSoCとなる。4つのチップレットを仮想的な1つの大規模ダイとして動作させ、FP16で1024TFLOPS、FP8で2048TFLOPS(約2PFLOPS)の演算性能を実現。実行演算性能についても、理論演算値にかなり近い性能を出せるとしている。

合計144GBのHBM3Eを採用し、メモリ帯域幅は4.8TB/s。オンチップで合計512MBのSRAMも搭載する。ホストとの接続にはPCI Express Gen 5 x16を2系統備え、最大消費電力は600Wとされる。

RebellionsのAI推論向けNPU「Rebel100」。500円玉との比較がどの程度の大きさかがわかりやすいが、同一設計の4つのチップレットをUCIe-Advancedで接続し、周囲にHBM3Eを配置。FP8で約2PFLOPSの演算性能と144GBのHBM3Eを搭載する

LLMの推論処理は、大きく分けて入力された文章を一括処理する「プレフィル」と、トークンを1つずつ生成する「デコード」で構成される。プレフィルは演算性能への依存度が高い一方、デコードでは過去の計算結果を保存するKVキャッシュへのアクセスが増え、メモリ容量と帯域幅が処理性能を左右する。

Rebel100は、FP8、FP16、FP32を単一コアで処理できる混合精度演算エンジンを採用。精度ごとに独立した演算ブロックを用意する構成と比べ、演算器の占有面積とデータ移動を抑え、同社の従来設計比で2.8倍の演算密度を実現したとしている。

また、予測型DMAエンジンとオンチップのメッシュネットワークを組み合わせ、必要となるKVキャッシュのデータを演算前に読み込む。Rebellionsによると、有効メモリ帯域幅は2.7TB/sで、長いコンテキストを扱うLLMのデコード処理で生じるメモリアクセス待ちを軽減できるという。

SRAMとHBMを組み合わせたメモリ中心型設計

RebellionsはRebel100の特徴を、メモリ中心型コンピューティングアーキテクチャと説明する。

LLM推論の効率を高める手法の1つに、プレフィルとデコードを異なるアクセラレータへ割り当てる「推論ディスアグリゲーション」がある。一般的には、演算負荷の高いプレフィルをHBM搭載アクセラレータ、メモリアクセスが中心となるデコードを大容量SRAM搭載アクセラレータへ分けて処理する。

Rebel100は1チップあたり512MBのSRAMと144GBのHBM3Eを搭載し、双方へアクセスできるようにした。このため、小規模な環境では1つのRebel100でプレフィルとデコードの両方を処理し、システム規模が拡大した場合には、NPUごとに役割を分担させる柔軟な構成が可能になるという。

チップレット間は、UCIe-Advancedを基盤とする独自D2Dプロトコルで接続する。チャンネル当たりの双方向帯域幅は1TB/sで、チップレット間のパス遅延は11nsとしている。

さらに、ハードウェアベースのP2P通信と階層型の同期機構を備え、複数のチップレットやNPUにモデルを分散した場合でも、演算待ちや通信待ちによる利用効率の低下を抑える設計となっているという。

1サーバあたり約16.4PFLOPSのFP8性能を提供

ai&が導入するRebelServerは、1台当たり8基のRebel100を搭載するAI推論サーバで、Rebel100が1基当たりFP8で約2.048PFLOPSの演算性能を提供するため、サーバ1台あたりのFP8演算性能は約16.4PFLOPSとなる。

最大100台を導入した場合、Rebel100の搭載数は800基となり、単純合算したFP8演算性能は約1.64EFLOPSとなる。ただし、実際のAI推論性能はモデル、精度、バッチサイズ、コンテキスト長、ソフトウェア最適化、サーバ間通信などの条件によって異なることに注意が必要である。

RebelServerを4台組み合わせたRebelRackでは、32基のRebel100を搭載し、FP8の理論演算性能は約65.5PFLOPSとなる。さらに複数のRebelRackを組み合わせることで、RebelPODやデータセンター規模へ拡張することもできる。

今回の説明会では、1台当たりのRebelServerの平均消費電力は約4kWとの説明があった。空冷に対応しており、液冷設備を前提とせず、既存のエンタープライズ向けデータセンターへ導入できる点を特徴としている。

RebellionsのAI推論インフラ製品体系。1台のRebelServerに8基のRebel100を搭載し、4台のRebelServerで32基のNPUを備えるRebelRackを構成。複数のラックを組み合わせることでRebelPODやデータセンター規模へと拡張することができる

特定ハードウェア向けの独自フォークを作らない

Rebellionsがハードウェアと並んで強調するのが、「No Forks」と呼ぶオープンソースソフトウェア戦略である。

利用者に対して、特定のNPU向けに独自フォークしたAIフレームワークの使用を要求せず、PyTorch、vLLM、Hugging Face、Kubernetes、OpenStackなど、既存のAI・クラウド環境で利用されているオープンソースソフトウェアへの対応を進める。

ソフトウェアスタック「RBLN SDK」は、コンパイラ、ランタイム、プロファイラ、モデルライブラリなどで構成される。PyTorch 2.x、vLLM、Tritonをネイティブにサポートし、既存のAIモデルや推論ワークフローへNPUを組み込みやすくする。

クラウド環境向けには「RBLN Cloud Toolkit」を提供し、Kubernetes用のNPU Operator、Device Plugin、Node Feature Discovery、Metrics Exporterなどを用意する。Red HatとはOpenShift向けのOperatorを共同設計しており、OpenShift上でRebellionsのNPUを管理できるようにした。