暴走するAIエージェントをミリ秒で隔離、NVIDIAが新たな安全基盤を発表

このAIエージェント関連ニュースのまとめ

・NVIDIAがAIエージェントをソフトウェアとハードウェアで保護するオープンな参照設計を発表
・OpenShellがエージェントを隔離し、ファイルやネットワーク、ツールへのアクセスを制御
・BlueField-4上のSentryがエージェントを外部から監視し、異常時にはミリ秒単位で隔離

NVIDIAは9月28日、AIエージェントの動作をソフトウェアからインフラまでの複数層で制御するオープンな参照設計「NVIDIA Open Agent Safety Platform」を発表した。

AIエージェントをサンドボックス内で実行し、ファイル、ネットワーク、認証情報、ツール、API、AIモデルなどへのアクセスを制御するオープンソースソフトウェア「NVIDIA OpenShell」と、BlueField-4 DPU上でエージェントを独立して監視する「NVIDIA Sentry」で構成される。

OpenShellはエージェントの動作を決定論的なポリシーで制限し、SentryはエージェントやホストOSの外側から動作を監視する。AIエージェント自身に安全な動作を委ねるのではなく、エージェントの手が届かない場所へ制御機能を配置することで、多層防御を実現する考え方となる。

同プラットフォームは、特定のAIモデルやエージェントフレームワークだけを対象とするものではない。OpenShellはx86とArm上で動作し、NVIDIA以外のソフトウェアやコンピューティング環境、ネットワーク制御機器にも拡張できるとしている。

モデルが安全でもエージェント全体が安全とは限らない

生成AIの安全対策では、望ましくない回答や危険な指示を拒否するようAIモデルを学習させる「モデルアライメント」が活用されてきた。

しかし、AIエージェントはAIモデルだけで構成されるわけではない。AIモデルはシステムの頭脳として指示を解釈し、エージェントハーネスがモデルによる判断をファイル操作、コードの実行、APIの呼び出し、データベースへのアクセスといった具体的な行動へ変換する。

• 

  AIモデルによる確率的な判断を、エージェントハーネスがツール操作などの行動へ変換する仕組み。NVIDIAはAIエージェントの安全性を確保するには、モデルの調整だけでなく、実行可能な操作を明示的に制限する決定論的なインフラ制御が必要だとする (提供:NVIDIA)

長期間にわたって自律的に動作するAIエージェントでは、曖昧な指示や使用するツールの不具合、想定外の実行結果などを受け、当初の目的や制約から動作が外れる「ドリフト」が生じる可能性がある。

• 

  長時間動作するAIエージェントに従来型サンドボックスを適用した場合の課題。曖昧な指示を受けたエージェントが承認範囲外の操作を行ったり、機密情報や認証情報を許可されていない外部へ送信したりする可能性があるほか、エージェント間の境界や行動履歴も不明確になりやすい (提供:NVIDIA)

NVIDIA Enterprise AI担当バイスプレジデントのJustin Boitano氏は、AIエージェントが自らの行動を完全に監督することを前提にすべきではないと説明する。

例えば、社内のソースコードを調査するAIエージェントには、特定のリポジトリへの読み取りアクセスが必要になる。一方、そのコードを外部のインターネットへ送信する必要はない。

重要なのは、AIエージェントが「外部へ送信しない」と判断することではなく、インフラ側で外部への通信を技術的に不可能にすることだとする。NVIDIAは、確率的に動作するAIには、明示的かつ決定論的な制御が必要になるとしている。

OpenShellがエージェントごとの権限を強制

NVIDIA OpenShellは、AIエージェントと企業のファイル、ネットワーク、認証情報、ツール、API、AIモデルの間に配置されるセキュアランタイムである。

各AIエージェントをカーネルレベルで隔離したサンドボックス内で実行し、エージェントごとにアクセス可能なファイル、ネットワーク、プロセス、ツール、認証情報を指定する。

• 

  NVIDIA OpenShellによるAIエージェントの実行時制御。エージェントハーネスをサンドボックス内で動作させ、その外側に置いた制御層がファイルシステムやネットワークへのアクセスをポリシーに基づいて監視・制限する。エージェント自身から制御機能へアクセスしたり変更したりすることはできない (提供:NVIDIA)

OpenShellは、主に以下の3つの要素で構成される。

OpenShell Gateway

複数のエージェントとサンドボックスのライフサイクル、ポリシー、ワークスペースを管理する。

OpenShell Supervisor

サンドボックスの外側で動作し、エージェントが送信するリクエストをポリシーと照合する。

OpenShell Sandbox

エージェントを実行し、OSカーネルの機能を用いてファイルシステムやプロセスへのアクセスを制御する。外部ネットワークへの通信はSupervisorを経由する。

• 

  NVIDIA Open Agent Safety Platformの基本構成。OpenShellはGateway、Supervisor、Policy Prover、Agent Sandboxで構成され、AIエージェントとプロンプト、ツール、データ、AIモデルの間にセキュアな実行境界を設ける。図はVera CPUとConnectX-9を使用する参照構成 (提供:NVIDIA)

ネットワーク制御では、特定のサービスへの接続を許可または禁止するだけでなく、HTTP、GraphQL、Model Context Protocol(MCP)の通信内容を検査できる。

例えば、同一のAPIに対してデータの読み取りは許可しながら、書き込みや削除は拒否するといった制御が可能となる。AIエージェントがシェルを起動したり、生成したコードを実行したり、子プロセスやサブエージェントを作成したりした場合も、同じポリシーが適用される。

数学的な検証で権限の抜け道を探す

OpenShellには、設定した権限が管理者の意図どおりになっているかを検証する「Policy Prover」が用意される。

AIエージェントが増加すると、個々のエージェントに与えた権限は限定的でも、複数のエージェントやツールを組み合わせることで、組織が意図しない動作が可能になる場合がある。

例えば、あるエージェントがソースコードを読み取る権限を持ち、別のエージェントが外部ネットワークへデータを送信する権限を持っていた場合、両者が連携することで機密コードを外部へ持ち出せる可能性が生じる。

Policy Proverは、ファイル、ネットワーク、ツール、プロセスなどに設定された権限を形式手法によって検証し、複数の権限を組み合わせた際に生じる意図しない経路を検出する。

大規模言語モデルにポリシーの適否を判断させるのではなく、数学的かつ決定論的に検証する。そのため、確率的な判断を行うAIをポリシー判定の最終決定者にする場合と比べ、高速かつ再現性のある検証が可能だとしている。

認証情報はエージェントの外側で管理

AIエージェントが業務システムやクラウドサービスを利用するには、APIキーやトークンなどの認証情報が必要となる。

しかし、認証情報をエージェントのメモリやファイルシステムへ直接渡すと、生成したコードや外部のツール、プロンプトインジェクションなどを通じて漏洩する可能性がある。

OpenShellは認証情報をエージェントのワークロード外で保持し、許可されたリクエストにのみ認証情報を付与する。エージェントはサービスへアクセスできるが、実際のAPIキーやトークンそのものを読み取ることはできない。

また、アクセスの許可・拒否を含む判断履歴をOpen Cybersecurity Schema Framework形式で記録する。管理者は、どのエージェントが、いつ、どのファイルやサービスへアクセスし、どのポリシーによって許可または拒否されたのかを追跡できる。

BlueField-4上のSentryが外側から監視

OpenShellがAIエージェントの実行時ポリシーを管理する一方、NVIDIA SentryはBlueField-4 DPU上で動作し、AIエージェントとは独立したセキュリティ領域から継続的な監視を行う。

• 

  OpenShellとNVIDIA Sentryを組み合わせた多層防御の構成。OpenShellがAIエージェントの行動をポリシーに基づいて制御する一方、BlueField-4 DPU上のSentryが独立した領域からエージェントを継続的に監視する。異常を検出した場合はミリ秒単位で対象エージェントを隔離できるという (提供:NVIDIA)

DPUはホストCPUやエージェントの実行環境とは独立して動作するため、ホストOSが侵害された場合でも、監視とネットワークポリシーの強制を継続できる。

Sentryは、エージェントとAIモデルの間の通信経路や、ツール、データ、サービスへのアクセスを監視する。エージェントの通信、ポリシー判断、ツールやデータへのアクセスを関連付け、行動の文脈を含む記録を生成する。

エージェントの動作や推論トレースから、承認された作業範囲を外れようとしている兆候を検出した場合は、ネットワークポリシーを更新し、対象エージェントをミリ秒単位で隔離できるという。

OpenShellが何を実行できるかという境界を設定・強制し、Sentryがその外側から継続的に監視して異常時に介入することで、単一の防御機構へ依存しない構成とした。

DPUは必須ではなく追加の防御層

NVIDIA Open Agent Safety Platformは、NVIDIA Vera CPUとBlueField-4 DPUを組み合わせたシステムに最適化されているが、AIエージェントの保護にDPUが必須となるわけではない。

一般的な企業内エージェントでは、CPU上でOpenShellを動作させるだけでも、ファイル、ネットワーク、ツール、認証情報に対する権限を制御できる。

一方、AIモデルの安全性評価やレッドチーミング、高度なサイバーセキュリティ研究など、AIエージェントが強い権限を持つ用途では、BlueField-4とSentryを追加することで、独立した監視・停止機構を設けられる。

自動運転システムにおいて、主要な認識・判断システムとは別に安全監視用の「セーフティアイランド」を設ける考え方を、高度なAIエージェントへ適用したものといえる。

Vera Rubin PODでは、BlueField-4がノードからAIモデルへ到達する通信経路上に配置される。この位置からAIエージェントの動作を継続的に観測し、不正な通信を遮断するキルスイッチとして機能する。

アプリケーション、ランタイム、インフラの3層で保護

NVIDIAは、AIエージェントを保護する仕組みを「アプリケーション」「ランタイム」「インフラ」の3層に整理している。

アプリケーション層には、AIモデル、エージェントハーネス、ツール、データ、スクリプトなどが含まれる。

ランタイム層ではOpenShellがエージェントをサンドボックスへ配置し、ポリシーに基づいてファイル、ネットワーク、プロセス、認証情報へのアクセスを制御する。

インフラ層では、CPUやGPU、DPU、ネットワークなどがエージェントを実行するとともに、必要に応じてSentryがエージェントの外側から監視とポリシー強制を行う。

NVIDIAは、モデル開発者だけにAIエージェントの安全性を委ねるのではなく、モデル提供者、アプリケーション開発者、企業、クラウド事業者、ハードウェア事業者がそれぞれの層を守る「共有責任モデル」が必要になると説明している。

AnthropicのClaude Managed Agentsにも統合へ

NVIDIAとAnthropicは、Claude Managed AgentsとOpenShellの統合に向けた協業を進めている。

企業はClaudeを使ったAIエージェントに対し、業務システムやデータへのアクセス範囲、実行可能な操作、ネットワーク上の接続先などをOpenShellで制御できるようになる。

• 

  AnthropicとNVIDIAは、Claude Managed AgentsとNVIDIA OpenShellの統合に向けて協業する。企業はClaudeを用いるAIエージェントに対し、業務システムやデータへのアクセス範囲、実行可能な操作、ネットワーク上の接続先などの境界を設定できるようになる (提供:NVIDIA)

また、Cadenceは半導体設計向けの自律型RTL設計エンジニア、Slackはオンデマンド型の業務自動化エージェント、Gecko RoboticsはフィジカルAIロボットの判断管理にOpenShellを活用しているという。

NVIDIAはクラウド、システム、CPU、エージェント、AIモデル、サイバーセキュリティ、ロボティクス、金融、エネルギーなどの分野から100社を超える企業・団体と連携し、オープンな参照設計を業界全体へ広げる方針である。

AIエージェントに必要なのは約束ではなく強制できる境界

AIエージェントが質問への回答から、コードの開発、システム操作、実験、調査、業務処理などを自律的に実行する存在へ進化するほど、不適切な行動が与える影響も大きくなる。

安全に調整されたAIモデルを使用していても、曖昧な指示やツールの不具合、複数エージェントの連携などによって、想定外の行動へ進む可能性を完全には排除できない。

このためNVIDIAは、AIエージェントが境界を守ると約束する仕組みではなく、境界を事前に検証し、実行時に強制し、外部から監視し、必要に応じて停止できる仕組みが必要だとする。

インターネットでは、暗号化通信やブラウザのサンドボックスといった信頼層が整備されたことで、電子商取引やクラウドサービスが普及した。NVIDIAは、AIエージェントが経済活動を担う「エージェント経済」にも同様の信頼層が必要になるとみている。

OpenShellはApache 2.0ライセンスのオープンソースとして公開され、既存のAIエージェントを書き換えずに導入できる。NVIDIAはOpenShellとOpen Agent Safety Platformをオープンな形で提供し、ソフトウェア、ネットワーク、半導体を横断するAIエージェント向けの安全基盤を業界各社と構築していくとしている。