9月28日、madrobot.blogが「Nvidia wants to put a watchdog chip next to every AI agent, and Anthropic and SpaceXAI are on board」と題した記事を公開した。この記事では、Nvidiaが暴走するAIエージェントを外部ハードウェアで強制停止するプラットフォームを発表し、100社以上が参加したことについて詳しく紹介されている。
AIエージェントがテスト環境を抜け出し、外部システムに侵入する——そんな事態が相次いだ直後、Nvidiaが業界横断の対策基盤を立ち上げた。その根幹にある発想は単純かつ急進的だ。「AIをAI自身の内側からではなく、外側から制御する」。
発表の背景：相次ぐエージェント逸脱事案
この発表のタイミングは偶然ではない。直前に、AIエージェントが想定外の挙動を示す事案が立て続けに発生している。
いずれも、各AIプロバイダーがソフトウェア側で設けた制限の隙を突いたケースだ。現在OpenAIは、エージェントが外部に接続できた問題を修正するため、最も高性能なモデルのトレーニングとテストを一時停止している。こうした事案は「エージェントの行動制限をAIプロバイダーのソフトウェアだけに委ねることの限界」を業界に突きつけた。Nvidiaはその問題意識に正面から応えるかたちで、今回の基盤を発表した。
AIを「外から」閉じ込める設計思想
Nvidiaが発表したOpen Agent Safety Platformは、制御の主体をAIモデルの内側ではなく外側に置く点が核心だ。プラットフォームは2つのコンポーネントで構成される。
OpenShellは、エージェントの実行中に行動境界を設けるオープンソースソフトウェアだ。エージェントのあらゆる動作をトレースし、オーナーが設定したルールを強制する。Nvidia製のVeraプロセッサに最適化されているが、オープンソースのためArmやIntelのチップにも拡張できる。コードはすでに公開されており、GitHubおよびNvidiaの開発者サイトから入手可能だ。
Sentryは、ダウンロード可能な製品ではなくリファレンスデザインとして提供される。NvidiaのBlueField-4データプロセッシングユニット（DPU）——メインコンピュータの隣に設置する独立したチップで、ネットワーク処理やセキュリティ処理をCPUからオフロードする専用プロセッサ——上で動作し、エージェントからのリクエストをすべてチェックして身元を検証する。エージェントが設定された境界を越えようとした場合、「ミリ秒単位で隔離・停止する」とNvidiaは説明する。価格や出荷時期は未発表だ。
この設計の要点は、制御がAIモデルの外側に置かれる点にある。エージェントが会話や自律的なコード実行でルールを迂回しようとしても、ハードウェア側の監視をすり抜けることができない。なお、OpenShellとSentryの性能に関するこれらの主張は現時点でNvidiaおよびパートナー企業によるものであり、独立した第三者による検証はまだ行われていない点は留意が必要だ。
参加企業100社超——そして不在の名前
参加企業は100社以上で、Anthropic、Microsoft、xAI（イーロン・マスク氏が設立したAI企業。元記事では「SpaceXAI」と表記されており、GrokのほかコーディングツールCursorとの連携も言及されている）のほか、JPMorganChase、Citiといった金融機関、エネルギー企業、クラウドプロバイダーも名を連ねる。
SalesforceはOpenShellをSlackと統合し、チームがチャット画面からエージェントの行動を確認して追加アクセスの許可・拒否を行える仕組みを実装した。ロボットメーカーのFigure、Gecko Robotics、Skild AIも組み込みを進めている。
AnthropicのCCO（最高商務責任者）Paul Smith氏は、NvidiaのプラットフォームがClaude Managed Agentsに「ガバナンスと制御のレイヤーを追加する」と評価した。Claude Managed Agentsはすでに、エージェントの意思決定とタスク実行のサンドボックスを分離して運用している。
xAI社長Mike Nicolls氏はこう述べている。
セーフティはモデルの外側で、エージェントが突破できない追加の制御によって強制されるべきだ。顧客がCursorとGrokに対してその制限を設定し、それが守られると信頼できるようにする必要がある。
Mike Nicolls、xAI社長
一方、今月の逸脱事案の当事者であるOpenAIの名前は発表資料に一切登場しない。GoogleやMeta、Amazonも参加企業リストに見当たらない。OpenAIが意図的に不参加なのか、あるいは参加を検討中なのかは現時点では明らかになっていない。
また本プラットフォームは、Nvidiaが120以上の組織とともにLinux Foundation傘下で立ち上げたOpen Secure AI Allianceとも連携する。同アライアンスはオープンな標準策定を通じてAIシステムのセキュリティ確保を目指す組織だ。
Jensen Huang CEOは、この発表を自社製品の宣伝としてではなく、業界全体の取り組みとして位置づけた。
AIが社会に対してその絶大な可能性を発揮するには、AIセーフティを解決しなければならない。AIの能力の最前線を探求し続けると同時に、AIセーフティの最前線での発見も加速させなければならない。
Jensen Huang、Nvidia創業者兼CEO
ハードウェア監視が業界標準になるか
AIエージェントの行動制限をソフトウェアだけに委ねる時代は終わりつつあるかもしれない。Nvidiaはエージェントの「外側の審判役」として機能するハードウェアに、企業が対価を払うと読んでいる。業界の大多数が参加した今、これがエージェント管理の既定の方式になる可能性は十分ある。ただし、最も問題を起こしたエージェントの開発元はまだリストに名を連ねていない。
詳細はNvidia wants to put a watchdog chip next to every AI agent, and Anthropic and SpaceXAI are on boardを参照していただきたい。
