11月19日、Google CloudエンジニアのDaniela Petruzalekが、Google Cloud公式Mediumブログへの寄稿として「How to Ship a Public AI Agent Without Breaking the Budget」と題した記事を公開した。公開AIエージェントをコスト暴走や悪用から守るための防御的設計手法について、実際の実装コードを交えながら詳しく解説している。
AIエージェントをインターネットに公開するリスクは、すでにジョークのネタにされている。「McDonald'sのサポートbotはタダでClaude Codeの代わりになる」というスクリーンショットがSNSで拡散したのは記憶に新しい(実際はフェイクだったが)。トークンを無料でせしめようとするユーザーは確実に存在する。では、公開前提のエージェントをどう守るか。
Danielaは、自身のブログ「danicat.dev」に組み込んだ実際のコンパニオンエージェント「Chibi Dani」の実装を題材に、三つの防衛線を解説している。
三つの原則:「絞る・限る・ゼロ信頼」
設計の柱は以下の三原則だ。
- Less is more:タスクに必要な最小限のモデル・リソースを使う
- 最小権限の原則:エージェントに必要最低限のツールとパーミッションのみ付与する
- ゼロトラスト:Model Armorで全プロンプトをスクリーニングし、悪意ある入力をバックエンドに到達させない
スタック構成は、Go + Genkit でバックエンドを実装し、Cloud Run(scale-to-zero)で稼働させ、推論には記事執筆時点のGemini 3.5 Flash Lite(gemini-3.5-flash-lite)を採用。安全層としてGoogle Cloud Model Armorを挟む。
なお、**Google Cloud Model Armor**とは、LLMへの入出力をリアルタイムにスキャンしてプロンプトインジェクションやジェイルブレイク、有害コンテンツなどを検出・ブロックするGoogle Cloudのマネージドセキュリティサービスだ。アプリケーション層から独立した外部スクリーニングとして機能するため、システムプロンプトのルールをすり抜けようとする巧妙な入力にも対処できる。
最も重要な防衛:Genkitのバジェットミドルウェア
記事の中で最も実装コードが具体的で、エンジニアにとって再現性が高いのがGenkitの「バジェットミドルウェア」による二段階トークン制限だ。
&mwexp.Budget{
Scope: mwexp.BudgetScopeRun,
Limit: ai.GenerationUsage{
InputTokens: 160_000, OutputTokens: 1_500, ThoughtsTokens: 16_000,
},
},
&mwexp.Budget{
Scope: mwexp.BudgetScopeSession,
Limit: ai.GenerationUsage{
InputTokens: 500_000, OutputTokens: 12_000, ThoughtsTokens: 64_000,
},
},
- BudgetScopeRun:1回の質問あたりの上限。エージェントが内部でツールを複数回呼び出す際も、ステップ全体の合算でキャップをかける。無限ループによるコスト爆発を防ぐ
- BudgetScopeSession:ひとつのセッション内における会話の累積上限。セッション内でトークン消費が積み上がり続けることを防ぐ
加えてターン数の上限もWithMaxTurns(5)で5回に制限し、同一セッションが際限なく続くことを防いでいる。
セッション管理はLRUキャッシュで最大256セッション、アイドル30分でTTLを設定。Cloud Runは--max-instances=1・--concurrency=20に絞り、スロットが埋まった際は429 Too Many Requestsをエッジで返す設計だ。外部のベクターDBやCloud Firestoreは使わず、3MB未満のMarkdown/JSONコーパスを起動時にインメモリへ展開するシンプルな構成が、コストと複雑性の両方を抑えている。
ツール設計でも「読み取り専用」を徹底
エージェントが持つツールはread_corpus一本のみ。起動時に読み込んだ公開済みコンテンツのマップを参照するだけで、シェルアクセスもファイルシステムのトラバーサルも外部ネットワーク呼び出しも一切ない。
readCorpus := genkit.DefineTool(g, "read_corpus",
"Read the full markdown or JSON source of a published danicat.dev file.",
func(_ *ai.ToolContext, in readCorpusInput) (string, error) {
text, ok := corpus.Files[strings.TrimPrefix(strings.TrimSpace(in.Path), "/")]
if !ok {
return fmt.Sprintf("file %q not found in published corpus", in.Path), nil
}
return text, nil
},
)
Cloud Runのサービスアカウントも、Gemini Enterpriseの呼び出し・Model Armorのスクリーニング・Cloud Firestoreへのログ保存・トレース出力の四つのみに権限を絞る。Secret ManagerやCloud Storageへのアクセスは原則禁止だ。
システムプロンプトでの行動制限と、その限界
システムプロンプトには、Pythonのリンクリスト反転やユーザーの外部コードのデバッグを断るルール、URLの捏造禁止、コーパス外の質問への対応方法などが明示的に記述されている。ただしDaniela自身が認めているように、「ルールだけでは挙動を保証できない」。巧妙なプロンプトはルールをすり抜けようとするため、Model Armorによる外部スクリーニングと、GoレイヤーでのHTTPミドルウェアによる事前チェック(クロスオリジン検証・厳格なCORSヘッダー等)を組み合わせて多層防御を実現している。
コスト制御・ツール設計・権限設計・外部スクリーニングの四層を組み合わせることで、単一の防御が破られても別の層が機能する構造になっている。いずれの手法も特定のクラウドサービスに依存した部分はあるが、「最小モデル・最小ツール・最小権限・外部フィルタリング」という設計思想自体は他のスタックにも応用できる。公開前提のエージェントを設計する際の実践的な参照実装として、ソースコードはGitHubのdanicat/gemini-for-go-developersで公開されている。
詳細はHow to Ship a Public AI Agent Without Breaking the Budgetを参照していただきたい。