10月23日、連邦政府IT専門メディアのFedScoopが「Keeping a human in the AI loop is 'untenable' due to cuts, USDA IT official says」と題した記事を公開した。米国農務省(USDA)のIT担当者が、人員・予算削減を背景にAIの人間監視(Human-in-the-loop)を維持することは「もはや維持不能」と主張しており、政府機関のAI導入における現実的な課題が浮き彫りになっている。
「Human-in-the-loop」はもう維持できない
AI利用において「必ず人間が監視・承認する」という原則——いわゆる**Human-in-the-loop**(HITL)——は、安全なAI運用の鉄則として広く語られてきた。AIの出力や判断に対して人間が介在し、誤りや逸脱を検知・是正するこのアプローチは、政府機関のAIガイドラインでも標準的に求められてきた原則だ。しかし現場では、その前提が崩れ始めている。
USDAのITプログラムマネージャー兼セキュリティリードであるRudolf Rojasは、ワシントンD.C.で開催されたFedInsider Innovation Summitで率直に語った。
「私たちの業界、あるいは政府においてそれ(Human-in-the-loop)は維持不能だ。もうリソースがない。AIツールに仕事をさせ、結果を報告させるしかない」
これは理想論の話ではなく、人員削減とリソース不足という切実な現実から出た言葉だ。DOGE(Department of Government Efficiency=政府効率化省)による連邦政府のコスト削減が進む中、現場のIT担当者が直面している状況を端的に示している。なお、これはあくまでRojas個人の発言であり、USDA全体あるいは政府機関全般の公式方針を示すものではない点には留意が必要だ。
では「野放し」にするのか? 答えはノーだ
Rojasが主張するのは、AIエージェントを無制限に動かすことではない。彼が示す代替アプローチは以下の条件を満たした上での「監視なし運用」だ。
- 最小権限・最小ロールの付与(Least Privilegeの原則)
- しっかりしたリスク管理フレームワークの整備
- ネットワーク分析と**DMZ(非武装地帯)**の構築
- **ゼロトラスト原則**に基づく継続的なネットワーク監視
「バランスを取ることだ。まだ開発中の発想も必要だし、我々が調達するツールにAIを実装する点でベンダーにも本気を出してもらう必要がある」とRojasは述べた。
また規制についても、彼は現政権のスタンス——AI企業に「自由な開発の余地」を与える方向——に「ある程度は同意しない」と明言した。鉄道や核エネルギーで規制が機能してきたことを引き合いに出し、中国・ロシアなどの国家アクターへの対抗という観点からも、適切な規制の整備が必要だと主張した。
他省庁の温度感はバラバラ
同サミットでは複数の政府機関担当者が登壇しており、AI対応の温度差が鮮明になった。特に注目すべきは、Human-in-the-loopへの賛否が真っ向から割れていた点と、インフラのボトルネックという共通課題だ。
米国税関・国境警備局(CBP) のシニアアドバイザーAjay PhogatはHuman-in-the-loopを支持する立場で、AIが安全保障に与える脅威は「現実だ」と主張した。
「バーバリアン(侵略者)が門を抜けたら終わりだ。彼らは今まさに門の前にいる」
Rojasとは対照的に、監視の手を緩めることへの強い警戒感を示しており、同じ「政府機関のAI担当者」でも立場によって判断が大きく異なることがわかる。
NIH(国立衛生研究所) のJoe Croghanは、研究機関という性格上リスク許容度が高く、AIによって「失敗に至るまでの時間が数ヶ月から数日に短縮された」と述べた。1年前は個人生産性向上が中心だったが、今は目的特化型アプリケーションへシフトしているという。
国務省 のGray Barrettは、新任の外交官研修にAIモジュールを組み込んだ事例を紹介。省内AIチャットボット「StateChat」は1人あたり週約2時間の節約効果があると推計している。具体的な時間削減効果が数字で示された数少ない事例として注目される。
国家核安全保障局(NNSA) のBill Watkinsは、信頼性確保のため特定モデルのみ使用という方針を取っていると明かした。一方でデータセンタースペース、電力、チップ、ハードウェアの調達に最大6ヶ月の待ち時間が生じるボトルネックも抱えているという。AIの活用意欲はあっても、インフラ調達が追いつかないという問題は複数省庁に共通する課題として浮かび上がった。
米国議会図書館(LOC) のNatalie Buda Smithは「AIは資本投資というより、電気のようなユーティリティだ」と表現。AIサンドボックス実験への参加が急増しており、「提案が多すぎてサポートが追いつかない」ほどになっていると述べた。
政府はAIに「スキーで追いつけていない」
会計検査院(GAO)のIT・サイバーセキュリティチーム長Kevin Walshは、政府全体への懸念を率直に述べた。
「政府はオーバースキー(スキーで制御を失っている状態)だ。技術が何をしているか、今日だけでなく1ヶ月後に何をするかを、本当に理解する能力も監視能力も足りていない」
サイバーセキュリティの世界では「侵害されるかどうかではなく、いつ侵害されるか」という格言があるが、Walshはこれに加えて「AIを使わなければ、侵害されたことすら数ヶ月後まで気づかない時代になった」と警告した。
また「レガシーシステム」の定義が曖昧なまま古いシステムを抱え続ける政府の体質も問題視しており、更新サイクルを能動的に維持することが今や最重要課題だと述べた。GAOはこれまでも連邦政府のITリスクに関する勧告を継続的に出しており、Walshの発言はその延長線上にある問題意識だ。
人員削減という外部要因がAIガバナンスの設計原則そのものを揺るがしている。Human-in-the-loop——AIの判断に人間が介在し続けるという前提——の維持が物理的に困難になる状況は、政府機関に限らず、大規模なコスト削減を経た企業でも起きうる問題だ。「リソースがないから自律化」という判断と、それに伴うリスク管理の設計は、エンジニアとして避けて通れないテーマになりつつある。
詳細はKeeping a human in the AI loop is 'untenable' due to cuts, USDA IT official saysを参照していただきたい。