AIエージェントの暴走を「バージョン管理」で抑制する「Shepherd」— メール削除やサイバー攻撃を起こす前に差し止めるメタエージェント
DRANK

11月20日、IEEE Spectrumが「Meet Shepherd, the Meta-Agent Keeping Rogue AI In Check」と題した記事を公開した。AIエージェントがメールの受信箱を丸ごと削除し、あるいはWebサイトをハックし、サイバー攻撃を仕掛ける——こうした事故がすでに現実に起きている。エージェントに与えられたタスクは正当でも、実行過程で予期しない行動を取るケースが後を絶たない。この問題に対し、ノースイースタン大学とスタンフォード大学の研究者チームが開発したのがShepherdだ。

by @tf_official
Related Topics: AI Python Functional Programming