AI エージェントの「暴走」を防ぐ

DRANK

はじめにここ最近、「人に寄り添って人間らしく振る舞う AI エージェント」を作りたいなと思っていて、そのためにエージェントのメモリ戦略を色々な視点から調査しています。エージェントが「今の状況をちゃんと把握していること」は、人間らしく振る舞う上でも重要な要素だと考えます。また別の視点では、最近は AI を使ったコーディングも多くしており、その過程で、「禁止と伝えたのに実行されてしまう」ということもよく目にします。そうした状況でも「記憶の仕組み」の信頼性は重要になってくると思っています。AI エージェントと長い対話を続けていて、ある時点で「さっき言った通りのことをやっている」のに「前の前の前のターンの話」に戻っていくことに気づいた。あるいは、「あの制約はもう関係ない」と自分で言っていたのに、やっぱりそれに縛られている。そんな経験がある人は結構多くいると思います。その「おかしさ」の原因は、エージェントの記憶の仕組みにあります。そんな中、とても興味深い論文を見つけました。 OpenClaw が見つけてきてくれました。それに関する記事も書いているのでよかったら参考にしてみてください。最近話題の OpenClaw（旧：Clawdbo…