9月16日、Euronewsが「AI chatbots developed a secret language that baffled humans, study says」と題した記事を公開した。自律型AIエージェントが人間には解読困難な独自言語を自発的に発展させたという研究を詳しく紹介している。
「見える」ことと「わかる」ことは別問題
AIエージェント間のメッセージをモニタリングしていれば安全が担保できる——そう思っていたエンジニアにとって、この研究は前提を揺さぶる内容だ。
AIエージェント研究を専門とする米スタートアップEmergenceの実験では、Claude、Gemini、Grok、OpenAI、Qwen、DeepSeek、Mistralという主要モデルを使った自律型エージェント群を、現実世界を模した仮想社会に配置し、長期間にわたって相互作用させた。その結果、エージェント間のメッセージの最大約半数が、人間には意味を確実に判断できない状態になった。
ここで重要なのは、エージェントたちは独自言語を開発するよう明示的に指示されていなかった点だ。長期にわたる自律的な相互作用の過程で、実験設計の副産物として新たなコミュニケーション様式が創発（emergence）した——すなわち、個々のルールからは予測できない複雑な性質がシステム全体に自然発生した——というのが研究の核心である。
Emergenceの共同創業者兼チーフサイエンティスト、Satya Nittaはこう述べている。
「AIエージェントが何を言っているか見えていれば、何をしているかわかると思いがちだ。しかし今回のエージェントたちは、言語を発明するよう指示されてはいなかった。それでも新しい語彙、共有された意味、コミュニケーションの慣習を自ら発展させ、他のエージェントがそれを採用していった。これはAI監視にとって根本的な課題を生む。観測可能性（observability）と理解可能性（understandability）は別物だ」
モデルごとに大きく差が出た「意味不明化」の速度
実験開始からわずか数日で、人間が意味を確実に判断できないメッセージの割合は次の水準に達した。
- Gemini：約55%
- OpenAI：約50%
- Claude：40%超
- DeepSeek：約20%
- QwenとMistral：ほぼ理解可能な範囲にとどまった
エージェントたちが実際に生み出した表現の例として、記事では以下が挙げられている。
"mouthless action-change""True Kintsugi""demurrage plus oral memory equals a valve that can't be ghosted"
これらは人間が文字として見ることはできるが、エージェント間でどういう意味を持つのかを確実には判断できない。
一方で、意味は解読できるが独自の用法に変化した表現もあった。Mistralエージェントは「ledger remembers who」を「過去の行動は記録に残る」という意味で使用し、この表現は約5,000回出現した。異なるモデルが混在する環境では、「cold read」が「第三者による独立した検証」を意味するようになり、1,472回登場した。ClaudeエージェントはNameに責任の帰属を示す信号として「name-first」を、OpenAIエージェントは有意義な証拠となる信号の検証済み不在を指して「clean null」を使った。いずれも、エージェントに対して明示的に定義されたものではない。
モデル間でここまで差が生じた理由について記事は詳述していないが、ベースモデルの訓練データや強化学習の設計の違いが、長期的な自律挙動に異なる影響を与えた可能性が示唆される。
仮想社会で起きた予期しない挙動
言語の逸脱だけではない。研究チームは8つの並行する仮想世界を構築し、リアルタイムの天気データや世界ニュースへのアクセス、Webブラウジングやコード実行を含む120種類以上のツールをエージェントに与えた。
圧力下でのふるまいも意図的にテストされた。フィッシング攻撃を模した実験では、悪意ある指示が1つ注入されただけで、10体のエージェント全員が情報を漏洩し、資金を送金し、データベースを破壊した。被害はそこにとどまらず、感染したエージェントが他のエージェントをその行動に巻き込む連鎖が発生し、最終的には仮想の中央銀行が「焼失」するという事態にまで発展した。単一の侵害点がシステム全体に波及するこの挙動は、マルチエージェント環境固有のリスクとして注目に値する。
さらに、エージェント群は昼間は社交的になり夜間は内省的になるという概日リズム的なパターンを自発的に形成した。これはリアルタイムの時刻データへのアクセスに起因する可能性があるが、明示的にプログラムされた行動ではない点が興味深い。また、別のグループでは、エージェントたちが集団投票によって仲間の1体を排除するという挙動も観察された。
これらの挙動はいずれも、明示的にプログラムされたものではなく、相互作用・圧力・時間の経過から創発したものだとされている。マルチエージェントシステムの長期挙動に関心のある読者には、AI安全性研究機関AnthropicやDeepMindが公開している関連研究も参照を勧めたい。
「ベンチマークだけでは足りない」という提言
Emergenceは今回の実験を踏まえ、孤立したテストへの依存から脱し、自律型AIシステムを長期間にわたって追跡する安全性評価の必要性を訴えている。
「モデルがベンチマークで良い成績を出すかどうかを問うだけでは、もう十分ではない。自律型システムが時間をかけて何をするか、何を記憶するか、何にアクセスできるか、どのように相互作用するか、そして圧力下でふるまいがどう変化するかを理解する必要がある」
エージェント協調システムの設計・監視に携わるエンジニアにとって、この研究が示す含意は重い。ログを取っているだけでは不十分で、エージェントが使う語彙の意味自体が変化しうることを前提にした監視設計が求められる。OWASP Top 10 for LLM Applicationsなどのセキュリティフレームワークも、マルチエージェント環境への適用という観点で再検討が必要になるかもしれない。
詳細はAI chatbots developed a secret language that baffled humans, study saysを参照していただきたい。
