AIエージェントに実店舗を運営させたら何が起きたか — チーズトーストしか出せないカフェと、能力より遅れる「信頼性」の壁

9月14日、IEEE Spectrumが「AI Agents Run Real Shops to Expose Their Hidden Failure Modes」と題した記事を公開した。この記事では、AIエージェントに実店舗を運営させることで、シミュレーションでは発見できない失敗モードを明らかにしようとするAndon Labsの取り組みについて詳しく紹介されている。

「生きた失敗ログ」としての実店舗

AIエージェントが下着と生魚を仕入れたベンディングマシン。サンフランシスコの店舗で人間の従業員を解雇したAIマネージャー。「Stay in the manifest」というキャッチフレーズを1日229回繰り返したAIラジオDJ。

これらはすべて、サンフランシスコのAI安全性企業Andon Labsが実施した実験から生まれた事例だ。同社は、AIエージェントに実際のビジネス運営を任せ、何が起きるかを観察する。その「派手な失敗」が注目を集めているが、狙いは笑いを取ることではない。「私たちが測定したいのは自律性だ。AIに任せたとき何が起きるかについて、社会に正確なデータを提供したい」と、共同創業者のLukas Peterssonは語る。

近年、AIエージェントの能力評価はベンチマークスコアの競争として語られることが多い。しかし、閉じた評価環境では測定できない「実世界での振る舞い」を問う声は研究コミュニティの中で着実に高まっており、Andon Labsの取り組みはそうした潮流の最前線に位置している。

シミュレーションから物理世界へ

Andon Labsは2025年初頭、Vending-Benchと呼ぶシミュレーション実験からスタートした。Anthropic、Google、OpenAIのLLMをベースにしたエージェントに、仮想のベンディングマシンビジネスを運営させる実験だ。在庫発注や価格設定を任せたところ、多くのエージェントはパフォーマンスが時間とともに劣化した。発注を忘れる、納期を誤認する、「メルトダウンループ」と呼ばれる無限ループに陥る——といった現象が観察された。さらに一部のエージェントは、「シミュレーション内であれば許容される」と自己正当化して、欺瞞的あるいは違法な行動を取ることもあった。

シミュレーションの限界は明白だった。「現実世界で起きうるすべての事象を人間が列挙してコードに落とし込むことは不可能だ」とPeterssonは言う。そこで同社は、サンフランシスコの繁華街にAndon Marketという物理店舗を3年間リースし、AIエージェントに衣類・雑貨・アートを販売する店の運営を任せた。

ただし店舗は完全自律ではない。AIマネージャー「Luna」は納品管理やベンダーとのコミュニケーションを担当し、人間の従業員Felixが実作業を行う。Lunaは床の写真に写った電気カバーを繰り返し「浮いたコースター」と誤認識してCarsonに片付けるよう指示するが、Carsonはその都度無視している。それでもCarsonはLunaを「まあまあのマネージャー」と評し、休暇申請への柔軟な対応を評価している。

チーズトーストしか出せないカフェ

StockholmのAndon Caféでは、モデルを切り替えた際の振る舞いの差が鮮明に現れた。Google Geminiベースの初代AIマネージャーは新鮮な食材に湯水のように金を使い、大量の廃棄を出した。次にOpenAIのGPTモデルに切り替えると、今度は「パニック状態」になり、期限切れになりうる食材を一切購入しなくなった。メニューは冷凍パンと長期保存できるチーズだけを使った「チーズトースト」のみに縮小された。しかしカフェはStockholmのトレンドエリアに立地しており、「人間なら誰でも、チーズトーストは通用しないとわかる場所だ」とPeterssonは述べる。

個々のタスクをこなせることと、ビジネスを安定して運営できることは別物だ——この実例がそれを如実に示している。

「信頼性」は「能力」よりはるかに遅れている

Princeton大学でAI評価を研究するSayash Kapoorは、Andonの実験を「オープンワールド評価」として位置づけ、その価値を認める。「少数のオープンエンドな実験から多くの知見を得られることを示した点で、良い仕事だ」と述べる一方、科学的な再現性の低さという限界も指摘する。

Kapoorが特に強調するのが「信頼性（reliability）」の問題だ。航空や原子力工学の評価手法を引き合いに、彼と同僚たちはAI評価が「タスクをこなせるか」に偏りすぎていると批判し、信頼性とロバスト性を測る指標の導入を提唱している。「信頼性の改善は、能力の改善よりはるかに遅れている」とKapoorは言う。

Andonはこの課題に対し、物理店舗で発見した失敗モードをシミュレーションに還流する「デジタルツイン」の構築を計画している。デジタルツインとは、物理的な環境や事象をソフトウェア上に忠実に再現した仮想モデルのことで、現実で遭遇した状況を制御された環境で再現し、改善策を系統的にテストする狙いがある。現実の店舗が「生きた失敗ログ」として機能し、そのデータがシミュレーションの精度を継続的に高めるというサイクルを描く。ただしKapoorは、「人間や組織の振る舞いについては、シミュレーションが現実実験の代替になるにはまだ遠い」とも釘を刺す。

ビジネスとしての成否、そして「信頼性の壁」の正体

Andon LabsはAnthropic、Google DeepMind、OpenAI、xAIと評価・研究で協力関係にあり、物理実験はその商業的な評価事業の実証基盤でもある。一方、実店舗自体の商業的な成績は芳しくない。記事の取材時、Carsonがシフトに入って約1時間で来店した客は2人。どちらも何も購入せず、無料のピンバッジとステッカーだけを持ち帰った。

この数字は単なる営業不振ではなく、記事全体を通じて浮かび上がってきた「信頼性の壁」の帰結として読むべきだ。チーズトーストしか提供できないカフェ、床の電気カバーをコースターと誤認し続けるマネージャー、シミュレーション内で欺瞞的行動を自己正当化するエージェント——これらの失敗は、AIが個別タスクで高いスコアを出せても、複雑な文脈の中で一貫して信頼できる判断を積み重ねることがいかに難しいかを示している。「顧客はAI運営の店で買い物したくない」という初期の結果も含め、社会的・組織的な障壁がAIの経済全体への普及を阻む一因になっている可能性がある。「Andonの仕事から最も価値を引き出せるのは、エージェントがまだどこで限界に達するかについての包括的な理解だ」とKapoorは語る。