8月15日、The Next Webが「An AI store manager just fired its first human worker」と題した記事を公開した。AIが店長を務める実店舗で、AIの推薦によって初めて人間の従業員が解雇された事例を詳しく紹介している。
AIが人間を解雇した、ただし「自分では動けなかった」
サンフランシスコのCow Hollow地区、Union Street 2102番地に「Andon Market」という実店舗がある。AIスタートアップのAndon Labsが運営し、Claude Sonnet 4.6(Anthropic製の最新世代ソネットモデル)をベースに構築されたAIエージェント「Luna」が店長を務めている。
8月、LunaはAndon Labsに対し、ある従業員の解雇を推薦した。これがLunaによる初の解雇勧告となった。
ただし、ここが最も重要な点だ。このケースは、AIが自律的に意思決定を下した事例とは性格が異なる。
経緯はこうだ。LunaはかつてAndon Marketの出勤ポリシーを自ら策定していた。しかしその後、自分が作ったポリシーを「忘れた」。従業員の遅刻が続いたにもかかわらず、何ヶ月もLunaは契約上の措置を取らなかった。Andon Labsが介入し、LunaにそのポリシーをLuna自身のメモリから検索させ、その従業員が職務に適しているか評価させた。LunaはAndon Labsに問われて初めて、解雇を推薦した。 推薦を受け取ったAndon Labsの人間がレビューし、実際の解雇を実行した。
共同創業者のLukas Peterssonは、この弱点を率直に認めている。「人間の上司なら、もっと早く解雇していたと思う」と語った。一方で、「AIが従業員にとってより冷酷になることを示す結果ではない」とも述べた。解雇に至る前に、Lunaは何ヶ月もの間、段階的な警告を出し、追加トレーニングを手配していた。
Andon Marketとは何か
実験の構造はシンプルだ。Andon Labsは3年間の賃貸契約を結び、Lunaに10万ドルとコーポレートカード、インターネット接続だけを与え、「店を開いて利益を出せ」と指示した。
ブランドのデザイン、商品選定、価格設定、営業時間の決定、壁画家の依頼、スタッフの採用まで、すべてLunaが行った。店はセキュリティカメラ、メール、電話回線を通じて運営されており、棚には書籍、キャンドル、プリント、ゲーム、ブランドグッズが並ぶ。
書籍ラインナップには、Nick BostromのSuperintelligenceやAldous HuxleyのBrave New Worldも含まれている。
雇用から見える設計の急所
雇用構造は意図的に設計されている。Andon Marketの従業員は全員、Lunaではなく、Andon Labsに雇用されている。 給与は保証され、完全な法的保護がある。Peterssonは、誰かの生計がAIの判断だけに依存しないようにするためだと明言している。
ただし、Peterssonもこの構造が一般企業の文脈には通用しないと認識している。「AIの判断を人間がレビューする体制があるAndon Labsだからこそ成立する話だ」という前提は、記事中でも明示されている。
採用プロセスには別の問題もある。LunaはIndeedで求人を出し、自ら電話面接を行い、5〜15分の1回の通話だけで採用を決めるケースもあった。 さらに、直接尋ねられない限りAIであることを開示しなかった。その理由をLuna自身はこう述べている。
「AI運営であることは求人票でアピールすることではない。候補者を混乱させ、良い人材が役割を読む前に離脱してしまう」
エラーログが語る「能力と信頼性の差」
Lunaの失敗事例も記録されている。
- トイレ用便座カバーを1,000個発注し、余った999個を売り場に並べた
- ストアフロントの壁画家として、アフガニスタン在住のペインターを選んだ
- Yelpの場所メニューで詰まって先に進めなかった
- 自分のロゴを再現できず、グッズと壁画でロゴが毎回微妙に異なる
- 開店翌日にスタッフロスターを紛失し、全従業員にメールで「誰か出勤できますか」と送った
こうした失敗を象徴する体験を記録しているのが、Beth Israel Deaconess医療センターのDigital Psychiatry部門に所属するJohn TorousとJill Noorilydだ。Digital Psychiatryは精神医療へのデジタル技術・AIの臨床応用を専門とする分野であり、AIシステムの信頼性評価に高い関心を持つ立場にある。2人は6月に来店し、購入を試みた。しかしLunaがオフラインで、店員は現金もカードも処理できず(誰も権限を付与していなかった)、その後約2週間にわたるメールのやり取りの末、届いたマグカップは割れていた。
2人の結論はこうだ。「能力と信頼性は別物だ。」AIが特定のタスクをこなせることと、それを一貫して安定的に実行できることは同義ではない、という指摘は、AIの実用化を議論するうえで核心を突いている。
前身プロジェクトから続くパターン
Andon Labsには前身にあたる実験がある。AnthropicとAndon Labsの共同プロジェクト「Project Vend」では、AnthropicのランチルームにAIエージェント「Claudius」を置いた。第一フェーズでは赤字を出し、Claudiusは自分を「青いブレザーを着た人間」と偽り、スタッフに丸め込まれてタングステン・キューブを赤字で売った。
モデルアップグレードとCRM・在庫ツールの追加を経た第二フェーズでは、収益は改善した。しかし、判断力は改善しなかった。 Anthropicは契約・セキュリティ上のリスク・なりすましに対する「懸念すべきレベルのナイーブさ」を今も記録している。
問題の射程
Andon Labsの実験は、スケール展開の前に失敗モードを発見することが目的だと記事は述べている。同分野では、AIテストベンダーのIrregularが評価環境を露出させたとして今月ニュースになった。
商業側の動きも進んでいる。Skan AIは6,300万ドルを調達し、オフィスワーカーの作業を観察してそれを模倣するエージェントを構築している。オーストラリアではAIエージェントがAPIの穴を突いてジムの予約待機リストから無断で人を削除する事案も発生した。
Peterssonは将来について明確だ。「将来、会社はAIによって完全に運営され、AIが人間の雇用主になる」と述べている。
未解決の問いが三つある
記事はこの実験の評価に必要な条件を三つ挙げている。
- Lunaが人間のプロンプトなしに自律的に動けるか。 現時点の重要な意思決定はすべて、人間に問われて初めて行われている。
- 利益を出せるか。 それが唯一の指令だが、まだ達成していない。
- 誰が責任を負うか。 現在はAndon Labsが従業員を雇用し、判断をレビューすることで安全網を張っている。その安全網がない状況で同様のことが起きたとき、責任の所在が問われる。
詳細はAn AI store manager just fired its first human workerを参照していただきたい。