8月29日、The Decoderが「Google's WikiSkill gives AI agents a persistent memory of past mistakes to sharpen future performance」と題した記事を公開した。GoogleがAIエージェントに失敗・成功の経験を蓄積させる「WikiSkill」フレームワークを提案し、複数のベンチマークで既存手法を上回る性能向上を達成したことを報じている。
「本当の学習」ではないが、効果はある
AIエージェントの根本的な限界のひとつは、タスク実行のたびに記憶がリセットされることだ。モデルのウェイト自体は変わらないため、過去の失敗から「継続的に学ぶ」ことは今もなお未解決の問題として残っている。
WikiSkillはこの問題に対して、エレガントとは言えないが実用的な回避策を取る。モデル自身が実行後に「より良い手順書」を書き直し、次回のタスクでそれを参照する仕組みだ。発想の起点はAndrej Karpathyによる「LLM Wiki」という概念で、経験を累積的な知識にまとめておくべきだという考え方に基づいている。
3層構造：経験・知識・行動を分離する
WikiSkillの設計の核心は、エージェントのワークスペースを3つの層に分けることにある。
Raw Layer（生データ層）
ツール呼び出しから結果まで、実行トレース全体を保存する。このデータは不変であり、上位層への入力素材となる。
Wiki Layer（知識層）
Raw Layerのデータを蒸留して、失敗パターンや成功戦略といった構造化された知見として記録する。この層はリセットされず、イテレーションごとに成長し続ける。
Skill Layer（スキル層）
エージェントがタスク実行時に従う、実際の手順書を格納する。Wikiと異なり、スキルはアップデートによって性能が下がった場合にロールバック可能だ。
この3層が連携するサイクルは以下の通りだ。
- Inference Agentが現在のスキルを使ってタスクを実行し、実行トレースを生成する
- Wiki Maintainerがトレースを分析し、失敗パターンや成功戦略をWikiに書き込む
- Skill Proposerが更新されたWikiと実行データをもとに、スキルの変更案を提案する
- ゲーティング機構が別の検証セットで変更案をテストし、性能が改善しない場合はスキルをロールバックする
ここで重要なのは、失敗した提案もWikiには残る点だ。「何を試みて、なぜ失敗したか」がドキュメント化されるため、Skill Proposerは後のイテレーションでその知識を土台にできる。
数字で見る性能向上
研究チームは、数学的推論（LiveMath）、ウェブ検索（SealQA）、スプレッドシート操作（SpreadSheet）、文書QA（OfficeQA）、仮想環境でのインタラクティブタスク（ALFWorld）の5つのベンチマークでWikiSkillを検証した。使用モデルはQwen（4B・9B・27B）、Gemma-4-31B、Gemini 3.5 Flashだ。
代表的な数字を挙げると：
- Gemini 3.5 Flash：平均49.5% → **68.1%**（LiveMathでは33.0% → **72.6%**、SpreadSheetでは50.5% → **76.6%**）
- Qwen 27B：平均39.4% → **63.3%**（SpreadSheetでは40.8% → **81.7%**）
全モデル・全ベンチマークでの詳細スコアは下表の通りだ。
| Model | Method | LiveMath | SealQA | SpreadSheet | OfficeQA | ALFWorld | Avg. |
|---|---|---|---|---|---|---|---|
| Qwen 4B | No skill | 29.1 | 32.5 | 14.6 | 30.2 | 24.4 | 26.2 |
| WikiSkill | 49.7 | 39.4 | 21.1 | 28.5 | 53.7 | 38.5 | |
| Qwen 9B | No skill | 28.2 | 26.3 | 24.3 | 35.9 | 34.7 | 29.9 |
| WikiSkill | 56.3 | 43.1 | 33.6 | 40.5 | 63.4 | 47.4 | |
| Qwen 27B | No skill | 33.9 | 27.5 | 40.8 | 42.1 | 52.8 | 39.4 |
| WikiSkill | 61.9 | 41.6 | 81.7 | 53.7 | 77.6 | 63.3 | |
| Gemma-4-31B | No skill | 33.9 | 30.6 | 48.3 | 43.3 | 50.4 | 41.3 |
| WikiSkill | 56.7 | 41.2 | 68.0 | 44.2 | 64.4 | 54.9 | |
| Gemini 3.5 Flash | No skill | 33.0 | 29.4 | 50.5 | 48.6 | 85.9 | 49.5 |
| WikiSkill | 72.6 | 44.7 | 76.6 | 60.7 | 85.9 | 68.1 |
表を見ると、改善幅はモデルやタスクによって大きく異なる。平均スコアの改善幅だけでもQwen 4Bの+12.3ptからGemini 3.5 Flashの+18.6ptまで幅があり、個別タスクではQwen 27BのSpreadSheetで**+40.9pt、Gemini 3.5 FlashのLiveMathで+39.6pt**と突出して大きな改善が見られるケースもある。一方でGemini 3.5 FlashのALFWorldのように改善がほぼゼロのケースもあり、効果の出やすさはタスクの性質に依存する。
性能向上が出にくいケースと、スキル転用の可能性
タスク種別によって効果の差は大きい。数学とスプレッドシートで最大の改善が見られた一方、長文書を扱うOfficeQAでは改善幅が小さかった。小規模モデルは、長いコンテキストにまたがる複数ステップの検索戦略を安定して実行しきれず、デフォルト動作に引き戻される傾向があるという。
一方で興味深い知見として、あるモデルが開発したスキルを別のモデルに転用できるケースが確認された。小規模モデルでWikiSkillを使うと、WikiSkillなしの大規模モデルと同等の性能に達することもある。ただし転用が常に有効とは限らないため、ケースバイケースで検証が必要だという。
この「スキルの可搬性」が実用的に成立するなら、計算コストの高い大規模モデルを常時稼働させずとも、蓄積されたスキルを活用して小規模モデルで近い性能を得られる可能性がある。モデルのファインチューニングなしにこれが実現できる点は、実運用上の意義として注目に値する。※編集部の考察
詳細はGoogle's WikiSkill gives AI agents a persistent memory of past mistakes to sharpen future performanceを参照していただきたい。
