プロンプトの再現性をAI に自動チューニングさせる方法 ~ 暗黙知を排除する

ARANK

AI の技術記事は食傷気味なんですが、さすがにこれは効くと思ったパターンを見つけたので紹介します。tl;drプロンプト (skill / slash command) を書いた直後は「これで伝わるはず！」と思うのに、別のセッションで使うと暗黙知が不足していて、再現性がなくなる思い込みは当人に修正できないバイアスなので、別の AI に実際にやらせて詰まった箇所をレポートさせるこれを繰り返す。プロンプトが段階的に洗練される (TDD のテストと同じ位置づけ)実際に手元 8 個の skill で試して、初稿 50 点が (AI 主観で) 80〜90 点まで上がった。ただし、モデルを変えての評価してないので、過剰に適応している可能性はある。自分が書いたプロンプトを評価していますか?自分は大学時代に暗黙知の研究をしていたのだが、世の人々は主観バイアスを過小評価している。また、AIは人間よりもバイアスの塊である。プロンプトを書いた直後は「これでだいたい伝わるはず」と思うのだが、書いた直後の自分が一番ダメな読者 で、頭の中の前提を勝手に補って読んでしまう。別の AI セッションで使うと「判断基準が曖昧」「用語が定義されてない」みたいなのが普通に出てくる。これは書き手側で潰せ…