LLMにコード全部を渡すのをやめたら、大規模マイグレーションのトークンコストが大幅に抑えられる — 検索・集計はサンドボックスで、推論だけAIに任せる設計
DRANK

8月28日、Sourcegraphが「A smarter way to run code migrations with less LLM context」と題した記事を公開した。大規模なコードマイグレーションをAIエージェントで実行しようとすると、トークンコストがすぐに爆発する。標準的なアプローチでは、スキャンした数千ファイルの中間データをそのままLLMのコンテキストウィンドウに流し込む。しかしコンテキストが多ければ多いほど精度が上がるわけではない。Sourcegraphはこの問題をアーキテクチャレベルで解決する方法を提示している。

by @tf_official
Related Topics: AI AI Code Generator F#