AIアプリ開発でJSONからMarkdownへ — トークンコストを最大95%削減できる理由
DRANK

9月27日、The Next Webが「Markdown replaces JSON as AI's default data format」と題した記事を公開した。AIアプリケーションのインフラ層においてMarkdownがJSONに代わるデフォルトのデータ形式として台頭しつつあるトレンドについて詳しく紹介している。なぜ今、このトレンドが加速しているのかLLMを使ったアプリケーション開発において、入力するデータの形式がトークンコストに直結するという事実が、改めて注目されている。長年、APIのデファクトスタンダードとして君臨してきたJSONだが、AIエージェントやLLMパイプラインの文脈では、Markdownの方が構造的に優れているというコンセンサスが業界内で形成されつつある。背景には、LLMエージェントの急速な普及がある。エージェントは外部APIやデータソースから大量の情報を取得し、それをコンテキストウィンドウに詰め込みながら推論を行う。コンテキストウィンドウのサイズには上限があり、入力トークン数がそのままAPIコストに跳ね返る構造上、「同じ情報をいかに少ないトークンで表現するか」がシ...

by @tf_official
Related Topics: AI Machine Learning AI Text Generator