GeminiがAIに「動画のどこを見るか」を自律判断させる機能を展開 — トークン数88%・コスト66%削減を同時に達成

9月4日、MarkTechPostが「Google Launches Agentic Video Understanding for Gemini Flash Models, Cutting Video Tokens by Up to 88%」と題した記事を公開した。GoogleがGemini Flashモデルに「エージェンティック動画理解」機能を実装し、動画処理のトークン数を最大88%削減した新機能について詳しく紹介されている。

「全部読む」から「必要な箇所だけ読む」へ

動画はLLMにとって最もコストのかかるモダリティだ。90分の講演動画を渡された場合、従来のGeminiは質問内容に関係なく、固定レートの1FPS（1秒1フレーム）で全タイムラインを一括処理していた。「最も重要な発表を3つ挙げてよ」という質問でも、「料金スライドに切り替わるのは何分？」という質問でも、コンテキストに動画全体を流し込む設計だった。この方式は実装がシンプルな反面、動画が長くなるほどトークン消費が線形に増え続けるという根本的なコスト構造を抱えていた。

今週GoogleがGemini Flashモデル全体に展開したエージェンティック動画理解は、この構造を根本から変える。モデルが「どこを見るか」「どのフレームレートで見るか」「どのモダリティ（映像・音声・字幕）を使うか」を自律的に判断し、必要な箇所だけを選択的に処理する。

Googleが公表している数字は以下のとおりだ：

トークン数：最大88%削減
コスト：最大66%削減
標準的な動画ベンチマーク精度：最大7%向上

コスト削減と精度向上が同時に達成されているのは、全体を均等に処理するより、関連箇所に処理を集中させる方が質問への回答に直接的だからだ。

内部で何が変わったか

従来の静的処理（Static）は現在もデフォルトで、以下を単一パスで行う：

フレーム抽出：1FPS
音声処理：1Kbps・モノラル
タイムスタンプ挿入：1秒ごと

エージェンティック処理はこれをループに置き換える。モデルが自身の推論とネイティブの動画ツールを組み合わせ、フレーム・音声・字幕を横断しながら対象セグメントを検索・スキャン・詳細確認し、プロンプトが必要とする箇所だけをロードする。

この「ループを自分で組む」作業は開発者が手動で実装することも技術的には可能だった。今回の変更の本質は、Geminiがそのループを内部で実行するようになった点であり、それによって開発工数が削減される。

効率化の恩恵は特に長尺コンテンツに集中する。10分のハウツー動画から数時間の録画まで、動画が長いほどトークン削減の効果が大きくなる。

APIの使い方と課金の仕組み

有効化は動画パートに**"processing": "agentic"** の1フィールドを追加するだけだ：

interaction = client.interactions.create(
    model="gemini-3.7-flash",
    input=[
        {
            "type": "video",
            "uri": "https://youtu.be/7Z5Vy9JBANs",
            "processing": "agentic"
        },
        {
            "type": "text",
            "text": "What are the 3 most important announcements in this keynote?",
        },
    ],
)

ファイルアップロードと公開YouTubeのURL指定の両方に対応している。1つのリクエスト内で動画ごとにモードを混在させることも可能で、長い講演動画はエージェンティック、短いクリップは静的、という使い分けができる。

課金の分割方法も変わる。ナビゲーションの推論処理はthoughtトークン（total_thought_tokens）として、オンデマンドでロードされたフレーム・音声・字幕はtool-useトークン（total_tool_use_tokens）として個別に計上される。追加の機能料金はなく、標準のGemini APIトークン料金が適用される。

レスポンスのsteps配列にはprocessing_call（セグメントまたは字幕のリクエスト）とprocessing_result（ロード完了）という2種類のステップが追加される。これらが存在することで、エージェンティックモードが実際に動作したかどうかを確認できる。

使える条件と制約

対応モデルは元記事に記載のGemini 3.8 / 3.7 / 3.6 Flash と 3.5 Flash-Lite。Gemini API（Google AI Studio経由）とGemini Enterprise Agent Platformの両方から利用できる。

一方で、5分以下の短いクリップやフレーム単位の精密な分析では静的処理の方が適しているとGoogleは述べている。またホスト型APIとして提供されるため、オープンウェイトやセルフホストのオプションは存在しない。

詳細はGoogle Launches Agentic Video Understanding for Gemini Flash Models, Cutting Video Tokens by Up to 88%を参照していただきたい。