7月22日、Matthias Bastianが「Claude Cowork learns new skills through screen recordings and voice-over explanations」と題した記事を公開した。AIに仕事を任せるとき、「プロンプトで説明するのが難しい」という壁を感じたことがある人は多いはずだ。Anthropicが「Claude Cowork」に追加した新機能「Record a skill」は、その壁を「やって見せる」という直感的なアプローチで崩そうとするものだ。OpenAIがすでに類似機能を投入しているなか、Anthropicも「見せて覚えさせる」インターフェースの実用化に踏み込んできた。

Claude Coworkとは何か

まず前提を整理しておく。「Claude Cowork」は、AnthropicがClaudeデスクトップアプリに組み込んだワークスペース機能だ。単発の質疑応答にとどまらず、PCの画面を認識・操作しながら複数ステップのタスクを継続的に実行できる環境を提供する。

背景にあるのは、Anthropicが2024年10月に発表した「コンピュータ使用（Computer Use）」機能だ。これはClaudeがスクリーンショットを解析し、マウスクリックやキーボード操作を通じてOSやアプリを直接操作できるようにする機能で、当初はAPI経由のベータ提供だった。Claude CoworkはこのComputer Use能力をデスクトップアプリに統合し、より一般ユーザー向けに使いやすくしたプロダクトと位置づけられる。Anthropicによれば、Coworkの主要なユースケースは「誰も担当したがらない平凡なオフィス作業」だという。

画面録画＋音声でスキルを登録、次回から自動実行

Anthropicは今回、このClaude Coworkに新機能「Record a skill」を追加した。

仕組みはシンプルだ。ユーザーが作業中に画面録画を起動し、操作しながら何をしているかを音声で説明する。すると、Coworkがその録画を解析して再利用可能な「スキル」に変換し、保存する。同じタスクが次に発生したとき、保存済みのスキルを呼び出すだけで、手順を一から繰り返す必要がなくなる。

録画中はスクリーン上の操作（クリック、タイピング）と音声が同時にキャプチャされ、それらがまとめて一つの再現可能なスキルとして定義される。

この機能はClaude Coworkの「+」メニューからアクセスでき、Pro・Max・Teamプランのユーザーが利用可能だ。

OpenAIも類似機能を提供済み——「見せて覚えさせる」競争が本格化

同様のアプローチはすでに競合にも存在する。OpenAIは自社のコーディングエージェント「Codex」において、ワークフローを一度録画して以降は繰り返し再生できる機能を提供している。

「見せて覚えさせる」インターフェースは、AIエージェントへの操作委譲をより直感的にするアプローチとして、複数の主要プレイヤーが模索しているフォーマットになりつつある。従来のRPA（ロボティック・プロセス・オートメーション）ツールも画面操作の記録・再生を基本としてきたが、AIを組み合わせることで、レイアウト変更や例外処理への柔軟な対応が期待できる点が異なる。

何が変わるか——プロンプトを書かずに自動化できる意味

従来、AIにタスクを自動化させるには、自然言語でプロンプトを書くか、スクリプトを組む必要があった。「Record a skill」は、その敷居を下げる試みだ。

説明が難しい手順的な作業——例えば、特定のアプリを開いて決まった手順でデータを整理する、社内システムの決まった画面遷移で情報を入力するといった繰り返し業務——は、言語化すること自体がコストになる。「やって見せる」だけで登録できる点が肝になる。

こうしたユースケースは、これまでITリテラシーの高いユーザーやエンジニアが自動化スクリプトを書くことで対応してきた領域だ。録画ベースのスキル登録が実用レベルに達すれば、自動化の恩恵が非エンジニアの業務にも広がる可能性がある。

※編集部の考察：「見せて覚えさせる」アプローチが本当に業務自動化の敷居を下げられるかは、AIが画面の変化や例外ケースをどこまで柔軟に解釈できるかにかかっている。Computer Use機能の精度向上と合わせて、今後の実績報告が注目される。

詳細はClaude Cowork learns new skills through screen recordings and voice-over explanationsを参照していただきたい。