11月21日、The Decoderが「Google's Gemini can now run Mac apps and finish desktop chores in the background while you keep working」と題した記事を公開した。GeminiのMacアプリに「Computer Use」機能が追加され、AIがバックグラウンドでデスクトップ操作を自律実行できるようになった。ユーザーの画面やカーソルを占有せずに動作する点が最大の差別化ポイントで、作業を続けながらMacの操作をGeminiに委譲できる。
「Computer Use」とは何か
「Computer Use」は、AIがマウスクリック・キーボード入力・メニュー操作といったGUI操作をプログラムではなく「画面を見て判断する」形で自律実行する技術カテゴリの総称だ。2024年10月にAnthropicがClaudeむけに同名機能をいち早くリリースしたことで業界用語として定着し、以降は各社がこの領域に参入するかたちで競争が進んでいる。Googleが今回Geminiに実装したのも、同じコンセプトに基づく機能だ。
現時点ではMac限定の提供となっており、Windowsへの対応は明言されていない。
GeminiがMacのデスクトップ操作を代行
Googleは、GeminiのMacアプリに「Computer Use」機能を追加した。ユーザーがゴールを言葉で指示するだけで、Geminiがクリックやテキスト入力、メニュー操作、フォーム入力を自律的にこなす。
最大の特徴はバックグラウンド実行だ。操作は隔離されたバックグラウンドウィンドウ内で行われるため、ユーザーの画面やカーソルは占有されない。作業を続けながら、GeminiにMacの操作を任せられる。
Googleが挙げる具体的な活用例は以下のとおりだ。
- 写真や3Dシーンの一括編集
- ローカルのPDFから配送フォームへの転記
- プレゼンテーションの作成
安全性への配慮
Computer Useに対してエンジニアが気にするのは「どこまでAIに権限を渡すのか」という点だろう。Googleはいくつかのコントロール機構を用意している。
- アクセスを許可するアプリをユーザーが選択できる
- 全操作をリアルタイムで確認できる
- いつでも一時停止が可能
- 重要な操作は事前承認が必要
チャット上にはライブプレビューが表示され、Geminiが何をしているかを常に把握できる設計になっている。
競合各社の動向
Computer Use分野では、AnthropicのClaudeに加え、OpenAIもGUI自律操作系の機能を展開している。OpenAIはブラウザ操作を自律実行するエージェント「Operator」を2025年初頭に発表しており、デスクトップ・Web双方でのAIエージェント競争が加速している。GeminiのComputer Use機能は、こうした動きに対してGoogleが打つ一手に位置づけられる。
本機能は現在、米国・英語環境向けに本日より提供開始。Gemini Macアプリからダウンロードできる。
詳細はGoogle's Gemini can now run Mac apps and finish desktop chores in the background while you keep workingを参照していただきたい。