7月25日、How-To Geekが「OpenAI's Computer Use feature sounded like a gimmick until it started fixing my code for me」と題した記事を公開した。OpenAIのComputer Use機能を実際の開発作業に数ヶ月使い込んだ体験レポートで、「ギミックだと思っていたが、気づいたら自分のコードを直してくれていた」という評価に至った経緯が詳述されている。
「AIがコードを書く」から「AIがコードをテストする」へ
OpenAI Computer Useは、AIがユーザーのコンピュータを直接操作する機能で、マウスの移動やキー入力まで実行できる。How-To Geekのライターはこの機能を数ヶ月にわたって実務に投入した結果、「当初の予想をはるかに超えて実用的だった」と評価している。
最も効果を実感したユースケースがUIテストの自動化だ。ライターはトラベルアプリを開発しており、次のような流れで作業を進めている。
- Computer UseがMCP（Model Context Protocol）経由でGoogle Stitchを使いUIを生成
- 生成が終わると、AIがMacのiOSシミュレータを自ら起動してアプリを操作・確認
- 指示に沿ってUI/UXを自律的に調整
- ほぼ完成した段階でライターが最終確認
※MCPとは、AIアシスタントが外部ツールやサービスと標準化された方法で連携するためのプロトコルで、Anthropicが策定しオープンソースで公開している。
※Google Stitchは、Googleが提供するUIデザイン生成ツール。プロンプトからアプリ画面のUIを自動生成できるサービスで、MCP経由でAIエージェントから呼び出すことができる。
「テキストがバウンディングボックスからはみ出ている」「ナビゲーションボタンの位置がおかしい」といった細かい往復作業が省けるのが最大の恩恵だ。各イテレーションを人間が手でテストする必要がなくなり、最終段階（あるいはほぼ最終段階）だけ確認すればよくなった、という。元記事のタイトルにある「gimmick（ギミック）」という言葉が示す通り、ライター自身も当初は懐疑的だったが、実際に使い込むことで評価が逆転した点は注目に値する。
複雑な開発者向けサイトのナビゲーションも丸投げ
次に役立った場面が、Apple Developer Websiteの操作だ。ライターはiOSアプリ開発が初めてで、CloudKitコンソールなど見慣れない管理画面を扱う必要があった。
通常であればYouTubeのチュートリアルを漁ったり、公式ドキュメントを数時間読み込んだりするところだが、Computer Useに操作を任せると、ライターが横で見守りながら必要な箇所だけ介入するだけで済んだという。
ライターはその感覚を「リモートデスクトップサポートの技術者がPCを操作してくれているようなもの」と表現している。完全な自律操作ではないが、詰まった箇所をその場で解消できるという点が実用的だ。初めて触る管理画面や開発者ポータルの操作を一から学ぶコストを大幅に削減できる、という側面はソロ開発者や非専門職にとって特に刺さるだろう。
セルフホスト環境のデバッグにも有効
もう一つの事例が、セルフホストのSNSスケジューラー「Postiz」のデバッグだ。
PostizはクリーンなAPIや専用のMCPサーバーを持っていないため、AIが設定画面を直接「見て」操作する必要があった。Computer Useを使うことで、ライターと同じUIダッシュボードをAIが確認しながらトラブルシューティングできたという。APIやSDKが整備されていないツールにも対応できる点は、Computer Useが単なる「コード補完の延長」ではなく、より汎用的なオペレーションレイヤーとして機能していることを示している。
同様に、NotionからObsidianへの移行時のエクスポート作業もComputer Useで問題なく完了した。定型的だが手間のかかるデータ移行作業も守備範囲に入る。
現時点での制約
唯一の明確なデメリットは、作業中はPCを占有される点だ。
Computer UseがApple Developer Websiteを操作している間は、そのMacは他の作業に使えない。バックグラウンドで動くタスクも一部あるが（APIで操作できるプラットフォームの場合）、基本的にはマウスとキーボードをAIに明け渡す形になる。
生産性ツールとしては十分な実力を持ちつつも、「PCが1台しかない環境では使い勝手が落ちる」という点は頭に入れておきたい。複数台の環境を用意できるかどうかが、この機能の恩恵を最大化できるかの分水嶺になりそうだ。
詳細はOpenAI's Computer Use feature sounded like a gimmick until it started fixing my code for meを参照していただきたい。
