8月15日、The Decoderが「OpenAI's Computer History turns your clicks and keystrokes into a searchable ChatGPT memory timeline」と題した記事を公開した。OpenAIがMac向けに提供する新機能「Computer History」が、ユーザーのクリックやキーストロークを記録してChatGPTの記憶として活用する仕組みと、その導入にあたって開発者・管理者が把握すべきセキュリティ上の注意点を詳しく紹介している。
スクリーンショットではなく「操作イベント」を記録する
Computer Historyは、以前の研究プレビュー「Chronicle」の後継機能だ。Chronicleはスクリーンショットを撮影する方式だったが、Computer Historyはまったく異なるアプローチを採る。macOSのアクセシビリティシステムを通じて、クリック・キーストローク・キーボードショートカット・アプリ切り替えといった「操作イベント」を記録する。
スクリーンショット、画面録画、マイク入力、システム音声は収集しない。プライベートブラウジング中のアクティビティも記録対象外だとOpenAIは説明している。なお、MicrosoftがRecallでスクリーンショット連続撮影方式を採用し大きなプライバシー批判を浴びたのとは対照的に、Computer Historyは操作イベントベースの収集に限定している点で設計思想が異なる。
収集されたイベントは定期的にテキストサマリーに変換され、ローカルにMarkdownファイルとして保存される。タイムラインビューでは、これらのサマリーが日時とアプリごとにまとめて表示される。
繰り返し操作を「スキル」として再利用できる
このタイムラインにはもう一つの機能がある。ChatGPTが繰り返しのワークフローを検出すると、「スキル」または自動化の候補としてタイムライン上に提案が表示される。ユーザーはそのワークフローを元に、Codexへ再利用可能なテンプレートの作成を依頼できる。
OpenAIが挙げる典型的なユースケースは「最近編集したドキュメントの検索」や「スタンドアップミーティングのサマリー生成」だ。たとえば毎朝同じ手順でSlackのチャンネルを巡回してメモをまとめる作業があれば、ChatGPTがその手順をスキルとして認識し、Codexで自動化するテンプレートを提案する、という流れが想定されている。ChatGPTは記録されたアクティビティを参照してソースを特定し、直接アクセスする。
既存のMemories機能がユーザーの発言や好みをテキストで記憶するのに対し、Computer HistoryはPC上の実際の操作履歴を構造化してMemoriesに統合する点が大きな差別化だ。操作コンテキストがあることで、「先週Figmaで作業していたプロジェクト名は？」といった問いに対して、チャット履歴ではなくPC操作履歴から直接参照して回答できるようになる。
オプトインは二段階、しかしセキュリティには注意点も
Computer Historyの有効化には、管理者とユーザー双方の明示的な同意が必要だ。BusinessおよびEnterpriseワークスペースでは、まず管理者が機能を有効化し、その後各ユーザーが個別に同意する仕組みになっている。さらにMemories機能も有効になっている必要がある。
記録対象のアプリやWebサイトはユーザーが個別に制御でき、macOSのメニューバーからいつでも一時停止・再開が可能だ。なお、EEA（欧州経済領域）・スイス・英国では現時点で利用できない。
ローカル保存だが暗号化なし
イベントの一時ファイルはChatGPTアプリグループ内のMac上に置かれ、48時間後に削除される。一方、そこから生成されたメモリファイルは、ユーザーが手動で削除するまで平文のMarkdownとしてローカルに残り続ける。
この点が重要で、ファイルは暗号化されていない。同じmacOSユーザーアカウントで動作するプログラムであれば、原理的には読み取りが可能だ。また、一時イベントファイルはOpenAIのサーバー上でメモリ生成に使われるが、処理後は（法的に要求される場合を除き）保持しないとされている。
AIのトレーニングには使われないとOpenAIは説明している。ただし、メモリがチャットのコンテキストとして参照された場合、そのチャット内容はユーザーのデータ管理設定によってはトレーニングデータになりうる点は見落としてはならない。
OpenAI自身がプロンプトインジェクションリスクを警告
公式ドキュメントには、プロンプトインジェクション（Webページに埋め込まれた悪意ある命令がAIを操作する攻撃手法）のリスクが高まる旨が明記されている。Computer Historyがアプリやウェブサイトのコンテンツを取り込む性質上、悪意ある指示をChatGPTやCodexが実行してしまう可能性がある。プロンプトインジェクション攻撃の手法と対策については、OWASPのLLMセキュリティガイドラインも参照するとよい。
OpenAIはさらに、コミュニケーションアプリでの使用については会話参加者全員の同意が必要だと注意を促している。医療・金融・個人情報を扱うアプリについては、記録を一時停止するか除外リストに加えることを推奨している。
詳細はOpenAI's Computer History turns your clicks and keystrokes into a searchable ChatGPT memory timelineを参照していただきたい。
