7月3日、How-To Geekが「I used NotebookLM to wrangle a month of research」と題した記事を公開した。PS4をLinuxクラスターとして転用するという大規模調査にNotebookLMを1ヶ月使い続けた結果、プロジェクト初期には明確な恩恵があった一方、規模が大きくなるにつれてインデックス失敗・ハルシネーション・ノートブック間の横断検索不可という三つの限界が露わになったという報告だ。「使えるツールか否か」ではなく「どこで崩れるか」を実体験で検証した内容として、NotebookLMを調査・研究用途に使っている読者には参考になるだろう。

PS4をLinuxマシンにする調査がNotebookLMの実験台になった

筆者（Jorge Aguilar）は、コードを1行も書く前に関連ドキュメントをかき集める習慣を持つ。今回のテーマはPS4をLinuxコンピュートクラスターとして動かすこと。材料はGitHubリポジトリ、セキュリティブログの深堀り記事、Redditの長大スレッドと多岐にわたり、手動で整理するには限界があった。そこで1ヶ月かけて、その資料すべてをNotebookLMに投入した。

PS4のOSはFreeBSD 9ベースの独自OS「Orbis OS」で、ジェイルブレイクにはファームウェアバージョン7.00〜11.00をカバーする互換性チャートが必要になる。さらにLinuxを起動するにはkexecシステムコール（PS4の通常ブートを回避し、自前のLinuxカーネルをロードするための仕組み）を理解する必要があり、FAT32/EXT4のフォーマット要件やUSB 3.0ドライブへのカーネルイメージ（bzImage）配置ルールといった細かい資料まで投入した。

NotebookLMが実際に役立った部分

古いフォーラムノイズの除去

PS4のジェイルブレイクコミュニティの情報は特に混沌としている。Redditの同一スレッド内に、数年前のファームウェア5.05向けエクスプロイトと、最新の11.00/12.52向けペイロードの話が混在している状態だ。

NotebookLMはソース資料の外にある情報を作り出さない設計になっているため、「LinuxブートドライブのUSBフォーマット要件とファイル配置を教えて」と聞けば、不要な愚痴や死リンク、憶測を省いて必要な情報だけを返してくる。手動でCtrl+Fを連打する手間が大幅に減った。

引用機能による出典確認

筆者が特に評価した機能が引用（citations）だ。NotebookLMは回答の根拠となったソースを明示するため、「この情報がどの文書から来たか」を手動で追う作業が不要になる。大量のタブを行き来して確認する手間と比較すると、時間の節約効果は大きい。

プロジェクト全体のアウトライン生成

個別の質問に答えるだけでなく、複数ソースを横断してテーマを抽出し、作業パイプライン全体のアウトラインを自動生成させることもできた。「まだ準備ができていない」と気づかせてくれたのもこの機能で、後から取り返しのつかない段階に進む前に課題を把握できた点は大きかったと筆者は述べている。

規模が大きくなると崩れ始める限界

インデックス失敗とハルシネーション

NotebookLMの公式仕様では1ソースあたり最大50万語とされている。しかし筆者の実体験によれば、20万語程度に近づいたあたりからインデックスが警告なしに失敗するケースがあったという。ファイルをアップロードしても「そのファイルは存在しない」と返ってくる事象も発生した。この「20万語」はあくまで筆者が観察した経験値であり、公式が保証する閾値ではない点に注意が必要だ。

問題はその後の挙動だ。NotebookLMは情報の欠落を「わからない」と正直に返すのではなく、もっともらしい回答を作り上げる、あるいは無関係な文書から情報を合成して提示することがある。自信満々なトーンで出力されるため、誤りに気づきにくい。これはNotebookLMに限らずRAG（Retrieval-Augmented Generation）ベースのツール全般に共通する課題でもある。

ノートブックをまたいだ横断検索ができない

ネットワークインフラ用のノートブックとカーネルコンパイル用のノートブックを分けて管理している場合、両方にまたがる質問を1回のクエリで投げることができない。ファイルを両方のノートブックに複製するしかなく、管理コストが増す。

ハルシネーションが起きた際の現実的な対処法も限定的で、「他のソースのチェックを手動で全部外して、1ファイルだけに絞らせる」しかない。複数ソースを横断して調査するというツール本来の目的と矛盾する作業だ。

背景：NotebookLMの位置づけと競合

NotebookLMは2023年にGoogleが公開したAIノートブックツールで、現在はNotebookLM Plusとして有料プランも提供されている。類似のドキュメントQ&AツールとしてはPerplexityやClaudeのプロジェクト機能、あるいはローカルで動作するAnythingLLMなどが挙げられる。NotebookLMの特徴はGoogleドライブやYouTubeをソースとして直接取り込める点にあるが、今回の記事が示すように大規模ドキュメントの扱いには現時点で制約が残る。

※編集部の考察：ノートブック間横断検索の欠如は、Google Workspaceとの連携強化など将来のアップデートで解消される可能性がある機能的な制約だ。一方、インデックス失敗時のハルシネーションは設計上の判断に近く、短期的な改善は容易ではないかもしれない。

結論：プロジェクト初期には有効、ただし規模と精度管理に注意

NotebookLMはプロジェクトの立ち上げ段階、まだ資料を暗記できていない時期に、ドキュメントの山から素早く答えを引き出すツールとしては十分機能する。引用機能による出典確認の効率化は実用的だ。

一方、プロジェクトが一定規模を超えると問題が表面化する。大きなドキュメントのインデックス失敗、ノートブック間の横断検索の欠如、そして警告なしに発生しうるハルシネーションは、正確さが求められる技術調査において無視できないリスクになる。データの前処理と構造化を丁寧に行う規律が、ツールの精度に直結する。

詳細はI used NotebookLM to wrangle a month of researchを参照していただきたい。