DuckDB/DuckDB-Wasm を利用した低コストでの可視化

CRANK

前提ミドルウェアのログ可視化ログサイズは全体で 1 TB 未満ログは jsonl で出力されるまとめDuckDB とはこちらをどうぞ。DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck非同期の可視化DuckDB を利用する事で、HTTP で可視化要求リクエストを受け取って S3 または S3 互換オブジェクトストレージ (以降 S3) から jsonl.gz ログ取得し Parquet ファイルを生成し、S3 にアップロードし、署名付き URL を発行して返すことができます。クライアントは Parquet ファイルをダウンロードし OPFS に保存、その後は通信することなくオフラインで好き放題ブラウザ上で解析することができます。そもそもダッシュボードの可視化を求められるのは、なにか問題があったときであって、それ以外では必要とされることは基本的にありません。S3 の jsonl.gz や Parquet ファイルの有効期限を設定しておくことで、一定期間で削除することができます。オフラインでの可視化この仕組みを使う事で OPFS に保存された Parquet ファイルはいつでもオフラインで確認することができるようになります。毎回ダウンロードも発生しません。OPFS のファイルはクライアント側の判断で好きに削除するこ…