Netflix Technology Blogで「Elasticsearch Indexing Strategy in Asset Management Platform (AMP)」が公開
この記事の見出しは2つ
- Asset Management at Netflix
- Elasticsearch Integration
Asset Management at Netflix
コードネーム「Amsterdam」と呼ばれるアセットマネジメントプラットフォーム(AMP)について。
Amsterdamはストレージ層に保存している画像、動画、テキストなど、これらのアセットのメタデータ、スキーマ、リレーション、パーミッションを簡単に整理・管理する。
またアセットの発見、検証、共有、およびワークフローのトリガーも担っている。
以下はAmsterdamの3つのストレージレイヤー
- Cassandra
- Elasticsearch
- Apache Iceberg
Elasticsearch Integration
Amsterdamの2つめのストレージレイヤーElasticsearch、そのインデックス作成に焦点をあてた内容。
7TB以上のデータをどのようにしてインデックス化し、クエリを実行しているのか、
また、Elasticsearchクラスタをどのようにして健全な状態に保っているのかなど、
以下のことが書かれている
- パフォーマンスの課題
- スケールアップの試み
- インデックスストラテジの変更
- パフォーマンスの改善結果