【資料公開】Iceberg で Amazon Athena をデータウェアハウスぽく使おう #midosuji_tech

CRANK

データアナリティクス事業本部インテグレーション部機械学習チーム・新納（にいの）です。 2024/6/12にクラスメソッド大阪オフィスで開催された勉強会、Midosuji Techにて「Iceberg で Amazon Athena をデータウェアハウスぽく使おう」というタイトルで登壇をしました。ご参加いただいた皆様、ありがとうございました！ワイワイガヤガヤタイムでもたくさんのご質問をいただき、楽しい時間を過ごすことができました！ 本エントリでは登壇資料と内容のまとめをお届けします。 スライド 内容まとめ Icebergの概要と、その特徴の中から特にSchema Evolutionとパーティション管理の便利さをお話ししました。 テーブルフォーマットとは Icebergはテーブルフォーマットのひとつです。テーブルフォーマットについて順を追って説明します。 データレイクはデータファイルをストレージサービスに配置し、コンピュートがデータ取得と処理を実施します。CSVやJSONといったファイルをデータとして読み込むと、コンピュートからのデータアクセスの効率は決してよくありません。 そこで、Avro・Parquet・ORCなどといった処理効率の良いファイル形式が登場します。例えば、データ分析の文脈…