Layerx Co Jp Snowflake Iceberg Copy
Snowflake-managed Iceberg table の COPY LOAD_MODE = ADD_FILES_COPY の仕様を理解する
url: https://tech.layerx.co.jp/entry/snowflake-iceberg-copy-add-files-copy date: 2026-05-07 topics: ai-agent-implementation, ai-llm, corporate-engineering tier: Tier2(企業技術ブログ・技術詳解)
要約
Snowflake-managed Iceberg tableへのParquetファイル取り込み方式「COPY INTO … LOAD_MODE = ADD_FILES_COPY」の仕様と制約を公式ドキュメント+実測で整理。通常のCOPYと異なりファイルをserver-side copyするためコスト削減可能だが、制約が多い。
主要な主張
- ADD_FILES_COPY:Parquetを再読み込みせず直接Iceberg base locationにserver-side copy→コスト大幅削減の可能性
- 制約が厳しい:file format・case-sensitiveなカラム名マッチング・partitioning・ネスト型・Schema Evolution など
- PARTITION BY/CLUSTER BYを持つテーブルへの挙動・scan bytesへの影響を実測で確認
- COPY前のスキーマ互換性チェックとSchema Evolutionの順序が重要
Tier判定
Tier2 - LayerX技術ブログ(実測・技術詳解、Snowflake Data Superhero 執筆)