コンテンツにスキップ
Layerx Co Jp Snowflake Iceberg Copy

Snowflake-managed Iceberg table の COPY LOAD_MODE = ADD_FILES_COPY の仕様を理解する

url: https://tech.layerx.co.jp/entry/snowflake-iceberg-copy-add-files-copy date: 2026-05-07 topics: ai-agent-implementation, ai-llm, corporate-engineering tier: Tier2(企業技術ブログ・技術詳解)

要約

Snowflake-managed Iceberg tableへのParquetファイル取り込み方式「COPY INTO … LOAD_MODE = ADD_FILES_COPY」の仕様と制約を公式ドキュメント+実測で整理。通常のCOPYと異なりファイルをserver-side copyするためコスト削減可能だが、制約が多い。

主要な主張

  • ADD_FILES_COPY:Parquetを再読み込みせず直接Iceberg base locationにserver-side copy→コスト大幅削減の可能性
  • 制約が厳しい:file format・case-sensitiveなカラム名マッチング・partitioning・ネスト型・Schema Evolution など
  • PARTITION BY/CLUSTER BYを持つテーブルへの挙動・scan bytesへの影響を実測で確認
  • COPY前のスキーマ互換性チェックとSchema Evolutionの順序が重要

Tier判定

Tier2 - LayerX技術ブログ(実測・技術詳解、Snowflake Data Superhero 執筆)