コンテンツにスキップ
Tech Layerx Co Jp Dbt Authorized Models

Snowflakeとdbtでモデルの依存関係にガバナンスを効かせる

要約

LayerXがSnowflakeとdbtで構築したMedallion Architecture型データ基盤において、意図しないモデル参照(例:Silver層がGold層を参照)を機械的に防ぐためのdbt package「dbt-authorized-models」を開発・公開した。SnowflakeにはBigQueryのauthorized datasetに相当する被参照側ACL機能がなく、dbt modelのaccess設定も参照元メタデータ(schema, tags等)によるfine-grainedな制御には不向きであることを確認した上で、被参照モデル側にmeta.authorizeを定義するdeny-by-defaultの独自packageを実装。CODEOWNERSとGitHub branch protectionを組み合わせることで、許可ルール変更にモデルオーナーのレビューを必須にできる。AI Agentによる実装が当たり前になる時代に機械的なポリシー検査の重要性を主張。