コンテンツにスキップ
Tech Layerx Co Jp Gas to Snowflake Tasks

Google Sheets から Snowflake を参照するアドオンの実行基盤を Snowflake Tasks に移行した

要約

LayerXが社内で使うGoogle Sheets×SnowflakeアドオンのバックエンドをGoogle Apps Script(GAS)からSnowflake Tasks+Python Stored Procedureに移行した記録。GASのUI実行30秒タイムアウト・1日6時間制限・同時実行30件制限が根本原因で、AWS構成とSnowflakeネイティブ構成を比較検討した結果、実装速度・運用一元化・チームのスキルセット適合性からSnowflakeネイティブを選択。Snowflake Tasks(CDC Streamトリガー)でジョブキューを実現し、タイムアウト制限をゼロにしつつ、5連続失敗スケジュールの自動停止機能も実装。移行後はログがSnowflake単体に集約され、デバッグが単一SQLクエリで完結するようになった。