GCP

BigQuery 上でデータ変換パイプラインを構築するための SQL の書き方

昨年12月に Dataform の Google Cloud 加入が発表 されて以来, 関心を持って調べています. Dataform は BigQuery などのデータウェアハウス上で SQL を中心としたデータ変換パイプラインを構築するための仕組みです. 先日は Dataform で Google Analytics 4 の BigQuery Export データ を変換するパイプラインを作ってみたりもしました

Cloud Build で シークレット マネージャー を使用して GitHub プライベートリポジトリに接続する

2022/4/22 追記 その後、Cloud BuildとSecret Managerとの連携が簡単に設定できるようになっていました: Secret Manager のシークレットの使用 | Cloud Build のドキュメント | Google Cloud availableSecrets フィールドを使用すれば、Secret Manager シークレットの内容を環境変数に反映させる