Criar um ambiente de operações integrado do DBT e do Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, descrevemos como usar o Terraform para criar um ambiente de operações integrado do DBT e do Cloud Composer.

Sobre o módulo terraform-google-dbt-composer-blueprint

O módulo terraform-google-dbt-composer-blueprint usa o Terraform para fazer o seguinte:

  • Aplica APIs e permissões necessárias no projeto.
  • Cria um bucket de documentação (para DBT).
  • Cria um ambiente do Cloud Composer, incluindo a configuração de rede e uma conta de serviço.
  • Cópias em vários utilitários de DAG para o Cloud Composer
  • Exporta registros de auditoria do projeto para um projeto do BigQuery, incluindo duas visualizações materializadas e uma visualização na parte de cima para oferecer suporte a painéis.

Além disso, o módulo fornece um exemplo completo de como usar os utilitários DAG e criar um job de DBT de exemplo no Cloud Composer.

Código do módulo no GitHub

Para mais informações e exemplos de código, consulte a página Módulo terraform-google-dbt-composer-blueprint no GitHub.

A seguir