Criar um ambiente de operações integrado do DBT e do Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, descrevemos como usar o Terraform para criar um ambiente integrado de operações do DBT e do Cloud Composer.

Sobre o módulo terraform-google-dbt-composer-blueprint

O módulo terraform-google-dbt-composer-blueprint usa o Terraform para fazer o seguinte:

  • Aplica as APIs e permissões necessárias no projeto.
  • Cria um bucket de documentação (para DBT).
  • Cria um ambiente do Cloud Composer, incluindo configuração de rede e uma conta de serviço.
  • Copia utilitários de DAGs para o Cloud Composer.
  • Exporta registros de auditoria do projeto para um projeto do BigQuery, incluindo duas visualizações materializadas e uma visualização acima para oferecer suporte a painéis.

Além disso, o módulo oferece um exemplo completo de como usar os utilitários de DAG e criar um job de exemplo do DBT no Cloud Composer.

Código do módulo no GitHub

Para mais informações e exemplos de código, consulte a página do módulo terraform-google-dbt-composer-blueprint no GitHub.

A seguir