Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Neste guia, explicamos como criar um pipeline de CI/CD para testar, sincronizar e implantar DAGs no ambiente do Cloud Composer do seu repositório do GitHub.
Se você quiser sincronizar apenas dados de outros serviços, consulte Transferir dados de outros serviços.
Visão geral do pipeline de CI/CD
![Diagrama de arquitetura mostrando as etapas do fluxo. O pré-envio e a revisão de PR estão na seção do GitHub, e a sincronização do DAG e a verificação manual do DAG estão na seção do Google Cloud.](https://cloud.google.com/static/composer/docs/images/dag-cicd-integration-architecture.png?authuser=7&hl=pt-br)
O pipeline de CI/CD para testar, sincronizar e implantar DAGs tem as seguintes etapas:
Você faz uma alteração em um DAG e a envia para uma ramificação de desenvolvimento no seu repositório.
Você abre uma solicitação de envio na ramificação principal do repositório.
O Cloud Build executa testes de unidade para verificar se o DAG é válido.
Sua solicitação de envio é aprovada e mesclada com a ramificação principal do repositório.
O Cloud Build sincroniza seu ambiente de desenvolvimento do Cloud Composer com essas novas alterações.
Você verifica se o DAG se comporta como esperado no seu ambiente de desenvolvimento.
Se o DAG funcionar conforme o esperado, faça o upload dele para o ambiente de produção do Cloud Composer.
Objetivos
Antes de começar
Neste guia, presumimos que você esteja trabalhando com dois ambientes idênticos do Cloud Composer: um de desenvolvimento e outro de produção.
Neste guia, você configura um pipeline de CI/CD apenas para o ambiente de desenvolvimento. Use um ambiente que não seja de produção.
Neste guia, presumimos que você tenha os DAGs e os testes armazenados em um repositório do GitHub.
O exemplo de pipeline de CI/CD demonstra o conteúdo de um repositório de exemplo. Os DAGs e testes são armazenados no diretório
dags/
, com arquivos de requisitos, o arquivo de restrições e arquivos de configuração do Cloud Build armazenados no nível superior. O utilitário de sincronização do DAG e os requisitos estão localizados no diretórioutils
.Essa estrutura pode ser usada nos ambientes Airflow 1, Airflow 2, Cloud Composer 1 e Cloud Composer 2.
Criar um job de verificação de pré-envio e testes de unidade
O primeiro job do Cloud Build executa uma verificação de pré-envio, que executa testes de unidade para os DAGs.
Adicionar testes de unidade
Crie testes de unidade para seus DAGs, caso ainda não tenha feito isso. Salve esses testes com os DAGs no seu repositório, cada um com o sufixo _test
. Por exemplo, o arquivo de teste para o DAG em example_dag.py
é example_dag_test.py
. Esses são os
testes executados como uma verificação de pré-envio no seu repositório.
Criar configuração YAML do Cloud Build para a verificação de pré-envio
No repositório, crie um arquivo YAML denominado test-dags.cloudbuild.yaml
que configure o job do Cloud Build para verificações de pré-envio. Nele, há
três etapas:
- Instale as dependências necessárias para os DAGs.
- Instale as dependências necessárias para os testes de unidade.
- Execute os testes do DAG.
Criar o gatilho do Cloud Build para a verificação de pré-envio
Siga o guia Como criar repositórios do GitHub para criar um gatilho baseado em app do GitHub com as seguintes configurações:
Nome:
test-dags
Evento: Solicitação de envio
Origem - Repositório: escolha o repositório.
Source: ramificação base:
^main$
(alteremain
para o nome da ramificação base do seu repositório, se necessário)Origem — Controle de comentários: não obrigatório
Configuração do build: arquivo de configuração do Cloud Build:
/test-dags.cloudbuild.yaml
(o caminho para o arquivo de build)
Criar um job de sincronização do DAG e adicionar o script utilitário deles
Em seguida, configure um job do Cloud Build que execute um script utilitário de DAGs. O script de utilitário nesse job sincroniza os DAGs com o ambiente do Cloud Composer depois que eles são mesclados com a ramificação principal no repositório.
Adicionar o script de utilitário dos DAGs
Adicione o script de utilitário do DAG ao seu repositório. Este script utilitário copia todos os arquivos DAG no diretório dags/
do seu repositório para um diretório temporário, ignorando todos os arquivos Python que não sejam DAG. Em seguida, o script usa a biblioteca de cliente do Cloud Storage para fazer upload de todos os arquivos desse diretório temporário para o diretório dags/
no bucket do ambiente do Cloud Composer.
Criar configuração YAML do Cloud Build para sincronizar DAGs
No seu repositório, crie um arquivo YAML chamado
add-dags-to-composer.cloudbuild.yaml
que configure o job do Cloud Build
para sincronizar DAGs. Nela, há duas etapas:
Instale as dependências necessárias para o script de utilitário dos DAGs.
Execute o script utilitário para sincronizar os DAGs no repositório com o ambiente do Cloud Composer.
Crie o gatilho do Cloud Build
Siga o guia Como criar repositórios do GitHub para criar um gatilho baseado em app do GitHub com as seguintes configurações:
Nome:
add-dags-to-composer
Evento: enviar por push para uma ramificação
Origem - Repositório: escolha o repositório.
Source: ramificação base:
^main$
(alteremain
para o nome da ramificação base do seu repositório, se necessário)Origem - Filtro de arquivos incluídos (glob):
dags/**
Configuração do build: arquivo de configuração do Cloud Build:
/add-dags-to-composer.cloudbuild.yaml
(o caminho para o arquivo de build)
Na configuração avançada, adicione duas variáveis de substituição:
_DAGS_DIRECTORY
: o diretório em que os DAGs estão localizados no repositório. Se você estiver usando o repositório de exemplo deste guia, ele serádags/
._DAGS_BUCKET
: o bucket do Cloud Storage que contém o diretóriodags/
no ambiente de desenvolvimento do Cloud Composer. Omita o prefixogs://
. Por exemplo:us-central1-example-env-1234ab56-bucket
.
Testar o pipeline de CI/CD
Nesta seção, siga um fluxo de desenvolvimento do DAG que usa os gatilhos do Cloud Build recém-criados.
Executar um job de pré-envio
Crie uma solicitação de envio para a ramificação principal e teste o build. Localize sua verificação de pré-envio na página. Clique em Detalhes e escolha Ver mais detalhes no Google Cloud Build para exibir os registros da versão no console do Google Cloud.
![Captura de tela de uma verificação do GitHub chamada test-dags com uma seta vermelha apontando para o nome do projeto entre parênteses](https://cloud.google.com/static/composer/docs/images/dag-cicd-integration-github-check.png?authuser=7&hl=pt-br)
Se a verificação de pré-envio falhar, consulte Como resolver falhas no build.
validar se o DAG funciona no ambiente de desenvolvimento do Cloud Composer
Depois que sua solicitação de envio for aprovada, mescle-a à ramificação principal. Use o
console do Google Cloud para
ver os resultados do build. Se você tiver muitos
gatilhos do Cloud Build, será possível filtrar os builds com base no nome do gatilho
add-dags-to-composer
.
Depois que o job de sincronização do Cloud Build for bem-sucedido, o DAG sincronizado será exibido no ambiente de desenvolvimento do Cloud Composer. Lá, é possível validar se o DAG funciona conforme o esperado.
Adicionar o DAG ao ambiente de produção
Depois que o DAG for executado conforme o esperado, adicione-o manualmente ao ambiente de produção. Para isso,
faça upload do arquivo DAG
para o diretório dags/
no bucket do ambiente de produção
do Cloud Composer.
Se o job de sincronização do DAG falhar ou não funcionar como esperado no ambiente de desenvolvimento do Cloud Composer, consulte Como resolver falhas de build.
Como resolver falhas no build
Esta seção explica como lidar com cenários comuns de falha de build.
E se minha verificação de pré-envio falhar?
Na solicitação de envio, clique em Detalhes e escolha Ver mais detalhes no Google Cloud Build para ver os registros da versão no console do Google Cloud. Use esses registros para depurar o problema do DAG. Depois de resolver os problemas, confirme a correção e envie-a para a ramificação. A verificação de pré-envio é executada novamente, e é possível continuar a iterar usando os registros como ferramenta de depuração.
E se o job de sincronização do DAG falhar?
Use o console do Google Cloud para
ver os resultados do build. Se você tiver muitos
gatilhos do Cloud Build, será possível filtrar os builds com base no nome do gatilho
add-dags-to-composer
. Examine os registros do job de build e resolva os erros. Se precisar de mais ajuda para resolver os erros, use os canais de suporte.
E se o DAG não funcionar corretamente no ambiente do Cloud Composer?
Se o DAG não funcionar como esperado no ambiente de desenvolvimento do Cloud Composer, não o promova manualmente para o ambiente de produção do Cloud Composer. Em vez disso, escolha uma das opções a seguir:
- Reverta a solicitação de envio com as alterações que corromperam seu DAG para restaurá-lo para o estado imediatamente anterior às alterações. Isso também reverterá todos os outros arquivos dessa solicitação.
- Crie uma nova solicitação de envio para reverter manualmente as alterações no DAG corrompido.
- Crie uma nova solicitação de envio para corrigir os erros no DAG.
Seguir qualquer uma dessas etapas aciona uma nova verificação de pré-envio e, após a mesclagem, o job de sincronização do DAG é acionado.