Guias de instruções

Criar ambientes

• Ativar e desativar o serviço do Cloud Composer

  Ativar e desativar o serviço do Cloud Composer no projeto.

• Criar ambientes

  Criar ambientes do Cloud Composer usando o console do Google Cloud, o gcloud, a API Cloud Composer e o Terraform.

Configurar rede

• Configurar rede de IP privado

  Configure a rede de projetos para ambientes de IP privado do Cloud Composer.

• Configurar rede VPC compartilhada

  Configure a rede de projetos de host e de serviço para os ambientes do Cloud Composer.

• Configurar o VPC Service Controls

  Crie ambientes em um perímetro do VPC Service Controls.

• Configurar redes de grande escala para ambientes do Cloud Composer

  Configurar redes de grande escala para ambientes do Cloud Composer

• Configurar intervalos de IP públicos usados de maneira privada

  Use intervalos de IP públicos usados de maneira privada nos ambientes.

• Ativar o agente de mascaramento de IP

  Use o mascaramento de IP com o ambiente.

Configurar ambientes

• Defina as variáveis de ambiente

  Defina variáveis de ambiente disponíveis para os processos do programador do Apache Airflow, do worker e do servidor da Web.

• Substituir as opções de configuração do Airflow

  Modifique as opções de configuração do Airflow para ajustar a instância do Airflow de acordo com suas necessidades e requisitos.

• Escalonar ambientes

  Alterar os parâmetros de escalonamento e desempenho do ambiente.

• Gerenciar conexões do Airflow

  Armazene as informações de conexão que o Airflow usa para se comunicar com outras APIs, como projetos do Google Cloud, outros provedores de nuvem ou serviços de terceiros.

• Ativar e desativar a serialização do DAG

  Configure o programador do Airflow para processar arquivos DAG antes de serem enviados ao servidor da Web.

• Especificar janelas de manutenção

  Configure janelas de tempo em que o Cloud Composer pode fazer a manutenção do seu ambiente.

• Configurar notificações por e-mail

  Configure serviços SMTP para seu ambiente.

• Gerenciar rótulos de ambiente e detalhar custos de ambiente

  Atribua rótulos aos ambientes e, a seguir, divida os custos de faturamento com base nesses rótulos.

Configurar a segurança e o controle de acesso

• Controle de acesso com o IAM

  Atribua papéis e permissões a contas de usuário e de serviço que funcionam no Cloud Composer.

• Controle de acesso da IU do Airflow

  Use o controle de acesso da IU do Airflow (Controle de acesso baseado em papel do Airflow, ou RBAC do Airflow) para atribuir permissões para ações disponíveis na IU do Airflow.

• Como usar chaves de criptografia gerenciadas pelo cliente

  Criptografe dados no seu ambiente com chaves de criptografia gerenciadas pelo cliente (CMEK).

• Configurar restrições de local de recursos

  Configure restrições de local de recursos para que o Cloud Composer armazene seus dados nos locais especificados.

• Configurar o Secret Manager

  Armazene dados confidenciais no Secret Manager e acesse-os do ambiente.

Atualizar, atualizar e excluir ambientes

• Atualizar ambientes

  Alterar a configuração do ambiente.

• Como fazer upgrade de ambientes

  Fazer upgrade do seu ambiente para versões posteriores do Cloud Composer e do Airflow

• Excluir ambientes

  Excluir o ambiente.

• Salvar e carregar snapshots do ambiente

  Salve e carregue o estado do seu ambiente usando snapshots do ambiente.

• Limpar o banco de dados do Airflow

  Remova entradas antigas do banco de dados do Airflow para reduzir o tamanho dele.

• Migrar ambientes para o Airflow 2

  Transferir DAGs, dados e configurações do Airflow 1.10 atual.* para os ambientes do Airflow 2.

• Migrar ambientes para o Cloud Composer 2 (do Airflow 2)

  Transfira DAGs, dados e configurações do ambiente existente do Cloud Composer 1 com o Airflow 2 para um ambiente do Cloud Composer 2.

• Migrar ambientes para o Cloud Composer 2 (do Airflow 2) usando snapshots

  Transferir DAGs, dados e configurações do seu ambiente atual do Cloud Composer 1 com o Airflow 2 para um ambiente do Cloud Composer 2 usando snapshots do ambiente.

• Migrar ambientes para o Cloud Composer 2 (do Airflow 1)

  Transfira DAGs, dados e configurações do ambiente existente do Cloud Composer 1 com o Airflow 1 para um ambiente do Cloud Composer 2.

• Migrar ambientes para o Cloud Composer 2 (do Airflow 1) usando snapshots

  Transferir DAGs, dados e configurações do seu ambiente atual do Cloud Composer 1 com o Airflow 1 para um ambiente do Cloud Composer 2 usando snapshots do ambiente.

Acessar ambientes

• Interface de linha de comando do Airflow

  Executar comandos da CLI do Airflow no seu ambiente.

• Interface da Web do Airflow

  Acessar a IU do Airflow para seu ambiente.

• API REST do Airflow

  Faça solicitações à API REST do Airflow.

• Banco de dados do Airflow

  Acessar o banco de dados do Airflow e executar consultas.

Gerenciar DAGs

• Gravar DAGs

  Grave arquivos de definição de DAG.

• Como adicionar e atualizar DAGs

  Faça upload dos DAGs no bucket do ambiente.

• Como acionar DAGs

  Acione os DAGs de maneira programada, manualmente e usando outros métodos.

• Importar operadores de pacotes do provedor de backport

  Use versões mais recentes de operadores nos ambientes do Airflow 1.10.* importando-os dos pacotes de operadores de backport.

• Usar o KubernetesPodOperator

  Execute pods no cluster do ambiente usando o KubernetesPodOperator

• Usar os operadores do GKE

  Gerencie clusters e execute pods nesses operadores usando operadores do GKE.

• Agrupar tarefas dentro de DAGs

  Agrupe tarefas nos DAGs usando diferentes métodos fornecidos pelo Airflow.

• Como acionar DAGs com o Cloud Functions

  Acione DAGs no ambiente usando o Cloud Functions

• Como instalar plug-ins personalizados

  Instale plug-ins personalizados no ambiente do Cloud Composer.

• Como instalar dependências de Python

  Instale pacotes Python no ambiente.

• Como testar DAGs

  Verifique se há erros nos seus DAGs, atualize-os e teste-os.

Monitorar ambientes

• Ver registros do Airflow

  Acesse e veja os registros do Airflow do seu ambiente.

• Ver registros de auditoria

  Ativar e visualizar registros de auditoria do Cloud Composer

• Como monitorar ambientes

  Acessar e usar o painel de monitoramento do ambiente.

• Como monitorar ambientes com o Monitoring

  Veja as métricas do ambiente no Monitoring e acesse os registros do ambiente no Cloud Logging.