Guias de instruções

Autenticação e controle de acesso

• Autenticação

  Como configurar a autenticação em um ambiente do Cloud Composer

• Controle de acesso

  Como controlar o acesso a um ambiente do Cloud Composer

Como criar e configurar ambientes

• Como ativar e desativar o Cloud Composer

  Como ativar a API do Cloud Composer

• Como configurar a VPC compartilhada

  Como configurar um projeto host e recursos de rede no Cloud Composer

• Como configurar o IP privado

  Como ativar o IP privado em um ambiente do Cloud Composer

• Como configurar redes de grande escala para ambientes do Cloud Composer

  Como organizar redes em grande escala para ambientes do Cloud Composer

• Configurar notificações por e-mail

  Como configurar notificações por e-mail e serviços SMTP para ambientes do Cloud Composer

• Especificar janelas de manutenção

  Especifique períodos em que a manutenção pode acontecer nos seus ambientes.

• Como criar ambientes

  Como criar um novo ambiente do Cloud Composer

• Como configurar variáveis de ambiente

  Requisitos para configurar variáveis de ambiente

• Como gerenciar conexões

  Como usar as conexões do Airflow para acessar recursos em um projeto do Google Cloud

• Como usar o KubernetesPodOperator

  Como iniciar os pods do GKE do Cloud Composer no cluster do GKE de um ambiente

Como acessar ambientes

• Interface de linha de comando do Airflow

  Como usar a interface de linha de comando (CLI, na sigla em inglês) do Apache Airflow com um ambiente do Cloud Composer

• Interface da Web do Airflow

  Como se conectar à interface da Web do Apache Airflow em um ambiente do Cloud Composer

• Banco de dados Airflow

  Conectar-se ao banco de dados do Airflow e executar consultas SQL.

Como gerenciar fluxos de trabalho

• Como escrever DAGs

  Como escrever DAGs (fluxos de trabalho) em um ambiente do Cloud Composer

• Como adicionar e atualizar DAGs

  Como gerenciar DAGs (fluxos de trabalho) em um ambiente do Cloud Composer

• Como agrupar tarefas no DAGs

  Como agrupar tarefas no DAGs em um ambiente do Cloud Composer

• Importar operadores de pacotes do provedor de backport

  Use novas versões de operadores nos ambientes do Airflow 1.10.*

• Como acionar DAGs

  Como acionar DAGs em uma programação e manualmente

• Como acionar DAGs com o Cloud Functions

  Como acionar DAGs em resposta a eventos usando o Cloud Functions

• Como instalar plug-ins personalizados

  Como instalar plug-ins em um ambiente do Cloud Composer

• Como instalar dependências do Python

  Como instalar as dependências do Índice de pacotes Python em um ambiente do Cloud Composer

• Como testar DAGs

  Como testar DAGs localmente

• Como resolver problemas de DAGs

  Como resolver problemas comuns do fluxo de trabalho

Como monitorar ambientes

• Como ver registros do Airflow

  Como ver registros de tarefas do Airflow de um ambiente do Cloud Composer

• Como ver registros de auditoria

  Como ver registros de auditoria de um ambiente do Cloud Composer

• Como monitorar ambientes no Stackdriver

  Como usar o Stackdriver para monitorar um ambiente do Cloud Composer

Como atualizar e fazer upgrade de ambientes

• Como atualizar e excluir ambientes

  Como atualizar ou excluir um ambiente do Cloud Composer

• Como fazer upgrade de ambientes

  Como fazer upgrade de um ambiente atual do Cloud Composer para uma nova versão

• Limpe o banco de dados Airlfow

  Remova entradas antigas do banco de dados do Airflow para reduzir o tamanho dele.

• Solucionar problemas da instalação do pacote PyPI

  Resolver problemas de conflitos de dependência de pacotes PyPI em ambientes do Cloud Composer.

• Migrar ambientes para o Airflow 2.0

  Transfira os DAGs, dados e configurações dos ambientes do Airflow 1.10.* atuais para os ambientes do Airflow 2