Instalar plug-ins personalizados

Cloud Composer 1 | Cloud Composer 2

O gerenciador de plug-ins do Apache Airflow permite que você crie operadores, hooks, sensores ou interfaces internos personalizados do Apache Airflow. Para mais informações, veja plug-ins personalizados (em inglês) na documentação do Airflow. Nesta página, você aprende a instalar plug-ins personalizados no ambiente do Cloud Composer.

Quando você cria um ambiente, um bucket do Cloud Storage gerado pelo Cloud Composer é associado a ele. Você usa a pasta plugins no bucket associado para instalar plug-ins personalizados.

Antes de começar

  • Sua conta precisa ter um papel que permita a visualização e a modificação do conteúdo do bucket do ambiente.
  • Este método de instalação se aplica apenas aos plug-ins do Airflow (em inglês). Por exemplo, não é possível usar esse método para instalar módulos comuns do Python ou outras bibliotecas.
  • Os plug-ins precisam estar em conformidade com as diretrizes do modelo de plug-ins do Airflow (em inglês).

Como instalar um plug-in

Para instalar um plug-in personalizado no ambiente do Cloud Composer, copie o código do plug-in para a pasta plugins no bucket do Cloud Storage conectado ao ambiente do Cloud Composer.

Para instalar um plug-in:

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Faça upload dos arquivos de plug-in. Para mais informações sobre como fazer upload de objetos, consulte Como fazer upload de objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • PATH_TO_LOCAL_FILE pelo caminho do arquivo para upload;
  • (Opcional) PATH_IN_SUBFOLDER pelo caminho da subpasta. Use o argumento --destination para fazer upload de um plug-in para uma subpasta na pasta plugins. Caso contrário, omita o argumento --destination.

Como ver uma lista de plug-ins

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Veja os arquivos do plug-in.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;

Como excluir um plug-in

Para excluir um plug-in do ambiente do Cloud Composer, exclua o código do plug-in da pasta plugins no bucket do ambiente.

Para excluir um plug-in:

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Exclua os arquivos do plug-in. Para mais informações sobre como excluir objetos, consulte Como excluir objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

Como fazer o download de plug-ins

Para fazer o download de plug-ins, escolha uma opção a seguir:

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Faça o download dos arquivos de plug-in. Para mais informações sobre como excluir objetos, consulte Como fazer o download de objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • PATH_TO_LOCAL_DESTINATION pelo destino do arquivo salvo.
  • (Opcional) --source é uma opção para fazer o download de apenas um plug-in; PATH_IN_FOLDER é o caminho da pasta.

Solução de problemas de plug-in

Um plug-in recém-enviado não está visível na interface do Airflow

Se você usa o controle de acesso à interface do Airflow, o plug-in recém-enviado pode não estar visível na interface do Airflow. Para resolver esse problema, peça ao administrador da interface do Airflow para configurar o acesso ao plug-in recém-enviado ou atribuir a si mesmo o papel Admin na interface do Airflow.

A seguir