Instalar plug-ins personalizados

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Nesta página, descrevemos como instalar plug-ins personalizados no Cloud Composer. de nuvem.

O gerenciador de plug-ins do Apache Airflow permite que você crie operadores, hooks, sensores ou interfaces internos personalizados do Apache Airflow. Para mais informações, consulte plug-ins personalizados (link em inglês) na documentação do Airflow.

Sobre os plug-ins personalizados

Quando você cria um ambiente, o Cloud Composer cria um bucket do Cloud Storage e associa este bucket com seu ambiente. Use a pasta plugins no bucket do seu ambiente para instalar plug-ins personalizados.

Antes de começar

  • Sua conta precisa ter um papel que permita a visualização e a modificação do conteúdo do bucket do ambiente.
  • Este método de instalação se aplica apenas aos plug-ins do Airflow (em inglês). Por exemplo, não é possível usá-lo para instalar módulos comuns do Python ou outras bibliotecas.
  • Os plug-ins precisam estar em conformidade com o modelo de plug-ins do Airflow diretrizes.

Instalar um plug-in

Para instalar um plug-in personalizado no ambiente do Cloud Composer, copie o código do plug-in para a pasta plugins no bucket do ambiente.

Para instalar um plug-in:

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Faça upload dos arquivos de plug-in. Para mais informações sobre como fazer upload de objetos, consulte Como fazer upload de objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • PATH_TO_LOCAL_FILE pelo caminho do arquivo para upload;
  • (Opcional) PATH_IN_SUBFOLDER pelo caminho da subpasta. Use o argumento --destination para fazer upload de um plug-in para uma subpasta na pasta plugins. Caso contrário, omita o argumento --destination.

Ver a lista de plug-ins

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Veja os arquivos do plug-in.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;

Excluir um plug-in

Para excluir um plug-in do ambiente do Cloud Composer, exclua o código do plug-in da pasta plugins no bucket do ambiente.

Para excluir um plug-in:

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Exclua os arquivos do plug-in. Para mais informações sobre como excluir objetos, consulte Como excluir objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

Fazer o download de plug-ins

Para fazer o download de plug-ins, escolha uma opção a seguir:

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Faça o download dos arquivos de plug-in. Para mais informações sobre como excluir objetos, consulte Como fazer o download de objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • PATH_TO_LOCAL_DESTINATION pelo destino do arquivo salvo.
  • (Opcional) --source é uma opção para fazer o download de apenas um plug-in; PATH_IN_FOLDER é o caminho da pasta.

Resolver problemas com plug-ins

Plug-ins causam problemas com a interface do Airflow

É possível desativar os plug-ins do servidor da Web sem excluí-los. Para mais informações, consulte Desativar plug-ins do servidor da Web.

Um plug-in recém-enviado não aparece na interface do Airflow

Se você usar o Controle de acesso à IU do Airflow, então a nova O plug-in enviado pode não estar visível na interface do Airflow. Para resolver esse problema, peça ao administrador da interface do Airflow para configurar o acesso ao plug-in recém-enviado ou atribua a si mesmo o papel Admin na interface do Airflow.

A seguir