Como atualizar e excluir ambientes

Nesta página, você aprende a atualizar, excluir e visualizar os detalhes de um ambiente do Cloud Composer. Você também vê como atualizar e visualizar as configurações do Apache Airflow de um ambiente.

Antes de começar

  • As permissões a seguir são necessárias para atualizar ou excluir ambientes:

  • A maioria dos comandos gcloud composer requer um local. É possível especificar o local usando a sinalização --location ou definindo o local padrão.

  • Alguns parâmetros do Airflow são pré-configurados no Cloud Composer e não podem ser alterados. É possível atualizar estas configurações de ambiente do Cloud Composer: contagem de nós, modificações de configuração do Airflow, variáveis de ambiente, rótulos e pacotes PyPI.

  • Algumas atualizações de ambiente recriam imagens do Cloud Composer, como instalações de pacotes e upgrades de versão. A coleta de lixo do Cloud Composer pode remover imagens antigas.

  • As atualizações nas configurações do Airflow são aplicadas em todas as instâncias dele, ou seja, worker, servidor e programador. Isso ocorre aproximadamente cinco minutos após o envio da solicitação de atualização.

  • (Beta) Agora é possível atualizar o tipo de máquina da VM do Google App Engine que executa o servidor da Web do Airflow e a instância do Cloud SQL executando o banco de dados do Airflow. É possível fazer isso com gcloud beta composer, o Console do Cloud ou a API Beta do Composer.

Limitações

O Cloud Composer não aceita solicitações simultâneas de atualização ou de exclusão de ambientes. Aguarde a conclusão dessas solicitações antes de emitir outra.

Como atualizar ambientes

Para atualizar os ambientes do Cloud Composer, incluindo as configurações do Airflow, siga estes passos:

Console

  1. Abra a página Ambientes no Google Cloud.

    Abrir a página "Ambientes"

  2. Clique no Nome do ambiente para fazer a modificação.

  3. Selecione a guia da propriedade que você quer atualizar.

  4. Clique em Editar.

  5. Depois de fazer as atualizações, clique em Enviar.

gcloud

Para atualizar as configurações do Airflow, execute o comando gcloud composer environments update com a sinalização --update-airflow-configs:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --update-airflow-configs=KEY=VALUE,KEY=VALUE,... 

onde:

  • ENVIRONMENT_NAME é o nome do ambiente;
  • LOCATION é a região do Compute Engine em que o ambiente está localizado.
  • KEY=VALUE é a seção de configuração e o nome da propriedade separados por um hífen, como core-print_stats_interval, e o valor correspondente.

Exemplo:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

Consulte a página de referência Atualização de ambientes do gcloud composer para mais exemplos.

API

Para atualizar um ambiente do Cloud Composer, incluindo as configurações do Airflow, usando a API REST do Cloud Composer, emita uma solicitação de API environments.patch.

Como restaurar a configuração padrão do Airflow

Para restaurar todos os valores de configuração padrão do Airflow, execute o seguinte comando:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --clear-airflow-configs

Para restaurar um ou mais valores de configuração padrão do Airflow, execute o seguinte comando:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --remove-airflow-configs=core-load_example,webserver-dag_orientation 

em que:

  • ENVIRONMENT_NAME é o nome do ambiente;
  • LOCATION é a região do Compute Engine em que o ambiente está localizado.

Exemplo:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

O comando termina quando a operação é concluída. Para evitar a espera, use a sinalização --async.

Como ver os detalhes do ambiente

Para ver os detalhes do ambiente do Cloud Composer, incluindo as configurações do Airflow, siga estes passos:

Console

  1. Abra a página Ambientes no Console do Google Cloud.

    Abrir a página "Ambientes"

  2. Clique no Nome do ambiente.
  3. Selecione a guia de propriedade adequada.

gcloud

gcloud composer environments describe ENVIRONMENT_NAME \
    --location LOCATION
    --format="get(PROPERTY)"

em que:

  • ENVIRONMENT_NAME é o nome do ambiente;
  • LOCATION é a região do Compute Engine em que o ambiente está localizado.
  • --format é uma opção para especificar uma propriedade de ambiente, como config.airflowUri, para o URL do servidor da Web do Airflow.

Exemplo:

gcloud composer environments describe test-environment 
--location us-central1 --format="get(config.airflowUri)"

# Returns https://a6b3z6e3nnZZZnnd3a-tp.appspot.com

API

Para visualizar as configurações do Airflow usando a API REST do Cloud Composer, faça uma solicitação de API environments.get, preenchendo o ID do ambiente.

Como fazer upgrade do tipo de máquina para nós do GKE

Atualize manualmente o tipo de máquina do cluster do GKE do ambiente excluindo o default-pool existente e criando um novo default-pool com o tipo de máquina que você quer.

Para fazer upgrade do tipo de máquina, siga estas etapas:

  1. No Console do Cloud, clique no nome do ambiente que você quer fazer upgrade.
  2. Para visualizar o pool de nós padrão:
    1. Na página "Detalhes do ambiente", clique no link ver os detalhes do cluster.
    2. Na página "Clusters" da seção Pools de nós, clique em default-pool.
    3. Anote todas as informações de default-pool na página de detalhes do pool de nós. Você usará essas informações para criar um novo pool de nós padrão para seu ambiente.
  3. Para excluir o default-pool:
    1. Na página de detalhes do pool de nós, clique na seta de voltar para retornar à página "Clusters" do ambiente.
    2. Na seção Pools de nós, clique na lata de lixo à direita de default-pool.
    3. Para confirmar, clique em Excluir.
  4. Para criar o novo default-pool:

    1. Na parte superior da página "Clusters", clique em Adicionar pool de nós.
    2. Em "Nome", insira default-pool. Você precisa nomear o pool de nós default-pool ou os fluxos de trabalho falharão.
    3. Insira as configurações de tamanho e nós.
    4. Em "Escopos de acesso", selecione Permitir acesso total a todas as APIs do Cloud.
    5. Clique em Salvar.
  5. Se você perceber que as cargas de trabalho são distribuídas de maneira desigual, reduza a implantação do worker do Airflow para zero e aumente novamente.

Como excluir um ambiente

Para excluir um ambiente do Cloud Composer, siga estes passos:

Console

  1. Abra a página Ambientes no Console do Google Cloud.

    Abrir a página "Ambientes"

  2. Marque a caixa ao lado do ambiente que será excluído.
  3. Clique em Excluir.

gcloud

Execute o comando a seguir para excluir um ambiente do Cloud Composer:

gcloud composer environments delete ENVIRONMENT_NAME \
    --location LOCATION   

onde:

  • ENVIRONMENT_NAME é o nome do ambiente;
  • LOCATION é a região do Compute Engine em que o ambiente está localizado.

Execute gcloud composer environments describe --help para informações de parâmetro de comando.

API

Para excluir um ambiente usando a API REST do Cloud Composer, crie uma solicitação de API environments.delete, preenchendo o ID do ambiente.

A seguir