Problemas conhecidos com o Cloud Composer

Nesta página, você encontra uma lista de problemas conhecidos do Cloud Composer. Algumas correções para esses problemas estão em andamento e estarão disponíveis em versões futuras. Alguns problemas afetam versões mais antigas e podem ser corrigidos com o upgrade do seu ambiente.

Os intervalos de endereços não RFC 1918 são parcialmente compatíveis com pods e serviços

O Cloud Composer depende do GKE para oferecer suporte a endereços não RFC 1918 para pods e serviços. Atualmente, apenas a seguinte lista de intervalos não RFC 1918 é compatível com o Cloud Composer:

  • 100.64.0.0/10
  • 192.0.0.0/24
  • 192.0.2.0/24
  • 192.88.99.0/24
  • 198.18.0.0/15
  • 198.51.100.0/24
  • 203.0.113.0/24
  • 240.0.0.0/4

A IU do Airflow não mostra registros de tarefas quando a serialização do DAG está ativada no Composer 1.10.2 e no Composer 1.10.3

A ativação da serialização de DAG em ambientes usando as versões 1.10.2 e 1.10.3 do Composer impede a exibição dos registros no servidor da Web do Airflow. Faça upgrade para a versão 1.10.4 (ou mais recente) para corrigir esse problema.

A Identidade da carga de trabalho do GKE não é compatível

Não é possível ativar a Identidade da carga de trabalho para clusters do GKE do Cloud Composer. Como resultado, é possível ver a descoberta WORKLOAD_IDENTITY_DISABLED no Security Command Center.

As políticas de segurança de pods do GKE não são compatíveis

Não é possível ativar as políticas de segurança de pods do GKE para clusters do GKE no Cloud Composer. Como resultado, é possível ver a descoberta POD_SECURITY_POLICY_DISABLED no Security Command Center.

Os rótulos de ambiente adicionados durante uma atualização não são totalmente propagados nas dependências do Cloud Composer.

Os rótulos atualizados não são aplicados aos buckets do Cloud Storage, aos tópicos do Pub/Sub e à VM do Compute Engine. Como solução alternativa, esses rótulos podem ser aplicados manualmente aos recursos mencionados acima.

Upgrades do GKE no contexto do problema CVE-2020-14386

Estamos trabalhando para resolver a vulnerabilidade de todos os ambientes do Cloud Composer. Como parte da correção, todos os clusters do GKE do Cloud Composer serão atualizados para uma versão mais recente.

Os clientes que decidirem resolver a vulnerabilidade imediatamente poderão fazer o upgrade do cluster do GKE do Composer. Basta seguir estas instruções com as considerações a seguir:

Etapa 1: Se você estiver executando uma versão do Cloud Composer anterior à 1.7.2, atualize para uma versão mais recente do Cloud Composer. Se você já tiver a versão 1.7.2 ou posterior, vá para o próximo ponto.

Etapa 2. Atualize o cluster do GKE (mestre e nós) para a versão de patch mais recente 1.15 que contém a correção da vulnerabilidade.

Os registros de tarefas do Airflow não estão disponíveis no servidor da Web do Airflow após o upgrade do Airflow 1.9.0 para o Airflow 1.10.x.

O Airflow 1.10.x introduziu alterações incompatíveis com versões anteriores da convenção de nomenclatura para arquivos de registros. As informações de zona agora foram adicionadas aos nomes de registro para tarefas do Airflow.

O Airflow 1.9.0 armazena e espera que os nomes dos registros estejam no seguinte formato: BUCKET/logs/DAG/2020-03-30T10:29:06/1.log O Airflow 1.10.x armazena e espera que os nomes dos registros estejam no seguinte formato: BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log

Como resultado, se você fizer upgrade do Airflow 1.9.0 para o Airflow 1.10.x e quiser ler o registro de uma tarefa executada com o Airflow 1.9.0, o servidor da Web do Airflow exibirá a seguinte mensagem de erro : Unable to read remote log from BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log

Solução alternativa: renomeie os registros gerados pelo Airflow 1.9.0 no bucket do Cloud Storage usando o formato: BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log

Não é possível criar ambientes do Cloud Composer com a política da organização constraints/compute.disableSerialPortLogging aplicadas.

A criação do ambiente do Cloud Composer falhará se constraints/compute.disableSerialPortLogging for aplicada ao projeto de destino.

Diagnóstico

Para determinar se você foi afetado por esse problema, siga este procedimento:

Acesse o menu do GKE no Console do Cloud. Acesse o menu do GKE

Em seguida, selecione o cluster recém-criado. Verifique o seguinte erro:

Not all instances running in IGM after 123.45s.
Expect <number of desired instances in IGM>. Current errors:

Constraint constraints/compute.disableSerialPortLogging violated for
project <target project number>.

Alternativas:

  1. Desative a política da organização no projeto em que o ambiente do Cloud Composer será criado.

    Uma política da organização sempre pode ser desativada para envolvidos no projeto, mesmo se os recursos pai (organização ou pasta) tiverem essa política ativada. Consulte a página Como personalizar políticas de restrições booleanas para mais detalhes.

  2. Usar filtros de exclusão

    Usar um filtro de exclusão para registros de porta serial tem a mesma meta que a desativação da política organizacional, já que haverá registros do console serial no Logging. Para mais detalhes, consulte a página Filtros de exclusão.

Uso do Deployment Manager para gerenciar recursos do GCP protegidos pelo VPC Service Controls

O Composer usa o Deployment Manager para criar componentes de ambientes do Cloud Composer.

Em dezembro de 2020, talvez você tenha recebido informações dizendo que precisa executar mais configurações do VPC Service Controls para poder gerenciar recursos protegidos pelo VPC Service Controls usando o Deployment Manager.

Gostaríamos de esclarecer queNenhuma ação porque você está usando o Composer enão usando o Deployment Manager diretamente para gerenciar os recursos do GCP mencionados no anúncio do Deployment Manager.

Não é possível excluir um ambiente após a exclusão do cluster do GKE

Se você excluir o cluster do ambiente antes do ambiente, as tentativas de excluir o resultado resultarão no erro a seguir:

 Got error "" during CP_DEPLOYMENT_DELETING [Rerunning Task. ]

Para excluir um ambiente quando o cluster do GKE já tiver sido excluído:

  1. Abra a página do Deployment Manager no console do Google Cloud.

    Abrir a página do Deployment Manager

  2. Encontre todas as implantações marcadas com rótulos:

    • goog-composer-environment:<environment-name>
    • goog-composer-location:<environment-location>

    Você verá duas implantações marcadas com os rótulos descritos:

    • Uma implantação chamada <environment-location>-<environment-name-prefix>-<hash>-sd
    • Uma implantação chamada addons-<uuid>
  3. Exclua manualmente os recursos que ainda estão listados nessas duas implantações e existem no projeto (por exemplo, tópicos e assinaturas do Pub/Sub). Sendo assim:

    1. Selecione as implantações.

    2. Clique em Excluir.

    3. Selecione a opção Excluir 2 implantações e todos os recursos criados por elas, como VMs, balanceadores de carga e discos e clique em Excluir tudo.

    A operação de exclusão falha, mas os recursos restantes são excluídos.

  4. Exclua as implantações usando uma destas opções:

    • No Console do Google Cloud, selecione as duas implantações novamente. Clique em Excluir e selecione a opção Excluir 2 implantações, mas manter os recursos criados por elas.

    • Execute um comando gcloud para excluir as implantações com a política ABANDON:

      gcloud deployment-manager deployments delete addons-<uuid> \
          --delete-policy=ABANDON
      
      gcloud deployment-manager deployments delete <location>-<env-name-prefix>-<hash>-sd \
          --delete-policy=ABANDON
      
  5. Exclua o ambiente do Cloud Composer.

O Deployment Manager exibe informações sobre um recurso incompatível

Você verá o seguinte aviso na guia do Deployment Manager:

The deployment uses actions, which are an unsupported feature. We recommend
that you avoid using actions.

Para as implantações do Deployment Manager de propriedade do Cloud Composer, ignore esse aviso.

Avisos sobre entradas duplicadas da tarefa "echo" que pertencem ao DAG "echo-airflow_monitoring"

É possível ver a seguinte entrada nos registros do Airflow:

in _query db.query(q) File "/opt/python3.6/lib/python3.6/site-packages/MySQLdb/
connections.py", line 280, in query _mysql.connection.query(self, query)
_mysql_exceptions.IntegrityError: (1062, "Duplicate entry
'echo-airflow_monitoring-2020-10-20 15:59:40.000000' for key 'PRIMARY'")

Ignore essas entradas de registro, porque esse erro não afeta o DAG do Airflow e o processamento da tarefa.

Estamos trabalhando para melhorar o serviço do Cloud Composer para remover esses avisos dos registros do Airflow.

A criação do ambiente do Cloud Composer falha quando a política compute.requireOsLogin está ativada

Se a política compute.requireOsLogin estiver definida como true no projeto, as operações de criação do ambiente do Cloud Composer falharão.

Para criar ambientes do Cloud Composer, desative essa política no projeto.

Para mais informações sobre essa política organizacional, consulte Restrições da política da organização.

A criação do ambiente do Cloud Composer falha quando a política compute.vmExternalIpAccess ou compute.vmCanIpForward é desativada

Os clusters GKE de propriedade do Cloud Composer exigem que essas duas políticas sejam ativadas para suas VMs.

Para mais informações sobre essa política organizacional, consulte Restrições da política da organização.