Resolva problemas de eliminação de clusters

Esta página mostra como resolver problemas com a eliminação de clusters Dataproc efémeros no Cloud Data Fusion.

Quando o Cloud Data Fusion cria um cluster Dataproc efémero durante o aprovisionamento da execução do pipeline, o cluster é eliminado após a conclusão da execução do pipeline. Em casos raros, a eliminação do cluster falha.

Fortemente recomendado: atualize para a versão mais recente do Cloud Data Fusion para garantir a manutenção adequada do cluster.

Defina o tempo máximo de inatividade

Para resolver este problema, configure o valor de Tempo de inatividade máximo. Isto permite que o Dataproc elimine automaticamente os clusters, mesmo que uma chamada explícita na conclusão do pipeline falhe.

O Max Idle Time está disponível nas versões 6.4 e posteriores do Cloud Data Fusion.

No Cloud Data Fusion 6.6 e posteriores, o tempo de inatividade máximo está definido como 4 horas por predefinição.

Para substituir a hora predefinida no perfil de computação predefinido, siga estes passos:

  1. Abra a instância na interface Web do Cloud Data Fusion.
  2. Clique em Administrador do sistema > Configuração > Preferências do sistema.
  3. Clique em Editar preferências do sistema e adicione a chave system.profile.properties.idleTTL e o valor, no formato IntegerUnit, como 30m.

Recomendado: para versões anteriores à 6.6, defina Max Idle Time manualmente para 30 minutos ou mais.

Elimine clusters manualmente

Se não conseguir atualizar a sua versão nem configurar a opção Max Idle Time, elimine manualmente os clusters desatualizados:

  1. Obtenha o ID de cada projeto onde os clusters foram criados:

    1. Nos argumentos de tempo de execução do pipeline, verifique se o ID do projeto do Dataproc está personalizado para a execução.

      Verifique se o ID do projeto do Dataproc está personalizado para a execução

    2. Se um ID do projeto do Dataproc não for especificado explicitamente, determine que aprovisionador é usado e, em seguida, verifique se existe um ID do projeto:

      1. Nos argumentos de tempo de execução do pipeline, verifique o valor system.profile.name.

        Obtenha o nome do aprovisionador nos argumentos de tempo de execução

      2. Abra as definições do aprovisionador e verifique se o ID do projeto do Dataproc está definido. Se a definição não estiver presente ou o campo estiver vazio, é usado o projeto no qual a instância do Cloud Data Fusion está a ser executada.

  2. Para cada projeto:

    1. Abra o projeto na Google Cloud consola e aceda à página Clusters do Dataproc.

      Aceda a Clusters

    2. Ordene os clusters pela data de criação, do mais antigo para o mais recente.

    3. Se o painel de informações estiver oculto, clique em Mostrar painel de informações e aceda ao separador Etiquetas.

    4. Para cada cluster que não esteja em utilização, por exemplo, se tiver passado mais de um dia, verifique se tem uma etiqueta de versão do Cloud Data Fusion. Isto é uma indicação de que foi criado pelo Cloud Data Fusion.

    5. Selecione a caixa de verificação junto ao nome do cluster e clique em Eliminar.

Ignorar eliminação de cluster

Para fins de depuração, pode parar a eliminação automática de um cluster efémero.

Para parar a eliminação, defina a propriedade Skip Cluster Deletion como True. Tem de eliminar manualmente o cluster depois de terminar a depuração.