Resolver problemas ao excluir clusters

Nesta página, mostramos como resolver problemas com a exclusão de clusters temporários do Dataproc no Cloud Data Fusion.

Quando o Cloud Data Fusion cria um cluster temporário do Dataproc durante o provisionamento de execução do pipeline, o cluster é excluído após a conclusão da execução do pipeline. Em casos raros, a exclusão do cluster falha.

Altamente recomendável: faça upgrade para a versão mais recente do Cloud Data Fusion para garantir a manutenção adequada do cluster.

Definir tempo máximo de inatividade

Para resolver esse problema, configure o valor de Tempo máximo de inatividade. Isso permite que o Dataproc exclua clusters automaticamente, mesmo que uma chamada explícita na conclusão do pipeline falhe.

Max Idle Time está disponível nas versões 6.4 e mais recentes do Cloud Data Fusion.

No Cloud Data Fusion 6.6 e versões posteriores, o Tempo máximo de inatividade é definido como quatro horas por padrão.

Para modificar o tempo padrão no perfil de computação padrão, siga estas etapas:

  1. Abra a instância na interface da Web do Cloud Data Fusion.
  2. Clique em Administrador do sistema > Configuração > Preferências do sistema.
  3. Clique em Edit System Preferences e adicione a chave system.profile.properties.idleTTL e o valor no formato IntegerUnit, como 30m.

Recomendado: para versões anteriores à 6.6, defina Max Idle Time manualmente como 30 minutos ou mais.

Excluir clusters manualmente

Se não for possível fazer upgrade da versão ou configurar a opção Max Idle Time, exclua os clusters desatualizados manualmente:

  1. Consiga cada ID do projeto em que os clusters foram criados:

    1. Nos argumentos de ambiente de execução do pipeline, verifique se o ID do projeto do Dataproc está personalizado para a execução.

      Verifique se o ID do projeto do Dataproc está personalizado para a execução

    2. Se um ID de projeto do Dataproc não for especificado explicitamente, determine qual provisionador é usado e, em seguida, verifique o ID do projeto:

      1. Nos argumentos do ambiente de execução do pipeline, verifique o valor system.profile.name.

        Acessar o nome do provisionador nos argumentos do ambiente de execução

      2. Abra as configurações do provisionador e verifique se o ID do projeto do Dataproc está definido. Se a configuração não estiver presente ou o campo estiver vazio, será usado o projeto em que a instância do Cloud Data Fusion está sendo executada.

  2. Para cada projeto:

    1. Abra o projeto no console do Google Cloud e acesse a página Clusters do Dataproc.

      Acessar Clusters

    2. Ordene os clusters pela data de criação, do mais antigo ao mais recente.

    3. Se o painel de informações estiver oculto, clique em Mostrar painel de informações e acesse a guia Rótulos.

    4. Para cada cluster que não estiver em uso (por exemplo, se passou mais de um dia), verifique se há um rótulo de versão do Cloud Data Fusion. Isso indica que ele foi criado pelo Cloud Data Fusion.

    5. Marque a caixa de seleção ao lado do nome do cluster e clique em Excluir.

Pular exclusão do cluster

Para fins de depuração, é possível interromper a exclusão automática de um cluster temporário.

Para interromper a exclusão, defina a propriedade Skip Cluster Deletion como True. É necessário excluir manualmente o cluster depois de concluir a depuração.