Reutilizar clusters

Nesta página, descrevemos como reutilizar clusters do Dataproc para execuções de pipeline no Cloud Data Fusion. Para mais informações, consulte Quando reutilizar clusters e Executar um pipeline em um cluster atual do Dataproc.

Antes de começar

  • É preciso ter uma instância do Cloud Data Fusion na versão 6.5.0 ou mais recente.

Ativar a reutilização do cluster

É possível reutilizar clusters em um novo perfil de computação ou em um que tenha sido usado em um pipeline implantado.

Ativar a reutilização de clusters em um novo perfil

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Studio do Cloud Data Fusion, Clique em Instâncias e depois em Visualizar instância.

      Acesse "Instâncias"

  2. Clique em Administrador do sistema > Configuração > Perfis de computação do sistema.

  3. Clique em Criar novo perfil.

  4. Escolha o provisionador do Dataproc.

  5. Na janela Criar um perfil para o Dataproc, insira os detalhes sobre o cluster:

    1. Nos campos Rótulo do perfil e Nome do perfil, insira um nome para identificar o perfil, por exemplo, execution_compute-profile.
    2. No campo Descrição, descreva a finalidade do perfil, por exemplo, Profile used for pipeline execution.
    3. No campo Tempo máximo de inatividade, digite um valor. Para mais informações, consulte Definir o tempo máximo de inatividade.
    4. Defina o campo Pular exclusão do cluster como True. Para mais informações, consulte Quando reutilizar clusters.
    5. Opcional: configure outros campos opcionais.
    6. Clique em Criar.

Ativar a reutilização de clusters em um pipeline implantado

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Studio do Cloud Data Fusion, Clique em Instâncias e depois em Visualizar instância.

      Acesse "Instâncias"

  2. Clique em Lista.

  3. Clique na guia Implantado e depois no nome de um pipeline. O pipeline implantado é aberto na página do Studio na interface da Web do Cloud Data Fusion.

  4. Clique em Configurar.

  5. Na janela Configuração do Compute, acesse o perfil escolhido e clique em Personalizar.

  6. Na janela que aparece, insira os seguintes valores:

    1. No campo Tempo máximo de inatividade, insira um valor. Para mais informações, consulte Definir o tempo máximo de inatividade.
    2. Defina Pular exclusão do cluster como True. Para mais informações, consulte Quando reutilizar clusters.

  7. Clique em Concluído.

A seguir