Reutilizar clusters

Esta página descreve como reutilizar clusters do Dataproc para suas execuções de pipeline no Cloud Data Fusion. Para mais informações, consulte Quando reutilizar clusters e Executar um pipeline em um cluster do Dataproc.

Antes de começar

  • É necessário ter uma instância do Cloud Data Fusion na versão 6.5.0 ou mais recente.

Ativar a reutilização de clusters

É possível reutilizar clusters em um novo perfil de computação ou em um que tenha sido usado em um pipeline implantado.

Ativar a reutilização de clusters em um novo perfil

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Clique em Administrador do sistema > Configuração > Perfis de computação do sistema.

  3. Clique em Criar novo perfil.

  4. Escolha o provisionador do Dataproc.

  5. Na janela Criar um perfil para o Dataproc, insira os detalhes do cluster:

    1. Nos campos Rótulo do perfil e Nome do perfil, insira um nome para identificar o perfil, por exemplo, execution_compute-profile.
    2. No campo Descrição, descreva o objetivo do perfil, por exemplo, Profile used for pipeline execution.
    3. No campo Tempo máximo de inatividade, insira um valor. Para mais informações, consulte Definir o tempo máximo de inatividade.
    4. Defina o campo Ignorar exclusão de cluster como True. Para mais informações, consulte Quando reutilizar clusters.
    5. Opcional: configure outros campos opcionais.
    6. Clique em Criar.

Ativar a reutilização de clusters em um pipeline implantado

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Clique em Lista.

  3. Clique na guia Implantado e selecione um nome de pipeline. O pipeline implantado é aberto na página Studio na interface da Web do Cloud Data Fusion.

  4. Clique em Configurar.

  5. Na janela Compute config, acesse o perfil escolhido e clique em Customize.

  6. Na janela que abrir, insira os seguintes valores:

    1. No campo Tempo máximo de inatividade, insira um valor. Para mais informações, consulte Definir o tempo máximo de inatividade.
    2. Defina Ignorar exclusão de cluster como True. Para mais informações, consulte Quando reutilizar clusters.

  7. Clique em Concluído.

A seguir