Executar um pipeline em um cluster atual do Dataproc

Nesta página, descrevemos como executar um pipeline no Cloud Data Fusion em um cluster atual do Dataproc.

Por padrão, o Cloud Data Fusion cria clusters efêmeros para cada pipeline: cria um cluster no início da execução do pipeline e o exclui após a conclusão da execução do pipeline. Embora esse comportamento economize custos, garantindo que os recursos sejam criados somente quando necessário, esse comportamento padrão pode não ser desejável nos seguintes cenários:

  • Se o tempo necessário para criar um novo cluster para cada pipeline for adequado para seu caso de uso.

  • Se a organização exigir que a criação de cluster seja gerenciada centralmente; por exemplo, quando você quiser aplicar políticas específicas a todos os clusters do Dataproc.

Para esses cenários, execute pipelines em um cluster atual seguindo as etapas a seguir.

Antes de começar

Você precisará do seguinte:

Conectar ao cluster

Nas versões 6.2.1 e posteriores do Cloud Data Fusion, é possível se conectar a um cluster atual do Dataproc quando você cria um novo perfil do Compute Engine.

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Clique em Administrador do sistema.

  3. Clique na guia Configuração.

  4. Clique em Perfis de computação do sistema.

  5. Clique em Criar novo perfil. Uma página de provisionadores será aberta.

  6. Clique em Dataproc atual.

  7. Insira as informações do perfil, do cluster e de monitoramento.

  8. Clique em Criar.

Configurar o pipeline para usar o perfil personalizado

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Acesse o pipeline na página Studio.

  3. Clique em Configurar.

  4. Clique em Compute config.

  5. Clique no perfil que você criou.

    Use o perfil personalizado.
    Figura 1: clique no perfil personalizado

  6. Executar o pipeline. Ele é executado no cluster atual do Dataproc.

A seguir