Dataflow: tarefa de criar job

A tarefa Dataflow - Create Job permite criar um job no Cloud Dataflow para executar um pipeline de dados criado usando um dos SDKs do Apache Beam.

O Cloud Dataflow é um serviço do Google Cloud totalmente gerenciado para executar pipelines de processamento de dados em lote e de stream.

Antes de começar

Execute as seguintes tarefas no projeto do Google Cloud antes de configurar a tarefa Dataflow - Create Job:

  1. Ative a API Dataflow (dataflow.googleapis.com).

    Ativar a API Dataflow

  2. Criar um perfil de autenticação. A integração da Apigee usa um perfil de autenticação para se conectar a um endpoint de autenticação para a tarefa Dataflow - Create Job.

    Para informações sobre como conceder papéis ou permissões adicionais a uma conta de serviço, consulte Como conceder, alterar e revogar acesso.

Configurar a tarefa "Dataflow: Criar job"

  1. Na IU da Apigee, selecione sua organização da Apigee.
  2. Clique em Desenvolver > Integrações.
  3. Selecione uma integração existente ou clique em Criar integração.

    Caso você esteja criando uma nova integração, siga estas etapas:

    1. Digite um nome e uma descrição na caixa de diálogo Criar integração.
    2. Selecione uma Região para a integração na lista de regiões compatíveis.
    3. Clique em Criar.

    Isso abre a integração na página do designer de integração.

  4. Na barra de navegação do designer de integração, clique em +Adicionar uma tarefa/gatilho> Tarefas para ver a lista de tarefas disponíveis.
  5. Clique e coloque o elemento Dataflow - Create Job no designer de integração.
  6. Clique no elemento Dataflow - Create Job no designer para ver o painel de configuração de tarefa Dataflow - Create Job.
  7. Acesse Autenticação e selecione o perfil de autenticação que você quer usar.

    Opcional. Se você não tiver criado um perfil de autenticação antes de configurar a tarefa, clique em + Novo perfil de autenticação e siga as etapas em Criar um novo perfil de autenticação.

  8. Acesse Entrada de tarefas e configure os campos de entrada exibidos com a tabela Parâmetros de entrada de tarefas.

    As mudanças nos campos de entrada são salvas automaticamente.

Parâmetros de entrada da tarefa

A tabela a seguir descreve os parâmetros de entrada da tarefa Dataflow - Create Job:

Propriedade Tipo de dados Descrição
Região String Local do Cloud Dataflow para o job.
ProjectsId String É o ID do seu projeto no Google Cloud.
Local String O endpoint regional que contém este job.
Solicitação JSON Consulte Estrutura de solicitação JSON.

Saída da tarefa

A tarefa Dataflow - Create Job retorna a instância recém-criada do Job.

Estratégia de solução de erros

A estratégia de solução de erros para uma tarefa especifica a ação a ser realizada se a tarefa falhar devido a um erro temporário. Para mais informações sobre como usar uma estratégia de tratamento de erros e conhecer os diferentes tipos de estratégias de tratamento de erros, consulte Estratégias de tratamento de erros.

A seguir

  1. Adicione bordas e condições de borda.
  2. Teste e publique sua integração.
  3. Configure um gatilho.
  4. Adicione uma tarefa de mapeamento de dados.
  5. Confira todas as tarefas para os serviços do Google Cloud.