Consulte os conectores compatíveis com o Application Integration.

Dataflow: tarefa de criar job

A tarefa Dataflow - Create Job permite criar um job no Cloud Dataflow para executar um pipeline de dados criado usando um dos SDKs do Apache Beam.

O Cloud Dataflow é um serviço do Google Cloud totalmente gerenciado para executar pipelines de processamento de dados em lote e de stream.

Antes de começar

Execute as seguintes tarefas no projeto do Google Cloud antes de configurar a tarefa Dataflow - Create Job:

  1. Ative a API Dataflow (dataflow.googleapis.com).

    Ativar a API Dataflow

  2. Criar um perfil de autenticação. O Application Integration usa um perfil de autenticação para se conectar a um endpoint de autenticação para a tarefa Dataflow - Criar job.

    Para informações sobre como conceder papéis ou permissões adicionais a uma conta de serviço, consulte Como conceder, alterar e revogar acesso.

Configurar a tarefa "Dataflow: Criar job"

  1. No console do Google Cloud, acesse a página Application Integration.

    Acessar o Application Integration

  2. No menu de navegação, clique em Integrações.

    A página Integrações aparece listando todas as integrações disponíveis no projeto do Google Cloud.

  3. Selecione uma integração ou clique em Criar integração para criar uma nova.

    Caso você esteja criando uma nova integração, siga estas etapas:

    1. Insira um nome e uma descrição no painel Criar integração.
    2. Selecione uma região para a integração.
    3. Selecione uma conta de serviço para a integração. Você pode mudar ou atualizar os detalhes da conta de serviço de uma integração a qualquer momento no painel Resumo da integração na barra de ferramentas da integração.
    4. Clique em Criar.

    Isso abre a integração na página do editor de integração.

  4. Na barra de navegação do editor de integração, clique em Tarefas para conferir a lista de tarefas e conectores disponíveis.
  5. Clique e coloque o elemento Dataflow - Create Job no editor de integração.
  6. Clique no elemento Dataflow - Create Job no designer para ver o painel de configuração de tarefa Dataflow - Create Job.
  7. Acesse Autenticação e selecione o perfil de autenticação que você quer usar.

    Opcional. Se você não tiver criado um perfil de autenticação antes de configurar a tarefa, clique em + Novo perfil de autenticação e siga as etapas em Criar um novo perfil de autenticação.

  8. Acesse Entrada de tarefas e configure os campos de entrada exibidos com a tabela Parâmetros de entrada de tarefas.

    As mudanças nos campos de entrada são salvas automaticamente.

Parâmetros de entrada da tarefa

A tabela a seguir descreve os parâmetros de entrada da tarefa Dataflow - Create Job:

Propriedade Tipo de dados Descrição
Região String Local do Cloud Dataflow para o job.
ProjectsId String É o ID do seu projeto no Google Cloud.
Local String O endpoint regional que contém este job.
Solicitação JSON Consulte Estrutura de solicitação JSON.

Saída da tarefa

A tarefa Dataflow - Create Job retorna a instância recém-criada do Job.

Estratégia de solução de erros

A estratégia de solução de erros para uma tarefa especifica a ação a ser realizada se a tarefa falhar devido a um erro temporário. Para mais informações sobre como usar uma estratégia de tratamento de erros e conhecer os diferentes tipos de estratégias de tratamento de erros, consulte Estratégias de tratamento de erros.

Cotas e limites

Para informações sobre o assunto, consulte Cotas e limites.

A seguir