Consulte os conectores compatíveis com o Application Integration.
Dataflow: tarefa de criar job
A tarefa Dataflow - Create Job permite criar um job no Cloud Dataflow para executar um pipeline de dados criado usando um dos SDKs do Apache Beam.
O Cloud Dataflow é um serviço do Google Cloud totalmente gerenciado para executar pipelines de processamento de dados em lote e de stream.
Antes de começar
Execute as seguintes tarefas no projeto do Google Cloud antes de configurar a tarefa Dataflow - Create Job:
- Ative a API Dataflow (
dataflow.googleapis.com
). - Criar um perfil de autenticação. O Application Integration usa um perfil de autenticação para se conectar a um endpoint de autenticação para a tarefa Dataflow - Criar job.
Para informações sobre como conceder papéis ou permissões adicionais a uma conta de serviço, consulte Como conceder, alterar e revogar acesso.
Configurar a tarefa "Dataflow: Criar job"
- No console do Google Cloud, acesse a página Application Integration.
- No menu de navegação, clique em Integrações.
A página Integrações aparece listando todas as integrações disponíveis no projeto do Google Cloud.
- Selecione uma integração ou clique em Criar integração para criar uma nova.
Caso você esteja criando uma nova integração, siga estas etapas:
- Insira um nome e uma descrição no painel Criar integração.
- Selecione uma região para a integração.
- Selecione uma conta de serviço para a integração. Você pode mudar ou atualizar os detalhes da conta de serviço de uma integração a qualquer momento no painel Resumo da integração na barra de ferramentas da integração.
- Clique em Criar.
Isso abre a integração na página do editor de integração.
- Na barra de navegação do editor de integração, clique em Tarefas para conferir a lista de tarefas e conectores disponíveis.
- Clique e coloque o elemento Dataflow - Create Job no editor de integração.
- Clique no elemento Dataflow - Create Job no designer para ver o painel de configuração de tarefa Dataflow - Create Job.
- Acesse Autenticação e selecione o perfil de autenticação que você quer usar.
Opcional. Se você não tiver criado um perfil de autenticação antes de configurar a tarefa, clique em + Novo perfil de autenticação e siga as etapas em Criar um novo perfil de autenticação.
- Acesse Entrada de tarefas e configure os campos de entrada exibidos com a tabela Parâmetros de entrada de tarefas.
As mudanças nos campos de entrada são salvas automaticamente.
Parâmetros de entrada da tarefa
A tabela a seguir descreve os parâmetros de entrada da tarefa Dataflow - Create Job:
Propriedade | Tipo de dados | Descrição |
---|---|---|
Região | String | Local do Cloud Dataflow para o job. |
ProjectsId | String | É o ID do seu projeto no Google Cloud. |
Local | String | O endpoint regional que contém este job. |
Solicitação | JSON | Consulte Estrutura de solicitação JSON. |
Saída da tarefa
A tarefa Dataflow - Create Job retorna a instância recém-criada do Job.
Estratégia de solução de erros
A estratégia de solução de erros para uma tarefa especifica a ação a ser realizada se a tarefa falhar devido a um erro temporário. Para mais informações sobre como usar uma estratégia de tratamento de erros e conhecer os diferentes tipos de estratégias de tratamento de erros, consulte Estratégias de tratamento de erros.
Cotas e limites
Para informações sobre o assunto, consulte Cotas e limites.
A seguir
- Adicione bordas e condições de borda.
- Teste e publique sua integração.
- Configure um gatilho.
- Adicione uma tarefa de mapeamento de dados.
- Confira todas as tarefas para os serviços do Google Cloud.