Consulte os conectores compatíveis com a Application Integration.

Dataflow: tarefa de criar job

Visualização

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

A tarefa Dataflow - Create Job permite criar um job no Cloud Dataflow para executar um pipeline de dados criado usando um dos SDKs do Apache Beam.

O Cloud Dataflow é um serviço do Google Cloud totalmente gerenciado para executar pipelines de processamento de dados em lote e de stream.

Antes de começar

Execute as seguintes tarefas no projeto do Google Cloud antes de configurar a tarefa Dataflow - Create Job:

1. Ative a API Dataflow (dataflow.googleapis.com).

   Ativar a API Dataflow

2. Criar um perfil de autenticação. A Application Integration usa um perfil de autenticação para se conectar a um endpoint de autenticação para a tarefa Dataflow - Criar job.

   Para informações sobre como conceder papéis ou permissões adicionais a uma conta de serviço, consulte Como conceder, alterar e revogar acesso.

Configurar a tarefa "Dataflow: Criar job"

1. No console do Google Cloud, acesse a página Application Integration.

   Acessar o Application Integration

2. No menu de navegação, clique em Integrações.

   A página Integrações aparece listando todas as integrações disponíveis no projeto do Google Cloud.

3. Selecione uma integração existente ou clique em Criar integração para criar uma nova.

   Se você estiver criando uma integração:

   1. Digite um nome e uma descrição no painel Create Integration.
   2. Selecione uma região para a integração.
      Observação: o menu suspenso Regiões lista apenas as regiões provisionadas no projeto do Google Cloud. Para provisionar uma nova região, clique em Ativar região. Consulte Ativar nova região para obter mais informações.
   3. Selecione uma conta de serviço para a integração. Você pode mudar ou atualizar os detalhes da conta de serviço de uma integração a qualquer momento no painel Resumo da integração na barra de ferramentas.
      Observação:a opção de selecionar uma conta de serviço só vai aparecer se você tiver ativado a governança de integração na região selecionada.
   4. Clique em Criar.

   Isso abre a integração na página do editor de integração.

4. Na barra de navegação do editor de integração, clique em Tarefas para conferir a lista de tarefas disponíveis.
5. Clique e coloque o elemento Dataflow - Criar job no editor de integração.
6. Clique no elemento Dataflow - Create Job no designer para ver o painel de configuração de tarefa Dataflow - Create Job.
7. Acesse Autenticação e selecione o perfil de autenticação que você quer usar.

   Opcional. Se você não tiver criado um perfil de autenticação antes de configurar a tarefa, clique em + Novo perfil de autenticação e siga as etapas em Criar um novo perfil de autenticação.

8. Acesse Entrada de tarefas e configure os campos de entrada exibidos com a tabela Parâmetros de entrada de tarefas.

   As mudanças nos campos de entrada são salvas automaticamente.

Parâmetros de entrada da tarefa

A tabela a seguir descreve os parâmetros de entrada da tarefa Dataflow - Create Job:

Propriedade	Tipo de dados	Descrição
Região	String	Local do Cloud Dataflow para o job.
ProjectsId	String	É o ID do seu projeto no Google Cloud.
Local	String	O endpoint regional que contém este job.
Solicitação	JSON	Consulte Estrutura de solicitação JSON.

Saída da tarefa

A tarefa Dataflow - Create Job retorna a instância recém-criada do Job.

Estratégia de solução de erros

A estratégia de solução de erros para uma tarefa especifica a ação a ser realizada se a tarefa falhar devido a um erro temporário. Para mais informações sobre como usar uma estratégia de tratamento de erros e conhecer os diferentes tipos de estratégias de tratamento de erros, consulte Estratégias de tratamento de erros.

A seguir

1. Adicione bordas e condições de borda.
2. Teste e publique sua integração.
3. Configure um gatilho.
4. Adicione uma tarefa de mapeamento de dados.
5. Confira todas as tarefas para os serviços do Google Cloud.