Criar fluxos de trabalho

Visualização

Este produto está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço Gerais" dos Termos Específicos do Serviço. Os produtos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Para solicitar suporte ou enviar feedback sobre esse recurso, envie um e-mail para [e-mail].

Neste documento, descrevemos como criar fluxos de trabalho no BigQuery. Workflows são gerados pelo Dataform.

Antes de começar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

8. Siga as instruções em Ativar o gerenciamento de recursos de código para salvar, compartilhar e gerenciar versões de recursos de código, como fluxos de trabalho.
9. Se esta for a primeira vez que você cria um recurso de código, defina a região padrão para armazenar recursos de código. Não é possível alterar a região de um recurso de código depois que ele é criado.

Funções exigidas

Para receber as permissões necessárias para criar fluxos de trabalho, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

• Para criar fluxos de trabalho: Criador de código (roles/dataform.codeCreator)
• Para editar e executar fluxos de trabalho: Editor do Dataform (roles/dataform.editor)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para mais informações sobre o IAM do Dataform, consulte Controle de acesso com o IAM.

Observação: ao criar um fluxo de trabalho, o BigQuery concede a você a função de administrador do Dataform (roles/dataform.admin) especificamente para esse fluxo de trabalho. Assim, você tem acesso de proprietário para gerenciar e editar o domínio. Qualquer pessoa que receber a função de administrador do Dataform no projeto do Google Cloud terá acesso de proprietário a todos os fluxos de trabalho desse projeto.

Criar um fluxo de trabalho

Para criar um fluxo de trabalho, siga estas etapas:

1. Acessar a página do BigQuery.

   Ir para o BigQuery

2. Na barra de guias do painel do editor, clique no menu suspenso da seta ao lado do sinal + e em Fluxo de trabalho.

3. Opcional: para renomear o fluxo de trabalho, clique no nome dele e digite um novo nome.

4. Clique em Começar e acesse a guia Configurações.

5. No campo Conta de serviço, selecione uma conta de serviço do Dataform.

6. Na seção Local, selecione uma região de processamento para o fluxo de trabalho.

   1. Para selecionar uma região específica, selecione Região e escolha uma no menu suspenso Região.
   2. Para selecionar uma multirregião, selecione Multirregião e escolha uma no menu suspenso Multirregião.

   A região de processamento do fluxo de trabalho não precisa corresponder à região de armazenamento padrão para recursos de código.

7. Se você planeja adicionar um notebook ao seu fluxo de trabalho, faça o seguinte:

   1. No campo Bucket do Cloud Storage, clique em Procurar e selecione ou crie um bucket do Cloud Storage para armazenar a saída dos notebooks no fluxo de trabalho.

   2. Siga as instruções em Adicionar um principal a uma política no nível do bucket para adicionar a conta de serviço personalizada do Dataform como um principal ao bucket do Cloud Storage que você planeja usar para armazenar a saída de execuções de fluxo de trabalho programadas e conceda o papel de administrador do Storage (roles/storage.admin) a esse principal.

      A conta de serviço personalizada do Dataform selecionada precisa receber o papel do IAM "Administrador de armazenamento" no bucket selecionado.

Adicionar uma tarefa de fluxo de trabalho

Para adicionar uma tarefa a um fluxo de trabalho, siga estas etapas:

1. No console do Google Cloud, acesse a página do BigQuery.

   Ir para o BigQuery

2. No painel Análises, expanda o projeto e a pasta Fluxos de trabalho e selecione um fluxo de trabalho.

3. Para adicionar uma consulta SQL ou um notebook, faça o seguinte:

   Consulta SQL

   1. Clique em Adicionar tarefa e selecione Consulta.

   2. Opcional: no painel Detalhes da tarefa de consulta, no menu suspenso Executar depois, selecione uma tarefa que vai preceder a consulta.

      Sua consulta vai depender da tarefa anterior.

   3. Para criar a consulta, clique em Criar consulta.

   4. Na nova consulta, adicione a sintaxe e clique em Salvar consulta.

   5. Opcional: para renomear a consulta, clique no nome dela e digite um novo nome.

   Notebook

   1. Clique em Adicionar tarefa e selecione Notebook.

   2. Opcional: no painel Detalhes da tarefa do notebook, no menu suspenso Executar depois, selecione uma tarefa que vai preceder o notebook.

      Seu notebook vai depender da tarefa anterior.

   3. Para criar o notebook, clique em Criar bloco de notas.

   4. No novo caderno, adicione conteúdo e clique em Salvar.

   5. Opcional: para renomear o notebook, clique no nome dele e digite um novo nome.

Editar uma tarefa de fluxo de trabalho

Para editar uma tarefa de fluxo de trabalho, siga estas etapas:

1. No console do Google Cloud, acesse a página do BigQuery.

   Ir para o BigQuery

2. No painel Análises, expanda o projeto e a pasta Fluxos de trabalho e selecione um fluxo de trabalho.

3. Clique na tarefa selecionada.

4. Para mudar a tarefa anterior, no menu suspenso Executar depois, selecione uma tarefa que vai preceder o notebook.

5. Para editar o conteúdo da tarefa selecionada, clique em Editar.

6. Na nova guia aberta, edite o conteúdo da tarefa e salve as alterações.

Excluir uma tarefa de fluxo de trabalho

Para excluir uma tarefa de um fluxo de trabalho, siga estas etapas:

1. No console do Google Cloud, acesse a página do BigQuery.

   Ir para o BigQuery

2. No painel Análises, expanda o projeto e a pasta Fluxos de trabalho e selecione um fluxo de trabalho.

3. Clique na tarefa selecionada.

4. No painel Detalhes da tarefa, clique no ícone ExcluirExcluir.

Executar um fluxo de trabalho

Para executar manualmente a versão atual de um fluxo de trabalho, siga estas etapas:

1. No console do Google Cloud, acesse a página do BigQuery.

   Ir para o BigQuery

2. No painel Análises, expanda o projeto e a pasta Fluxos de trabalho e selecione um fluxo de trabalho.

3. Clique em Executar.

4. Opcional: para inspecionar a execução, confira as execuções manuais anteriores.

A seguir

• Saiba mais sobre fluxos de trabalho no BigQuery.
• Saiba como gerenciar fluxos de trabalho.