Gerenciamento de fluxos de trabalho

Este documento descreve como gerenciar fluxos de trabalho, incluindo como programar e excluir fluxos de trabalho.

Este documento também descreve como visualizar e gerenciar metadados de fluxo de trabalho no Dataplex.

Os fluxos de trabalho são gerados pelo Dataform.

Antes de começar

  1. Crie um fluxo de trabalho.
  2. Para gerenciar metadados de fluxo de trabalho no Dataplex, verifique se a API Dataplex está ativada no seu projeto Google Cloud .

Funções exigidas

Para conseguir as permissões necessárias para gerenciar fluxos de trabalho, peça ao administrador para conceder a você os papéis do IAM a seguir:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para gerenciar metadados de fluxo de trabalho no Dataplex, verifique se você tem as funções do Dataplex necessárias.

Para mais informações sobre o IAM do Dataform, consulte Controle de acesso com o IAM.

Ver todos os fluxos de trabalho

Para conferir uma lista de todos os fluxos de trabalho no seu projeto, faça o seguinte:

  1. No console do Google Cloud , acesse a página BigQuery.

    Ir para o BigQuery

  2. No painel Explorer, clique em e abra Fluxos de trabalho.

Conferir execuções manuais anteriores

Para conferir as execuções manuais anteriores de um fluxo de trabalho selecionado, siga estas etapas:

  1. No console do Google Cloud , acesse a página BigQuery.

    Ir para o BigQuery

  2. No painel Análises, expanda o projeto e a pasta Fluxos de trabalho e selecione um fluxo de trabalho.

  3. Clique em Execuções.

  4. Opcional: para atualizar a lista de execuções anteriores, clique em Atualizar.

Configurar alertas para execuções de fluxo de trabalho com falha

Cada fluxo de trabalho tem um ID de repositório do Dataform correspondente. Cada execução do fluxo de trabalho do BigQuery é registrada no Cloud Logging usando o ID do repositório do Dataform correspondente. Você pode usar o Cloud Monitoring para observar tendências nos registros do Cloud Logging para execuções de fluxo de trabalho do BigQuery e receber notificações quando as condições descritas ocorrerem.

Para receber alertas quando uma execução de fluxo de trabalho do BigQuery falhar, crie uma política de alerta baseada em registros para o ID de repositório do Dataform correspondente. Para instruções, consulte Configurar alertas para invocações de fluxo de trabalho com falha.

Para encontrar o ID do repositório do Dataform do seu fluxo de trabalho, faça o seguinte:

  1. No console do Google Cloud , acesse a página BigQuery.

    Ir para o BigQuery

  2. No painel Análises, expanda o projeto e a pasta Fluxos de trabalho e selecione um fluxo de trabalho.

  3. Clique em Configurações.

    O ID do repositório do Dataform do seu fluxo de trabalho é exibido na parte de baixo da guia Configurações.

Excluir um fluxo de trabalho

Para excluir um fluxo de trabalho permanentemente, siga estas etapas:

  1. No console do Google Cloud , acesse a página BigQuery.

    Ir para o BigQuery

  2. No painel Análises, abra o projeto e a pasta Fluxos de trabalho. Encontre o fluxo de trabalho que você quer excluir.

  3. Clique em Ver ações ao lado do fluxo de trabalho e clique em Excluir.

  4. Clique em Excluir.

Gerenciar metadados no Dataplex

Com o Dataplex, você pode armazenar e gerenciar metadados de fluxos de trabalho. Workflows estão disponíveis no Dataplex por padrão, sem configuração adicional.

É possível usar o Dataplex para gerenciar fluxos de trabalho em todos os locais de fluxo de trabalho. O gerenciamento de fluxos de trabalho no Dataplex está sujeito às cotas e limites do Dataplex e aos preços do Dataplex.

O Dataplex recupera automaticamente os seguintes metadados dos fluxos de trabalho:

  • Nome do recurso de dados
  • Pai do recurso de dados
  • Local do recurso de dados
  • Tipo de recurso de dados
  • Projeto Google Cloud correspondente

O Dataplex registra fluxos de trabalho como entradas com os seguintes valores de entrada:

Grupo de entrada do sistema
O grupo de entrada do sistema para fluxos de trabalho é @dataform. Para conferir os detalhes das entradas de fluxo de trabalho no Dataplex, você precisa acessar o grupo de entrada do sistema dataform. Para conferir instruções sobre como consultar uma lista de todas as entradas em um grupo, consulte Consultar detalhes de um grupo de entrada na documentação do Dataplex.
Tipo de entrada do sistema
O tipo de entrada do sistema para fluxos de trabalho é dataform-code-asset. Para conferir os detalhes dos fluxos de trabalho, você precisa acessar o tipo de entrada do sistema dataform-code-asset, filtrar os resultados com um filtro baseado em aspectos e definir o campo type dentro do aspecto dataform-code-asset como WORKFLOW. Em seguida, selecione uma entrada do fluxo de trabalho escolhido. Para instruções sobre como conferir os detalhes de um tipo de entrada selecionado, consulte Conferir os detalhes de um tipo de entrada na documentação do Dataplex. Para instruções sobre como conferir os detalhes de uma entrada selecionada, consulte Conferir os detalhes de uma entrada na documentação do Dataplex.
Tipo de aspecto do sistema
O tipo de aspecto do sistema para fluxos de trabalho é dataform-code-asset. Para fornecer mais contexto aos fluxos de trabalho no Dataplex anexando anotações às entradas de fluxo de trabalho de dados com aspectos, confira o tipo de aspecto dataform-code-asset, filtre os resultados com um filtro baseado em aspectos e defina o campo type dentro do aspecto dataform-code-asset como WORKFLOW. Para instruções sobre como anotar entradas com aspectos, consulte Gerenciar aspectos e enriquecer metadados na documentação do Dataplex.
Tipo
O tipo de telas de dados é WORKFLOW. Esse tipo permite filtrar fluxos de trabalho no tipo de entrada do sistema dataform-code-asset e no tipo de aspecto dataform-code-asset usando a consulta aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW em um filtro baseado em aspectos.

Para instruções sobre como pesquisar recursos no Dataplex, consulte Pesquisar recursos de dados no Dataplex na documentação do Dataplex.

A seguir