Exportar informações do job

Esta página descreve como exportar as informações dos seus jobs armazenados em lote para uma tabela do BigQuery usando fluxos de trabalho. Especifique como executar o fluxo de trabalho de jobs de exportação de exemplo e como visualizar as informações de job resultantes no BigQuery.

Exportar as informações de um job é útil quando você quer manter as informações depois que um job é excluído automaticamente ou manualmente ou analisar as informações fora do Batch. Como alternativa, se você quiser exportar apenas informações de mudança de estado de tarefas e jobs para o BigQuery, consulte Monitorar jobs usando notificações.

Para saber como exportar informações de jobs armazenadas em outros serviços do Google Cloud, consulte a documentação de exportação desse serviço. Por exemplo, consulte as seguintes páginas:

• Exportar registros do Cloud Logging.
• Exportar métricas do Cloud Monitoring.

Observação: Workflows e o BigQuery são separados Produtos do Google Cloud com preços próprios. Para mais informações, consulte Preços de fluxos de trabalho e Preços do BigQuery.

Antes de começar

1. Se você nunca usou o Batch antes, revise Introdução ao Batch e ativar o Batch. pré-requisitos para projetos e usuários.

2. Enable the BigQuery and Workflows APIs.

   Enable the APIs

3. Opcional: identificar um conjunto de dados ou tabela do BigQuery no projeto armazenar as informações da tarefa. Uma tabela precisa ter um esquema correspondente.

   Caso contrário, use o fluxo de trabalho de jobs de exportação para criar um novo conjunto de dados ou tabela.

4. Prepare uma conta de serviço para o fluxo de trabalho de jobs de exportação:

   1. Criar uma nova conta de serviço ou identificar uma conta de serviço atual.

   2. Para garantir que a conta de serviço tenha as permissões necessárias para executar o fluxo de trabalho de trabalhos de exportação, peça ao administrador para conceder à conta de serviço os seguintes papéis do IAM no projeto:

      • Gravar registros: Gravador de registros (roles/logging.logWriter)
      • Criar e editar conjuntos de dados e tabelas do BigQuery: Administrador do BigQuery (roles/bigquery.admin)
      • Acessar e excluir jobs em lote: Editor de jobs em lote (roles/batch.jobsEditor)

      Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

      O administrador também pode conceder à conta de serviço as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

5. Para receber as permissões necessárias para criar, implantar e executar o fluxo de trabalho de jobs de exportação, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

   • Ver vagas: Leitor de jobs em lote (roles/batch.jobsViewer)
   • Acessar contas de serviço: Acessar contas de serviço (roles/iam.serviceAccountViewer)
   • Veja as tabelas e os conjuntos de dados do BigQuery: Leitor de dados do BigQuery (roles/bigquery.dataViewer)
   • Criar, implantar e executar fluxos de trabalho: Editor do Workflows (roles/workflows.editor)

6. Verifique se os usuários no projeto podem visualizar as informações do job exportadas.

   Para garantir que um usuário tenha as permissões necessárias para exportar informações de jobs, peça ao administrador para conceder a um usuário o papel do IAM de Visualizador de dados do BigQuery (roles/bigquery.dataViewer) na tabela, no conjunto de dados ou no projeto.

   Observação:só é possível conceder acesso aos recursos atuais. A menos que você planeje exportar as informações do job para uma tabela ou um conjunto de dados preexistente, conceda esse acesso no projeto ou após exportar as informações do job.

Exportar informações do job

Esta seção explica como exportar informações de jobs usando o fluxo de trabalho de exportação de jobs, que é do exemplo de código export-to-bigquery. O fluxo de trabalho export-jobs exporta as informações dos jobs do projeto que estão na região especificada e atendem aos critérios de filtro especificados.

Importante: o fluxo de trabalho de exportação de jobs só pode exportar informações de jobs de uma região por vez. Se você quiser exportar informações de jobs em várias regiões ou subconjuntos em uma região, configure, crie, implante e execute um fluxo de trabalho dedicado de jobs de exportação para cada caso de uso.

Recomendamos que você crie fluxos de trabalho dedicados para cada caso de uso. Embora é possível modificar e executar novamente um fluxo de trabalho usando um único fluxo de trabalho, dedicado Com os fluxos de trabalho, é mais fácil rastrear quando você exportou pela última vez quais tarefas e para programe fluxos de trabalho para exportar jobs automaticamente.

O fluxo de trabalho "export-jobs" exporta informações do job para uma tabela especificada em um conjunto de dados especificado, que são criados automaticamente pelo fluxo de trabalho se não existem no seu projeto. Por padrão, o fluxo de trabalho de exportação de jobs também exclui os jobs exportados do Batch, mas é possível editar o fluxo de trabalho de exportação de jobs para não excluir os jobs;

Para cada fluxo de trabalho de jobs de exportação que você quer usar, faça o seguinte:

1. Configurar a definição do fluxo de trabalho.
2. Crie e implante o fluxo de trabalho.
3. Execute o fluxo de trabalho. Repita essa etapa sempre que quiser exportar os trabalhos especificados.

Configurar a definição do fluxo de trabalho

1. Faça o download do arquivo export-to-bigquery-delete-batch-jobs.yaml no GitHub.

2. Abra o arquivo export-to-bigquery-delete-batch-jobs.yaml em um editor de texto. Em seguida, faça as seguintes edições:

   1. Substitua sys.get_env("GOOGLE_CLOUD_PROJECT_ID") pelo ID do projeto formatado como uma string, por exemplo, "my-project-id".

   2. Substitua sys.get_env("GOOGLE_CLOUD_LOCATION") pela região que contém os jobs que você quer exportar, formatados como uma string. Por exemplo, "us-central1".

   3. Opcional: edite os critérios de filtro que especificam quais jobs serão exportados.

      Por padrão, o fluxo de trabalho de jobs de exportação especifica os critérios de filtro "(status.state:SUCCEEDED OR status.state:FAILED) AND create_time<=\"2023-05-01T00:00:00Z\"". Este critério de filtro padrão exporta informações somente para vagas que estão no estado SUCCEEDED ou FAILED e foram criadas antes ou pelo 2023-05-01T00:00:00Z RFC 3339 (em inglês) carimbo de data/hora.

   4. Opcional: substitua default_dataset_id por um nome diferente para o conjunto de dados que você quer que o fluxo de trabalho de exportação use ou crie.

   5. Opcional: substitua default_table_id por um nome diferente para a tabela que você quer que o fluxo de trabalho de exportação use ou crie.

   6. Se você não quiser que os jobs exportados sejam excluídos pelo fluxo de trabalho, faça o seguinte:

      Dica: se você não excluir os jobs exportados, a reexecução do mesmo fluxo de trabalho de jobs de exportação poderá criar linhas duplicadas. Para evitar isso, você pode atualizar os critérios de filtro create_time antes de cada nova execução para incluir apenas os jobs que foram criados após a execução anterior. Para saber como ver quando um fluxo de trabalho foi executado anteriormente, consulte Acessar os resultados da execução do fluxo de trabalho.

      1. Remova as seguintes linhas:

                 - log_delete_step:
                     call: sys.log
                     args:
                       text: ${"Deleting Batch job " + j.name}
                       severity: NOTICE
                 - delete_job:
                     call: googleapis.batch.v1.projects.locations.jobs.delete
                     args:
                       name: ${j.name}
         

      2. Remover + " and deleted".

   7. Salve o arquivo. Mantenha o arquivo aberto.

Criar e implantar o fluxo de trabalho

1. No console do Google Cloud, acesse a página Fluxos de trabalho.

   Acessar fluxos de trabalho

2. Na página Fluxos de trabalho, clique em Criar.

3. No campo Nome do fluxo de trabalho, digite um nome para o fluxo de trabalho: exemplo: export-batch-jobs-us-central1.

4. Na lista Conta de serviço, selecione a conta de serviço que você preparados.

5. Clique em Próxima.

6. No editor de fluxo de trabalho, substitua o fluxo de trabalho de exemplo pelo conteúdo do arquivo export-to-bigquery-delete-batch-jobs.yaml. Depois, é possível feche o arquivo.

7. Clique em Implantar. A página Detalhes do fluxo de trabalho é aberta.

Executar o fluxo de trabalho

Dica: se você quiser executar automaticamente o fluxo de trabalho export-jobs, consulte Programar um fluxo de trabalho usando o Cloud Scheduler na documentação do Workflows. Por exemplo, como cada job é excluído automaticamente 60 dias após a conclusão, você pode exportar todos os jobs (que não são excluídos manualmente) programando um ou mais fluxos de trabalho de exportação para exportar e excluir jobs a cada 59 dias.

1. Na página Detalhes do fluxo de trabalho, clique em Executar. A página Executar fluxo de trabalho abre.

2. Na página Executar fluxo de trabalho, clique em Executar.

3. Nos Detalhes da execução que a página abrir, aguarde o fluxo de trabalho ser termine de executar. Por exemplo, o tempo de execução para exportar e excluir alguns jobs geralmente é de alguns segundos, mas a execução pode levar mais tempo se você estiver exportando e excluindo muitos jobs.

   Quando a execução do fluxo de trabalho for concluída, o painel Output vai mostrar os resultados.

Conferir as informações do job exportado

Esta seção mostra como conferir os dados da tabela criados pelo fluxo de trabalho de jobs de exportação. Por exemplo, siga as etapas abaixo para verificar se o fluxo de trabalho foi executado e navegue pelos dados da tabela. Para mais informações sobre como visualizar e usar as informações exportadas do job, como escrever consultas, consulte Gerenciar dados de tabela na documentação do BigQuery.

1. No console do Google Cloud, acesse a página do BigQuery:

   Acessar o BigQuery

2. No painel Explorer, abra a tabela com as informações do job exportado:

   1. No campo Pesquisar recursos do BigQuery, insira o nome da tabela do seu fluxo de trabalho de jobs de exportação. Por exemplo, o padrão nome da tabela é default_table_id.
   2. Clique no nome da tabela. A página de detalhes da tabela é aberta.

   3. Na página de detalhes da tabela, clique na guia Detalhes.

      Na guia Detalhes, observe o carimbo de data/hora Última modificação e os Número de linhas.

   4. Na página de detalhes da tabela, clique na guia Visualizar.

A seguir

• Saiba mais sobre fluxos de trabalho.
• Saiba mais sobre o BigQuery.
• Saiba mais sobre o Batch:
  • Visualizar os jobs no projeto
  • Excluir jobs
  • Criar outro job