Exportar informações do job

Esta página descreve como exportar as informações dos seus jobs armazenados em lote para uma tabela do BigQuery usando Workflows. Especifique como executar o fluxo de trabalho de jobs de exportação de exemplo e como visualizar as informações de job resultantes no BigQuery.

Exportar as informações de um job é útil quando você quer manter as informações depois que um job é excluído automaticamente ou manualmente ou analisar as informações fora do Batch. Como alternativa, se você quiser exportar apenas informações de mudança de estado de tarefas e jobs para o BigQuery, consulte Monitorar jobs usando notificações.

Para saber como exportar informações de jobs armazenadas em outros serviços do Google Cloud , consulte a documentação de exportação desse serviço. Por exemplo, consulte as seguintes páginas:

Antes de começar

  1. Se você nunca usou o Batch, consulte Começar a usar o Batch e ative o Batch concluindo os pré-requisitos para projetos e usuários.

  2. Enable the BigQuery and Workflows APIs.

    Enable the APIs

  3. Opcional: identifique um conjunto de dados ou uma tabela do BigQuery no seu projeto em que você quer armazenar as informações do job. Uma tabela existente precisa ter um esquema correspondente.

    Caso contrário, use o fluxo de trabalho de jobs de exportação para criar um novo conjunto de dados ou tabela.

  4. Prepare uma conta de serviço para o fluxo de trabalho de jobs de exportação:

    1. Crie uma nova conta de serviço ou identifique uma conta de serviço existente.

    2. Para garantir que a conta de serviço tenha as permissões necessárias para executar o fluxo de trabalho de trabalhos de exportação, peça ao administrador para conceder à conta de serviço os seguintes papéis do IAM no projeto:

      Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

      O administrador também pode conceder à conta de serviço as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

  5. Para receber as permissões necessárias para criar, implantar e executar o fluxo de trabalho de jobs de exportação, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

  6. Verifique se os usuários no seu projeto podem acessar as informações exportadas do job.

    Para garantir que um usuário tenha as permissões necessárias para exportar informações de jobs, peça ao administrador para conceder a um usuário o papel do IAM de Visualizador de dados do BigQuery (roles/bigquery.dataViewer) na tabela, no conjunto de dados ou no projeto.

Exportar informações do job

Esta seção explica como exportar informações de jobs usando o fluxo de trabalho de exportação de jobs, que é do exemplo de código export-to-bigquery. O fluxo de trabalho de jobs de exportação exporta as informações dos jobs do seu projeto que estão na região especificada e atendem aos critérios de filtro especificados.

O fluxo de trabalho de jobs de exportação exporta informações de jobs para uma tabela especificada em um conjunto de dados especificado, que são criados automaticamente pelo fluxo de trabalho se não existirem no projeto. Por padrão, o fluxo de trabalho de jobs de exportação também exclui os jobs exportados do lote, mas você pode editar o fluxo de trabalho de jobs de exportação para não excluir os jobs.

Para cada fluxo de trabalho de jobs de exportação que você quer usar, faça o seguinte:

  1. Configure a definição do fluxo de trabalho.
  2. Crie e implante o fluxo de trabalho.
  3. Execute o fluxo de trabalho. Repita essa etapa sempre que quiser exportar os trabalhos especificados.

Configurar a definição do fluxo de trabalho

  1. Faça o download do arquivo export-to-bigquery-delete-batch-jobs.yaml no GitHub.

  2. Abra o arquivo export-to-bigquery-delete-batch-jobs.yaml em um editor de texto. Em seguida, faça as seguintes edições:

    1. Substitua sys.get_env("GOOGLE_CLOUD_PROJECT_ID") pelo ID do projeto formatado como uma string, por exemplo, "my-project-id".

    2. Substitua sys.get_env("GOOGLE_CLOUD_LOCATION") pela região que contém os jobs que você quer exportar, formatados como uma string. Por exemplo, "us-central1".

    3. Opcional: edite os critérios de filtro que especificam quais jobs serão exportados.

      Por padrão, o fluxo de trabalho de jobs de exportação especifica os critérios de filtro "(status.state:SUCCEEDED OR status.state:FAILED) AND create_time<=\"2023-05-01T00:00:00Z\"". Esse critério de filtro padrão exporta informações apenas para jobs que estão no estado SUCCEEDED ou FAILED e foram criados antes ou pelo carimbo de data/hora 2023-05-01T00:00:00Z RFC 3339.

    4. Opcional: substitua default_dataset_id por um nome diferente para o conjunto de dados que você quer que o fluxo de trabalho de jobs de exportação use ou crie.

    5. Opcional: substitua default_table_id por um nome diferente da tabela que você quer que o fluxo de trabalho de jobs de exportação use ou crie.

    6. Se você não quiser que os jobs exportados sejam excluídos pelo fluxo de trabalho, faça o seguinte:

      1. Remova as seguintes linhas:

                - log_delete_step:
            call: sys.log
            args:
              text: ${"Deleting Batch job " + j.name}
              severity: NOTICE
        - delete_job:
            call: googleapis.batch.v1.projects.locations.jobs.delete
            args:
              name: ${j.name}

      2. Remova + " and deleted".

    7. Salve o arquivo. Mantenha o arquivo aberto.

Criar e implantar o fluxo de trabalho

  1. No console do Google Cloud , acesse a página Fluxos de trabalho:

    Acessar fluxos de trabalho

  2. Na página Fluxos de trabalho, clique em Criar.

  3. No campo Nome do fluxo de trabalho, insira um nome para o fluxo de trabalho, por exemplo, export-batch-jobs-us-central1.

  4. Na lista Conta de serviço, selecione a conta de serviço que você preparou.

  5. Clique em Próxima.

  6. No editor de fluxo de trabalho, substitua o fluxo de trabalho de exemplo pelo conteúdo do arquivo export-to-bigquery-delete-batch-jobs.yaml. Em seguida, você pode fechar o arquivo.

  7. Clique em Implantar. A página Detalhes do fluxo de trabalho é aberta.

Executar o fluxo de trabalho

  1. Na página Detalhes do fluxo de trabalho, clique em Executar. A página Executar fluxo de trabalho é aberta.

  2. Na página Executar fluxo de trabalho que aparece, clique em Executar.

  3. Na página Detalhes da execução que é aberta, aguarde a execução do fluxo de trabalho. Por exemplo, o tempo de execução para exportar e excluir alguns jobs geralmente é de alguns segundos, mas a execução pode levar mais tempo se você estiver exportando e excluindo muitos jobs.

    Quando a execução do fluxo de trabalho for concluída, o painel Output vai mostrar os resultados.

Conferir as informações do job exportado

Esta seção mostra como conferir os dados da tabela criados pelo fluxo de trabalho de jobs de exportação. Por exemplo, siga as etapas abaixo para verificar se o fluxo de trabalho foi executado e navegue pelos dados da tabela. Para mais informações sobre como visualizar e usar as informações de jobs exportados, como escrever consultas, consulte Gerenciar dados de tabela na documentação do BigQuery.

  1. No console do Google Cloud , acesse a página BigQuery:

    Acessar o BigQuery

  2. No painel Explorer, abra a tabela com as informações do job exportado:

    1. No campo Pesquisar recursos do BigQuery, insira o nome da tabela do seu fluxo de trabalho de jobs de exportação. Por exemplo, o nome da tabela padrão é default_table_id.
    2. Clique no nome da tabela. A página de detalhes da tabela é aberta.

    3. Na página de detalhes da tabela, clique na guia Detalhes.

      Na guia Detalhes, observe o carimbo de data/hora Última modificação e o Número de linhas.

    4. Na página de detalhes da tabela, clique na guia Visualizar.

A seguir