Vista JOBS_TIMELINE_BY_FOLDER
A vista INFORMATION_SCHEMA.JOBS_TIMELINE_BY_FOLDER
contém metadados do BigQuery
praticamente em tempo real por intervalo de tempo para todas as tarefas enviadas na
pasta principal do projeto atual, incluindo as tarefas nas subpastas abaixo.
Esta vista contém tarefas em execução e concluídas.
Autorizações necessárias
Para consultar a vista INFORMATION_SCHEMA.JOBS_TIMELINE_BY_FOLDER
, precisa da autorização de gestão de identidade e de acesso (IAM) para a pasta principal.bigquery.jobs.listAll
Cada uma das seguintes funções de IAM predefinidas inclui a autorização necessária:
- Administrador da pasta
- Administrador do BigQuery
Para mais informações sobre as autorizações do BigQuery, consulte o artigo Controlo de acesso com a IAM.
Esquema
Quando consulta as visualizações INFORMATION_SCHEMA.JOBS_TIMELINE_BY_*
, os resultados da consulta contêm uma linha para cada segundo de execução de cada tarefa do BigQuery. Cada período começa num intervalo de um segundo inteiro e
dura exatamente um segundo.
A vista INFORMATION_SCHEMA.JOBS_TIMELINE_BY_*
tem o seguinte esquema:
Nome da coluna | Tipo de dados | Valor |
---|---|---|
period_start |
TIMESTAMP |
Hora de início deste período. |
period_slot_ms |
INTEGER |
Milissegundos de intervalo consumidos neste período. |
project_id |
STRING |
ID do projeto (coluna de agrupamento). |
project_number |
INTEGER |
Número do projeto. |
folder_numbers |
REPEATED INTEGER |
IDs numéricos das pastas que contêm o projeto, começando pela pasta que contém imediatamente o projeto, seguida da pasta que contém a pasta secundária e assim sucessivamente. Por exemplo, se `folder_numbers` for `[1, 2, 3]`, a pasta `1` contém imediatamente o projeto, a pasta `2` contém `1` e a pasta `3` contém `2`. |
user_email |
STRING |
(Coluna de agrupamento) Endereço de email ou conta de serviço do utilizador que executou a tarefa. |
job_id |
STRING |
ID da tarefa. Por exemplo, bquxjob_1234 . |
job_type |
STRING |
O tipo de trabalho. Pode ser QUERY , LOAD ,
EXTRACT , COPY ou null . O tipo de tarefa null indica uma tarefa interna, como a avaliação de declarações de tarefas de scripts ou a atualização da vista materializada. |
statement_type |
STRING |
O tipo de declaração de consulta, se for válida. Por exemplo,
SELECT , INSERT , UPDATE ou
DELETE . |
priority |
STRING |
A prioridade desta tarefa. Os valores válidos incluem INTERACTIVE e
BATCH . |
parent_job_id |
STRING |
ID da tarefa principal, se existir. |
job_creation_time |
TIMESTAMP |
(Coluna de partição) Hora da criação desta tarefa. A partição baseia-se na hora UTC desta data/hora. |
job_start_time |
TIMESTAMP |
Hora de início desta tarefa. |
job_end_time |
TIMESTAMP |
Hora de fim desta tarefa. |
state |
STRING |
Estado de execução da tarefa no final deste período. Os estados válidos
incluem PENDING , RUNNING e
DONE . |
reservation_id |
STRING |
Nome da reserva principal atribuída a este trabalho no final deste período, se aplicável. |
edition |
STRING |
A edição associada à reserva atribuída a esta tarefa. Para mais informações sobre as edições, consulte o artigo Introdução às edições do BigQuery. |
total_bytes_billed |
INTEGER |
Se o projeto estiver configurado para usar preços a pedido, este campo contém o total de bytes faturados para a tarefa. Se o projeto estiver configurado para usar preços de taxa fixa, não lhe é faturado o número de bytes, e este campo é apenas informativo. |
total_bytes_processed |
INTEGER |
Total de bytes processados pela tarefa. |
error_result |
RECORD |
Detalhes do erro (se existir) como um
ErrorProto.
|
cache_hit |
BOOLEAN |
Se os resultados da consulta deste trabalho foram provenientes de uma cache. |
period_shuffle_ram_usage_ratio |
FLOAT |
Rácio de utilização da funcionalidade Shuffle no período selecionado. |
period_estimated_runnable_units |
INTEGER |
Unidades de trabalho que podem ser agendadas imediatamente neste período. Os slots adicionais para estas unidades de trabalho aceleram a sua consulta, desde que nenhuma outra consulta na reserva precise de slots adicionais. |
transaction_id |
STRING |
ID da transação em que esta tarefa foi executada, se existir. (Pré-visualizar) |
Retenção de dados
Esta vista contém tarefas em execução e o histórico de tarefas dos últimos 180 dias.
Âmbito e sintaxe
As consultas nesta vista têm de incluir um qualificador de região. Se não especificar um qualificador regional, os metadados são obtidos de todas as regiões. A tabela seguinte explica o âmbito da região para esta vista:
Nome da visualização de propriedade | Âmbito do recurso | Âmbito da região |
---|---|---|
[PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.JOBS_TIMELINE_BY_FOLDER |
Nível do projeto | REGION |
-
Opcional:
PROJECT_ID
: o ID do seu projeto do Google Cloud Google Cloud. Se não for especificado, é usado o projeto predefinido. -
REGION
: qualquer nome da região do conjunto de dados. Por exemplo,`region-us`
.
Exemplos
Os exemplos seguintes mostram como consultar a
INFORMATION_SCHEMA.JOBS_TIMELINE_BY_FOLDER
vista.
Obtenha o número de tarefas únicas
A consulta seguinte apresenta o número de tarefas únicas em execução por minuto na pasta do projeto designado:
SELECT TIMESTAMP_TRUNC(period_start, MINUTE) AS per_start, COUNT(DISTINCT job_id) AS unique_jobs FROM `region-us`.INFORMATION_SCHEMA.JOBS_TIMELINE_BY_FOLDER, UNNEST(folder_numbers) f WHERE my_folder_number = f GROUP BY per_start ORDER BY per_start DESC;
O resultado é semelhante ao seguinte:
+---------------------------+---------------------------------+ | per_start | unique_jobs | +---------------------------+---------------------------------+ | 2019-10-10 00:04:00 UTC | 5 | | 2019-10-10 00:03:00 UTC | 2 | | 2019-10-10 00:02:00 UTC | 3 | | 2019-10-10 00:01:00 UTC | 4 | | 2019-10-10 00:00:00 UTC | 4 | +---------------------------+---------------------------------+
Calcule o tempo de intervalo usado
A consulta seguinte apresenta o tempo de intervalo usado por minuto na pasta do projeto designado:
SELECT TIMESTAMP_TRUNC(period_start, MINUTE) AS per_start, SUM(period_slot_ms) AS slot_ms FROM `region-us`.INFORMATION_SCHEMA.JOBS_TIMELINE_BY_FOLDER, UNNEST(folder_numbers) f WHERE my_folder_number = f AND reservation_id = "my reservation id" AND statement_type != "SCRIPT" GROUP BY per_start ORDER BY per_start DESC;
O resultado é semelhante ao seguinte:
+---------------------------+---------------------------------+ | per_start | slot_ms | +---------------------------+---------------------------------+ | 2019-10-10 00:04:00 UTC | 500 | | 2019-10-10 00:03:00 UTC | 1000 | | 2019-10-10 00:02:00 UTC | 3000 | | 2019-10-10 00:01:00 UTC | 4000 | | 2019-10-10 00:00:00 UTC | 4000 | +---------------------------+---------------------------------+