Depois de enviar um job do BigQuery, é possível visualizar os dados dele, cancelá-lo, executá-lo novamente ou listar jobs.
Quando um job é enviado, ele pode estar em um destes três estados:
PENDING
: o job está programado e aguardando para ser executado.RUNNING
: o job está em andamento.DONE
: o job foi concluído. Em alguns casos, o BigQuery relata esse estado comoSUCCESS
(se o job for concluído sem erros) ouFAILURE
(se o job for concluído com erros).
Como ver dados do job
Veja os dados e metadados do job usando o Console do Cloud, a ferramenta de linha de comando bq
e a API. Esses dados incluem detalhes como o
tipo, o estado e o usuário que executou o job.
Permissões necessárias
Para acessar os dados e metadados do job, é necessário ter, no mínimo, as permissões bigquery.jobs.get
. O papel predefinido do IAM a
seguir inclui permissões bigquery.jobs.get
:
bigquery.admin
Se você conceder a uma conta o papel bigquery.admin
, o usuário poderá visualizar todos os dados do job no projeto, independentemente de quem o enviou.
Os papéis a seguir recebem permissões bigquery.jobs.get
para jobs autocriados. Esses usuários só podem visualizar os dados dos jobs que eles enviam:
bigquery.user
bigquery.jobUser
Para mais informações sobre papéis e permissões do IAM no BigQuery, consulte Controle de acesso.
Como visualizar informações sobre jobs
Para visualizar informações sobre um job:
Console
No painel de navegação, clique em Histórico da tarefa ou em Histórico de consultas para mais informações sobre jobs de consulta.
Clique em Histórico pessoal para visualizar os detalhes dos seus jobs. Clique em Histórico do projeto para visualizar os detalhes de todos os jobs executados no projeto.
bq
Emita o comando bq show
com a sinalização -j
e um ID de job.
Quando você fornece o ID do job, é possível usar o ID totalmente qualificado ou a forma abreviada. Por exemplo, os IDs de jobs listados no Console do Cloud são totalmente qualificados, ou seja, incluem o projeto e o local:
my-project-1234:US.bquijob_123x456_123y123z123c
Os IDs dos jobs na ferramenta de linha de comando são listados usando a forma abreviada e não incluem o ID e o local do projeto:
bquijob_123x456_123y123z123c
Para especificar o local do job, forneça a sinalização --location
e defina o valor
do local. Essa sinalização é opcional,
caso seja usado o ID do job totalmente qualificado. Se você incluir a sinalização --location
e estiver usando o ID do job totalmente qualificado, a sinalização --location
será
ignorada.
O comando a seguir solicita informações sobre um job:
bq --location=location show -j job_id
Substitua:
location
é opcional. Ele é o nome do local em que o job é executado. Por exemplo, se você estiver usando o BigQuery na região de Tóquio, defina o valor da sinalização comoasia-northeast1
. É possível definir um valor padrão para o local usando o arquivo.bigqueryrc
.job_id
é o código do job.
Exemplos:
O comando a seguir recebe informações resumidas sobre o job US.bquijob_123x456_123y123z123c
em execução em myproject
.
bq show -j myproject:US.bquijob_123x456_123y123z123c
A saída será assim:
Job Type State Start Time Duration User Email Bytes Processed Bytes Billed Billing Tier Labels ---------- --------- ----------------- ---------- ------------------- ----------------- -------------- -------------- -------- extract SUCCESS 06 Jul 11:32:10 0:01:41 user@example.com
Para ver os detalhes completos do job, insira:
bq show --format=prettyjson -j myproject:US.bquijob_123x456_789y123z456c
A saída tem esta aparência:
{ "configuration": { "extract": { "compression": "NONE", "destinationUri": "[URI removed]", "destinationUris": [ "[URI removed]" ], "sourceTable": { "datasetId": "github_repos", "projectId": "bigquery-public-data", "tableId": "commits" } } }, "etag": "\"[etag removed]\"", "id": "myproject:bquijob_123x456_789y123z456c", "jobReference": { "jobId": "bquijob_123x456_789y123z456c", "projectId": "[Project ID removed]" }, "kind": "bigquery#job", "selfLink": "https://bigquery.googleapis.com/bigquery/v2/projects/federated-testing/jobs/bquijob_123x456_789y123z456c", "statistics": { "creationTime": "1499365894527", "endTime": "1499365894702", "startTime": "1499365894702" }, "status": { "errorResult": { "debugInfo": "[Information removed for readability]", "message": "Operation cannot be performed on a nested schema. Field: author", "reason": "invalid" }, "errors": [ { "message": "Operation cannot be performed on a nested schema. Field: author", "reason": "invalid" } ], "state": "DONE" }, "user_email": "user@example.com" }
API
Chame jobs.get e forneça os parâmetros jobId
e projectId
. (Opcional) Insira o parâmetro location
e defina o valor do local
em que o job é executado. Esse parâmetro é opcional, caso esteja usando o
código do job totalmente qualificado, que inclui o local, por exemplo,
my-project-1234:US.bquijob_123x456_123y123z123c
.
Go
Antes de testar essa amostra, siga as instruções de configuração para Go no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery em Go.
Java
Antes de testar essa amostra, siga as instruções de configuração para Java no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery em Java.
Node.js
Antes de testar essa amostra, siga as instruções de configuração para Node.js no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery Node.js.
Python
Antes de testar essa amostra, siga as instruções de configuração para Python no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery em Python.
Como listar jobs em um projeto
Seu projeto mantém o histórico de todos os jobs criados nos últimos seis meses.
É possível visualizar o histórico de jobs do BigQuery das seguintes maneiras:
- usando o Console do Google Cloud;
- usando a ferramenta de linha de comando
bq
; - fazendo uma chamada do método de API
jobs.list
; - usando as bibliotecas de cliente.
O histórico de jobs inclui aqueles que estão no estado RUNNING
e que estão como DONE
, um campo que aparece quando o estado é informado como SUCCESS
ou FAILURE
.
Permissões necessárias
Para listar jobs, é necessário ter, no mínimo, as permissões bigquery.jobs.list
. Os seguintes papéis predefinidos do IAM incluem
permissões bigquery.jobs.list
:
bigquery.user
bigquery.admin
O papel a seguir recebe permissões bigquery.jobs.list
apenas para jobs autocriados. As entidades com esse papel podem listar apenas os jobs que enviarem:
bigquery.jobUser
Quando você recebe permissões bigquery.jobs.list
, pode listar todos os jobs em
um projeto, mas os detalhes e metadados são editados para jobs enviados por outros usuários. Com as permissões bigquery.jobs.list
, você pode ver todos os detalhes de
jobs criados automaticamente.
Para listar todos os jobs, incluindo detalhes de jobs criados por outros usuários, você precisa
ter permissões bigquery.jobs.listAll
. Somente os papéis bigquery.admin
e
bigquery.resourceAdmin
têm permissões bigquery.jobs.listAll
.
Para mais informações sobre os papéis e as permissões do IAM no BigQuery, consulte Papéis e permissões predefinidos.
Listar jobs
Ao listar jobs em um projeto, não é necessário fornecer um local. Atualmente, os jobs são listados para todos os locais.
Para listar jobs em um projeto:
Console
No painel de navegação, clique em Histórico de jobs.
Na seção Histórico pessoal, seus jobs são listados por tempo de criação com os mais recentes na parte superior. A lista inclui apenas os jobs do usuário atual. Para ver todos os jobs de um projeto, clique em Histórico do projeto. Se você não for o proprietário do projeto, talvez não tenha permissão para visualizar todos os jobs de um projeto.
bq
Emita o comando bq ls
com uma das seguintes sinalizações:
-j
é usado para identificar jobs como o recurso a ser listado.--all
ou-a
lista os jobs de todos os usuários. Para ver os detalhes completos (não editados) de todos os jobs, você precisa ter permissõesbigquery.jobs.listAll
.--min_creation_time
é usado para listar jobs após um valor de carimbo de data/hora ser fornecido.--max_creation_time
é usado para listar jobs antes de um valor de carimbo de data/hora ser fornecido.-n
limita os resultados. Por padrão, o limite é de 100.000 resultados.
bq ls -j -a \ --min_creation_time integer1 \ --max_creation_time integer2 \ -n integer3 \ project_id
Substitua:
integer1
é um número inteiro que representa um registro de data e hora;integer2
é um número inteiro que representa um registro de data e hora;integer3
é um número inteiro que indica o número de jobs retornados;project_id
é o ID do projeto contendo os jobs que você está listando. Se você definir um projeto padrão, não será necessário fornecer o parâmetroproject_id
.
Exemplos:
O comando a seguir lista todos os jobs do usuário atual. A execução deste comando requer permissões bigquery.jobs.list
.
bq ls -j myproject
O comando a seguir lista todos os jobs de todos os usuários. A execução deste comando requer permissões bigquery.jobs.listAll
.
bq ls -j -a myproject
O comando a seguir lista os 10 jobs mais recentes em myproject
:
bq ls -j -a -n 10 myproject
O comando a seguir lista todos os jobs enviados antes de 18 de outubro de 2018 às 16:04:53. Esse carimbo de data/hora (em milissegundos) é equivalente ao seguinte valor inteiro: 1539903893000
.
bq ls -j --max_creation_time 1539903893000
API
Chame jobs.list e forneça o parâmetro projectId
. Para listar jobs para todos os usuários, configure o parâmetro allUsers
como true
. Configurar allUsers
como true
requer permissões bigquery.jobs.listAll
.
Go
Antes de testar essa amostra, siga as instruções de configuração para Go no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery em Go.
Java
Antes de testar essa amostra, siga as instruções de configuração para Java no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery em Java.
Node.js
Antes de testar essa amostra, siga as instruções de configuração para Node.js no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery Node.js.
Python
Antes de testar essa amostra, siga as instruções de configuração para Python no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery em Python.
Cancelar jobs
É possível cancelar um job RUNNING
ou PENDING
das seguintes maneiras:
- usando o Console do Cloud;
- usando a ferramenta de linha de comando
bq
; - usando o procedimento do sistema
BQ.JOBS.CANCEL
em uma consulta SQL; - usando o método de API
jobs.cancel
; - usando as bibliotecas de cliente.
Nem todos os tipos de job podem ser cancelados. Se o job não puder ser cancelado, um erro será retornado.
Mesmo que o job possa ser cancelado, o sucesso não é garantido. O job pode ter sido concluído no momento em que a solicitação de cancelamento foi enviada ou estar em uma etapa em que não pode ser cancelado.
Permissões necessárias
Para cancelar um job, é necessário ter, no mínimo, as permissões bigquery.jobs.update
. O papel predefinido do IAM a seguir inclui
permissões bigquery.jobs.update
:
bigquery.admin
Se você conceder o papel bigquery.admin
a uma conta, o usuário poderá cancelar qualquer job qualificado, independentemente de quem o enviou.
Os papéis a seguir podem cancelar jobs autocriados: Esses usuários só podem cancelar os jobs que enviam:
bigquery.user
bigquery.jobUser
Para mais informações sobre os papéis e as permissões do IAM no BigQuery, consulte Papéis e permissões predefinidos.
Como cancelar um job
Para cancelar um job:
Console
No painel de navegação, clique em Histórico de jobs.
Na seção Histórico pessoal, clique no job que você está cancelando. Os jobs mais recentes aparecem no topo da lista.
Nos detalhes do job, clique em Cancelar job.
SQL
Use o procedimento de sistema BQ.JOBS.CANCEL
:
CALL BQ.JOBS.CANCEL('job_id');
Substitua job_id pelo ID do job que você está cancelando.
Se você estiver em um projeto diferente, mas na mesma região do job que quer cancelar, inclua também o ID do projeto:
CALL BQ.JOBS.CANCEL('project_id.job_id');
Substitua:
project_id
é o ID do projeto que contém o job que você está cancelando.job_id
é o código do job que você está cancelando.
O procedimento retorna imediatamente, e o BigQuery cancela o job logo depois. Se o job já foi concluído ou falhou, o procedimento não tem efeito.
bq
Emita o comando bq cancel
com o parâmetro job_id
. É possível solicitar o cancelamento e retornar imediatamente usando a sinalização --nosync
. Por
padrão, as solicitações de cancelamento aguardam a conclusão.
Quando você fornece o ID do job, é possível usar o ID totalmente qualificado ou a forma abreviada. Por exemplo, os IDs de jobs listados no Console do Cloud são totalmente qualificados, ou seja, incluem o projeto e o local:
my-project-1234:US.bquijob_123x456_123y123z123c
Os IDs dos jobs na ferramenta de linha de comando bq
são listados usando a forma abreviada e não incluem o ID e o local do projeto:
bquijob_123x456_123y123z123c
Para especificar o local do job, forneça a sinalização --location
e defina o valor
do local. Essa sinalização é opcional,
caso seja usado o ID do job totalmente qualificado. Se você incluir a sinalização --location
e estiver usando o ID do job totalmente qualificado, a sinalização --location
será
ignorada.
Com o comando a seguir, você solicita o cancelamento do job e aguarda a conclusão: Se
o ID do job totalmente qualificado for fornecido, a sinalização --location
será ignorada:
bq --location=location cancel job_id
O cancelamento do job é solicitado com o comando a seguir, com retorno imediato. Se
o ID do job totalmente qualificado for fornecido, a sinalização --location
será ignorada:
bq --location=location --nosync cancel job_id
Substitua:
location
é opcional. Ele é o nome do local em que o job é executado. Por exemplo, se você estiver usando o BigQuery na região de Tóquio, defina o valor da sinalização comoasia-northeast1
. É possível definir um valor padrão para o local usando o arquivo.bigqueryrc
.job_id
é o código do job que você está cancelando. Se você copiar o ID do job do Console do Cloud, o ID e o local do projeto serão incluídos nele. Por exemplo,my-project-1234:US.bquijob_123x456_123y123z123c
.
Exemplos:
Com o comando a seguir, você cancela o job
my-project-1234:US.bquijob_123x456_123y123z123c
em execução na
multirregião US
em my-project-1234
e aguarda a
conclusão. Como o ID do job que está sendo usado é totalmente qualificado, a sinalização de local
não é fornecida.
bq cancel my-project-1234:US.bquijob_123x456_123y123z123c
Com o comando a seguir, você cancela o job bquijob_123x456_123y123z123c
em execução na
multirregião US
em my-project-1234
e aguarda a conclusão. Como a forma do ID do job que está sendo usada é abreviada, a sinalização --location
é fornecida.
bq --location=US cancel bquijob_123x456_123y123z123c
Com o comando a seguir, você cancela o job bquijob_123x456_123y123z123c
em execução na
multirregião US
em my-project-1234
, com retorno imediato.
Como o código do job que está sendo usado é totalmente qualificado, a sinalização --location
não é fornecida.
bq --nosync cancel my-project-1234:US.bquijob_123x456_123y123z123c
API
Chame jobs.cancel e forneça os parâmetros jobId
e projectId
. Insira o parâmetro location
e defina o valor do local em que o job é executado.
Go
Antes de testar essa amostra, siga as instruções de configuração para Go no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery em Go.
Java
Antes de testar essa amostra, siga as instruções de configuração para Java no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery em Java.
Node.js
Antes de testar essa amostra, siga as instruções de configuração para Node.js no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery Node.js.
Python
Antes de testar essa amostra, siga as instruções de configuração para Python no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery em Python.
Como repetir um job
Não é possível executar um job novamente usando o mesmo ID do job. Em vez disso, crie um
novo job com a mesma configuração. Quando você envia o novo job no Console do Cloud ou na ferramenta de linha de comando bq
, um novo ID do job é atribuído. Quando você envia o job usando a API ou
bibliotecas de cliente, é necessário gerar um novo código de job.
Permissões necessárias
Para executar um job, é necessário ter, no mínimo, as permissões bigquery.jobs.create
. Os seguintes papéis predefinidos do IAM incluem as
permissões bigquery.jobs.create
:
bigquery.user
bigquery.jobUser
bigquery.admin
Para mais informações sobre os papéis e as permissões do IAM no BigQuery, consulte Papéis e permissões predefinidos.
Como executar um job novamente
Para repetir um job:
Console
Para repetir um job de consulta:
No painel de navegação, clique em Histórico de consulta.
Na seção Histórico pessoal ou Histórico do projeto, clique na consulta que você quer executar novamente e, depois, em Abrir consulta no editor.
Clique em Executar.
Para repetir um job de carga:
No painel de navegação, clique em Histórico de jobs.
Na seção Histórico pessoal ou Histórico do projeto, clique no job que você quer executar novamente. Os jobs mais recentes aparecem no topo da lista.
Nos detalhes do job, clique em Repetir job de carregamento.
bq
Emita o comando novamente, e o BigQuery gera automaticamente um job com um novo ID.
API
Não há um método de chamada única para repetir um job. Para fazer isso:
Chame
jobs.get
para recuperar o recurso e executar o job novamente.Remova os campos id, status e statistics. Altere o campo jobId para um novo valor gerado pelo código de cliente. Altere outros campos, conforme necessário;
Para iniciar o novo job, chame
jobs.insert
com o recurso modificado e o novo ID do job.