Visualizzazione JOBS_BY_ORGANIZATION

La vista INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION contiene metadati quasi in tempo reale su tutti i job inviati nell'organizzazione associati al progetto corrente.

Ruolo richiesto

Per ottenere l'autorizzazione necessaria per eseguire query sulla visualizzazione INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION, chiedi all'amministratore di concederti il ruolo IAM Visualizzatore risorse BigQuery (roles/bigquery.resourceViewer) per la tua organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene l'autorizzazione bigquery.jobs.listAll necessaria per eseguire query sulla visualizzazione INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION.

Potresti anche ottenere questa autorizzazione con ruoli personalizzati o altri ruoli predefiniti.

La tabella dello schema è disponibile solo per gli utenti con organizzazioni Google Cloud definite.

Per ulteriori informazioni sulle autorizzazioni BigQuery, consulta Controllo dell'accesso con IAM.

Schema

I dati sottostanti sono partizionati in base alla colonna creation_time e raggruppati in cluster in base a project_id e user_email. La colonna query_info contiene informazioni aggiuntive sui job di query.

La vista INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION ha lo schema seguente:

Nome colonna	Tipo di dati	Valore
bi_engine_statistics	RECORD	Se il progetto è configurato per utilizzare l'interfaccia SQL di BI Engine, questo campo contiene BiEngineStatistics. In caso contrario, NULL.
cache_hit	BOOLEAN	Indica se i risultati della query di questo job provengono da una cache. Se hai un job con istruzioni con più query, cache_hit per la query principale è NULL.
creation_time	TIMESTAMP	(Colonna di partizione) Ora di creazione di questo job. Il partizionamento si basa sull'ora UTC di questo timestamp.
destination_table	RECORD	Tabella di destinazione per i risultati, se presente.
end_time	TIMESTAMP	L'ora di fine di questo job, in millisecondi dall'epoca. Questo campo rappresenta il momento in cui il job entra nello stato DONE.
error_result	RECORD	Dettagli di eventuali errori sotto forma di oggetti ErrorProto.
job_creation_reason.code	STRING	Specifica il motivo generale per cui è stato creato un job. I valori possibili sono: REQUESTED: è stata richiesta la creazione di un job. LONG_RUNNING: la richiesta di query è stata eseguita oltre un timeout definito dal sistema specificato dal campo timeoutMs in QueryRequest. Di conseguenza, è stata considerata un'operazione a lunga esecuzione per la quale è stato creato un job. LARGE_RESULTS: i risultati della query non possono essere inseriti nella risposta in linea. OTHER: il sistema ha stabilito che la query deve essere eseguita come job.
job_id	STRING	L'ID del job, se ne è stato creato uno. In caso contrario, l'ID query di una query che utilizza la modalità di query breve. Ad esempio, bquxjob_1234.
job_stages	RECORD	Fasi di query del job. Nota: i valori di questa colonna sono vuoti per le query che leggono da tabelle con criteri di accesso a livello di riga. Per ulteriori informazioni, consulta le best practice per la sicurezza a livello di riga in BigQuery.
job_type	STRING	Il tipo di lavoro. Può essere QUERY, LOAD, EXTRACT, COPY o NULL. Un valore NULL indica un job interno, ad esempio la valutazione di un'istruzione di job dello script o l'aggiornamento di una vista materializzata.
labels	RECORD	Array di etichette applicate al job sotto forma di coppie chiave-valore.
parent_job_id	STRING	ID del job principale, se presente.
priority	STRING	La priorità di questo job. I valori validi includono INTERACTIVE e BATCH.
project_id	STRING	(Colonna di clustering) L'ID del progetto.
project_number	INTEGER	Il numero del progetto.
query	STRING	Testo della query SQL. Solo la visualizzazione JOBS_BY_PROJECT ha la colonna query.
referenced_tables	RECORD	Array di tabelle a cui fa riferimento il job. Viene compilato solo per i job di query che non sono hit della cache.
reservation_id	STRING	Nome della prenotazione principale assegnata a questo job, nel formato RESERVATION_ADMIN_PROJECT:RESERVATION_LOCATION.RESERVATION_NAME. In questo output: RESERVATION_ADMIN_PROJECT: il nome del progetto Google Cloud che amministra la prenotazione RESERVATION_LOCATION: la località della prenotazione RESERVATION_NAME: il nome della prenotazione
edition	STRING	La versione associata alla prenotazione assegnata a questo job. Per ulteriori informazioni sulle versioni, consulta Introduzione alle versioni di BigQuery.
session_info	RECORD	Dettagli sulla sessione in cui è stato eseguito questo job, se presente.
start_time	TIMESTAMP	L'ora di inizio di questo job, in millisecondi dall'epoca. Questo campo rappresenta il momento in cui il job passa dallo stato PENDING a RUNNING o DONE.
state	STRING	Stato di esecuzione del job. Gli stati validi includono PENDING, RUNNING e DONE.
statement_type	STRING	Il tipo di istruzione di query. Ad esempio, DELETE, INSERT, SCRIPT, SELECT o UPDATE. Consulta QueryStatementType per un elenco dei valori validi.
timeline	RECORD	Cronologia delle query del job. Contiene snapshot dell'esecuzione delle query.
total_bytes_billed	INTEGER	Se il progetto è configurato per utilizzare i prezzi on demand, questo campo contiene i byte totali fatturati per il job. Se il progetto è configurato per utilizzare i prezzi fissi, non ti vengono addebitati i byte e questo campo è solo informativo. Nota: i valori di questa colonna sono vuoti per le query che leggono da tabelle con criteri di accesso a livello di riga. Per ulteriori informazioni, consulta le best practice per la sicurezza a livello di riga in BigQuery.
total_bytes_processed	INTEGER	Byte totali elaborati dal job. Nota: i valori di questa colonna sono vuoti per le query che leggono da tabelle con criteri di accesso a livello di riga. Per ulteriori informazioni, consulta le best practice per la sicurezza a livello di riga in BigQuery.
total_modified_partitions	INTEGER	Il numero totale di partizioni modificate dal job. Questo campo viene compilato per i job LOAD e QUERY.
total_slot_ms	INTEGER	Milisecondi dello slot per il job per l'intera durata nello stato RUNNING, inclusi i tentativi di nuovo invio.
transaction_id	STRING	ID della transazione in cui è stato eseguito questo job, se presente. (Anteprima)
user_email	STRING	(Colonna di clustering) Indirizzo email o account di servizio dell'utente che ha eseguito il job.
query_info.resource_warning	STRING	Il messaggio di avviso visualizzato se l'utilizzo delle risorse durante l'elaborazione delle query è superiore alla soglia interna del sistema. Per un job di query riuscito, il campo resource_warning può essere compilato. Con resource_warning, puoi ottenere ulteriori punti dati per ottimizzare le query e configurare il monitoraggio delle tendenze del rendimento di un insieme equivalente di query utilizzando query_hashes.
query_info.query_hashes.normalized_literals	STRING	Contiene gli hash della query. normalized_literals è un hash STRING in esadecimale che ignora commenti, valori dei parametri, funzioni UDF e letterali. Il valore hash sarà diverso quando le visualizzazioni sottostanti cambiano o se la query fa implicitamente riferimento a colonne, ad esempio SELECT *, e lo schema della tabella cambia. Questo campo viene visualizzato per le query GoogleSQL riuscite che non sono hit della cache.
query_info.performance_insights	RECORD	Approfondimenti sul rendimento del job.
query_info.optimization_details	STRUCT	Le ottimizzazioni basate sulla cronologia per il job.
transferred_bytes	INTEGER	Byte totali trasferiti per le query tra cloud, ad esempio i job di trasferimento tra cloud di BigQuery Omni.
materialized_view_statistics	RECORD	Statistiche delle viste materializzate prese in considerazione in un job di query. (Anteprima)

Conservazione dei dati

Questa visualizzazione contiene i job in esecuzione e la cronologia dei job degli ultimi 180 giorni.

Ambito e sintassi

Le query su questa vista devono includere un qualificatore regione. La tabella seguente illustra l'ambito della regione per questa visualizzazione:

Nome vista	Ambito risorsa	Ambito regione
[PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION	Organizzazione che contiene il progetto specificato	REGION

Sostituisci quanto segue:

Facoltativo: PROJECT_ID: l'ID del tuo progetto Google Cloud. Se non viene specificato, viene utilizzato il progetto predefinito.

REGION: qualsiasi nome della regione del set di dati. Ad esempio: `region-us`.

Nota: per eseguire query sulle visualizzazioni INFORMATION_SCHEMA, devi utilizzare un qualificatore di regione. La posizione dell'esecuzione della query deve corrispondere alla regione della visualizzazione INFORMATION_SCHEMA.

Nota: quando esegui una query su INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION per trovare un costo complessivo delle attività di query, escludi il tipo di dichiarazione SCRIPT, altrimenti alcuni valori potrebbero essere conteggiati due volte. La riga SCRIPT include i valori di riepilogo di tutti i job secondari eseguiti nell'ambito di questo job.

Esempio

Per eseguire la query su un progetto diverso da quello predefinito, aggiungi l'ID progetto nel seguente formato:

`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION

Sostituisci quanto segue:

• PROJECT_ID: l'ID del progetto
• REGION_NAME: la regione del progetto

Ad esempio, `myproject`.`region-us`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION.

I 5 job che hanno scansionato più byte oggi

L'esempio seguente mostra come trovare i cinque job che hanno eseguito la scansione del maggior numero di byte in un'organizzazione per la giornata corrente. Puoi filtrare ulteriormente su statement_type per eseguire query per ulteriori informazioni, ad esempio caricamenti, esportazioni e query.

SELECT
  job_id,
  user_email,
  total_bytes_billed
FROM
  `region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE
  EXTRACT(DATE FROM  creation_time) = current_date()
ORDER BY
  total_bytes_billed DESC
LIMIT 5;

Nota: i nomi delle visualizzazioni INFORMATION_SCHEMA sono sensibili alle maiuscole.

Il risultato è simile al seguente:

+--------------+--------------+---------------------------+
| job_id       |  user_email  |  total_bytes_billed       |
+--------------+--------------+---------------------------+
| bquxjob_1    |  [e-mail] |    999999                 |
| bquxjob_2    |  [e-mail] |    888888                 |
| bquxjob_3    |  [e-mail] |    777777                 |
| bquxjob_4    |  [e-mail] |    666666                 |
| bquxjob_5    |  [e-mail] |    555555                 |
+--------------+--------------+---------------------------+

Visualizzare informazioni sulle prestazioni per le query

L'esempio seguente restituisce tutti i job di query che contengono informazioni sul rendimento della tua organizzazione negli ultimi 30 giorni, oltre a un URL che rimanda al grafico di esecuzione della query nella console Google Cloud.

SELECT
  `bigquery-public-data`.persistent_udfs.job_url(
    project_id || ':us.' || job_id) AS job_url,
  query_info.performance_insights
FROM
  `region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE
  DATE(creation_time) >= CURRENT_DATE - 30 -- scan 30 days of query history
  AND job_type = 'QUERY'
  AND state = 'DONE'
  AND error_result IS NULL
  AND statement_type != 'SCRIPT'
  AND EXISTS ( -- Only include queries which had performance insights
    SELECT 1
    FROM UNNEST(
      query_info.performance_insights.stage_performance_standalone_insights
    )
    WHERE slot_contention OR insufficient_shuffle_quota
    UNION ALL
    SELECT 1
    FROM UNNEST(
      query_info.performance_insights.stage_performance_change_insights
    )
    WHERE input_data_change.records_read_diff_percentage IS NOT NULL
  );