Monitora l'integrità, l'utilizzo delle risorse e i job

In qualità di amministratore di BigQuery, puoi utilizzare i grafici delle risorse amministrative per monitorare l'integrità della tua organizzazione, l'uso degli slot e le prestazioni dei job BigQuery nel tempo.

Per visualizzare la dashboard dell'integrità operativa, devi avere almeno una prenotazione a cui accedere con un progetto di amministrazione. I grafici delle risorse e lo strumento Esplora job sono disponibili per tutti gli utenti con le autorizzazioni appropriate.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare tutti i dati nei grafici delle risorse amministrative, chiedi all'amministratore di concederti i seguenti ruoli IAM nella tua organizzazione:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per visualizzare tutti i dati nei grafici delle risorse amministrative. Per visualizzare esattamente le autorizzazioni necessarie, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per visualizzare tutti i dati nei grafici delle risorse amministrative sono necessarie le seguenti autorizzazioni:

  • bigquery.jobs.listExecutionMetadata nell'organizzazione
  • bigquery.jobs.listAll nell'organizzazione
  • bigquery.reservationAssignments.list nel progetto di amministrazione della prenotazione
  • bigquery.capacityCommitments.list nel progetto di amministrazione della prenotazione
  • Per visualizzare i dati di riepilogo per l'integrità operativa: bigquery.tables.get or bigquery.tables.list nell'organizzazione
  • Per visualizzare i dati parziali a livello di prenotazione:
    • bigquery.reservations.list nel progetto di amministrazione della prenotazione
    • bigquery.reservationAssignments.list nel progetto di amministrazione della prenotazione
  • Per visualizzare i dati sulla capacità di prenotazione nei grafici delle risorse amministrative: bigquery.capacityCommitments.list nel progetto di amministrazione della prenotazione
  • Per visualizzare i dati a livello di progetto: bigquery.jobs.listAll nel progetto

Potresti anche riuscire a ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Monitorare l'integrità operativa all'interno di un'organizzazione

Per richiedere feedback o assistenza per questa funzionalità, invia un'email all'indirizzo bq-operational-health+feedback@google.com.

La dashboard dell'integrità operativa mostra le metriche chiave per la tua organizzazione e le relative prenotazioni in tutte le località in cui sono presenti prenotazioni. Puoi utilizzare questa dashboard per monitorare le metriche, tra cui:

  • Utilizzo slot
  • Utilizzo casuale
  • Contemporaneità job
  • Errori
  • Durata job
  • Byte elaborati
  • Spazio di archiviazione totale

BigQuery fornisce queste informazioni eseguendo query sulle seguenti viste INFORMATION_SCHEMA:

Per monitorare l'integrità operativa:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto di amministrazione utilizzato per acquistare slot e creare prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio. Per impostazione predefinita, il grafico di integrità operativa mostra le metriche di riepilogo per tutte le località e tutte le prenotazioni.

  4. Per visualizzare i dati aggiornati con maggiore frequenza, puoi attivare/disattivare Dati in tempo reale. Se l'opzione Dati in tempo reale è abilitata, i dati vengono aggiornati automaticamente ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è di circa un'ora. Viene visualizzata l'ora dell'ultimo aggiornamento dei dati.

Per vedere la visualizzazione dettagliata, seleziona i valori per i quali vuoi visualizzare i grafici a cronologia dettagliati:

  1. Nell'elenco Seleziona località, scegli una regione specifica.
  2. Nell'elenco Seleziona prenotazione, scegli la prenotazione.
  3. Nell'elenco Intervallo di tempo, seleziona un intervallo di tempo.
  4. Per ottenere maggiori informazioni da uno dei grafici delle metriche principali, fai clic su Esplora altro. Per ottenere maggiori informazioni sul grafico Esplora job, fai clic su Esplora altro nel grafico delle principali query attive.

Viste

La scheda Integrità operativa mostra le seguenti visualizzazioni:

Visualizzazione di riepilogo

La visualizzazione di riepilogo fornisce una visualizzazione dell'integrità dei sottosistemi, incluse le prenotazioni e le regioni negli ultimi 30 minuti per la tua organizzazione.

Visualizzazione di riepilogo amministrativo di BigQuery.

Per vedere la visualizzazione di riepilogo:

  • Nel grafico Integrità operativa, nell'elenco Seleziona posizione seleziona Tutte le località.

Visualizzazione dettagliata

La visualizzazione dettagliata mostra grafici a cronologia dettagliati di diverse metriche a livello di località o prenotazione.

Panoramica della vista dettagliata amministrativa di BigQuery.

Per consultare la visualizzazione dettagliata, procedi nel seguente modo:

  • Nel grafico Integrità operativa, seleziona la regione o la versione nell'elenco Seleziona località oppure seleziona il nome della prenotazione nell'elenco Seleziona prenotazione.

Grafici

La scheda Integrità operativa mostra le seguenti opzioni di configurazione dei grafici:

Tabella riepilogativa

Le tabelle di riepilogo mostrano le seguenti metriche:

  • Utilizzo degli slot. L'utilizzo medio degli slot. La capacità totale degli slot è uguale alla capacità di base e alla capacità massima con scalabilità automatica.
  • Utilizzo casuale. Il rapporto massimo di utilizzo medio dello shuffle delle prenotazioni.
  • Contemporaneità. Il numero massimo di job eseguiti contemporaneamente.
  • Byte elaborati. Byte totali elaborati dai job completati.
  • Durata del job. Il tempo di esecuzione medio dei job completati, calcolato dal momento in cui è stato creato il job a quello in cui è stato terminato.
  • Spazio di archiviazione totale. Il totale dei byte logici attivi all'ora dell'ultimo aggiornamento.

Nella visualizzazione sono presenti due tabelle di riepilogo in base alla località o alle prenotazioni. Ogni riga della tabella rappresenta un utilizzo della località o della prenotazione.

Le tabelle mostrano le metriche per i 30 minuti precedenti l'ultimo aggiornamento. Se l'opzione Dati in tempo reale è abilitata, i dati vengono aggiornati automaticamente ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è di circa un'ora.

Alla cella della tabella viene assegnato un colore se la metrica è superiore alla soglia. Tutte le soglie sono predefinite e non possono essere personalizzate. Se il valore della metrica negli ultimi 30 minuti è superiore al valore P99 dell'utilizzo del giorno precedente, la cella della tabella è contrassegnata con uno sfondo blu scuro. Se il valore delle metriche nei 30 minuti precedenti l'ultimo aggiornamento è compreso tra il valore P95 e P99 dell'utilizzo del giorno precedente, la cella della tabella è contrassegnata con uno sfondo azzurro.

Tabella di riepilogo amministrativo di BigQuery.

Filtra dati

Puoi filtrare i dati nei grafici in base ai seguenti valori:

Dati del filtro amministrativo di BigQuery.

  • Posizione. Sono disponibili le regioni in cui l'organizzazione ha svolto attività negli ultimi 30 giorni. La visualizzazione di riepilogo presenta una tabella di riepilogo a livello di regione per il monitoraggio dell'utilizzo in tutte le regioni attive.
  • Prenotazione. Questo campo diventa selezionabile dopo aver selezionato una regione. Sono disponibili tutte le prenotazioni di proprietà dei progetti amministrativi di visualizzazione. Puoi scegliere una sola prenotazione.
  • Intervallo di tempo. Questo campo è disponibile solo per la visualizzazione dettagliata. Interessa i grafici a cronologia delle metriche e il grafico ad anello di errore nella visualizzazione dettagliata. La scala di dati nei grafici a cronologia delle metriche viene regolata automaticamente in base all'intervallo di tempo selezionato.

Grafico delle principali query attive

Questo grafico mostra i primi dieci job con risorse attive in ordine decrescente. Dal menu a discesa puoi selezionare un'opzione di ordinamento in base all'utilizzo degli slot o alla durata del job. L'ID job e il relativo numero di utilizzo delle risorse sono presentati nel grafico a barre. Seleziona Esplora altro nel grafico delle principali query attive per visualizzare Esplora job. Per ulteriori informazioni sui dettagli di esecuzione e per diagnosticare eventuali problemi di prestazioni per i job BigQuery, consulta il grafico di esecuzione delle query.

Barra dell'elenco dei job in alto amministrativo di BigQuery.

Grafico ad anello con errore

Questo grafico mostra la proporzione delle principali cause di errore nel periodo di tempo selezionato. Nella visualizzazione di riepilogo, per impostazione predefinita copre gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla la sua copertura. Puoi raggruppare gli errori per tipo, progetto del proprietario o prenotazione. Il conteggio dei job non riusciti viene presentato nel grafico ad anello.

Grafico ad anello con errori BigQuery.

Grafici a cronologia delle metriche

Questi grafici mostrano una panoramica delle metriche supportate per un massimo di 30 giorni. Il periodo di tempo predefinito è di un'ora. Man mano che cambia il periodo di tempo selezionato, la granularità di ogni punto dati nel grafico viene scalata automaticamente.

Questi grafici mostrano un valore aggregato per una regione o una prenotazione. La visualizzazione dei dati per più regioni o prenotazioni non è supportata.

Grafici a cronologia delle metriche BigQuery:

I grafici a cronologia delle metriche supportano le seguenti metriche:

  • Utilizzo degli slot. L'utilizzo medio degli slot nel periodo di tempo selezionato. Mostra separatamente l'utilizzo complessivo degli slot per tutti i job e per i job non riusciti.
  • Contemporaneità dei job. Il numero massimo di job eseguiti contemporaneamente nel periodo di tempo selezionato. che mostra separatamente il conteggio dei job in esecuzione e dei job in sospeso sotto forma di grafico a barre in pila.
  • Byte analizzati. Il numero totale di byte elaborati dai job completati nel periodo di tempo selezionato.
  • Riproduzione casuale. Il rapporto di utilizzo shuffling medio di tutte le prenotazioni nel periodo di tempo selezionato.
  • Durata del job. Il tempo di esecuzione medio dei job completati nel periodo di tempo selezionato, calcolato dalla data di creazione all'ora di fine del job.
  • Errore per tipo. Il grafico ad anello di errori mostra la proporzione delle diverse cause di errore nel periodo di tempo selezionato.

Oltre alle tendenze delle metriche, questi grafici mostrano le linee di riferimento del valore delle metriche P95 e P99 dell'utilizzo del giorno precedente. Per il grafico Contemporaneità job, mostra la soglia per la somma dei job in attesa e in esecuzione. Questi valori a cui viene fatto riferimento vengono utilizzati come soglie dei codici colore nella tabella di riepilogo.

Per saperne di più sul grafico, fai clic su Scopri di più. Il sistema ti reindirizzerà alla scheda Utilizzo delle risorse.

Visualizza utilizzo delle risorse

I dati nei grafici delle risorse amministrative si basano sulla vista INFORMATION_SCHEMA.JOBS e sulla vista INFORMATION_SCHEMA.JOBS_TIMELINE, che si aggiornano in tempo reale per un massimo di 30 giorni precedenti.

Puoi visualizzare l'utilizzo delle risorse BigQuery con i grafici delle risorse amministrative. Questi grafici delle risorse hanno i seguenti tre componenti interattivi principali:

  • Il grafico a cronologia degli eventi mostra una panoramica dei dati per un massimo di 30 giorni. Il valore predefinito è 1 giorno.

  • Il grafico principale mostra le metriche selezionate (utilizzo degli slot, contemporaneità dei job, prestazioni del job, errori o byte elaborati) nel tempo per l'organizzazione o il progetto amministrativo della prenotazione. Il grafico include una legenda della tabella correlata ai dati del grafico, che mostra statistiche più dettagliate aggregate nel periodo di tempo in questione.

  • Un riquadro laterale per scegliere diversi grafici, suddivisioni e opzioni di filtro.

Il seguente diagramma fornisce una panoramica delle varie opzioni dei grafici amministrativi in BigQuery:

Panoramica dei grafici delle risorse amministrative di BigQuery.

Prima di iniziare

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

    Puoi creare un progetto amministratore separato per la prenotazione del progetto Google Cloud per gestire la prenotazione assegnandogli un nome descrittivo come bq-COMPANY_NAME-admin.

  2. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  3. Attiva BigQuery Reservation API.

    Abilita l'API

    Per saperne di più, consulta Abilitare l'API BigQuery Reservation.

  4. Nella console Google Cloud, visualizza le tue quote per gli slot:

    Visualizza le quote degli slot

    Devi disporre di una quota sufficiente per la regione in cui vuoi acquistare gli slot.

    Se la quota di slot per la regione è inferiore al numero di slot che vuoi acquistare, scopri come richiedere un aumento della quota.

Visualizza i grafici delle risorse amministrative

Per impostazione predefinita, puoi accedere ai grafici delle risorse amministrative della versione quando navighi dal progetto di amministrazione della prenotazione. Puoi spostarti tra i grafici delle risorse di amministrazione on demand e i grafici delle risorse di amministrazione dell'edizione dal progetto di amministrazione della prenotazione (anteprima).

Per visualizzare i grafici delle risorse amministrative:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto amministrativo che hai utilizzato per acquistare slot e creare prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio.

  4. Nella sezione Opzioni del grafico > Ambito, puoi selezionare il Modello di fatturazione dall'elenco, che include tre tipi di versioni e on demand. Per impostazione predefinita, il modello di fatturazione è impostato sulla versione Enterprise.

  5. Nella sezione Opzioni del grafico > Configurazioni grafico, segui questi passaggi:

    1. Dall'elenco Grafico, seleziona il tipo di grafico. Per informazioni sulle diverse opzioni dei grafici, vedi Opzioni di grafico.
    2. Dall'elenco Metriche, seleziona il tipo di metriche disponibile.
    3. Dall'elenco Raggruppa per, seleziona la dimensione in base alla quale vuoi raggruppare i dati del grafico. Per informazioni sulle diverse dimensioni, consulta Opzioni di raggruppamento.
    4. Nell'elenco Filtri, seleziona le opzioni di filtro disponibili. Per informazioni sui diversi filtri, consulta la pagina Filtri e ricerca.
    5. Imposta l'intervallo di tempo per il quale vuoi visualizzare i dati nel grafico.

Configurazioni grafico

Puoi regolare la visualizzazione dei grafici delle risorse amministrative modificando le seguenti opzioni di configurazione dei grafici:

Opzioni del grafico

BigQuery fornisce i seguenti tipi di metriche da visualizzare nei grafici:

  • Utilizzo slot. Utilizzo slot medio nel periodo di tempo selezionato. Le capacità e l'utilizzo di slot inattivi si applicano nelle seguenti condizioni:

    • L'opzione Raggruppa per è "Complessivo".
    • Nessun filtro o filtro in base a una singola prenotazione.

  • Contemporaneità dei job. Numero massimo di job eseguiti contemporaneamente nel periodo di tempo selezionato.

  • Prestazioni lavorative. Tempo di esecuzione medio dei job completati, calcolato dalla data di creazione all'ora di fine del job.

  • Job non riusciti. Utilizzo medio degli slot nel periodo di tempo selezionato dai job non riusciti.

  • Byte elaborati. Byte totali elaborati dai job completati nel periodo di tempo selezionato.

  • Utilizzo casuale. Rapporto di utilizzo shuffling medio nel periodo di tempo selezionato (anteprima).

Componente tabella

La tabella mostra le metriche pertinenti per il periodo di tempo e la dimensione selezionati nel grafico delle risorse di amministrazione.

Il grafico Utilizzo slot mostra l'Utilizzo medio degli slot per tutti i job eseguiti durante il periodo di tempo selezionato. I job che non sono stati completati nel periodo di tempo selezionato includono solo gli slot utilizzati nel periodo di tempo.

Per il grafico Prestazioni job, il componente tabella mostra le seguenti metriche:

  • Numero di job. Il numero di job completati o parzialmente eseguiti nel periodo di tempo selezionato.

  • Durata media job. La durata media dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.

  • Durata media job. La durata mediana dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.

  • Durata minima job. La durata minima del job completato che è stato eseguito almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi abilitarla in Opzioni di visualizzazione delle colonne.

  • Durata massima job. La durata massima del job completato che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi abilitarla in Opzioni di visualizzazione delle colonne.

Per il grafico Job non riusciti, il componente tabella mostra i seguenti dati:

  • Utilizzo medio degli slot. Come il grafico Utilizzo slot, ma solo per i job non riusciti.

  • Totale dei job non riusciti. Il numero di job non riusciti nel periodo di tempo selezionato.

Opzioni di raggruppamento

In base al tipo di grafico, puoi raggruppare i dati presenti nella visualizzazione grafico in base a diverse dimensioni:

  • Nel complesso. La visualizzazione Generale è una panoramica generale della metrica selezionata nel tempo nell'intera organizzazione. Per quanto riguarda l'utilizzo degli slot, la capacità e l'utilizzo sono mostrati sullo stesso grafico per dare un'idea dell'utilizzo complessivo degli slot nel tempo.

  • Progetto. La vista progetto mostra la metrica selezionata raggruppata per progetto. Se un'organizzazione ha più di 10 progetti, vengono mostrati solo i primi 10 progetti con i valori più elevati di utilizzo di slot, contemporaneità dei job, durata del job o job non riusciti nel periodo di tempo selezionato. Per l'utilizzo degli slot, tutti gli altri progetti vengono raggruppati nella categoria Altro nella parte inferiore del grafico per confrontare più facilmente la capacità complessiva.

  • Tutte le altre viste di raggruppamento sono simili a quella del progetto, con i dati raggruppati in base alla rispettiva dimensione.

Opzione intervallo di tempo

Puoi modificare il periodo di tempo nei seguenti modi:

  • Seleziona e trascina il periodo di tempo nel grafico a cronologia degli eventi.

  • Seleziona e trascina il periodo di tempo nel grafico principale.

Il periodo di allineamento si aggiorna automaticamente man mano che cambia il periodo di tempo selezionato. Più piccolo è il periodo di allineamento, più dettagliata sarà la visualizzazione. Per visualizzare meglio le risorse che cambiano di frequente, ad esempio l'opzione Utilizzo slot, riduci il periodo di allineamento.

Per restringere i dati del grafico, applica i filtri nel riquadro dei filtri. Alcuni filtri sono disponibili solo per determinati grafici. I filtri Prenotazioni, Cartelle, Progetti e Utenti vengono compilati con le rispettive risorse che hanno consumato slot nel periodo di tempo selezionato. Ad esempio, se un progetto non è stato utilizzato negli ultimi 30 giorni, non verrà visualizzato nell'elenco dei filtri del progetto.

Il grafico si aggiorna dopo che hai applicato i filtri per mostrare i dati all'interno dei parametri selezionati.

Visualizza i dati dei grafici amministrativi a livello di progetto

Puoi modificare l'ambito nelle Opzioni del grafico per generare una panoramica dei grafici amministrativi a livello di progetto. Questa vista può aiutare gli analisti di progetto a monitorare l'utilizzo delle risorse per progetti di proprietà, in modo simile ai grafici amministrativi a livello di organizzazione, ad eccezione di alcune opzioni dei grafici e di raggruppamento per che non sono applicabili. Questa visualizzazione mostra l'utilizzo complessivo delle risorse indipendentemente dalla modalità di fatturazione all'interno del progetto contestuale.

Panoramica dei grafici delle risorse amministrative a livello di progetto BigQuery.

Quando accedi ai grafici amministrativi da un progetto non amministratore con autorizzazioni a livello di organizzazione, il grafico amministrativo passa al livello di progetto per impostazione predefinita. Puoi tornare alla visualizzazione corretta utilizzando il menu a discesa Ambito in Opzioni del grafico.

Visualizza Esplora job amministrativo

BigQuery fornisce dettagli e insight sulle query eseguendo query sulle seguenti INFORMATION_SCHEMA viste:

Poiché queste INFORMATION_SCHEMA viste sono regionalizzate, puoi visualizzare i job corrispondenti in base alla regione selezionata.

Filtra job

Per filtrare i job in base alle query contenute in INFORMATION_SCHEMA.JOBS* views, segui questi passaggi:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto amministrativo che hai utilizzato per acquistare slot e creare prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio.

  4. Fai clic sulla scheda Esplora job.

  5. Nell'elenco Località, seleziona la località per cui vuoi visualizzare le offerte di lavoro. Puoi vedere l'elenco di tutti i job di query eseguiti contenuti nelle visualizzazioni INFORMATION_SCHEMA.JOBS per quella località.

    Puoi anche visualizzare le query attive e in coda, insieme all'utilizzo totale degli slot nell'ultimo minuto.

  6. Filtra i job utilizzando le opzioni. Filtra i job utilizzando le opzioni.

    Figura 1. Filtra job.

    Nella figura 1, le opzioni per filtrare i job sono le seguenti:

    • Intervallo di tempo tra i job eseguiti.
    • Ambito del job, ad esempio progetto e organizzazione.
    • Stato del job, ad esempio in esecuzione, in attesa, completato ed errore.
    • ID job.
    • ID email del proprietario dei job dell'amministratore.
    • Job che hanno richiesto più tempo del tempo di slot specificato.
    • Durata job.
    • Job che hanno elaborato più byte rispetto ai byte elaborati specificati.
    • Tipi di insight sulle query, come contesa degli slot, capacità di shuffle della memoria superata e modifica della scala dell'input di dati.
    • L'hash della query contiene gli hash della query. È un hash STRING esadecimale che ignora commenti, valori dei parametri, funzioni definite dall'utente e valori letterali. Questo campo viene visualizzato per le query GoogleSQL riuscite che non sono hit della cache.

Visualizza i dettagli di esecuzione della query

Per visualizzare i dettagli di esecuzione della query dei job:

  1. Vai alla pagina Monitoring.

    Vai a Monitoring

  2. Per visualizzare i job, fai clic su Esplora job.

  3. Puoi filtrare i job per visualizzare i job con limitazioni.

  4. Fai clic su un job per il quale vuoi visualizzare i dettagli di esecuzione della query.

  5. Nel riquadro Risultati delle query puoi vedere i dettagli di esecuzione dei job dell'amministratore facendo clic sulla scheda Grafico di esecuzione.

    Grafico di esecuzione per i job.

    Figura 2. Grafico di esecuzione per i job.

Per informazioni su come interpretare gli insight, consulta Interpretare gli insight sulle prestazioni delle query.

Fatturazione

I grafici delle risorse amministrative e lo strumento Esplora job sono disponibili senza costi aggiuntivi. Le query utilizzate per compilare questi grafici non vengono fatturate e non utilizzano slot nelle prenotazioni di proprietà dell'utente. Le query che elaborano troppi dati sono scadute.

Passaggi successivi