Monitora l'integrità, l'utilizzo delle risorse e i job

In qualità di amministratore BigQuery, puoi utilizzare i grafici amministrativi delle risorse per monitorare l'integrità dell'organizzazione, l'utilizzo degli slot e le prestazioni dei job BigQuery nel tempo.

Per visualizzare la dashboard di integrità operativa, devi disporre di almeno una prenotazione a cui accedi con un progetto di amministrazione. I grafici delle risorse ed Explorer dei job sono disponibili per tutti gli utenti con le autorizzazioni corrette.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare tutti i dati nei grafici delle risorse amministrative, chiedi all'amministratore di concederti i seguenti ruoli IAM nella tua organizzazione:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per visualizzare tutti i dati nei grafici delle risorse amministrative. Per visualizzare le autorizzazioni esatte necessarie, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per visualizzare tutti i dati nei grafici delle risorse amministrative, sono necessarie le seguenti autorizzazioni:

  • bigquery.jobs.listExecutionMetadata sull'organizzazione
  • bigquery.jobs.listAll sull'organizzazione
  • bigquery.reservationAssignments.list nel progetto di amministrazione delle prenotazioni
  • bigquery.capacityCommitments.list nel progetto di amministrazione delle prenotazioni
  • Per visualizzare i dati di riepilogo per l'integrità operativa: bigquery.tables.get or bigquery.tables.list nell'organizzazione
  • Per visualizzare dati parziali a livello di prenotazione:
    • bigquery.reservations.list nel progetto di amministrazione delle prenotazioni
    • bigquery.reservationAssignments.list nel progetto di amministrazione delle prenotazioni
  • Per visualizzare i dati sulla capacità di prenotazione nei grafici delle risorse amministrative: bigquery.capacityCommitments.list nel progetto di amministrazione della prenotazione
  • Per visualizzare i dati a livello di progetto: bigquery.jobs.listAll sul progetto

Potresti anche essere in grado di ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Monitorare l'integrità operativa di un'organizzazione

Per richiedere feedback o assistenza per questa funzionalità, invia un'email all'indirizzo bq-operational-health+feedback@google.com.

La dashboard dello stato di funzionamento mostra le metriche chiave per la tua organizzazione e le sue prenotazioni in tutta la località in cui hai effettuato le prenotazioni. Puoi utilizzare questa dashboard per monitorare metriche, tra cui:

  • Utilizzo slot
  • Utilizzo casuale
  • Contemporaneità job
  • Errori
  • Durata job
  • Byte elaborati
  • Spazio di archiviazione totale

BigQuery fornisce queste informazioni eseguendo query sulle seguenti viste INFORMATION_SCHEMA:

Per monitorare l'integrità operativa:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto di amministrazione che hai utilizzato per acquistare slot e creare prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio. Per impostazione predefinita, il grafico di integrità operativa mostra le metriche di riepilogo per tutte le sedi e tutte le prenotazioni.

  4. Per visualizzare i dati aggiornati più di frequente, puoi attivare/disattivare Dati in tempo reale. Se l'opzione Dati in tempo reale è abilitata, i dati vengono aggiornati automaticamente ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è di circa un'ora. Viene visualizzata l'ora dell'ultimo aggiornamento dei dati.

Per visualizzare la visualizzazione dettagliata, seleziona i valori per i quali vuoi visualizzare i grafici a cronologia dettagliati:

  1. Nell'elenco Seleziona località, scegli una regione specifica.
  2. Nell'elenco Seleziona prenotazione, seleziona la prenotazione.
  3. Nell'elenco Intervallo di tempo, seleziona un intervallo di tempo.
  4. Per ottenere maggiori informazioni da uno dei grafici delle metriche principali, fai clic su Esplora di più. Per saperne di più nel grafico di Esplorazione job, fai clic su Esplora altro dal grafico delle principali query attive.

Viste

La scheda Integrità operativa mostra le seguenti visualizzazioni:

Visualizzazione di riepilogo

La visualizzazione di riepilogo offre una panoramica dell'integrità dei sottosistemi, incluse le prenotazioni e le regioni negli ultimi 30 minuti per la tua organizzazione.

Visualizzazione di riepilogo amministrativa di BigQuery.

Per vedere la visualizzazione di riepilogo:

  • Nel grafico Salute operativa, nell'elenco Seleziona località, seleziona Tutte le sedi.

Visualizzazione dettagliata

La visualizzazione dettagliata mostra grafici cronologici dettagliati di diverse metriche a livello di località o prenotazione.

Panoramica della visualizzazione dettagliata amministrativa di BigQuery.

Per vedere la visualizzazione dettagliata:

  • Nel grafico Integrità operativa, nell'elenco Seleziona località, seleziona la regione o la versione oppure nell'elenco Seleziona prenotazione il nome della prenotazione.

Grafici

La scheda Integrità operativa mostra le seguenti opzioni di configurazione del grafico:

Tabella riepilogativa

Le tabelle di riepilogo mostrano le seguenti metriche:

  • Utilizzo slot. L'utilizzo medio degli slot. La capacità totale degli slot equivale alla capacità di base e alla capacità massima con scalabilità automatica.
  • Utilizzo casuale. Il massimo di tutti il rapporto di utilizzo shuffling medio delle prenotazioni.
  • Contemporaneità. Il numero massimo di job eseguiti contemporaneamente.
  • Byte elaborati. I byte totali elaborati dai job completati.
  • Durata del job. Il tempo di esecuzione medio dei job completati, calcolato dal momento in cui è stato creato fino al momento in cui è stato completato.
  • Spazio di archiviazione totale. I byte logici attivi totali all'ultimo aggiornamento.

Nella visualizzazione sono presenti due tabelle di riepilogo in base alla località o alle prenotazioni. Ogni riga della tabella rappresenta un utilizzo di località o prenotazione.

Le tabelle mostrano le metriche per i 30 minuti precedenti all'ultimo aggiornamento. Se l'opzione Dati in tempo reale è abilitata, i dati vengono aggiornati automaticamente ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è di circa un'ora.

Alla cella della tabella viene assegnato un colore se la metrica è superiore alla soglia. Tutte le soglie sono predefinite e non possono essere personalizzate. Se il valore della metrica negli ultimi 30 minuti è maggiore del valore P99 dell'utilizzo del giorno precedente, la cella della tabella è contrassegnata con uno sfondo blu scuro. Se il valore delle metriche nei 30 minuti precedenti all'ultimo aggiornamento è compreso tra il valore P95 e P99 dell'utilizzo del giorno precedente, la cella della tabella è contrassegnata con uno sfondo azzurro.

Tabella di riepilogo amministrativo di BigQuery.

Filtra dati

Puoi filtrare i dati nei grafici in base ai seguenti valori:

Dati del filtro amministrativo di BigQuery.

  • Posizione. Sono disponibili le regioni in cui l'organizzazione ha registrato attività negli ultimi 30 giorni. La visualizzazione di riepilogo mostra una tabella di riepilogo a livello di regione per monitorare l'utilizzo in tutte le regioni attive.
  • Prenotazione. Questo campo sarà selezionabile dopo aver selezionato una regione. Sono disponibili tutte le prenotazioni di proprietà dei progetti amministrativi di visualizzazione. Puoi scegliere una sola prenotazione.
  • Intervallo di tempo. Questo campo è disponibile solo per la visualizzazione dettagliata. Interessa i grafici a cronologia delle metriche e il grafico ad anello degli errori nella visualizzazione dettagliata. La scala dei dati nei grafici a cronologia delle metriche viene regolata automaticamente in base all'intervallo di tempo selezionato.

Grafico delle principali query attive

Questo grafico mostra i primi dieci job con risorse attive ordinati in ordine decrescente. Utilizzando il menu a discesa, puoi selezionare un'opzione di ordinamento in base all'utilizzo degli slot o alla durata del job. L'ID job e il numero di utilizzo delle risorse pertinente sono presentati nel grafico a barre. Seleziona Esplora di più nel grafico delle principali query attive per visualizzare Explorer Jobs. Per saperne di più sui dettagli di esecuzione e diagnosticare eventuali problemi di prestazioni per i job BigQuery, consulta il grafico di esecuzione delle query.

Barra dell'elenco dei job amministrativi principali di BigQuery.

Grafico ad anello degli errori

Questo grafico mostra la proporzione delle principali cause di errore nel periodo di tempo selezionato. Nella visualizzazione di riepilogo, per impostazione predefinita vengono visualizzati gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla la propria copertura. Puoi raggruppare gli errori per tipo, progetto del proprietario o prenotazione. Il numero di job non riusciti è presentato nel grafico ad anello.

Grafico ad anello degli errori BigQuery.

Grafici a cronologia delle metriche

Questi grafici mostrano una panoramica delle metriche supportate per un massimo di 30 giorni. Il periodo di tempo predefinito è un'ora. Al variare del periodo di tempo selezionato, la granularità di ciascun punto dati nel grafico viene ridimensionata automaticamente.

Questi grafici mostrano un valore aggregato per una regione o una prenotazione. La visualizzazione dei dati per più regioni o più prenotazioni non è supportata.

Grafici a cronologia delle metriche BigQuery.

I grafici a cronologia delle metriche supportano le seguenti metriche:

  • Utilizzo slot. L'utilizzo medio degli slot nel periodo di tempo selezionato. Visualizza separatamente l'utilizzo complessivo degli slot per tutti i job e i job non riusciti.
  • Contemporaneità dei job. Il numero massimo di job eseguiti contemporaneamente nel periodo di tempo selezionato. Visualizza separatamente il numero dei job in esecuzione e dei job in attesa sotto forma di grafico a barre in pila.
  • Byte scansionati. I byte totali elaborati dai job completati nel periodo di tempo selezionato.
  • Riproduzione casuale. Il massimo del rapporto di utilizzo shuffling medio di tutte le prenotazioni nel periodo di tempo selezionato.
  • Durata del job. Il tempo di esecuzione medio dei job completati nel periodo di tempo selezionato, calcolato dal momento della creazione a quello di fine del job.
  • Errore per tipo. Il grafico ad anello degli errori mostra la proporzione delle diverse cause di errore nel periodo di tempo selezionato.

Oltre alle tendenze delle metriche, questi grafici mostrano le linee di riferimento del valore delle metriche P95 e P99 relativo all'utilizzo del giorno precedente. Per il grafico Contemporaneità job, mostra la soglia per la somma dei job in attesa e in esecuzione. Questi valori a cui viene fatto riferimento vengono utilizzati come soglie per la codifica dei colori nella tabella di riepilogo.

Per saperne di più sul grafico, fai clic su Esplora di più. Verrà visualizzata la scheda Utilizzo delle risorse.

Visualizza l'utilizzo delle risorse

I dati nei grafici delle risorse amministrative si basano sulla vista INFORMATION_SCHEMA.JOBS e sugli aggiornamenti in tempo reale, fino a un massimo di 30 giorni.

Puoi visualizzare l'utilizzo delle risorse BigQuery utilizzando i grafici delle risorse amministrative. Questi grafici delle risorse hanno i seguenti tre componenti interattivi principali:

  • Il grafico a cronologia degli eventi mostra una panoramica dei dati di un massimo di 30 giorni. Il valore predefinito è 1 giorno.

  • Il grafico principale mostra le metriche selezionate (utilizzo degli slot, contemporaneità dei job, prestazioni dei job, errori o byte elaborati) nel tempo per l'organizzazione o per il progetto amministrativo di prenotazione. Il grafico include una legenda della tabella correlata ai dati del grafico, che mostra statistiche più dettagliate aggregate nel periodo di tempo.

  • Un riquadro laterale per scegliere diversi grafici, suddivisioni e opzioni di filtro.

Il seguente diagramma offre una panoramica delle varie opzioni del grafico amministrativo in BigQuery:

Panoramica dei grafici delle risorse amministrative di BigQuery.

Prima di iniziare

  1. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

    Puoi creare un progetto amministratore separato per la prenotazione dei progetti Google Cloud per gestire la prenotazione assegnandogli un nome descrittivo come bq-COMPANY_NAME-admin.

  2. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  3. Attiva BigQuery Reservation API.

    Abilita l'API

    Per saperne di più, vedi Abilitare l'API BigQuery Reservation.

  4. Nella console Google Cloud, visualizza le quote di slot:

    Visualizzare le quote degli slot

    Devi disporre di una quota sufficiente per la regione in cui vuoi acquistare gli slot.

    Se la quota di slot per la regione è inferiore al numero di slot che vuoi acquistare, scopri come richiedere un aumento della quota.

Visualizzare i grafici delle risorse amministrative

Per impostazione predefinita, hai accesso ai grafici delle risorse di amministrazione della versione quando navighi dal progetto di amministrazione della prenotazione. Puoi spostarti tra i grafici delle risorse di amministrazione on demand e i grafici delle risorse di amministrazione dell'edizione dal progetto di amministrazione della prenotazione (Anteprima).

Per visualizzare i grafici delle risorse amministrative:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto amministrativo che hai utilizzato per acquistare slot e creare prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio.

  4. Nella sezione Opzioni del grafico > Ambito, puoi selezionare il modello di fatturazione dall'elenco, che include tre tipi di versioni e on demand. Per impostazione predefinita, il modello di fatturazione è impostato sulla versione Enterprise.

  5. Nella sezione Opzioni grafico > Configurazioni grafico, procedi nel seguente modo:

    1. Dall'elenco Grafico, seleziona il tipo di grafico. Per informazioni sulle varie opzioni del grafico, consulta Opzioni del grafico.
    2. Dall'elenco Metriche, seleziona il tipo di metriche disponibile.
    3. Dall'elenco Raggruppa per, seleziona la dimensione in base alla quale vuoi raggruppare i dati nel grafico. Per informazioni sulle diverse dimensioni, consulta la pagina Raggruppare per opzioni.
    4. Dall'elenco Filtri, seleziona le opzioni disponibili. Per informazioni sui diversi filtri, consulta Filtri e ricerca.
    5. Imposta il periodo di tempo per cui vuoi visualizzare i dati nel grafico.

Configurazioni dei grafici

Puoi regolare la visualizzazione dei grafici delle risorse amministrative modificando le seguenti opzioni di configurazione dei grafici:

Opzioni del grafico

BigQuery fornisce i seguenti tipi di metriche da visualizzare nei grafici:

  • Utilizzo slot. Utilizzo medio degli slot nel periodo di tempo selezionato. Le capacità e l'utilizzo degli slot inattivi si applicano alle seguenti condizioni:

    • L'opzione di raggruppamento è "Complessiva".
    • Nessun filtro o filtro in base a una singola prenotazione.

  • Contemporaneità dei job. Numero massimo di job eseguiti contemporaneamente nel periodo di tempo selezionato.

  • Prestazioni del job. Tempo di esecuzione medio dei job completati, calcolato dal momento della creazione all'ora di fine del job.

  • Job non riusciti. Utilizzo medio degli slot nel periodo di tempo selezionato da job non riusciti.

  • Byte elaborati. Byte totali elaborati dai job completati nel periodo di tempo selezionato.

  • Utilizzo casuale. Rapporto di utilizzo casuale medio nel periodo di tempo selezionato (anteprima).

Componente tabella

La tabella mostra le metriche pertinenti al periodo di tempo e alla dimensione selezionati nel grafico delle risorse amministrative.

Il grafico Utilizzo slot mostra l'Utilizzo slot medio per tutti i job eseguiti durante il periodo di tempo selezionato. I job non completati nel periodo di tempo selezionato includono solo gli slot utilizzati nel periodo di tempo selezionato.

Per il grafico Prestazioni job, il componente tabella mostra le seguenti metriche:

  • Numero di job. Il numero di job completati eseguiti o parzialmente eseguiti nel periodo di tempo selezionato.

  • Durata media job. La durata media dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.

  • Durata mediana del job. La durata mediana del job per i job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.

  • Durata minima job. La durata minima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi abilitarla in Opzioni di visualizzazione delle colonne.

  • Durata massima job. La durata massima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi abilitarla in Opzioni di visualizzazione delle colonne.

Per il grafico Job non riusciti, il componente tabella mostra i seguenti dati:

  • Utilizzo medio degli slot. Come il grafico Utilizzo slot, ma solo per i job non riusciti.

  • Job non riusciti totali. Il numero di job non riusciti nel periodo di tempo selezionato.

Opzioni di raggruppamento

In base al tipo di grafico, puoi raggruppare i dati nella visualizzazione grafico in base a diverse dimensioni:

  • Nel complesso. La visualizzazione complessiva è una panoramica generale della metrica selezionata nel tempo nell'intera organizzazione. Per l'utilizzo degli slot, la capacità e l'utilizzo vengono mostrati nello stesso grafico per dare un'idea dell'utilizzo complessivo degli slot nel tempo.

  • Progetto. La visualizzazione progetto mostra la metrica selezionata raggruppata per progetto. Se un'organizzazione ha più di 10 progetti, vengono visualizzati solo i primi 10 progetti con il massimo utilizzo di slot, contemporaneità dei job, durata dei job o job non riusciti nel periodo di tempo selezionato. Per l'utilizzo degli slot, tutti gli altri progetti sono raggruppati nella categoria Altro nella parte inferiore del grafico per semplificare il confronto con la capacità complessiva.

  • Tutte le altre visualizzazioni di raggruppamento sono simili alla visualizzazione del progetto, con i dati raggruppati in base alla rispettiva dimensione.

Opzione periodo di tempo

Puoi modificare il periodo di tempo nei seguenti modi:

  • Seleziona e trascina il periodo di tempo nel grafico a cronologia degli eventi.

  • Seleziona e trascina il periodo di tempo nel grafico principale.

Il periodo di allineamento si aggiorna automaticamente man mano che cambia quello selezionato. Più breve è il periodo di allineamento, più dettagliata sarà la visualizzazione. Per visualizzare meglio le risorse che cambiano di frequente, ad esempio l'opzione Utilizzo slot, riduci il periodo di allineamento.

Per restringere i dati del grafico, applica dei filtri nel riquadro dei filtri. Alcuni filtri sono disponibili solo per determinati grafici. I filtri Prenotazioni, Cartelle, Progetti e Utenti vengono completati con le rispettive risorse che hanno utilizzato slot nel periodo di tempo selezionato. Ad esempio, se un progetto non è stato utilizzato negli ultimi 30 giorni, non viene visualizzato nell'elenco dei filtri dei progetti.

Il grafico viene aggiornato dopo aver applicato i filtri per visualizzare i dati all'interno dei parametri selezionati.

Visualizzare i dati dei grafici amministrativi a livello di progetto

Puoi modificare l'ambito nelle Opzioni del grafico per generare una panoramica dei grafici amministrativi a livello di progetto. Questa vista può aiutare gli analisti di progetti a monitorare l'utilizzo delle risorse per i progetti di proprietà, come i grafici amministrativi a livello di organizzazione, ad eccezione di alcune opzioni del grafico e di raggruppamento per opzioni non applicabili. Questa visualizzazione mostra l'utilizzo complessivo delle risorse, indipendentemente dalla modalità di fatturazione all'interno del progetto contestuale.

Panoramica dei grafici delle risorse amministrative a livello di progetto BigQuery.

Quando accedi ai grafici amministrativi da un progetto non amministratore con autorizzazioni a livello di organizzazione, per impostazione predefinita il grafico amministrativo passa a livello di progetto. Puoi tornare alla visualizzazione corretta utilizzando il menu a discesa Ambito in Opzioni grafico.

Visualizza Explorer job amministrativi

BigQuery fornisce dettagli e insight sulle query eseguendo query sulle seguenti INFORMATION_SCHEMA viste:

Poiché queste viste INFORMATION_SCHEMA sono regionalizzate, puoi visualizzare i job corrispondenti in base alla regione selezionata.

Filtra job

Per filtrare i job in base alle query contenute in INFORMATION_SCHEMA.JOBS* views, segui questi passaggi:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto amministrativo che hai utilizzato per acquistare slot e creare prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio.

  4. Fai clic sulla scheda Explorer job.

  5. Dall'elenco Posizione, seleziona la località per la quale vuoi visualizzare i job. Puoi vedere l'elenco di tutti i job di query eseguiti nelle viste INFORMATION_SCHEMA.JOBS per quella località.

    Puoi anche visualizzare le query attive e in coda insieme all'utilizzo totale degli slot nell'ultimo minuto.

  6. Filtra i job utilizzando le opzioni. Filtra i job utilizzando le opzioni.

    Figura 1. Filtra job.

    Nella figura 1, le opzioni per filtrare i lavori sono le seguenti:

    • Intervallo di tempo tra i quali sono stati eseguiti i job.
    • Ambito del job, ad esempio progetto e organizzazione.
    • Stato del job, ad esempio in esecuzione, in attesa, completato ed errore.
    • ID job
    • ID email del proprietario dei job di amministratore.
    • Job che hanno richiesto più tempo rispetto al tempo di slot specificato.
    • Durata job.
    • Job che hanno elaborato più byte rispetto ai byte elaborati specificati.
    • Tipi di insight sulle query, come contesa degli slot, capacità di shuffle della memoria superata e modifica della scala di input dei dati.
    • L'hash della query contiene gli hash della query. Si tratta di un hash esadecimale STRING che ignora commenti, valori parametro, funzioni definite dall'utente e valori letterali. Questo campo viene visualizzato per le query GoogleSQL riuscite che non corrispondono a hit della cache.

Visualizza i dettagli di esecuzione della query

Per visualizzare i dettagli di esecuzione delle query dei job:

  1. Vai alla pagina Monitoring.

    Vai a Monitoring

  2. Per visualizzare i job, fai clic su Explorer Job.

  3. Puoi filtrare i job per visualizzare i job con limitazioni.

  4. Fai clic su un job per il quale vuoi visualizzare i dettagli dell'esecuzione della query.

  5. Nel riquadro Risultati delle query, puoi vedere i dettagli dell'esecuzione dei job amministratore facendo clic sulla scheda Grafico di esecuzione.

    Grafico di esecuzione per i job.

    Figura 2. Grafico di esecuzione per i job.

Per informazioni su come interpretare gli insight, consulta Interpretare gli insight sulle prestazioni delle query.

Fatturazione

I grafici delle risorse amministrative ed l'esplorazione dei job sono disponibili senza costi aggiuntivi. Le query utilizzate per completare questi grafici non vengono fatturate e non utilizzano gli slot nelle prenotazioni di proprietà dell'utente. Le query che elaborano troppi dati hanno un timeout.

Passaggi successivi