Monitora l'integrità, l'utilizzo delle risorse e i job

In qualità di amministratore di BigQuery, puoi utilizzare i grafici delle risorse per monitorare lo stato, l'utilizzo degli slot e le prestazioni dei job della tua organizzazione nel tempo. Sono disponibili i seguenti grafici:

  • Monitora l'integrità operativa di BigQuery. Il monitoraggio dello stato di integrità operativo in tempo reale di BigQuery è un sistema di monitoraggio centralizzato che ti consente di osservare l'utilizzo di BigQuery nell'organizzazione in più località.

  • Visualizza l'utilizzo delle risorse amministrative. I casi d'uso principali per i grafici delle risorse amministrative includono l'analisi della causa principale per la pianificazione della capacità in base all'utilizzo storico delle risorse e la diagnosi delle variazioni del rendimento.

Per visualizzare la dashboard relativa all'integrità operativa, devi avere almeno una prenotazione a cui accedi con un progetto di amministrazione. I grafici delle risorse sono disponibili per tutti gli utenti con le autorizzazioni appropriate.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare tutti i dati nei grafici delle risorse amministrative, chiedi all'amministratore di concederti i seguenti ruoli IAM nella tua organizzazione:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per visualizzare tutti i dati nei grafici delle risorse amministrative. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per visualizzare tutti i dati nei grafici delle risorse amministrative sono necessarie le seguenti autorizzazioni:

  • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll sull'organizzazione
  • bigquery.reservationAssignments.list nel progetto di amministrazione delle prenotazioni
  • bigquery.capacityCommitments.list nel progetto di amministrazione delle prenotazioni
  • Per visualizzare i dati di riepilogo relativi all'integrità operativa: bigquery.tables.get or bigquery.tables.list nell'organizzazione
  • Per visualizzare i dati parziali a livello di prenotazione:
    • bigquery.reservations.list nel progetto di amministrazione delle prenotazioni
    • bigquery.reservationAssignments.list nel progetto di amministrazione delle prenotazioni
  • Per visualizzare i dati a livello di progetto: bigquery.jobs.listAll nel progetto

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Monitorare l'integrità operativa in un'organizzazione

La dashboard relativa all'integrità operativa mostra le metriche chiave della tua organizzazione e delle sue prenotazioni in tutte le località in cui hai prenotazioni. Puoi utilizzare questa dashboard per monitorare le seguenti metriche:

  • Utilizzo slot
  • Utilizzo casuale
  • Concorrenza job
  • Errori
  • Durata job
  • Byte elaborati
  • Spazio di archiviazione totale

Per monitorare l'integrità operativa:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto di amministrazione utilizzato per acquistare gli slot e creare le prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio. Per impostazione predefinita, il grafico relativo allo stato di salute operativo mostra le metriche di riepilogo per tutte le località e tutte le prenotazioni.

  4. Per visualizzare dati aggiornati più di frequente, puoi attivare/disattivare l'opzione Dati in tempo reale. Se la funzionalità Dati in tempo reale è attivata, i dati vengono aggiornati automaticamente ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è di circa un'ora. Viene visualizzata l'ora dell'ultimo aggiornamento dei dati.

Per visualizzare la visualizzazione dettagliata, seleziona i valori per i quali vuoi visualizzare i grafici della cronologia dettagliati:

  1. Nell'elenco Seleziona località, seleziona una regione specifica.
  2. Nell'elenco Seleziona prenotazione, seleziona la prenotazione.
  3. Nell'elenco Seleziona progetto, seleziona il progetto.
  4. Nell'elenco Intervallo di tempo, seleziona un intervallo di tempo.
  5. Per visualizzare ulteriori informazioni in uno dei grafici delle metriche principali, fai clic su Scopri di più. Per ulteriori informazioni in Jobs explorer, fai clic su Scopri di più nel grafico Query attive principali e nella tabella Approfondimenti.

BigQuery fornisce queste informazioni eseguendo query sulle seguenti INFORMATION_SCHEMA visualizzazioni:

Visualizzazioni

La scheda Integrità operativa mostra le seguenti visualizzazioni:

Visualizzazione di riepilogo

La visualizzazione di riepilogo fornisce una panoramica dell'integrità dei sottosistemi, tra cui prenotazioni e regioni, negli ultimi 30 minuti per la tua organizzazione.

Visualizzazione di riepilogo amministrativo di BigQuery.

Per visualizzare la visualizzazione di riepilogo:

  • Nel grafico Integrità operativa, seleziona Tutte le località nell'elenco Seleziona località.

Visualizzazione dettagliata

La visualizzazione dettagliata mostra grafici dettagliati delle varie metriche a livello di località o prenotazione.

Panoramica della visualizzazione dettagliata amministrativa di BigQuery.

Per visualizzare la visualizzazione dettagliata:

  • Nel grafico Integrità operativa, seleziona la regione o la versione nell'elenco Seleziona località.

Puoi perfezionare ulteriormente i dati visualizzati nella visualizzazione dettagliata utilizzando i seguenti filtri facoltativi:

  • Nell'elenco Seleziona prenotazione, seleziona il nome della prenotazione.
  • Nell'elenco Seleziona progetto, seleziona il progetto.

Grafici

La scheda Integrità operativa mostra le seguenti opzioni di configurazione del grafico:

Tabella riepilogativa

Le tabelle di riepilogo mostrano le seguenti metriche:

  • Utilizzo degli slot. L'utilizzo medio degli slot. La capacità totale degli slot equivale alla capacità di base e alla capacità massima con scalabilità automatica.
  • Utilizzo della riproduzione casuale. Il valore massimo del rapporto di utilizzo shuffling medio delle prenotazioni.
  • Contemporaneità. Il numero massimo di job eseguiti contemporaneamente.
  • Byte elaborati. I byte totali elaborati dai job completati.
  • Durata del job. Il tempo di esecuzione medio dei job completati, calcolato dal momento in cui è stato creato a quello in cui è stato completato.
  • Spazio di archiviazione totale. I byte logici attivi totali all'ora dell'ultimo aggiornamento.

Nella visualizzazione per località o prenotazioni sono presenti due tabelle di riepilogo. Ogni riga della tabella rappresenta una località o un utilizzo della prenotazione.

Le tabelle mostrano le metriche relative ai 30 minuti precedenti l'ultimo aggiornamento. Se è attivata l'opzione Dati in tempo reale, i dati vengono aggiornati automaticamente ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è di circa un'ora.

La cella della tabella è codificata a colori se la metrica è superiore alla soglia. Tutte le soglie sono predefinite e non possono essere personalizzate. Il codice a colori viene applicato quando c'è un numero maggiore di approfondimenti sul rendimento per i job ripetuti e il valore della metrica è superiore al normale. Se il valore della metrica nei 30 minuti precedenti all'ultimo aggiornamento è superiore al valore P99 dell'utilizzo della settimana precedente per lo stesso giorno, la cella della tabella è contrassegnata da uno sfondo blu scuro. Se il valore delle metriche nell'arco di 30 minuti è compreso tra il 95° e il 99° percentile dell'utilizzo della settimana precedente per lo stesso giorno, la cella della tabella è contrassegnata da uno sfondo azzurro chiaro.

Tabella di riepilogo amministrativo di BigQuery.

Filtra dati

Puoi filtrare i dati nei grafici in base ai seguenti valori:

Dati dei filtri amministrativi di BigQuery.

  • Posizione. Sono disponibili le regioni in cui l'organizzazione ha registrato attività negli ultimi 30 giorni. La visualizzazione di riepilogo presenta una tabella di riepilogo per regione per monitorare l'utilizzo in tutte le regioni attive.
  • Prenotazione. Questo campo è disponibile solo per la visualizzazione dettagliata. Sono disponibili tutte le prenotazioni di proprietà dei progetti amministrativi di visualizzazione. Puoi scegliere solo una prenotazione.
  • Progetto. Questo campo è disponibile solo per la visualizzazione dettagliata. Sono disponibili tutti i progetti con traffico nell'organizzazione. Puoi selezionare solo un progetto.
  • Intervallo di tempo. Questo campo è disponibile solo per la visualizzazione dettagliata. Ha effetto sui grafici a cronologia delle metriche e sul grafico a ciambella degli errori nella visualizzazione dettagliata. La scala dei dati nei grafici della cronologia delle metriche viene regolata automaticamente in base all' intervallo di tempo selezionato.

Grafico delle principali query attive

Questo grafico mostra i dieci job principali con risorse attive, ordinate in ordine decrescente. Utilizzando il menu a discesa, puoi selezionare un'opzione di ordinamento in base all'utilizzo dello slot o alla durata del job. L'ID job e il numero di utilizzo delle risorse pertinenti sono presentati nel grafico a barre. Seleziona Scopri di più o l'ID job nel grafico delle principali query attive per visualizzare ulteriori dettagli in Esploratore compiti. Per scoprire di più sui dettagli di esecuzione e diagnosticare eventuali problemi di prestazioni per i job BigQuery, consulta il grafico di esecuzione delle query.

Barra dell'elenco dei job principali amministrativi di BigQuery.

Grafico ad anello con errore

Questo grafico mostra la proporzione delle principali cause di errore nel periodo di tempo selezionato. Nella visualizzazione di riepilogo, per impostazione predefinita vengono visualizzati gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo ne controlla la copertura. Puoi raggruppare gli errori per tipo, progetto del proprietario o prenotazione. Il conteggio dei job non riusciti è riportato nel grafico a ciambella.

Grafico a ciambella degli errori BigQuery.

Grafici a cronologia delle metriche

Questi grafici mostrano una panoramica delle metriche supportate per un massimo di 30 giorni. Il periodo di tempo predefinito è un'ora. Man mano che il periodo di tempo selezionato cambia, la granularità di ogni punto dati nel grafico viene scalata automaticamente.

Questi grafici mostrano un valore aggregato per una regione o una prenotazione. La visualizzazione dei dati per più regioni o più prenotazioni non è supportata.

Grafici della cronologia delle metriche BigQuery.

I grafici a cronologia delle metriche supportano le seguenti metriche:

  • Utilizzo degli slot. L'utilizzo medio degli slot nel periodo di tempo selezionato. Mostra l'utilizzo complessivo degli slot di tutti i job e dei job non riusciti separatamente.
  • Contemporaneità dei job. Il numero massimo di job eseguiti contemporaneamente nel periodo di tempo selezionato. Mostra il conteggio dei job in esecuzione e in attesa distintamente ed è visualizzato come un grafico a barre in pila.
  • Byte scansionati. I byte totali elaborati dai job completati nel periodo di tempo selezionato.
  • Riproduzione casuale. Il valore massimo del rapporto di utilizzo casuale medio delle prenotazioni nel periodo di tempo selezionato.
  • Durata del job. Il tempo di esecuzione medio dei job completati nel periodo di tempo selezionato, calcolato dal momento della creazione al momento del completamento del job.
  • Errore per tipo. Il grafico a ciambella degli errori mostra la proporzione di diverse cause di errore nel periodo di tempo selezionato.

Oltre alle tendenze delle metriche, questi grafici mostrano le linee di riferimento dei valori delle metriche P95 e P99 dell'utilizzo della settimana precedente per lo stesso giorno. Per il grafico Contemporaneità dei job, viene mostrata la soglia per la somma dei job in attesa e in esecuzione. Questi valori di riferimento vengono utilizzati come soglie di codifica a colori nella tabella di riepilogo.

Per saperne di più sul grafico, fai clic su Scopri di più. Viene visualizzata la scheda Utilizzo delle risorse.

Tabella degli insight

Questa tabella aggrega gli errori di quota, gli errori di accesso negato e le informazioni sul rendimento raccolte durante le esecuzioni dei job nel periodo di tempo selezionato. Gli insight vengono aggregati a livello di prenotazione. Ogni riga fornisce informazioni sul tipo di informazione, sulla località, sulla prenotazione, sul dettaglio dell'informazione e sugli ID job di esempio. Fai clic sugli ID job per visualizzare ulteriori dettagli in Esplora job. Nella visualizzazione di riepilogo, l'intervallo di tempo di osservazione predefinito copre gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla il periodo di tempo specifico per cui vengono visualizzati i dati delle osservazioni.

Tabella di insight BigQuery.

Monitorare l'integrità operativa di un singolo progetto

La dashboard dell'integrità operativa del progetto è la visualizzazione predefinita che viene visualizzata se non hai accesso all'intera organizzazione o se il tuo progetto non possiede prenotazioni. Questa visualizzazione può aiutare gli analisti dei progetti a monitorare l'integrità del sistema per i loro progetti, molto simile alla dashboard dell'integrità operativa a livello di organizzazione, ma mostra solo i dati a livello di progetto nei grafici e nei filtri.

Visualizzare l'utilizzo delle risorse

I dati nei grafici delle risorse amministrative si basano sulla visualizzazione INFORMATION_SCHEMA.JOBS e sulla visualizzazione INFORMATION_SCHEMA.JOBS_TIMELINE, che si aggiornano in tempo reale e vanno indietro fino a un massimo di 30 giorni.

Puoi visualizzare l'utilizzo delle risorse BigQuery utilizzando i grafici delle risorse amministrative. Questi grafici delle risorse hanno i seguenti tre componenti interattivi principali:

  • Il grafico della sequenza temporale degli eventi mostra una panoramica dei dati su un massimo di 30 giorni. Il valore predefinito è 1 giorno.

  • Il grafico principale mostra le metriche selezionate (utilizzo degli slot, contemporaneità dei job, prestazioni dei job, errori o byte elaborati) nel tempo per l'organizzazione o per il progetto di amministrazione delle prenotazioni. Il grafico include una legenda tabella correlata ai dati nel grafico, che mostra statistiche più dettagliate aggregate nel periodo di tempo.

  • Un riquadro laterale per scegliere diversi grafici, suddivisioni e opzioni di filtro.

Il seguente diagramma fornisce una panoramica delle varie opzioni di grafici amministrativi in BigQuery:

Panoramica dei grafici delle risorse amministrative di BigQuery.

Prima di iniziare

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

    Puoi creare un progetto di amministrazione delle prenotazioni di Google Cloud separato per gestire la prenotazione assegnandogli un nome descrittivo come bq-COMPANY_NAME-admin.

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the BigQuery Reservation API.

    Enable the API

    Per ulteriori informazioni, vedi Abilitare l'API BigQuery Reservation.

  4. Nella console Google Cloud, visualizza le quote degli slot:

    Visualizzare le quote per gli slot

    Devi disporre di una quota sufficiente per la regione in cui vuoi acquistare gli slot.

    Se la quota di slot per la regione è inferiore al numero di slot che vuoi acquistare, scopri come richiedere un aumento della quota.

Visualizzare i grafici delle risorse amministrative

Per impostazione predefinita, hai accesso ai grafici delle risorse di amministrazione delle versioni quando navighi dal progetto di amministrazione delle prenotazioni. Puoi passare dai grafici delle risorse amministrative on demand ai grafici delle risorse amministrative dell'edizione dal progetto amministrativo della prenotazione (Anteprima).

Per visualizzare i grafici delle risorse amministrative:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto amministrativo utilizzato per acquistare gli slot e creare le prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio.

  4. Nella sezione Opzioni grafico > Ambito, puoi selezionare il modello di fatturazione dall'elenco, che include tre tipi di versioni e on demand. Per impostazione predefinita, il modello di fatturazione è impostato sulla versione Enterprise.

  5. Nella sezione Opzioni grafico > Configurazioni grafico, procedi nel seguente modo:

    1. Nell'elenco Grafico, seleziona il tipo di grafico. Per informazioni sulle diverse opzioni di grafico, consulta Opzioni di grafico.
    2. Nell'elenco Metriche, seleziona il tipo di metriche disponibili.
    3. Nell'elenco Raggruppa per, seleziona la dimensione in base alla quale vuoi gruppare i dati nel grafico. Per informazioni sulle diverse dimensioni, consulta Opzioni di raggruppamento.
    4. Nell'elenco Filtri, seleziona le opzioni di filtro disponibili. Per informazioni sui diversi filtri, consulta Filtri e ricerca.
    5. Imposta il periodo di tempo per il quale vuoi visualizzare i dati nel grafico.

Configurazioni dei grafici

Puoi modificare la visualizzazione dei grafici delle risorse amministrative modificando le seguenti opzioni di configurazione del grafico:

Opzioni del grafico

BigQuery fornisce i seguenti tipi di metriche da visualizzare nei grafici:

  • Utilizzo slot. Utilizzo medio degli slot. Se l'opzione Raggruppa per è impostata su Complessiva o se Filtri è Nessuna o una singola prenotazione, vengono visualizzate anche le metriche relative alla capacità e all'utilizzo degli slot presi in prestito.

    • Utilizzo totale. Utilizzo medio degli slot nel periodo di tempo selezionato.
    • Utilizzo degli slot presi in prestito. Utilizzo medio superiore alla capacità della prenotazione. Di solito si tratta di slot inattivi presi in prestito da altre prenotazioni e impegni o di imprecisione di arrotondamento nei dati di utilizzo.
    • Capacità di impegno. La dimensione dell'impegno per l'edizione.
    • Capacità di riferimento. Le dimensioni di riferimento della prenotazione.
    • Capacità di scalabilità automatica. La dimensione dello spazio con scalabilità automatica.
    • Capacità massima. Il numero massimo di slot a cui l'utente ha accesso.

  • Contemporaneità job. Numero massimo di job eseguiti contemporaneamente nel periodo di tempo selezionato.

  • Rendimento job. Tempo di esecuzione medio dei job completati, calcolato dal momento della creazione al momento del completamento.

  • Job non riusciti. Utilizzo medio degli slot nel periodo di tempo selezionato per i job non riusciti.

  • Byte elaborati. Byte totali elaborati dai job completati nel periodo di tempo selezionato.

  • Utilizzo della Riproduzione casuale. Rapporto di utilizzo casuale medio nel periodo di tempo selezionato (anteprima).

Componente tabella

La tabella mostra le metriche pertinenti per il periodo di tempo e la dimensione selezionati nel grafico delle risorse amministrative.

Il grafico Utilizzo slot mostra l'utilizzo slot medio per tutti i job eseguiti durante il periodo di tempo selezionato. I job che non sono stati completati nel periodo di tempo selezionato includono solo gli slot utilizzati nel periodo di tempo.

Per il grafico Rendimento dei job, il componente della tabella mostra le seguenti metriche:

  • Numero di job. Il numero di job completati eseguiti o eseguiti parzialmente nel periodo di tempo selezionato.

  • Durata media del job. La durata media dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.

  • Durata media del job. La durata mediana dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.

  • Durata minima del job. La durata minima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi attivarla in Opzioni di visualizzazione delle colonne.

  • Durata massima del job. La durata massima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi attivarla in Opzioni di visualizzazione delle colonne.

Per il grafico Job non riusciti, il componente della tabella mostra i seguenti dati:

  • Utilizzo slot medio. È uguale al grafico Utilizzo degli slot, ma solo per i job non riusciti.

  • Totale job non riusciti. Il numero di job non riusciti nel periodo di tempo selezionato.

Opzioni di raggruppamento

In base al tipo di grafico, puoi raggruppare i dati nella visualizzazione del grafico in base a diverse dimensioni:

  • Complessiva. La visualizzazione complessiva è una panoramica generale della metrica selezionata nel tempo nell'intera organizzazione. Per l'utilizzo degli slot, la capacità e l'utilizzo vengono mostrati nello stesso grafico per dare un'idea dell'utilizzo complessivo degli slot nel tempo.

  • Progetto. La visualizzazione del progetto mostra la metrica selezionata raggruppata per progetto. Se un'organizzazione ha più di 10 progetti, vengono visualizzati solo i 10 progetti principali con l'utilizzo degli slot, la concorrenza dei job, la durata dei job o i job non riusciti più elevati nel periodo di tempo selezionato. Per l'utilizzo degli slot, tutti gli altri progetti sono raggruppati nella categoria Altro nella parte inferiore del grafico per facilitare il confronto con la capacità complessiva.

  • Tutte le altre visualizzazioni con raggruppamento sono simili alla visualizzazione del progetto, con i dati raggruppati in base alla rispettiva dimensione.

Opzione Periodo di tempo

Puoi modificare il periodo di tempo nei seguenti modi:

  • Seleziona e trascina il periodo di tempo nel grafico della cronologia degli eventi.

  • Seleziona e trascina il periodo di tempo nel grafico principale.

Il periodo di allineamento si aggiorna automaticamente quando cambia l'intervallo di tempo selezionato. Più breve è il periodo di allineamento, più dettagliata sarà la visualizzazione. Per visualizzare meglio le risorse che cambiano di frequente, ad esempio l'opzione Utilizzo slot, riduci il periodo di allineamento.

Per restringere i dati del grafico, applica i filtri nel riquadro dei filtri. Alcuni filtri sono disponibili solo per determinati grafici. I filtri Prenotazioni, Cartelle, Progetti e Utenti vengono compilati con le rispettive risorse che hanno utilizzato gli slot nel periodo di tempo selezionato. Ad esempio, se un progetto non è stato utilizzato negli ultimi 30 giorni, non viene visualizzato nell'elenco dei filtri dei progetti.

Il grafico viene aggiornato dopo l'applicazione dei filtri per mostrare i dati all'interno dei parametri selezionati.

Visualizzare i dati dei grafici amministrativi a livello di progetto

Puoi modificare l'ambito in Opzioni grafico per generare una panoramica dei grafici amministrativi a livello di progetto. Questa visualizzazione può aiutare gli analisti dei progetti a monitorare l'utilizzo delle risorse per i progetti di proprietà, in modo simile ai grafici amministrativi a livello di organizzazione, ad eccezione di alcune opzioni di grafico e di raggruppamento non applicabili. Questa visualizzazione mostra l'utilizzo complessivo delle risorse indipendentemente dalla modalità di fatturazione all'interno del progetto contestuale.

Panoramica dei grafici delle risorse di amministrazione a livello di progetto BigQuery.

Quando accedi ai grafici amministrativi da un progetto non amministrativo con autorizzazioni a livello di organizzazione, il grafico amministrativo passa per impostazione predefinita al livello di progetto. Puoi tornare alla visualizzazione corretta utilizzando il menu a discesa Ambito in Opzioni grafico.

Fatturazione

I grafici delle risorse di amministrazione sono disponibili senza costi aggiuntivi. Le query utilizzate per compilare questi grafici non vengono fatturate e non utilizzano slot nelle prenotazioni di proprietà dell'utente. Le query che elaborano troppi dati hanno un timeout.

Passaggi successivi