Monitora l'integrità, l'utilizzo delle risorse e i job

In qualità di amministratore di BigQuery, puoi utilizzare i grafici delle risorse per monitorare l'integrità, l'uso degli slot e le prestazioni dei job della tua organizzazione nel tempo. Sono disponibili i seguenti grafici:

  • Monitora l'integrità operativa di BigQuery. Il monitoraggio dello stato di integrità operativo in tempo reale di BigQuery è un sistema di monitoraggio centralizzato che ti consente di osservare l'utilizzo di BigQuery nell'organizzazione in più località.

  • Visualizza l'utilizzo delle risorse amministrative. I casi d'uso principali per i grafici delle risorse amministrative includono la causa principale per la pianificazione della capacità basata sull'utilizzo storico delle risorse per diagnosticare le variazioni del rendimento.

Per visualizzare la dashboard dell'integrità operativa, devi avere almeno una prenotazione a cui accedi con un progetto di amministrazione. I grafici delle risorse sono disponibili per tutti gli utenti con i autorizzazioni aggiuntive.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare tutti i dati nei grafici delle risorse amministrative, chiedi all'amministratore di concederti i seguenti ruoli IAM nella tua organizzazione:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti le autorizzazioni necessarie per visualizzare tutti i dati nei grafici delle risorse amministrative. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per visualizzare tutti i dati nei grafici delle risorse amministrative sono necessarie le seguenti autorizzazioni:

  • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll sull'organizzazione
  • bigquery.reservationAssignments.list nel progetto di amministrazione delle prenotazioni
  • bigquery.capacityCommitments.list sul progetto di amministrazione della prenotazione
  • Per visualizzare i dati di riepilogo relativi all'integrità operativa: bigquery.tables.get or bigquery.tables.list nell'organizzazione
  • Per visualizzare i dati parziali a livello di prenotazione:
    • bigquery.reservations.list nel progetto di amministrazione delle prenotazioni
    • bigquery.reservationAssignments.list nel progetto di amministrazione delle prenotazioni
  • Per visualizzare i dati a livello di progetto: bigquery.jobs.listAll del progetto

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Monitorare l'integrità operativa all'interno di un'organizzazione

La dashboard dell'integrità operativa mostra le metriche chiave dell'organizzazione e le sue prenotazioni in tutte le località in cui hai prenotazioni. Puoi utilizzare questa dashboard per monitorare le seguenti metriche:

  • Utilizzo slot
  • Utilizzo casuale
  • Concorrenza job
  • Errori
  • Durata job
  • Byte elaborati
  • Spazio di archiviazione totale

Per monitorare l'integrità operativa:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto di amministrazione che hai utilizzato acquistare slot e creare prenotazioni.

  3. Nel riquadro di navigazione, seleziona Amministrazione > Monitoraggio. Per impostazione predefinita, il grafico dell'integrità operativa mostra le metriche di riepilogo luoghi e tutte le prenotazioni.

  4. Per visualizzare i dati aggiornati con maggiore frequenza, puoi attivare/disattivare Dati in tempo reale. Se la funzionalità Dati in tempo reale è attivata, i dati vengono aggiornati automaticamente ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è circa un'ora. Viene visualizzata l'ora dell'ultimo aggiornamento dei dati.

Per visualizzare la visualizzazione dettagliata, seleziona i valori per i quali vuoi visualizzare i grafici della cronologia dettagliati:

  1. Nell'elenco Seleziona località, scegli una regione specifica.
  2. Nell'elenco Seleziona prenotazione, seleziona la prenotazione.
  3. Nell'elenco Seleziona progetto, seleziona il progetto.
  4. Nell'elenco Intervallo di tempo, seleziona un intervallo di tempo.
  5. Per visualizzare ulteriori informazioni in uno dei grafici delle metriche principali, fai clic su Scopri di più. Per ulteriori informazioni in Offerte di lavoro Explorer, fai clic su Esplora altro da il grafico Principali query attive e la tabella Approfondimenti.

BigQuery fornisce queste informazioni eseguendo query sulle seguenti INFORMATION_SCHEMA visualizzazioni:

Visualizzazioni

La scheda Integrità operativa mostra le seguenti visualizzazioni:

Visualizzazione di riepilogo

La visualizzazione di riepilogo fornisce una visualizzazione dell'integrità dei sottosistemi, tra cui prenotazioni e regioni, negli ultimi 30 minuti per la tua organizzazione.

Visualizzazione di riepilogo amministrativo di BigQuery.

Per visualizzare la visualizzazione di riepilogo:

  • Nel grafico Integrità operativa, nell'elenco Seleziona località, seleziona Tutte le località.

Visualizzazione dettagliata

La visualizzazione dettagliata mostra grafici dettagliati delle varie metriche su una località o a livello di prenotazione.

Panoramica della visualizzazione dettagliata amministrativa di BigQuery.

Per consultare la visualizzazione dettagliata, procedi nel seguente modo:

  • Nel grafico Integrità operativa, seleziona la regione o la versione nell'elenco Seleziona località.

Puoi perfezionare ulteriormente i dati visualizzati nella visualizzazione dettagliata utilizzando i seguenti filtri facoltativi:

  • Nell'elenco Seleziona prenotazione, scegli il nome della prenotazione.
  • Nell'elenco Seleziona progetto, seleziona il progetto.

Grafici

La scheda Integrità operativa mostra le seguenti opzioni di configurazione dei grafici:

Tabella riepilogativa

Le tabelle di riepilogo mostrano le seguenti metriche:

  • Utilizzo degli slot. L'utilizzo medio degli slot. La capacità totale degli slot è uguale a della capacità di base e della capacità massima con scalabilità automatica.
  • Utilizzo casuale. Il valore massimo del rapporto di utilizzo shuffling medio delle prenotazioni.
  • Contemporaneità. Il numero massimo di job eseguiti contemporaneamente.
  • Byte elaborati. Byte totali elaborati dai job completati.
  • Durata del job. Il tempo di esecuzione medio dei job completati, calcolato dal momento in cui è stato creato a quello in cui è stato completato.
  • Spazio di archiviazione totale. Il totale dei byte logici attivi all'ora dell'ultimo aggiornamento.

Nella visualizzazione per località o prenotazioni sono presenti due tabelle di riepilogo. Ogni riga della tabella rappresenta una località o un utilizzo della prenotazione.

Le tabelle mostrano le metriche relative ai 30 minuti precedenti l'ultimo aggiornamento. Se Dati in tempo reale è abilitato, quindi i dati vengono aggiornati automaticamente ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è circa un'ora.

La cella della tabella è codificata a colori se la metrica è superiore alla soglia. Tutte le soglie sono predefinite e non possono essere personalizzate. Il codice colore viene applicato quando è in aumento il numero di insight sulle prestazioni per i job ripetuti e rispetto al valore della metrica normale. Se il valore della metrica nei 30 minuti precedenti la l'ultimo aggiornamento è maggiore del valore P99 dell'utilizzo dell'ultima settimana per lo stesso giorno, la cella della tabella è contrassegnata con uno sfondo blu scuro. Se il valore delle metriche nell'arco di 30 minuti è compreso tra il 95° e il 99° percentile dell'utilizzo della settimana precedente per lo stesso giorno, la cella della tabella è contrassegnata da uno sfondo azzurro chiaro.

Tabella di riepilogo amministrativo di BigQuery.

Filtra dati

Puoi filtrare i dati nei grafici in base ai seguenti valori:

Dati del filtro amministrativo di BigQuery.

  • Posizione. Regioni in cui l'organizzazione ha svolto attività all'interno di disponibili gli ultimi 30 giorni. La visualizzazione di riepilogo presenta una tabella di riepilogo per regione per monitorare l'utilizzo in tutte le regioni attive.
  • Prenotazione. Questo campo è disponibile solo per la visualizzazione dettagliata. Sono disponibili tutte le prenotazioni di proprietà dei progetti amministrativi di visualizzazione. Puoi scegliere solo una prenotazione.
  • Progetto. Questo campo è disponibile solo per la visualizzazione dettagliata. Sono disponibili tutti i progetti con traffico nell'organizzazione. Puoi selezionare solo un progetto.
  • Intervallo di tempo. Questo campo è disponibile solo per la visualizzazione dettagliata. Ha effetto sui grafici a cronologia delle metriche e sul grafico a ciambella degli errori nella visualizzazione dettagliata. La scala dei dati nei grafici a cronologia delle metriche viene regolata automaticamente in base nell'intervallo di tempo selezionato.

Grafico delle principali query attive

Questo grafico mostra i dieci job principali con risorse attive, ordinate in ordine decrescente. Utilizzando il menu a discesa, puoi selezionare un'opzione di ordinamento in base all'utilizzo dello slot o alla durata del job. L'ID job e l'utilizzo pertinente delle risorse numeri sono presentati nel grafico a barre. Seleziona Scopri di più o l'ID job nel grafico delle principali query attive per visualizzare ulteriori dettagli in Esploratore lavori. Per scoprire di più sui dettagli di esecuzione e diagnosticare eventuali problemi di prestazioni per i job BigQuery, consulta il grafico di esecuzione delle query.

Barra dell'elenco dei job principali amministrativi di BigQuery.

Grafico ad anello con errore

Questo grafico mostra la proporzione delle principali cause di errore nel periodo di tempo selezionato. Nella visualizzazione di riepilogo, per impostazione predefinita copre l'ultima 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla la sua copertura. Puoi raggruppare gli errori per tipo, progetto del proprietario o prenotazione. Il conteggio dei job non riusciti è presentato nel grafico ad anello.

Grafico a ciambella degli errori BigQuery.

Grafici a cronologia delle metriche

Questi grafici mostrano una panoramica delle metriche supportate per un massimo di 30 giorni. Il periodo di tempo predefinito è un'ora. Quando il periodo di tempo selezionato cambia, il valore la granularità di ogni punto dati nel grafico viene scalata automaticamente.

Questi grafici mostrano un valore aggregato per una regione o una prenotazione. La visualizzazione dei dati per più regioni o più prenotazioni non è supportata.

Grafici a cronologia delle metriche BigQuery:

I grafici a cronologia delle metriche supportano le seguenti metriche:

  • Utilizzo degli slot. L'utilizzo medio degli slot nel periodo di tempo selezionato. Mostra l'utilizzo complessivo degli slot di tutti i job e dei job non riusciti separatamente.
  • Contemporaneità dei job. Il numero massimo di job eseguiti contemporaneamente nella periodo di tempo selezionato. Mostra il conteggio dei job in esecuzione e dei job in attesa. separatamente ed è mostrato come grafico a barre in pila.
  • Byte scansionati. I byte totali elaborati dai job completati nel periodo di tempo selezionato.
  • Riproduzione casuale. Il rapporto di utilizzo shuffling medio massimo di tutte le prenotazioni nel periodo di tempo selezionato.
  • Durata del job. Il tempo di esecuzione medio dei job completati nell'elemento selezionato di tempo, calcolato dall'ora di creazione del job all'ora di fine del job.
  • Errore per tipo. Il grafico a ciambella degli errori mostra la proporzione di diverse cause di errore nel periodo di tempo selezionato.

Oltre alle tendenze delle metriche, questi grafici mostrano le linee di riferimento dei valori delle metriche P95 e P99 dell'utilizzo della settimana precedente per lo stesso giorno. Per Contemporaneità job mostra la soglia per la somma dei job in attesa e in esecuzione. Quelli i valori di riferimento vengono utilizzati come soglie di codifica del colore nella tabella di riepilogo.

Per saperne di più sul grafico, fai clic su Scopri di più. Il sistema ti reindirizzerà alla scheda Utilizzo delle risorse.

Tabella degli insight

Questa tabella aggrega gli errori di quota, gli errori di accesso negato e le prestazioni insight raccolti durante l'esecuzione del job nel periodo di tempo selezionato. Gli insight vengono aggregati a livello di prenotazione. Ogni riga fornisce informazioni sul tipo di informazione, sulla località, sulla prenotazione, sul dettaglio dell'informazione e sugli ID job di esempio. Fai clic sugli ID job per visualizzare altri dettagli sul job in Esplora job. Nel riepilogo media, il periodo di tempo predefinito per l'osservazione copre gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla il periodo di tempo specifico per cui vengono visualizzati i dati delle osservazioni.

Tabella di insight di BigQuery.

Monitorare l'integrità operativa di un singolo progetto

La dashboard dell'integrità operativa del progetto è la visualizzazione predefinita non hanno accesso all'intera organizzazione o il progetto non possiede alcuna prenotazione. Questa visualizzazione può aiutare gli analisti dei progetti a monitorare l'integrità del sistema per i loro progetti, molto simile alla dashboard dell'integrità operativa a livello di organizzazione, ma mostra solo i dati a livello di progetto nei grafici e nei filtri.

Visualizza utilizzo delle risorse

I dati nei grafici delle risorse amministrative si basano su INFORMATION_SCHEMA.JOBS e la INFORMATION_SCHEMA.JOBS_TIMELINE visualizzazione, che si aggiornano in tempo reale, con un massimo di 30 giorni precedenti.

Puoi visualizzare l'utilizzo delle risorse BigQuery utilizzando i grafici delle risorse amministrative. Questi grafici delle risorse hanno i seguenti tre componenti interattivi principali:

  • Il grafico della sequenza temporale degli eventi mostra una panoramica dei dati relativi a un massimo di 30 giorni. Il valore predefinito è 1 giorno.

  • Il grafico principale mostra le metriche selezionate (utilizzo degli slot, contemporaneità dei job, prestazioni dei job, errori o byte elaborati) nel tempo per l'organizzazione o per il progetto di amministrazione delle prenotazioni. Il grafico include una legenda tabella correlata ai dati nel grafico, che mostra statistiche più dettagliate aggregate nel periodo di tempo.

  • Un riquadro laterale per scegliere diversi grafici, suddivisioni e opzioni di filtro.

Il seguente diagramma fornisce una panoramica di vari grafici amministrativi disponibili in BigQuery:

Panoramica dei grafici delle risorse amministrative di BigQuery.

Prima di iniziare

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

    Puoi creare un progetto di amministrazione delle prenotazioni di Google Cloud separato per gestire la prenotazione assegnandogli un nome descrittivo come bq-COMPANY_NAME-admin.

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the BigQuery Reservation API.

    Enable the API

    Per ulteriori informazioni, vedi Abilitare l'API BigQuery Reservation.

  4. Nella console Google Cloud, visualizza le tue quote per gli slot:

    Visualizzare le quote per gli slot

    Devi disporre di una quota sufficiente per la regione in cui vuoi acquistare gli slot.

    Se la quota di slot per la regione è inferiore al numero di slot che vuoi acquistare, scopri come richiedere un aumento della quota.

Visualizzare i grafici delle risorse amministrative

Per impostazione predefinita, puoi accedere ai grafici delle risorse amministrative della versione quando che naviga dal progetto amministrativo della prenotazione. Puoi spostarti tra i grafici delle risorse amministrative on demand e Versione dei grafici delle risorse amministrative dalla prenotazione progetto amministrativo (anteprima).

Per visualizzare i grafici delle risorse amministrative:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto amministrativo utilizzate per acquistare slot e creare prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio.

  4. Nella sezione Opzioni del grafico > Ambito, puoi selezionare la Modello di fatturazione dall'elenco, che comprende tre tipi di Edizioni e on demand. Per impostazione predefinita, il modello di fatturazione è impostato sulla versione Enterprise.

  5. Nella sezione Opzioni grafico > Configurazioni grafico, procedi nel seguente modo:

    1. Nell'elenco Grafico, seleziona il tipo di grafico. Per informazioni sulle diverse opzioni di grafico, consulta Opzioni di grafico.
    2. Nell'elenco Metriche, seleziona il tipo di metriche disponibili.
    3. Nell'elenco Raggruppa per, seleziona la dimensione in base alla quale vuoi raggruppare i dati nel grafico. Per informazioni sulle diverse dimensioni, consulta Opzioni di raggruppamento.
    4. Nell'elenco Filtri, seleziona le opzioni di filtro disponibili. Per informazioni sui diversi filtri, consulta Filtri e ricerca.
    5. Imposta il periodo di tempo per il quale vuoi visualizzare i dati nel grafico.

Configurazioni dei grafici

Puoi modificare la visualizzazione dei grafici delle risorse amministrative modificando le seguenti opzioni di configurazione del grafico:

Opzioni del grafico

BigQuery fornisce i seguenti tipi di metriche da visualizzare nei grafici:

  • Utilizzo slot. Utilizzo e capacità medi degli slot nel periodo di tempo selezionato.

    • Utilizzo totale. Utilizzo slot medio nel periodo di tempo selezionato.
    • Utilizzo degli slot presi in prestito. Utilizzo medio in eccesso rispetto al valore della prenotazione e la capacità di archiviazione. In genere si tratta di slot inattivi presi in prestito da altre prenotazioni e impegni o dall'arrotondamento dell'imprecisione dei dati sull'utilizzo.
    • Capacità di impegno. Le dimensioni dell'impegno per l'edizione.
    • Capacità di riferimento. Le dimensioni del riferimento della prenotazione.
    • Capacità di scalabilità automatica. La dimensione dello spazio con scalabilità automatica.
    • Capacità massima. Il numero massimo di slot a cui l'utente ha accesso.

    Le capacità e l'utilizzo degli slot presi in prestito si applicano alle seguenti condizioni:

    • Il valore di Raggruppa per opzione è "Complessivo".
    • Nessun filtro o filtrato in base a una singola prenotazione.

  • Contemporaneità dei job. Numero massimo di job eseguiti contemporaneamente nel periodo di tempo selezionato.

  • Rendimento job. Tempo di esecuzione medio dei job completati, calcolato dal momento della creazione al momento del completamento.

  • Job non riusciti. Utilizzo medio degli slot nel periodo di tempo selezionato per i job non riusciti.

  • Byte elaborati. Byte totali elaborati dai job completati nell'intervallo selezionato periodo di tempo.

  • Utilizzo della Riproduzione casuale. Rapporto di utilizzo casuale medio nel periodo di tempo selezionato (anteprima).

Componente tabella

La tabella mostra le metriche pertinenti al periodo di tempo e alla dimensione selezionato nel grafico delle risorse di amministrazione.

Il grafico Utilizzo slot mostra l'Utilizzo medio degli slot per tutti i i job eseguiti durante il periodo di tempo selezionato. Job non completati nel periodo di tempo selezionato, includere solo gli slot utilizzati in quel periodo di tempo.

Per il grafico Prestazioni job, il componente tabella mostra quanto segue. metriche:

  • Numero di job. Il numero di job completati o parzialmente eseguiti all'interno per il periodo di tempo selezionato.

  • Durata media job. La durata media dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.

  • Durata media del job. La durata mediana dei job completati con sia stata eseguita almeno parzialmente nel periodo di tempo selezionato.

  • Durata minima del job. La durata minima del job completato per i job completati sia stata eseguita almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi attivarla in Opzioni di visualizzazione delle colonne.

  • Durata massima job. La durata massima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta da predefinita, ma puoi abilitarla in Opzioni di visualizzazione delle colonne.

Per il grafico Job non riusciti, il componente tabella mostra i seguenti dati:

  • Utilizzo slot medio. È uguale al grafico Utilizzo degli slot, ma solo per i job non riusciti.

  • Totale dei job non riusciti. Il numero di job non riusciti entro il periodo di tempo selezionato punto.

Opzioni di raggruppamento

In base al tipo di grafico, puoi raggruppare i dati presenti nella visualizzazione grafico in base a diverse dimensioni:

  • Complessiva. La visualizzazione generale è una panoramica generale della metrica selezionata nel tempo nell'intera organizzazione. Per l'utilizzo, la capacità e l'utilizzo degli slot, vengono mostrati nello stesso grafico per dare un'idea dell'utilizzo complessivo degli slot nel tempo.

  • Progetto. La visualizzazione progetto mostra la metrica selezionata raggruppata per progetto. Se un'organizzazione ha più di 10 progetti, vengono visualizzati solo i 10 progetti principali con il maggiore utilizzo degli slot, la concorrenza dei job, la durata dei job o i job non riusciti nel periodo di tempo selezionato. Per l'utilizzo degli slot, tutti gli altri progetti sono raggruppati nella categoria Altro nella parte inferiore del grafico per facilitare il confronto con la capacità complessiva.

  • Tutte le altre visualizzazioni con raggruppamento sono simili alla visualizzazione del progetto, con i dati raggruppati in base alla rispettiva dimensione.

Opzione Periodo di tempo

Puoi modificare il periodo di tempo nei seguenti modi:

  • Seleziona e trascina il periodo di tempo nel grafico della cronologia degli eventi.

  • Seleziona e trascina il periodo di tempo nel grafico principale.

Il periodo di allineamento si aggiorna automaticamente man mano che cambia il periodo di tempo selezionato. Più piccolo è il periodo di allineamento, più dettagliata sarà la visualizzazione. Per visualizzare meglio le risorse che cambiano di frequente, ad esempio l'opzione Utilizzo slot, riduci il periodo di allineamento.

Per restringere i dati del grafico, applica i filtri nel riquadro dei filtri. Alcuni filtri sono disponibili solo per alcuni grafici. I filtri Prenotazioni, Cartelle, Progetti e Utenti vengono compilati con le rispettive risorse che hanno utilizzato gli slot nell'intervallo di tempo selezionato. Ad esempio, se un progetto non è stato utilizzato negli ultimi 30 giorni, non viene visualizzato nell'elenco dei filtri dei progetti.

Il grafico viene aggiornato dopo l'applicazione dei filtri per mostrare i dati all'interno dei parametri selezionati.

Visualizzare i dati dei grafici amministrativi a livello di progetto

Puoi modificare l'ambito nelle Opzioni del grafico per generare una panoramica e i grafici amministrativi a livello di progetto. Questa visualizzazione può aiutare gli analisti dei progetti a monitorare l'utilizzo delle risorse per i progetti di proprietà, in modo simile ai grafici amministrativi a livello di organizzazione, ad eccezione di alcune opzioni di grafico e di raggruppamento non applicabili. Questa visualizzazione mostra la risorsa complessiva a prescindere dalla modalità di fatturazione all'interno del progetto contestuale.

Panoramica dei grafici delle risorse di amministrazione a livello di progetto BigQuery.

Quando accedi ai grafici amministrativi da un progetto non amministrativo con autorizzazioni a livello di organizzazione, il grafico amministrativo passa per impostazione predefinita al livello di progetto. Puoi tornare alla visualizzazione corretta utilizzando Menu a discesa Ambito nelle Opzioni del grafico.

Fatturazione

I grafici delle risorse di amministrazione sono disponibili senza costi aggiuntivi. Le query utilizzate per compilare questi grafici non vengono fatturate e non utilizzano gli slot nelle prenotazioni di proprietà dell'utente. Le query che elaborano troppi dati hanno un timeout.

Passaggi successivi