Monitora l'integrità, l'utilizzo delle risorse e i job

In qualità di amministratore di BigQuery, puoi utilizzare i grafici delle risorse amministrative per monitorare l'integrità della tua organizzazione, l'uso degli slot e BigQuery delle prestazioni dei job nel tempo.

Per visualizzare la dashboard dell'integrità operativa, devi avere almeno una prenotazione a cui accedi con un progetto di amministrazione. I grafici delle risorse e lo strumento Esplora job sono disponibili per tutti gli utenti con i autorizzazioni aggiuntive.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare tutti i dati nei grafici delle risorse amministrative, chiedi all'amministratore di concederti i seguenti ruoli IAM nella tua organizzazione:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questi ruoli predefiniti le autorizzazioni necessarie per visualizzare tutti i dati nei grafici delle risorse amministrative. Per vedere le autorizzazioni esatte obbligatorie, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per visualizzare tutti i dati nei grafici delle risorse amministrative sono necessarie le seguenti autorizzazioni:

  • bigquery.jobs.listExecutionMetadata dell'organizzazione
  • bigquery.jobs.listAll dell'organizzazione
  • bigquery.reservationAssignments.list sul progetto di amministrazione della prenotazione
  • bigquery.capacityCommitments.list sul progetto di amministrazione della prenotazione
  • Per visualizzare i dati di riepilogo per l'integrità operativa: bigquery.tables.get or bigquery.tables.list dell'organizzazione
  • Per visualizzare i dati parziali a livello di prenotazione:
    • bigquery.reservations.list sul progetto di amministrazione della prenotazione
    • bigquery.reservationAssignments.list sul progetto di amministrazione della prenotazione
  • Per visualizzare i dati sulla capacità di prenotazione nei grafici delle risorse amministrative: bigquery.capacityCommitments.list sul progetto di amministrazione della prenotazione
  • Per visualizzare i dati a livello di progetto: bigquery.jobs.listAll del progetto

Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati altri ruoli predefiniti.

Monitorare l'integrità operativa all'interno di un'organizzazione

Per richiedere assistenza o feedback per questa funzione, invia un'email a bq-operational-health+feedback@google.com.

La dashboard dell'integrità operativa mostra le metriche chiave dell'organizzazione e le sue prenotazioni in tutte le località in cui hai prenotazioni. Puoi usa questa dashboard per monitorare metriche, tra cui:

  • Utilizzo slot
  • Utilizzo casuale
  • Contemporaneità job
  • Errori
  • Durata job
  • Byte elaborati
  • Spazio di archiviazione totale

BigQuery fornisce queste informazioni eseguendo query su INFORMATION_SCHEMA visualizzazioni:

Per monitorare l'integrità operativa:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto di amministrazione che hai utilizzato acquistare slot e creare prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio. Per impostazione predefinita, il grafico dell'integrità operativa mostra le metriche di riepilogo luoghi e tutte le prenotazioni.

  4. Per visualizzare i dati aggiornati con maggiore frequenza, puoi attivare/disattivare Dati in tempo reale. Se L'opzione Dati in tempo reale è attivata; i dati vengono aggiornati automaticamente ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è circa un'ora. Viene visualizzata l'ora dell'ultimo aggiornamento dei dati.

Per vedere la visualizzazione dettagliata, seleziona i valori per i quali vuoi vedere grafici a cronologia dettagliati:

  1. Nell'elenco Seleziona località, scegli una regione specifica.
  2. Nell'elenco Seleziona prenotazione, scegli la prenotazione.
  3. Nell'elenco Intervallo di tempo, seleziona un intervallo di tempo.
  4. Per ottenere maggiori informazioni da uno dei grafici delle metriche chiave, Fai clic su Esplora altro. Per ulteriori informazioni in Esplora job fai clic su Scopri di più nel grafico delle principali query attive.

Visualizzazioni

La scheda Integrità operativa mostra le seguenti visualizzazioni:

Visualizzazione di riepilogo

La visualizzazione di riepilogo offre una visione dell'integrità dei sottosistemi, tra cui delle prenotazioni e delle regioni negli ultimi 30 minuti per la tua organizzazione.

Visualizzazione di riepilogo amministrativo di BigQuery.

Per vedere la visualizzazione di riepilogo:

  • Nel grafico Integrità operativa, nell'elenco Seleziona posizione seleziona Tutte le località.

Visualizzazione dettagliata

La visualizzazione dettagliata mostra grafici a cronologia dettagliati di diverse metriche in un una località o un livello di prenotazione.

Panoramica della vista dettagliata amministrativa di BigQuery.

Per consultare la visualizzazione dettagliata, procedi nel seguente modo:

  • Nel grafico Integrità operativa, nell'elenco Seleziona posizione seleziona la regione o la versione oppure nell'elenco Seleziona prenotazione seleziona la nome della prenotazione.

Grafici

La scheda Integrità operativa mostra le seguenti opzioni di configurazione dei grafici:

Tabella riepilogativa

Le tabelle di riepilogo mostrano le seguenti metriche:

  • Utilizzo slot. L'utilizzo medio degli slot. La capacità totale degli slot è uguale a della capacità di base e della capacità massima con scalabilità automatica.
  • Utilizzo casuale. Il numero massimo di utilizzo medio dello shuffling delle prenotazioni rapporto.
  • Contemporaneità. Il numero massimo di job eseguiti contemporaneamente.
  • Byte elaborati. Byte totali elaborati dai job completati.
  • Durata del job. Il tempo di esecuzione medio dei job completati, calcolato da dal momento in cui è stato creato il job fino a quello in cui è stato terminato.
  • Spazio di archiviazione totale. Il totale dei byte logici attivi all'ora dell'ultimo aggiornamento.

Nella visualizzazione sono presenti due tabelle di riepilogo in base alla località o alle prenotazioni. Ogni riga della tabella rappresenta un utilizzo della località o della prenotazione.

Le tabelle mostrano le metriche per i 30 minuti precedenti l'ultimo aggiornamento. Se Dati in tempo reale è abilitato, quindi i dati vengono aggiornati automaticamente ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è circa un'ora.

Alla cella della tabella viene assegnato un colore se la metrica è superiore alla soglia. Tutti le soglie sono predefinite e non possono essere personalizzate. Se il valore della metrica supera ultimi 30 minuti è maggiore del valore P99 dell'utilizzo del giorno precedente, la cella della tabella è contrassegnata con uno sfondo blu scuro. Se le metriche hanno un valore maggiore 30 minuti prima dell'ultimo aggiornamento sono compresi tra il valore P95 e P99 del giorno precedente, la cella della tabella è contrassegnata con uno sfondo celeste.

Tabella di riepilogo amministrativo di BigQuery.

Filtra dati

Puoi filtrare i dati nei grafici in base ai seguenti valori:

Dati del filtro amministrativo di BigQuery.

  • Posizione. Regioni in cui l'organizzazione ha svolto attività all'interno di disponibili gli ultimi 30 giorni. La visualizzazione di riepilogo presenta una tabella di riepilogo a livello di regione per il monitoraggio dell'utilizzo in tutte le regioni attive.
  • Prenotazione. Questo campo diventa selezionabile dopo aver selezionato una regione. Tutti sono disponibili le prenotazioni di proprietà degli utenti che visualizzano i progetti amministrativi. Tu può scegliere una sola prenotazione.
  • Intervallo di tempo. Questo campo è disponibile solo per la visualizzazione dettagliata. Interessa i grafici a cronologia delle metriche e i Grafico ad anello di errore nella visualizzazione dettagliata. La scala dei dati nei grafici a cronologia delle metriche viene regolata automaticamente in base nell'intervallo di tempo selezionato.

Grafico delle principali query attive

Questo grafico mostra i primi dieci job con risorse attive ordinati in in ordine decrescente. Dal menu a discesa, puoi selezionare un'opzione di ordinamento. in base all'utilizzo degli slot o del job. durata massima. L'ID job e l'utilizzo pertinente delle risorse numeri sono presentati nel grafico a barre. Seleziona Esplora altro in alto a destra. per visualizzare Esplora job. Per apprendere maggiori informazioni sui dettagli di esecuzione e sulla diagnosi di eventuali problemi di prestazioni Job BigQuery; consulta l'articolo sull'esecuzione delle query grafico.

Barra dell'elenco dei job in alto amministrativo di BigQuery.

Grafico ad anello con errore

Questo grafico mostra la proporzione delle principali cause di errore nell'ambito periodo di tempo. Nella visualizzazione di riepilogo, per impostazione predefinita copre l'ultima 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla la sua copertura. Puoi raggruppare gli errori per tipo, progetto del proprietario o prenotazione. Il conteggio dei job non riusciti viene presentato nel grafico ad anello.

Grafico ad anello con errori BigQuery.

Grafici a cronologia delle metriche

Questi grafici mostrano una panoramica delle metriche supportate per un massimo di 30 giorni. Il periodo di tempo predefinito è di un'ora. Quando il periodo di tempo selezionato cambia, il parametro la granularità di ogni punto dati nel grafico viene scalata automaticamente.

Questi grafici mostrano un valore aggregato per una regione o una prenotazione. La visualizzazione dei dati per più regioni o prenotazioni non è supportata.

Grafici a cronologia delle metriche BigQuery:

I grafici a cronologia delle metriche supportano le seguenti metriche:

  • Utilizzo slot. L'utilizzo medio degli slot nel periodo di tempo selezionato. it mostra separatamente l'utilizzo complessivo degli slot per tutti i job e per i job non riusciti.
  • Contemporaneità dei job. Il numero massimo di job eseguiti contemporaneamente nella periodo di tempo selezionato. Mostra il conteggio dei job in esecuzione e dei job in attesa. separatamente ed è mostrato come grafico a barre in pila.
  • Byte analizzati. I byte totali elaborati dai job completati nel periodo di tempo selezionato.
  • Riproduzione casuale. Il rapporto di utilizzo shuffling medio massimo di tutte le prenotazioni nel periodo di tempo selezionato.
  • Durata del job. Il tempo di esecuzione medio dei job completati nell'elemento selezionato di tempo, calcolato dall'ora di creazione del job all'ora di fine del job.
  • Errore per tipo. Il grafico ad anello di errori mostra le proporzione di diverse cause di errore nel periodo di tempo selezionato.

Oltre alle tendenze delle metriche, questi grafici mostrano anche le linee di riferimento del modello P95 e P99 dell'utilizzo del giorno precedente. Per Contemporaneità job mostra la soglia per la somma dei job in attesa e in esecuzione. Quelli i valori di riferimento vengono utilizzati come soglie di codifica del colore nella tabella di riepilogo.

Per saperne di più sul grafico, fai clic su Scopri di più. Il sistema ti reindirizzerà alla scheda Utilizzo delle risorse.

Visualizza utilizzo delle risorse

I dati nei grafici delle risorse amministrative si basano su INFORMATION_SCHEMA.JOBS e la INFORMATION_SCHEMA.JOBS_TIMELINE visualizzazione, che si aggiornano in tempo reale, con un massimo di 30 giorni precedenti.

Puoi visualizzare l'utilizzo delle risorse BigQuery mediante il comando dei grafici delle risorse amministrative. Questi grafici delle risorse hanno i seguenti tre componenti interattivi principali:

  • Il grafico a cronologia degli eventi mostra una panoramica dei dati per un massimo di 30 giorni. Il valore predefinito è 1 giorno.

  • Il grafico principale mostra le metriche selezionate: utilizzo degli slot, contemporaneità dei job, job le prestazioni, gli errori o i byte elaborati, nel tempo per l'organizzazione o per il progetto amministrativo della prenotazione. Il grafico include una tabella legenda correlata ai dati nel grafico, che mostra dati più dettagliati statistiche aggregate nel periodo di tempo.

  • Un riquadro laterale per scegliere diversi grafici, suddivisioni e opzioni di filtro.

Il seguente diagramma fornisce una panoramica di vari grafici amministrativi disponibili in BigQuery:

Panoramica dei grafici delle risorse amministrative di BigQuery.

Prima di iniziare

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

    Puoi creare un progetto amministratore separato per la prenotazione di progetti Google Cloud gestire la prenotazione assegnandole un nome descrittivo come bq-COMPANY_NAME-admin.

  2. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  3. Attiva BigQuery Reservation API.

    Abilita l'API

    Per saperne di più, consulta Abilitare l'API BigQuery Reservation.

  4. Nella console Google Cloud, visualizza le tue quote per gli slot:

    Visualizza le quote degli slot

    Devi disporre di una quota sufficiente per la regione in cui vuoi acquistare gli slot.

    Se la quota di slot per la regione è inferiore al numero di slot che vuoi acquistare, scopri come richiedere un aumento della quota.

Visualizza i grafici delle risorse amministrative

Per impostazione predefinita, puoi accedere ai grafici delle risorse amministrative della versione quando che naviga dal progetto amministrativo della prenotazione. Puoi spostarti tra i grafici delle risorse amministrative on demand e Versione dei grafici delle risorse amministrative dalla prenotazione progetto amministrativo (anteprima).

Per visualizzare i grafici delle risorse amministrative:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto amministrativo utilizzate per acquistare slot e creare prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio.

  4. Nella sezione Opzioni del grafico > Ambito, puoi selezionare la Modello di fatturazione dall'elenco, che comprende tre tipi di Edizioni e on demand. Per impostazione predefinita, il modello di fatturazione è impostato su Enterprise completamente gestita.

  5. Nella sezione Opzioni del grafico > Configurazioni grafico, esegui la seguenti:

    1. Dall'elenco Grafico, seleziona il tipo di grafico. Per informazioni su diverse opzioni di grafico, vedi Opzioni dei grafici.
    2. Dall'elenco Metriche, seleziona il tipo di metriche disponibile.
    3. Dall'elenco Raggruppa per, seleziona la dimensione in base alla quale vuoi raggruppare i dati nel grafico. Per informazioni sulle diverse dimensioni, consulta le opzioni di raggruppamento.
    4. Nell'elenco Filtri, seleziona le opzioni di filtro disponibili. Per informazioni sui diversi filtri, consulta Filtri e ricerca.
    5. Imposta l'intervallo di tempo per il quale vuoi visualizzare i dati nel grafico.

Configurazioni grafico

Puoi regolare la visualizzazione dei grafici delle risorse di amministrazione modificando le seguenti opzioni di configurazione dei grafici:

Opzioni del grafico

BigQuery fornisce i seguenti tipi di metriche da visualizzare nel grafici:

  • Utilizzo slot. Utilizzo slot medio nel periodo di tempo selezionato. Capacità e l'utilizzo di slot inattivi si applicano alle seguenti condizioni:

    • L'opzione Raggruppa per è "Complessivo".
    • Nessun filtro o filtro in base a una singola prenotazione.

  • Contemporaneità dei job. Numero massimo di job eseguiti contemporaneamente nel periodo di tempo selezionato.

  • Prestazioni lavorative. Tempo di esecuzione medio dei job completati, calcolato da dall'ora di creazione del job all'ora di fine del job.

  • Job non riusciti. Utilizzo medio degli slot nel periodo di tempo selezionato dai job che non riuscito.

  • Byte elaborati. Byte totali elaborati dai job completati nell'intervallo selezionato periodo di tempo.

  • Utilizzo casuale. Rapporto di utilizzo shuffling medio nel periodo di tempo selezionato (anteprima).

Componente tabella

La tabella mostra le metriche pertinenti al periodo di tempo e alla dimensione selezionato nel grafico delle risorse di amministrazione.

Il grafico Utilizzo slot mostra l'Utilizzo medio degli slot per tutti i i job eseguiti durante il periodo di tempo selezionato. Job non completati nel periodo di tempo selezionato, includere solo gli slot utilizzati in quel periodo di tempo.

Per il grafico Prestazioni job, il componente tabella mostra quanto segue. metriche:

  • Numero di job. Il numero di job completati o parzialmente eseguiti all'interno per il periodo di tempo selezionato.

  • Durata media job. La durata media dei job completati che, sia stata eseguita almeno parzialmente nel periodo di tempo selezionato.

  • Durata media job. La durata mediana dei job completati con sia stata eseguita almeno parzialmente nel periodo di tempo selezionato.

  • Durata minima job. La durata minima del job completato per i job completati sia stata eseguita almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta da predefinita, ma puoi abilitarla in Opzioni di visualizzazione delle colonne.

  • Durata massima job. La durata massima per i job completati con sia stata eseguita almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta da predefinita, ma puoi abilitarla in Opzioni di visualizzazione delle colonne.

Per il grafico Job non riusciti, il componente tabella mostra i seguenti dati:

  • Utilizzo medio degli slot. Come il grafico Utilizzo slot, ma solo per gli elementi non riusciti di lavoro.

  • Totale dei job non riusciti. Il numero di job non riusciti entro il periodo di tempo selezionato punto.

Opzioni di raggruppamento

In base al tipo di grafico, puoi raggruppare i dati presenti nella visualizzazione grafico in base a diverse dimensioni:

  • Nel complesso. La visualizzazione generale è una panoramica generale della metrica selezionata nel tempo nell'intera organizzazione. Per uso slot, capacità e utilizzo vengono visualizzati nello stesso grafico per dare un'idea dell'utilizzo complessivo degli slot nel tempo.

  • Progetto. La vista progetto mostra la metrica selezionata raggruppata per progetto. Se un'organizzazione ha più di 10 progetti, solo i primi 10 l'utilizzo di slot, la contemporaneità dei job, la durata dei job o i job non riusciti più elevati in il periodo di tempo selezionato. Per l'utilizzo degli slot, tutti gli altri progetti sono raggruppati alla categoria Altro nella parte inferiore del grafico per semplificare il confronto. fino alla capacità complessiva.

  • Tutte le altre viste di raggruppamento sono simili alla vista progetto, con i dati raggruppati per la rispettiva dimensione.

Opzione intervallo di tempo

Puoi modificare il periodo di tempo nei seguenti modi:

  • Seleziona e trascina il periodo di tempo nel grafico a cronologia degli eventi.

  • Seleziona e trascina il periodo di tempo nel grafico principale.

Il periodo di allineamento si aggiorna automaticamente man mano che cambia il periodo di tempo selezionato. Più piccolo è il periodo di allineamento, più dettagliata sarà la visualizzazione. Per una visualizzazione migliore risorse che cambiano di frequente, ad esempio l'opzione Utilizzo slot, riducono il periodo di allineamento.

Per restringere i dati del grafico, applica i filtri nel riquadro dei filtri. Alcuni filtri sono disponibili solo per alcuni grafici. Le Prenotazioni, I filtri Cartelle, Progetti e Utenti sono compilati con le rispettive risorse che hanno consumato slot nell'elenco un periodo di tempo. Ad esempio, se un progetto non è stato utilizzato negli ultimi 30 giorni, non viene visualizzato nell'elenco dei filtri del progetto.

Il grafico viene aggiornato dopo che hai applicato i filtri per mostrare i dati all'interno dell'intervallo selezionato parametri.

Visualizza i dati dei grafici amministrativi a livello di progetto

Puoi modificare l'ambito nelle Opzioni del grafico per generare una panoramica e i grafici amministrativi a livello di progetto. Questa visualizzazione può aiutare gli analisti dei progetti Monitorare l'utilizzo delle risorse per i progetti di proprietà, in modo simile ai grafici amministrativi a livello di organizzazione, ad eccezione di alcune opzioni di grafici e in base a opzioni non applicabili. Questa visualizzazione mostra la risorsa complessiva a prescindere dalla modalità di fatturazione all'interno del progetto contestuale.

Panoramica dei grafici delle risorse amministrative a livello di progetto BigQuery.

Quando accedi ai grafici amministrativi da un progetto non amministratore con autorizzazioni a livello di organizzazione, il grafico amministrativo passa a a livello di progetto per impostazione predefinita. Puoi tornare alla visualizzazione corretta utilizzando Menu a discesa Ambito nelle Opzioni del grafico.

Visualizza Esplora job amministrativo

BigQuery fornisce dettagli e insight delle query eseguendo query su quanto segue INFORMATION_SCHEMA visualizzazioni:

Poiché queste INFORMATION_SCHEMA viste sono regionalizzate, puoi visualizzare le i job corrispondenti in base alla regione selezionata.

Filtra job

Per filtrare i job per query contenute nei INFORMATION_SCHEMA.JOBS* views, segui questi passaggi:

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu del progetto, seleziona il progetto amministrativo utilizzate per acquistare slot e creare prenotazioni.

  3. Nel pannello di navigazione, seleziona Amministrazione > Monitoraggio.

  4. Fai clic sulla scheda Esplora job.

  5. Nell'elenco Sede, seleziona la località di cui vuoi visualizzare i di lavoro. Puoi visualizzare l'elenco di tutti i job di query eseguiti all'interno del INFORMATION_SCHEMA.JOBS visualizzazioni per la località.

    Puoi anche visualizzare le query attive e in coda insieme allo slot totale utilizzo nell'ultimo minuto.

  6. Filtra i job utilizzando le opzioni. Filtra i job utilizzando le opzioni.

    Figura 1. Filtra job.

    Nella figura 1, le opzioni per filtrare i job sono le seguenti:

    • Intervallo di tempo tra i job eseguiti.
    • Ambito del job, ad esempio progetto e organizzazione.
    • Stato del job, ad esempio in esecuzione, in attesa, completato ed errore.
    • ID job.
    • ID email del proprietario dei job dell'amministratore.
    • Job che hanno richiesto più tempo del tempo di slot specificato.
    • Durata job.
    • Job che hanno elaborato più byte rispetto ai byte elaborati specificati.
    • Tipi di insight sulle query, come la contesa degli slot, capacità di shuffle della memoria superata e modifica della scala dell'input dati.
    • L'hash della query contiene gli hash della query. È una STRINGA esadecimale che ignora commenti, valori dei parametri, funzioni definite dall'utente e valori letterali. Questo campo viene visualizzato per le query GoogleSQL riuscite che non sono hit della cache.

Visualizza i dettagli di esecuzione della query

Per visualizzare i dettagli di esecuzione della query dei job:

  1. Vai alla pagina Monitoring.

    Vai a Monitoring

  2. Per visualizzare i job, fai clic su Esplora job.

  3. Puoi filtrare i job per visualizzare i job con limitazioni.

  4. Fai clic su un job per il quale vuoi visualizzare i dettagli di esecuzione della query.

  5. Nel riquadro Risultati delle query puoi vedere i dettagli di esecuzione della dei job amministratore facendo clic sulla scheda Grafico di esecuzione.

    Grafico di esecuzione per i job.

    Figura 2. Grafico di esecuzione per i job.

Per informazioni su come interpretare gli insight, consulta Interpretare gli insight sulle prestazioni delle query.

Fatturazione

I grafici delle risorse amministrative e lo strumento Esplora job sono disponibili senza ulteriori ad accesso meno frequente per ridurre i costi di archiviazione. Le query utilizzate per compilare questi grafici non vengono fatturate e non utilizzano gli slot prenotazioni di proprietà dell'utente. Le query che elaborano troppi dati sono scadute.

Passaggi successivi