Monitora l'integrità, l'utilizzo delle risorse e i job
In qualità di amministratore di BigQuery, puoi monitorare lo stato di integrità, l'utilizzo degli slot e il rendimento dei job della tua organizzazione nel tempo con i grafici di integrità operativa e utilizzo delle risorse. BigQuery fornisce grafici configurabili per aiutarti a svolgere le seguenti operazioni:
Monitora l'integrità operativa di BigQuery. Il monitoraggio dello stato di integrità operativo in tempo reale di BigQuery è un sistema di monitoraggio centralizzato che ti consente di osservare l'utilizzo di BigQuery nell'organizzazione in più località.
Visualizza l'utilizzo delle risorse BigQuery. Utilizza i dati storici per eseguire l'analisi delle cause principali, pianificare la capacità e diagnosticare le variazioni del rendimento.
Prima di iniziare
- Per visualizzare lo stato operativo, devi utilizzare le prenotazioni a cui puoi accedere con un progetto di amministrazione. Non è un requisito per visualizzare i grafici sull'utilizzo delle risorse.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per visualizzare tutti i dati nei grafici relativi allo stato operativo e all'utilizzo delle risorse, chiedi all'amministratore di concederti i seguenti ruoli IAM nella tua organizzazione:
-
Visualizzatore risorse BigQuery (
roles/bigquery.resourceViewer
) -
Visualizzatore dei metadati BigQuery (
roles/bigquery.metadataViewer
)
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Questi ruoli predefiniti contengono le autorizzazioni necessarie per visualizzare tutti i dati nei grafici sullo stato operativo e sull'utilizzo delle risorse. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:
Autorizzazioni obbligatorie
Per visualizzare tutti i dati nei grafici di integrità operativa e utilizzo delle risorse sono necessarie le seguenti autorizzazioni:
-
Per visualizzare tutti i dati nei grafici relativi all'integrità operativa e all'utilizzo delle risorse di un'organizzazione:
-
bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll
sull'organizzazione -
bigquery.reservationAssignments.list
nel progetto di amministrazione utilizzato per creare le prenotazioni -
bigquery.capacityCommitments.list
nel progetto di amministrazione utilizzato per creare le prenotazioni
-
-
In qualità di utente on demand, per visualizzare tutti i dati nei grafici di utilizzo delle risorse per un'organizzazione:
bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll
sull'organizzazione -
Per visualizzare i dati di riepilogo dello stato di integrità operativo per lo spazio di archiviazione delle tabelle BigQuery:
bigquery.tables.get or bigquery.tables.list
nell'organizzazione -
Per visualizzare i grafici relativi all'integrità operativa e all'utilizzo delle risorse a livello di prenotazione:
-
bigquery.reservations.list
nel progetto di amministrazione utilizzato per creare le prenotazioni -
bigquery.reservationAssignments.list
nel progetto di amministrazione utilizzato per creare le prenotazioni
-
-
Per visualizzare i grafici di utilizzo delle risorse a livello di progetto:
bigquery.jobs.listAll
nel progetto
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
.Monitorare l'integrità operativa in un'organizzazione
La dashboard relativa all'integrità operativa mostra le metriche chiave della tua organizzazione e delle sue prenotazioni in tutte le località in cui hai prenotazioni. Puoi utilizzare questa dashboard per monitorare le seguenti metriche:
- Utilizzo slot
- Utilizzo casuale
- Concorrenza job
- Errori
- Durata job
- Byte elaborati
- Spazio di archiviazione totale
Visualizzare i grafici dell'integrità operativa
Per visualizzare informazioni sull'integrità operativa della tua organizzazione:
Nella console Google Cloud, vai alla pagina Monitoraggio di BigQuery.
Seleziona il progetto di amministrazione utilizzato per acquistare gli slot e creare le prenotazioni.
Nella pagina Monitoraggio, vai alla scheda Integrità operativa per visualizzare un riepilogo delle metriche chiave della tua organizzazione per tutte le sedi e le prenotazioni.
(Facoltativo) Per visualizzare le metriche in tempo reale, in cui le query vengono eseguite su dati aggiornati ogni cinque minuti, fai clic sul pulsante di attivazione/disattivazione Dati in tempo reale. Per impostazione predefinita, questa impostazione è disattivata e l'obsolescenza massima dei dati è di circa un'ora.
Per filtrare le metriche, configura i seguenti campi:
- Nell'elenco Seleziona località, seleziona una regione da monitorare.
- Nell'elenco Seleziona prenotazione, seleziona la prenotazione.
- Nell'elenco Seleziona progetto, seleziona il progetto.
- Nell'elenco Intervallo di tempo, seleziona un intervallo di tempo.
(Facoltativo) Per visualizzare ulteriori dettagli sull'integrità operativa con un grafico di utilizzo delle risorse o con l'esploratore dei job, fai clic su Scopri di più.
BigQuery raccoglie le metriche eseguendo query sulle seguenti
INFORMATION_SCHEMA
viste:
INFORMATION_SCHEMA.JOBS
INFORMATION_SCHEMA.JOBS_TIMELINE
INFORMATION_SCHEMA.RESERVATIONS
INFORMATION_SCHEMA.TABLE_STORAGE
Visualizzazioni
La scheda Integrità operativa mostra le seguenti viste di riepilogo e dettagliate.
Visualizzazione di riepilogo
La visualizzazione di riepilogo mostra lo stato dei sottosistemi della tua organizzazione, incluse prenotazioni e regioni, negli ultimi 30 minuti.
Per visualizzare la visualizzazione di riepilogo:
- Nella scheda Integrità operativa, nell'elenco Seleziona località, seleziona Tutte le località.
Visualizzazione dettagliata
La visualizzazione dettagliata mostra grafici dettagliati delle varie metriche su una località o a livello di prenotazione.
Per visualizzare la visualizzazione dettagliata:
- Nella scheda Integrità operativa, seleziona la regione o la versione nell'elenco Seleziona località.
Puoi perfezionare i dati visualizzati nella visualizzazione dettagliata utilizzando i seguenti filtri facoltativi:
- Nell'elenco Seleziona prenotazione, seleziona il nome della prenotazione.
- Nell'elenco Seleziona progetto, seleziona il progetto.
Grafici
BigQuery fornisce le seguenti opzioni di tabelle e grafici, che consentono di esaminare in dettaglio le metriche relative allo stato di integrità operativo.
Tabella riepilogativa
Le tabelle di riepilogo mostrano le seguenti metriche:
- Utilizzo degli slot. L'utilizzo medio degli slot. La capacità totale degli slot equivale alla capacità di base e alla capacità massima con scalabilità automatica.
- Utilizzo dello shuffling. Il valore massimo di tutti i rapporti di utilizzo shuffling medio delle prenotazioni.
- Contemporaneità. Il numero massimo di job in esecuzione contemporaneamente.
- Byte elaborati. I byte totali elaborati dai job completati.
- Durata del job. Il tempo di esecuzione medio dei job completati, calcolato dal momento in cui è stato creato a quello in cui è stato completato.
- Spazio di archiviazione totale. I byte logici attivi totali all'ora dell'ultimo aggiornamento.
Nella visualizzazione sono presenti due tabelle di riepilogo: Riepilogo delle sedi e Riepilogo delle prenotazioni. Ogni riga della tabella rappresenta l'utilizzo per una sede o una prenotazione.
Le tabelle mostrano le metriche relative ai 30 minuti precedenti l'ultimo aggiornamento. Se la funzionalità Dati in tempo reale è attivata, i dati sottoposti a query vengono aggiornati ogni cinque minuti. Se la funzionalità Dati in tempo reale è disattivata, l'inattività massima dei dati è di circa un'ora.
La cella della tabella è codificata a colori se la metrica è superiore alla soglia predefinita e se è presente un numero maggiore di approfondimenti sul rendimento per i job ripetuti:
- Se il valore della metrica nei 30 minuti precedenti all'ultimo aggiornamento è superiore al valore P99 dell'utilizzo della settimana precedente per lo stesso giorno, la cella della tabella è contrassegnata da uno sfondo blu scuro.
- Se il valore della metrica nell'arco di 30 minuti è compreso tra il 95° e il 99° percentile dell'utilizzo nella stessa settimana per lo stesso giorno, la cella della tabella è contrassegnata da un sfondo azzurro chiaro.
Tutte le soglie sono predefinite e non possono essere personalizzate. Puoi controllare una soglia facendo clic su Informazioni Informazioni.
Filtra dati
Puoi filtrare i dati nei grafici in base ai seguenti valori:
- Posizione. Sono disponibili le regioni in cui l'organizzazione ha registrato attività negli ultimi 30 giorni. La visualizzazione di riepilogo presenta una tabella che riassume l'utilizzo in tutte le regioni attive.
- Prenotazione. Questo campo è disponibile solo nella visualizzazione dettagliata. Tutte le prenotazioni di proprietà del progetto di amministrazione sono disponibili. Puoi scegliere una sola prenotazione.
- Progetto. Questo campo è disponibile solo nella visualizzazione dettagliata. Sono disponibili tutti i progetti con traffico nell'organizzazione. Puoi selezionare un solo progetto.
- Intervallo di tempo. Questo campo è disponibile solo nella visualizzazione dettagliata. Influisce sui grafici della cronologia delle metriche e sul grafico a ciambella degli errori nella visualizzazione dettagliata. La scala dei dati nei grafici della cronologia delle metriche viene regolata automaticamente in base all' intervallo di tempo selezionato.
Grafico delle principali query attive
Questo grafico mostra i dieci job principali con risorse attive, ordinate in ordine decrescente. Nel menu a discesa, puoi selezionare un'opzione di ordinamento basata sull'utilizzo dello slot o sulla durata del job. L'ID job e il numero di utilizzo delle risorse pertinenti sono presentati nel grafico a barre. Seleziona Scopri di più o l'ID job nel grafico delle query attive principali per visualizzare ulteriori dettagli nell'esploratore di job. Per scoprire di più sui dettagli di esecuzione e diagnosticare i problemi di prestazioni per i tuoi job BigQuery, consulta Ottenere informazioni sul rendimento delle query.
Grafico ad anello con errore
Questo grafico mostra la proporzione delle principali cause di errore nel periodo di tempo selezionato. Nella visualizzazione di riepilogo, per impostazione predefinita vengono visualizzati gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo ne controlla la copertura. Puoi raggruppare gli errori per tipo, progetto proprietario o prenotazione. Il conteggio dei job non riusciti è riportato nel grafico a ciambella.
Grafici a cronologia delle metriche
I grafici mostrano una panoramica delle metriche supportate per un massimo di 30 giorni. Il periodo di tempo predefinito è un'ora. Man mano che il periodo di tempo selezionato cambia, la granularità di ogni punto dati nel grafico viene scalata automaticamente.
Questi grafici mostrano un valore aggregato per una regione o una prenotazione. La visualizzazione dei dati per più regioni o più prenotazioni non è supportata.
I grafici a cronologia delle metriche supportano le seguenti metriche:
- Utilizzo degli slot. L'utilizzo medio degli slot nel periodo di tempo selezionato. Mostra l'utilizzo complessivo degli slot di tutti i job e dei job non riusciti separatamente.
- Contemporaneità dei job. Il numero massimo di job in esecuzione contemporaneamente nel periodo di tempo selezionato. Mostra il conteggio dei job in esecuzione e in attesa separatamente ed è visualizzato come grafico a barre in pila.
- Byte scansionati. I byte totali elaborati dai job completati nel periodo di tempo selezionato.
- Riproduzione casuale. Il valore massimo di tutti i rapporti di utilizzo casuale medio delle prenotazioni nel periodo di tempo selezionato.
- Durata del job. Il tempo di esecuzione medio dei job completati nel periodo di tempo selezionato, calcolato dal momento della creazione al momento del completamento del job.
- Errore per tipo. Il grafico a ciambella degli errori mostra la proporzione di diverse cause di errore nel periodo di tempo selezionato.
Oltre alle tendenze delle metriche, i grafici mostrano le linee di riferimento dei valori delle metriche P95 e P99 dell'utilizzo della settimana precedente per lo stesso giorno. Il grafico Contemporaneità dei job mostra la soglia per la somma dei job in attesa e in esecuzione. Questi valori di riferimento vengono utilizzati come soglie di codifica a colori nella tabella di riepilogo.
Per saperne di più sul grafico, fai clic su Scopri di più. Viene visualizzata la scheda Utilizzo delle risorse.
Tabella degli insight
Questa tabella aggrega gli errori di quota, gli errori di accesso negato e le informazioni sul rendimento raccolte durante le esecuzioni dei job nel periodo di tempo selezionato. Gli approfondimenti vengono aggregati a livello di prenotazione. Ogni riga fornisce informazioni sul tipo di informazione, sulla località, sulla prenotazione, sul dettaglio dell'informazione e sugli ID job di esempio. Fai clic sugli ID job per visualizzare ulteriori dettagli nel browser dei job. Nella visualizzazione di riepilogo, l'intervallo di tempo di osservazione predefinito copre gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla il periodo di tempo specifico per cui vengono visualizzati i dati delle osservazioni.
Monitorare l'integrità operativa di un singolo progetto
La dashboard dell'integrità operativa del progetto è la visualizzazione predefinita visualizzata se non hai accesso all'intera organizzazione o se il tuo progetto non possiede prenotazioni. Questa visualizzazione può aiutare gli analisti di progetto a monitorare l'integrità di sistema per i loro progetti, in modo simile alla dashboard dell'integrità operativa a livello di organizzazione, ma mostra solo i dati a livello di progetto nei grafici e nei filtri.
Visualizzare l'utilizzo delle risorse BigQuery
I grafici delle risorse BigQuery ti aiutano a monitorare l'utilizzo passato delle risorse per pianificare le esigenze future e risolvere i problemi di rendimento.
I grafici raccolgono le metriche eseguendo query sulle seguenti visteINFORMATION_SCHEMA
:
I dati possono essere aggiornati in tempo reale e risalire fino a un massimo di 30 giorni.
Quando visualizzi l'utilizzo delle risorse, puoi configurare quanto segue:
Il grafico della sequenza temporale degli eventi mostra una panoramica dei dati su un periodo massimo di 30 giorni. Il valore predefinito è 1 ora.
Il grafico principale mostra le metriche scelte, ad esempio l'utilizzo degli slot o i byte elaborati, nel tempo per la tua organizzazione o il tuo progetto di amministrazione. Una legenda del grafico fornisce ulteriori dettagli sui dati mostrati.
Il riquadro Configurazione grafico ti consente di selezionare visualizzazioni predefinite delle tue metriche o di personalizzare le tue metriche per le visualizzazioni.
Il grafico di utilizzo delle risorse contiene i seguenti elementi:
- Nella scheda Utilizzo risorse, tieni premuto il cursore sopra il chip di stato nella parte superiore del grafico per visualizzare ulteriori informazioni su una metrica.
I chip di stato mostrano anche quanto segue:
- Se la metrica è ancora in fase di caricamento, viene visualizzata un'icona di caricamento.
- Se la metrica utilizza dati obsoleti, viene visualizzata un'icona a forma di orologio.
- Se la metrica non può essere caricata a causa di filtri a livello di pagina non supportati, la metrica è barrata.
- Se il caricamento della metrica non riesce, il chip dello stato viene evidenziato.
Visualizzare e configurare i grafici sull'utilizzo delle risorse
Per visualizzare e configurare i grafici di utilizzo delle risorse:
Nella console Google Cloud, vai alla pagina Monitoraggio di BigQuery.
Seleziona il progetto. In qualità di amministratore che monitora l'utilizzo delle risorse di prenotazione, scegli il progetto di amministrazione utilizzato per acquistare gli slot e creare le prenotazioni. In qualità di analista dei dati che monitora l'utilizzo delle risorse dei job, scegli il progetto corrispondente.
Nella pagina Monitoraggio, vai alla scheda Utilizzo delle risorse per visualizzare un riepilogo dell'utilizzo delle risorse, suddiviso per località.
Scegli un periodo di tempo per le metriche in questa visualizzazione, ad esempio 1 giorno. Per visualizzare le metriche in tempo reale, in cui le query vengono eseguite su dati aggiornati, fai clic sul pulsante di attivazione/disattivazione Dati in tempo reale. Questa impostazione è disattivata per impostazione predefinita per migliorare le prestazioni e l'inattività massima dei dati è di circa un'ora.
Nel riquadro Configurazione del grafico, configura i seguenti campi:
- Nel campo Visualizzazione delle metriche, seleziona una delle visualizzazioni.
- Nel campo Metriche, seleziona una metrica da visualizzare. Puoi aggiungere o modificare una metrica.
- Nel campo Raggruppa per, seleziona il modo in cui raggruppare i dati.
- Nel campo Filtri, seleziona la modalità di filtrazione dei dati.
Per salvare le modifiche apportate alla configurazione del grafico, fai clic su Applica.
Visualizzazione delle metriche
BigQuery fornisce viste preconfigurate delle metriche di utilizzo delle risorse. Le sezioni seguenti descrivono le metriche che puoi configurare in queste visualizzazioni.
Panoramica della capacità degli slot
Questa visualizzazione mostra le metriche relative all'utilizzo e alla capacità degli slot per le risorse di prenotazione nel progetto amministrativo. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione grafico facendo clic sul nome della metrica:
- I dati di utilizzo predefiniti provengono dalla risorsa prenotazione e i dati sulla capacità provengono dalla risorsa capacità dello slot.
- L'ambito predefinito è il progetto.
- L'aggregazione predefinita di ogni metrica si basa sull'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Nome metrica | Descrizione |
---|---|
Prenotazione - Progetto - Utilizzo slot | Monitora l'utilizzo degli slot per il periodo di tempo selezionato. |
Prenotazione - Progetto - Utilizzo slot in prestito | Monitora l'utilizzo degli slot superiore alla capacità della prenotazione nel
periodo di tempo selezionato. Questa metrica consente di monitorare gli slot inattivi
presi in prestito da altre prenotazioni e impegni o gli arrotondamenti
imprecisi nei dati sull'utilizzo. Nel grafico sull'utilizzo delle risorse vengono visualizzati altri slot inattivi, anche se la condivisione degli slot inattivi è disattivata. L'utilizzo degli slot inattivi è un valore approssimativo e viene calcolato in base a Utilizzo slot, Slot impegnati e Slot a scalabilità automatica. Se il valore di utilizzo degli slot supera la capacità di impegno, il grafico li raggruppa come slot inattivi. |
Capacità slot - Progetto - Capacità totale slot di riferimento | Monitora le dimensioni di riferimento delle prenotazioni in questo progetto di amministrazione. |
Capacità slot - Progetto - Capacità massima totale degli slot | Monitora il numero massimo di slot disponibili nel periodo di tempo selezionato. La metrica è la somma della capacità di impegno, della capacità di base e della capacità con scalabilità automatica. |
Capacità slot - Progetto - Capacità totale slot attuale | Monitora il numero effettivo di slot allocati alle tue prenotazioni nel periodo di tempo selezionato. |
Panoramica del progetto
Questa visualizzazione mostra le metriche relative alle risorse dei job nel progetto in cui esegui le query. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione grafico facendo clic sul nome della metrica:
- La risorsa predefinita è la risorsa job.
- L'ambito predefinito è il progetto.
Nome metrica | Descrizione |
---|---|
Job - Project - Slot usage | Monitora l'utilizzo degli slot per il periodo di tempo selezionato. L'aggregazione predefinita avviene in base all'utilizzo massimo delle risorse nel periodo di tempo selezionato. |
Job - Project - Bytes processed | Monitora i byte totali elaborati dai job completati nel periodo di tempo selezionato. L'aggregazione predefinita è in base alla somma dei byte elaborati nel periodo di tempo selezionato. |
Job - Project - Job concurrency | Monitora il numero di job in esecuzione contemporaneamente nel periodo di tempo selezionato. L'aggregazione predefinita è in base all'utilizzo massimo delle risorse nel periodo di tempo selezionato. |
Job - Project - Job duration | Monitora il tempo di esecuzione dei job completati nel periodo di tempo selezionato. Il tempo di esecuzione misura il tempo che intercorre tra la creazione e il completamento del job. L'aggregazione predefinita avviene in base al tempo di esecuzione medio nel periodo di tempo selezionato. |
Panoramica della prenotazione
Questa visualizzazione mostra le metriche relative all'attività dei job con le risorse di prenotazione nel progetto amministrativo. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione del grafico facendo clic sul nome della metrica:
- La risorsa predefinita è la risorsa di prenotazione.
- L'ambito predefinito è il progetto.
Nome metrica | Descrizione |
---|---|
Prenotazione - Progetto - Utilizzo slot | Monitora l'utilizzo degli slot per il periodo di tempo selezionato. L'aggregazione predefinita avviene in base all'utilizzo massimo delle risorse nel periodo di tempo selezionato. |
Prenotazione - Progetto - Byte elaborati | Monitora i byte totali elaborati dai job completati nel periodo di tempo selezionato. L'aggregazione predefinita è in base alla somma dei byte elaborati nel periodo di tempo selezionato. |
Prenotazione - Progetto - Concorrenza job | Monitora il numero di job in esecuzione contemporaneamente nel periodo di tempo selezionato. L'aggregazione predefinita si basa sull'utilizzo massimo delle risorse nel periodo di tempo selezionato. |
Prenotazione - Progetto - Durata del job | Monitora il tempo di esecuzione dei job completati nel periodo di tempo selezionato. Il tempo di esecuzione misura il tempo che intercorre tra la creazione e il completamento del job. Sono inclusi anche i ritardi e i tentativi di nuovo invio. L'aggregazione predefinita è in base al tempo di esecuzione medio nel periodo di tempo selezionato. |
Prenotazione - Progetto - Utilizzo shuffling | Monitora il rapporto di utilizzo della riproduzione casuale nel periodo di tempo selezionato. L'aggregazione predefinita avviene in base all'utilizzo medio nel periodo di tempo selezionato. |
Visualizzazione personalizzata
Per creare una visualizzazione delle metriche personalizzata, puoi aggiungere le metriche da zero o iniziare con una delle visualizzazioni delle metriche predefinite (ad es. la visualizzazione delle metriche Panoramica delle prenotazioni) e personalizzarle.
Metriche
Quando configuri un grafico, puoi aggiungere, modificare o eliminare le metriche di utilizzo delle risorse monitorate.
Per configurare le metriche del grafico sull'utilizzo delle risorse:
Nella console Google Cloud, visualizza i grafici di utilizzo delle risorse BigQuery.
Nel riquadro Configurazione del grafico, configura il campo Metriche:
- Fai clic su Aggiungi un elemento > Seleziona una metrica.
Nella finestra di dialogo Seleziona una metrica, scegli quanto segue:
- Il tipo di risorsa da monitorare: Job, Prenotazione o Capacità slot.
- L'ambito da monitorare. Ad esempio, per monitorare l'utilizzo delle risorse di prenotazione in un progetto amministrativo, seleziona l'ambito Progetto.
- Scegli una metrica da monitorare. Ad esempio, per monitorare gli slot inattivi prestiti da altre prenotazioni e impegni o l'imprecisione dell'arrotondamento nei dati sull'utilizzo, scegli Utilizzo slot presi in prestito.
Fai clic su Applica.
Nella finestra di dialogo Nuovo elemento, scegli l'aggregazione. Ad esempio, per monitorare l'utilizzo massimo degli slot superiore alla capacità della prenotazione nel periodo di tempo selezionato, scegli Massimo.
Salva la metrica facendo clic su Fine.
(Facoltativo) Per modificare una metrica esistente, fai clic sul nome della metrica e modifica le sue impostazioni o eliminala.
Tipi di risorse e ambiti supportati per le metriche
Le metriche di utilizzo delle risorse sono classificate in base al tipo di risorsa e all'ambito.
Tipi di risorse
Puoi monitorare i seguenti tipi di risorse:
Risorsa | Descrizione |
---|---|
Job | Metriche sui dettagli dei job BigQuery per un determinato ambito e periodo di tempo. |
Prenotazione | Metriche sull'utilizzo delle prenotazioni BigQuery per un determinato ambito e periodo di tempo. Queste metriche aggregano i dettagli dei job per prenotazione. Se hai accesso solo a dati parziali a livello di prenotazione, sono disponibili le metriche aggregate sull'utilizzo delle prenotazioni, senza accesso ai dettagli a livello di job. |
Capacità slot | Metriche sulla capacità di prenotazione e impegno di BigQuery per un determinato ambito e periodo di tempo. |
Tipi di ambito
Dopo aver selezionato una risorsa per una metrica, seleziona un ambito.
- Le risorse di prenotazione e capacità dello slot supportano solo un ambito a livello di progetto.
- La risorsa job può essere impostata su ambiti a livello di progetto, cartella o organizzazione. Gli ambiti più ampi richiedono autorizzazioni aggiuntive.
Raggruppa per
Per raggruppare i dati nel grafico sull'utilizzo delle risorse:
Nella console Google Cloud, visualizza i grafici di utilizzo delle risorse BigQuery.
Nel riquadro Configurazione del grafico, configura il campo Raggruppa per selezionando una delle seguenti opzioni:
- Nessuna: questa opzione fornisce una panoramica generale delle metriche scelte, nel tempo, nell'intera organizzazione.
- Progetto: questa opzione raggruppa le metriche scelte per progetto. Se sono disponibili più di 50 progetti, vengono mostrati solo i 50 progetti principali con il maggiore utilizzo degli slot.
- Tutte le altre opzioni di raggruppamento: queste opzioni sono simili alla visualizzazione del progetto, con i dati raggruppati in base alla rispettiva dimensione. Se un'opzione di raggruppamento non è supportata per tutte le metriche scelte, non può essere selezionata.
Filtro
Quando configuri il grafico di utilizzo delle risorse, puoi applicare filtri ai tuoi dati, ad esempio visualizzare l'utilizzo delle risorse per le risorse della versione Enterprise o in base a un ID risorsa.
Per filtrare i dati del grafico, applica i filtri nel riquadro dei filtri. Puoi selezionare un filtro solo se è supportato per le metriche selezionate. Per visualizzare le autorizzazioni richieste, fai clic sul menu Filtra.
Visualizzare i dati sull'utilizzo delle risorse a livello di progetto
Puoi analizzare l'utilizzo delle risorse a livello di progetto utilizzando gli stessi passaggi di configurazione che utilizzeresti per visualizzare i dati a livello di organizzazione. I grafici mostrano solo i dati e le opzioni di configurazione a livello di progetto (le opzioni a livello di organizzazione non sono selezionabili). Questo ambito a livello di progetto mostra l'utilizzo complessivo delle risorse, indipendentemente dalla modalità di fatturazione all'interno del progetto contestuale.
Limitazioni del grafico sull'utilizzo delle risorse
- Il grafico e la tabella al centro della pagina mostrano le metriche pertinenti al periodo di tempo e alla granularità selezionati.
- Le metriche con la stessa unità condividono la stessa scala. Il grafico supporta fino a due scale diverse.
Passare alla versione precedente dell'interfaccia utente
Per impostazione predefinita, hai accesso ai grafici delle risorse delle versioni quando navighi dal progetto di amministrazione delle prenotazioni. Puoi passare dai grafici delle risorse on demand ai grafici delle risorse delle versioni dal progetto di gestione delle prenotazioni (Anteprima).
Per visualizzare i grafici delle risorse:
- Vai alla pagina BigQuery.
Vai a BigQuery - Nel menu del progetto, seleziona il progetto di amministrazione utilizzato per acquistare gli slot e creare le prenotazioni.
- Nel menu di navigazione, fai clic su Monitoraggio.
- Nella sezione Opzioni grafico > Ambito, puoi selezionare il modello di fatturazione dall'elenco, che include tre tipi di versioni e on demand. Per impostazione predefinita, il modello di fatturazione è impostato sulla versione Enterprise.
- Nella sezione Opzioni grafico > Configurazioni grafico, segui questi passaggi:
- Nell'elenco Grafico, seleziona il tipo di grafico. Per informazioni sulle diverse opzioni di grafico, consulta Opzioni del grafico.
- Nell'elenco Metriche, seleziona il tipo di metriche disponibili.
- Nell'elenco Raggruppa per, seleziona la dimensione in base alla quale vuoi raggruppare i dati nel grafico. Per informazioni sulle diverse dimensioni, consulta Opzioni di raggruppamento.
- Nell'elenco Filtri, seleziona le opzioni di filtro disponibili. Per informazioni sui diversi filtri, consulta Filtri e ricerca.
- Imposta il periodo di tempo per cui vuoi visualizzare i dati nel grafico.
Configurazioni dei grafici
Puoi modificare la visualizzazione dei grafici delle risorse modificando le seguenti opzioni di configurazione dei grafici.
Opzioni del grafico
BigQuery fornisce i seguenti tipi di metriche da visualizzare nei grafici:
- Utilizzo slot. Utilizzo medio degli slot. Se l'opzione Raggruppa per è impostata su
Complessiva o se Filtri è Nessuno o una singola prenotazione,
vengono visualizzate anche le metriche relative alla capacità e all'utilizzo degli slot presi in prestito.
- Utilizzo totale. Utilizzo medio degli slot nel periodo di tempo selezionato.
- Utilizzo slot in prestito. Utilizzo medio superiore alla capacità della prenotazione. Di solito si tratta di slot inattivi presi in prestito da altre prenotazioni e impegni o di arrotondamenti imprecisi nei dati sull'utilizzo. Nel grafico sull'utilizzo delle risorse vengono visualizzati slot inattivi aggiuntivi, anche se la condivisione degli slot inattivi è disattivata. L'utilizzo degli slot inattivi è un valore approssimativo e viene calcolato in base a Utilizzo degli slot, Slot impegnati e Slot con scalabilità automatica. Se il valore di utilizzo degli slot supera la capacità di impegno, il grafico li raggruppa come slot inattivi.
- Capacità di impegno. La dimensione dell'impegno per l'edizione.
- Capacità di riferimento. Le dimensioni di riferimento della prenotazione.
- Capacità di scalabilità automatica. La dimensione dello spazio con scalabilità automatica.
- Capacità massima. Il numero massimo di slot a cui l'utente può accedere.
- Contemporaneità job. Numero massimo di job in esecuzione contemporaneamente nel periodo di tempo selezionato.
- Rendimento job. Tempo di esecuzione medio dei job completati, calcolato dal momento di creazione al momento di completamento del job.
- Job non riusciti. Utilizzo medio degli slot nel periodo di tempo selezionato per i job non riusciti.
- Byte elaborati. Byte totali elaborati dai job completati nel periodo di tempo selezionato.
- Utilizzo casuale. Rapporto di utilizzo casuale medio nel periodo di tempo selezionato (anteprima).
Componente tabella
La tabella mostra le metriche pertinenti al periodo di tempo e alla dimensione selezionati nel grafico delle risorse.
Il grafico Utilizzo slot mostra l'utilizzo slot medio per tutti i job in esecuzione durante il periodo di tempo selezionato. I job che non sono stati completati nel periodo di tempo selezionato includono solo gli slot utilizzati nel periodo di tempo.
Per il grafico Rendimento job, il componente della tabella mostra le seguenti metriche:
- Numero di job. Il numero di job completati eseguiti o eseguiti parzialmente nel periodo di tempo selezionato.
- Durata media del job. La durata media dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.
- Durata media del job. La durata mediana dei job completati eseguiti almeno parzialmente nel periodo di tempo selezionato.
- Durata minima del job. La durata minima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi attivarla in Opzioni di visualizzazione delle colonne.
- Durata massima del job. La durata massima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi attivarla in Opzioni di visualizzazione delle colonne.
Per il grafico Job non riusciti, il componente della tabella mostra i seguenti dati:
- Utilizzo slot medio. Come il grafico Utilizzo degli slot, ma solo per i job non riusciti.
- Totale job non riusciti. Il numero di job non riusciti nel periodo di tempo selezionato.
Opzioni di raggruppamento
In base al tipo di grafico, puoi raggruppare i dati nella visualizzazione del grafico in base a diverse dimensioni:
- Complessivo. La visualizzazione complessiva è una panoramica generale della metrica selezionata, nel tempo, nell'intera organizzazione. Per l'utilizzo degli slot, la capacità e l'utilizzo vengono mostrati nello stesso grafico per dare un'idea dell'utilizzo complessivo degli slot nel tempo.
- Progetto. La visualizzazione del progetto mostra la metrica selezionata raggruppata per progetto. Se un'organizzazione ha più di 10 progetti, vengono visualizzati solo i 10 progetti principali con il maggiore utilizzo degli slot, la concorrenza dei job, la durata dei job o i job non riusciti nel periodo di tempo selezionato. Per l'utilizzo degli slot, tutti gli altri progetti sono raggruppati nella categoria Altri nella parte inferiore del grafico per facilitare il confronto con la capacità complessiva.
- Tutte le altre visualizzazioni con raggruppamento sono simili alla visualizzazione del progetto, con i dati raggruppati in base alla rispettiva dimensione.
Opzione Periodo di tempo
Puoi modificare il periodo di tempo nei seguenti modi:
- Seleziona e trascina il periodo di tempo nel grafico della cronologia degli eventi.
- Seleziona e trascina il periodo di tempo nel grafico principale.
Il periodo di allineamento si aggiorna automaticamente quando cambia il periodo di tempo selezionato. Più breve è il periodo di allineamento, più dettagliata sarà la visualizzazione. Per visualizzare meglio le risorse che cambiano di frequente, ad esempio l'opzione Utilizzo degli slot, riduci il periodo di allineamento.
Filtrare ed eseguire ricerche
Per restringere i dati del grafico, applica i filtri nel riquadro dei filtri. Alcuni filtri sono disponibili solo per determinati grafici. I filtri Prenotazioni, Cartelle, Progetti e Utenti vengono compilati con le rispettive risorse che hanno utilizzato gli slot nell'intervallo di tempo selezionato. Ad esempio, se un progetto non è stato utilizzato negli ultimi 30 giorni, non viene visualizzato nell'elenco dei filtri dei progetti.
Il grafico viene aggiornato dopo l'applicazione dei filtri per mostrare i dati all'interno dei parametri selezionati.
Risolvere i problemi di contesa degli slot
La contesa degli slot può verificarsi quando non sono disponibili slot sufficienti per eseguire tutti i job, causando problemi di prestazioni. Per risolvere i problemi di contesa degli slot, consulta i passaggi e le best practice riportati di seguito.
Se hai provato queste best practice, ma i problemi di rendimento dei job persistono, puoi richiedere assistenza.
Picchi di concorrenza dei job
Utilizza la Visualizzazione dettagliata per verificare un aumento improvviso delle esecuzioni dei job in cui si verificano picchi di utilizzo simultaneo degli slot. Ciò può indicare che esistono troppi job in competizione per gli slot limitati dal limite di prenotazione.
- Best practice: valuta la possibilità di ottimizzare le query che richiedono molte risorse o la capacità degli slot della tua prenotazione. Per saperne di più sull'ottimizzazione del rendimento delle query, consulta Ottimizzare il calcolo delle query.
Utilizzo elevato degli slot
Utilizza la visualizzazione dettagliata per verificare se le durate dei job sono aumentate, soprattutto se ci sono job che superano la capacità massima della prenotazione. Un utilizzo elevato e costante degli slot può indicare una contesa continua degli slot.
- Best practice: controlla le query utilizzando il filtro per la contesa degli slot dell'esploratore dei job per identificare quelle che consumano più slot e ottimizzarle.
Durate dei job lunghe
Se il completamento dei job richiede molto più tempo, controlla la visualizzazione dettagliata. Picchi di contemporaneità dei job e di utilizzo degli slot possono indicare una contesa degli slot.
- Best practice: isola i job critici mettendo temporaneamente in pausa quelli meno importanti o riducendo il tasso di invio dei job complessivi.
Messaggi relativi alla contesa degli slot
La tabella degli approfondimenti può mostrare messaggi come There were NUMBER jobs detected with
slot_contention in the reservation.
che indicano problemi di contesa degli slot.
Controlla lo esploratore dei job per esaminare i dettagli dei job specifici segnalati in questi messaggi.
- Best practice: ottimizza le query identificate o modifica l'allocazione degli slot della prenotazione.
Passaggi successivi
- Scopri di più sulle prenotazioni.
- Scopri di più sull'acquisto di spazi.
- Scopri come stimare i requisiti di capacità degli slot.
- Scopri come visualizzare i suggerimenti e gli approfondimenti sugli slot.