Crea dashboard, grafici e avvisi

Questo documento descrive come creare grafici e avvisi per monitorare le risorse BigQuery utilizzando Cloud Monitoring.

Prima di iniziare

Prima di utilizzare Cloud Monitoring, assicurati di disporre di quanto segue:

• Un account di fatturazione Cloud.
• Un progetto BigQuery con fatturazione abilitata.

Un modo per assicurarti di avere entrambi è completare la guida rapida all'utilizzo della console. Google Cloud

Visualizzare e creare dashboard, grafici e avvisi

Visualizza la dashboard di Cloud Monitoring

Per utilizzare Cloud Monitoring per monitorare il tuo progetto BigQuery:

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoraggio

2. Seleziona il nome del tuo progetto se non è già selezionato nella parte superiore della pagina.

3. Per visualizzare le risorse BigQuery, seleziona Dashboard > BigQuery. In questa pagina viene visualizzato un elenco di tabelle, eventi e segnalazioni di incidenti configurabili dall'utente, nonché grafici delle metriche del progetto o del set di dati.

   

Visualizzare gli slot disponibili e quelli assegnati

Per visualizzare gli slot disponibili e quelli allocati al tuo progetto, vai alla dashboard per BigQuery descritta in Visualizzazione della dashboard di Cloud Monitoring:

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoraggio

2. Seleziona Dashboard > BigQuery.

3. Nella dashboard di Cloud Monitoring per BigQuery, scorri fino al grafico denominato Utilizzo slot.

Il grafico Utilizzo slot viene visualizzato sia nella dashboard predefinita principale di Cloud Monitoring sia nella dashboard di Cloud Monitoring per BigQuery.

crea una dashboard e un grafico

Visualizza le metriche raccolte da Cloud Monitoring in grafici e dashboard:

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoraggio

2. Seleziona Dashboard > Crea dashboard.

3. Fai clic su Aggiungi grafico. Viene visualizzata la pagina Aggiungi grafico:

   

4. Nei campi del riquadro Trova tipo di risorsa e metrica:

   • Nell'elenco a discesa Tipo di risorsa, seleziona Globale. Potrebbe essere necessario espandere l'elenco dei tipi di risorse per visualizzare l'opzione Globale.
   • Nell'elenco a discesa Metrica, seleziona Tempo di esecuzione della query.

5. I campi del riquadro Aggregazione controllano la modalità di visualizzazione dei dati in fase di esecuzione. Puoi modificare le impostazioni predefinite per questi campi.

6. Fai clic su Salva.

Visualizzare l'utilizzo e i limiti delle quote

In Cloud Monitoring, puoi visualizzare le metriche per l'utilizzo e i limiti delle quote:

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoraggio

2. Nel riquadro di navigazione, seleziona Metrics Explorer.

3. Nella barra degli strumenti, seleziona Explorer > Configurazione.

4. Nella sezione Risorsa e metrica, fai clic su Seleziona una metrica.

5. Seleziona Quota consumer > Quota > Limite di quota, quindi fai clic su Applica.

6. Fai clic su Aggiungi filtro, poi seleziona limit_name nel menu Etichetta.

7. Nel menu Valore, seleziona la quota per cui vuoi visualizzare le metriche.

   

Nota: puoi visualizzare le metriche per l'utilizzo e i limiti delle quote solo per le quote di velocità effettiva e di connessioni simultanee dell'API BigQuery Storage Write.

Crea un avviso

Per creare un criterio di avviso che si attiva quando il 99° percentile del tempo di esecuzione di una query BigQuery supera un limite definito dall'utente, utilizza le impostazioni seguenti.

Passaggi per creare un criterio di avviso.

Per creare un criterio di avviso, segui questi passaggi:

1. Nella Google Cloud console, vai alla pagina  Avvisi:

   Vai ad Avvisi

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.

2. Se non hai creato i canali di notifica e vuoi ricevere le notifiche, fai clic su Modifica canali di notifica e aggiungi i tuoi canali di notifica. Torna alla pagina Avvisi dopo aver aggiunto i canali.
3. Nella pagina Avvisi, seleziona Crea criterio.
4. Per selezionare la risorsa, la metrica e i filtri, espandi il menu Seleziona una metrica e poi utilizza i valori nella tabella Nuova condizione:
   1. (Facoltativo) Per limitare il menu alle voci pertinenti, inserisci il nome della risorsa o della metrica nella barra dei filtri.
   2. Seleziona un tipo di risorsa. Ad esempio, seleziona Istanza VM.
   3. Seleziona una categoria metrica. Ad esempio, seleziona istanza.
   4. Seleziona una metrica. Ad esempio, seleziona Utilizzo CPU.
   5. Seleziona Applica.
5. Fai clic su Avanti e poi configura il trigger del criterio di avviso. Per completare questi campi, utilizza i valori nella tabella Configura trigger avviso.
6. Fai clic su Avanti.

7. (Facoltativo) Per aggiungere notifiche al tuo criterio di avviso, fai clic su Canali di notifica. Nella finestra di dialogo, seleziona uno o più canali di notifica dal menu e fai clic su Ok.

   Per ricevere una notifica quando gli incidenti vengono aperti e chiusi, seleziona Notifica alla chiusura dell'incidente. Per impostazione predefinita, le notifiche vengono inviate solo quando vengono aperti gli incidenti.

8. (Facoltativo) Aggiorna la Durata chiusura automatica incidenti. Questo campo determina quando Monitoring chiude gli incidenti in assenza di dati delle metriche.
9. (Facoltativo) Fai clic su Documentazione e aggiungi tutte le informazioni che vuoi includere in un messaggio di notifica.
10. Fai clic su Nome avviso e inserisci un nome per il criterio di avviso.
11. Fai clic su Crea criterio.

Nuova condizione Campo	Valore
Risorsa e metrica	Nel menu Risorse, seleziona Progetto BigQuery. Nel menu Categorie di metriche, seleziona Query. Nel menu Metriche, seleziona Tempi di esecuzione delle query.
Filtro
Tra le serie temporali Raggruppa serie temporali per	priority
Tra le serie temporali Aggregazione serie temporali	99th percentile
Finestra temporale continua	5 m
Funzione finestra temporale continua	sum

Configura trigger di avviso Campo	Valore
Tipo di condizione	Threshold
Trigger avviso	Any time series violates
Posizione soglia	Above threshold
Valore soglia	Sei tu a determinare questo valore, ma ti consigliamo una soglia di 60 secondi.
Finestra di ripetizione test	most recent value

Per creare un criterio di avviso che si attiva quando i byte totali analizzati fatturati per un progetto BigQuery superano un limite definito dall'utente, utilizza la seguente configurazione del criterio di avviso.

Nuova condizione Campo	Valore
Risorsa e metrica	Nel menu Risorse, seleziona Progetto BigQuery. Nel menu Categorie di metriche, seleziona Query. Nel menu Metriche, seleziona Byte scansionati dell'estratto conto fatturati.
Filtro	(Nessun filtro necessario per un avviso a livello di progetto)
Tra le serie temporali Raggruppa serie temporali per	(Lascia vuoto per aggregare tutte le serie)
Tra le serie temporali Aggregazione serie temporali	sum
Finestra temporale continua	5 m
Funzione finestra temporale continua	sum

Configura trigger di avviso Campo	Valore
Tipo di condizione	Threshold
Trigger avviso	Any time series violates
Posizione soglia	Above threshold
Valore soglia	Sei tu a determinare questo valore. Ad esempio, per attivare un avviso quando l'utilizzo supera 1 TiB, inserisci 1000000000000.

Mentre il criterio di avviso monitora i byte totali analizzati, puoi impostare una soglia in base a un budget specifico. Per implementare questa criterio di avviso basata sul budget, devi prima convertire la soglia di costo desiderata nel numero equivalente di byte. La formula si basa sui prezzi del computing on demand di BigQuery. Per saperne di più, consulta la pagina Prezzi del calcolo on demand.

Puoi utilizzare la seguente formula per convertire la soglia di costo in byte:

Threshold in Bytes = (Target Amount / (price per TiB)) * 1,000,000,000,000

Esempio: attiva un avviso quando l'utilizzo supera i 100 $

Supponiamo che tu voglia ricevere un avviso quando i costi delle query del tuo progetto superano 100$.

1. Calcola il volume di dati equivalente in TiB:
   $100 / (price per TiB) = Equivalent Data Volume in TiB
2. Converti il volume di dati in byte:
   (Equivalent Data Volume in TiB) * 1,000,000,000,000 = Threshold Value in Bytes
3. Imposta il valore soglia:
   Nella sezione Configura trigger avviso del criterio, inserisci il "Valore soglia in byte" come Valore soglia.

Ora, la tua criterio di avviso viene attivata quando il totale dei byte scansionati fatturati nella finestra temporale corrisponde a circa 100$ in costi di query on demand.

Metriche disponibili per la visualizzazione

Sono disponibili le seguenti metriche, con un ritardo di diverse ore.

Tipo di risorsa	Nome	Unità	Descrizione
BigQuery	Scanned bytes	Byte al minuto	Numero di byte scansionati.
BigQuery	Scanned bytes billed	Byte al minuto	Numero di byte inviati per la fatturazione quando si utilizza il modello di analisi on demand. I byte scansionati e i byte scansionati fatturati possono differire in quanto gli addebiti vengono arrotondati per eccesso, con una quantità minima di dati elaborati per query.
BigQuery	BI Engine Query Fallback Count (Preview)	Query	La quantità di query che non hanno utilizzato BI Engine come tasso. Puoi impostare l'opzione Raggruppa per su reason per separare il conteggio in diversi motivi di fallback, tra cui: NO_RESERVATION INSUFFICIENT_RESERVATION UNSUPPORTED_SQL_TEXT INPUT_TOO_LARGE OTHER_REASON
BigQuery	Query count	Query	Query in corso.
BigQuery	Query execution count (Preview)	Query	Il numero di query eseguite.
BigQuery	Query execution times - 5th percentile - 50th percentile - 95th percentile - 99th percentile	Secondi	Tempi di esecuzione delle query non memorizzate nella cache.
BigQuery	Slots used by project	Slot	Numero di slot BigQuery allocati per i job di query nel progetto. Gli slot vengono allocati per account di fatturazione e più progetti possono condividere la stessa prenotazione di slot.
BigQuery	Slots used by project and job type	Slot	Numero di slot allocati al progetto in qualsiasi momento separati per tipo di job. Puoi anche considerarlo come il numero di slot utilizzati da quel progetto. I job di caricamento ed esportazione sono operazioni gratuite e vengono eseguiti in un pool pubblico di risorse. Gli slot vengono allocati per account di fatturazione e più progetti possono condividere la stessa prenotazione di slot.
BigQuery	Slots used by project, reservation, and job type	Slot	Numero di slot BigQuery allocati per il progetto. L'allocazione degli slot può essere suddivisa in base al tipo di prenotazione e di lavoro.
BigQuery	Total slots	Slot	Numero totale di slot disponibili per il progetto. Se il progetto condivide una prenotazione di slot con altri progetti, gli slot utilizzati dagli altri progetti non vengono visualizzati.
BigQuery	Slots used across projects in reservations	Slot	Numero di slot BigQuery allocati nei progetti della prenotazione. Tieni presente che i dati delle metriche vengono riportati solo quando almeno un progetto è stato assegnato alla prenotazione e utilizza slot. In alternativa, puoi eseguire query sulle informazioni sulle prenotazioni da INFORMATION_SCHEMA.
BigQuery	Slots used by project in reservation	Slot	Numero di slot BigQuery allocati per il progetto nella prenotazione.
Job continuo BigQuery	Estimated backlog logical bytes	Byte	Il numero di byte nel backlog per ogni fase del job continuo.
Job continuo BigQuery	Estimated backlog records	Record	Il numero stimato di record in backlog per ogni fase del job continuo.
Job continuo BigQuery	Estimated bytes processed	Byte	Il numero stimato di byte elaborati per ogni fase del job continuo.
Job continuo BigQuery	Output watermark	Timestamp	Il timestamp più recente, in microsecondi dall'epoca, fino al quale tutti i dati sono stati elaborati da questa fase del job continuo.
Job continuo BigQuery	Records read	Record	Il numero di record di input letti per ogni fase del job continuo.
Job continuo BigQuery	Records written	Record	Il numero di record di output scritti per ogni fase del job continuo.
Job continuo BigQuery	Slots used	Millisecondi slot	Il numero totale di millisecondi di slot utilizzati dal job continuo.
Set di dati BigQuery	Stored bytes	Byte	Byte archiviati nel set di dati: per le 100 tabelle più grandi del set di dati, i byte archiviati vengono visualizzati per ogni singola tabella (per nome). Tutte le tabelle aggiuntive nel set di dati (oltre le 100 più grandi) vengono riportate come somma singola e il nome della tabella per il riepilogo è una stringa vuota.
Set di dati BigQuery	Table count	Tabelle	Numero di tabelle nel set di dati.
Set di dati BigQuery	Uploaded bytes	Byte al minuto	Numero di byte caricati in qualsiasi tabella del set di dati.
Set di dati BigQuery	Righe caricate	Righe al minuto	Numero di record caricati in qualsiasi tabella del set di dati.

Per un elenco completo delle metriche di Google Cloud disponibili, consulta metriche diGoogle Cloud .

Problemi noti

• Se non sono in esecuzione query, non vengono restituiti dati per gli slot allocati, gli slot disponibili o qualsiasi variabile correlata alle query. Diminuisci lo zoom per visualizzare i dati.

• Se le query vengono eseguite sia negli Stati Uniti che nell'UE, gli slot allocati e gli slot disponibili potrebbero non essere corretti.

• Gli slot allocati vengono segnalati come valore medio in una finestra temporale (la larghezza della finestra temporale dipende dal livello di zoom del grafico). Lo zoom in avanti e indietro può modificare il valore degli slot allocati. Se aumenti lo zoom su una finestra temporale di 1 ora o meno, vengono visualizzati i valori effettivi degli slot allocati. In questo intervallo per qualsiasi periodo visibile nel grafico, avg(slots allocated) = slots allocated.

• I dati nei grafici di Cloud Monitoring si riferiscono solo al progetto selezionato.

• Le metriche sono valori istantanei, campionati in un determinato momento e potrebbero non includere punti dati tra gli intervalli di campionamento. Ad esempio, la metrica Conteggio job viene campionata ogni minuto. Il valore è il numero di job in quel particolare momento, non il numero massimo di job nell'intero minuto.