Monitorare e visualizzare i log per BigQuery Data Transfer Service
Il monitoring e il logging di BigQuery Data Transfer Service forniscono informazioni sulle prestazioni e sullo stato dei carichi di lavoro del servizio. BigQuery Data Transfer Service esporta i dati di monitoraggio in Cloud Monitoring.
Monitorare BigQuery Data Transfer Service
Puoi utilizzare le metriche di monitoraggio per i seguenti scopi:
- Valuta l'utilizzo e le prestazioni di una configurazione di trasferimento dati.
- Risolvere i problemi.
- Monitora gli stati di esecuzione del trasferimento.
Per creare dashboard personalizzate, configurare avvisi ed eseguire query sulle metriche con Monitoring, puoi utilizzare la console Google Cloud o l'API Monitoring.
Visualizza i dati sul trasferimento in Metrics Explorer
Nella console Google Cloud, vai alla pagina Monitoring.
Nel riquadro di navigazione, fai clic su Metrics Explorer.
Seleziona il progetto.
Nella casella Find resource type and metric (Trova tipo di risorsa e metrica), inserisci i seguenti valori:
- In Tipo di risorsa, inserisci
BigQuery DTS Config. Per Metrica, seleziona una delle metriche elencate in Monitoraggio delle metriche per le configurazioni di trasferimento, ad esempio
Completed run count.
- In Tipo di risorsa, inserisci
(Facoltativo) Seleziona l'allineatore, il riduttore e altri parametri.
Le metriche vengono visualizzate nella finestra Metrics Explorer.
Definisci gli avvisi di Cloud Monitoring
Puoi definire avvisi di Monitoring per le metriche di BigQuery Data Transfer Service:
Nella console Google Cloud, vai alla pagina Monitoring.
Nel riquadro di navigazione, seleziona Avvisi > Crea criterio.
Per ulteriori informazioni sui criteri di avviso e sui concetti alla base, consulta Tipi di criteri di avviso.
Fai clic su Aggiungi condizione e seleziona un tipo di condizione.
Seleziona metriche e filtri. Per le metriche, il tipo di risorsa è Configurazione DTS BigQuery.
Fai clic su Save condition (Salva condizione).
Inserisci il nome della norma e fai clic su Salva norma.
Per ulteriori informazioni sui criteri e sui concetti di avviso, consulta la pagina Introduzione agli avvisi.
Definire le dashboard personalizzate di Cloud Monitoring
Puoi creare dashboard personalizzate basate sulle metriche di BigQuery Data Transfer Service:
Nella console Google Cloud, vai alla pagina Monitoring.
Nel riquadro di navigazione, seleziona Dashboard > Crea dashboard.
Fai clic su Aggiungi grafico.
Assegna un titolo al grafico.
Seleziona metriche e filtri. Per le metriche, il tipo di risorsa è Configurazione DTS BigQuery.
Fai clic su Salva.
Per saperne di più, consulta Gestire le dashboard personalizzate.
Frequenza e fidelizzazione dei report sulle metriche
Le metriche per le esecuzioni di BigQuery Data Transfer Service vengono esportate in Monitoring in batch, a intervalli di 1 minuto. I dati di monitoraggio vengono conservati per sei settimane.
La dashboard fornisce analisi dei dati a intervalli predefiniti di 1h (1 ora), 6H (6 ore), 1D (1 giorno), 1W (1 settimana) e 6W (6 settimane). Puoi richiedere manualmente l'analisi in qualsiasi intervallo compreso tra 1M (1 minuto) e 6W (6 settimane).
Monitora le metriche per le configurazioni di trasferimento
Le seguenti metriche per le configurazioni di BigQuery Data Transfer Service vengono esportate in Monitoring:
| Metrica | Description |
|---|---|
| Esegui la distribuzione della latenza | Distribuzione del tempo di esecuzione (in secondi) di ogni esecuzione di trasferimento, per configurazione di trasferimento. |
| Conteggio esecuzioni attive | Numero di esecuzioni di trasferimenti in esecuzione o in attesa, per configurazione di trasferimento. |
| Numero di esecuzioni completate | Numero di esecuzioni di trasferimenti completate in un periodo di tempo, per configurazione di trasferimento. |
Filtrare le dimensioni per le metriche
Le metriche vengono aggregate per ogni configurazione di BigQuery Data Transfer Service. Puoi filtrare le metriche aggregate in base alle seguenti dimensioni:
| Proprietà | Description |
|---|---|
TRANSFER_STATE |
Rappresenta l'attuale stato di trasferimento dell'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori:
|
ERROR_CODE |
Rappresenta il codice di errore finale dell'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori:
|
RUN_CAUSE |
Rappresenta il modo in cui è stata attivata un'esecuzione di trasferimento. Questa dimensione può avere uno dei seguenti valori:
|
Log di BigQuery Data Transfer Service
Ogni esecuzione di BigQuery Data Transfer Service viene registrata utilizzando Cloud Logging. Il logging è abilitato automaticamente per tutti i trasferimenti di dati.
Ruoli obbligatori
Il ruolo Visualizzatore log (roles/logging.viewer) consente l'accesso di sola lettura a tutte le funzionalità di Logging. Per ulteriori informazioni sulle autorizzazioni e sui ruoli di Identity and Access Management (IAM) che si applicano ai dati di Logging, consulta la guida controllo dell'accesso Logging.
Visualizza i log
Per visualizzare i log, vai alla pagina Esplora log.
I log di BigQuery Data Transfer Service vengono indicizzati prima in base alla configurazione del trasferimento e poi in base alla singola esecuzione del trasferimento.
Visualizza i log di esecuzione del trasferimento
Per visualizzare solo le voci di log di un determinato trasferimento run_id, nello Strumento per la creazione di query aggiungi i seguenti filtri:
resource.type="bigquery_dts_config" labels.run_id="transfer_run_id"
Visualizza i log di configurazione del trasferimento
Per visualizzare le voci di log di un determinato trasferimento config_id, aggiungi i seguenti filtri in Query Builder:
resource.type="bigquery_dts_config" labels.run_id="transfer_config_id"
Visualizza tutti i log
Per visualizzare tutti i log di BigQuery Data Transfer Service, esegui una delle seguenti operazioni:
Nella sezione Campi log, per Tipo di risorsa, seleziona Configurazione DTS BigQuery.
In Query Builder, aggiungi il filtro seguente:
resource.type="bigquery_dts_config"
Per ulteriori informazioni su come utilizzare Esplora log, consulta Utilizzo di Esplora log.
Formato log
BigQuery Data Transfer Service registra i messaggi nel seguente formato:
{
"insertId": "0000000000",
"jsonPayload": {
"message": "DTS transfer run message."
},
"resource": {
"type": "bigquery_dts_config",
"labels": {
"project_id": "my_project_id",
"config_id": "transfer_config_id",
"location": "us"
}
},
"timestamp": "2020-11-25T04:45:48.545732221Z",
"severity": "INFO",
"labels": {
"run_id": "transfer_run_id"
},
"logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
"receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}
Cosa viene registrato
Le voci di log di BigQuery Data Transfer Service contengono informazioni utili per il monitoraggio e il debug delle esecuzioni dei trasferimenti. Le voci di log contengono i seguenti tipi di informazioni:
timestamp: utilizzato per calcolare l'età della voce di log e applicare il periodo di conservazione del logseverity: può essereINFO,WARNINGoERRORmessage_text: contiene una stringa che spiega lo stato attuale dell'esecuzione del trasferimento
Passaggi successivi
- Scopri di più su Monitoring.
- Leggi una panoramica di Cloud Audit Logs e Cloud Logging.