Monitorare e visualizzare i log per BigQuery Data Transfer Service
Il monitoring e il logging di BigQuery Data Transfer Service forniscono informazioni sulle prestazioni e sullo stato dei carichi di lavoro del servizio. BigQuery Data Transfer Service esporta i dati di monitoraggio in Cloud Monitoring.
Monitora BigQuery Data Transfer Service
Puoi utilizzare le metriche di monitoraggio per i seguenti scopi:
- Valutare l'utilizzo e le prestazioni di una configurazione di trasferimento di dati.
- Risolvere i problemi.
- Monitora gli stati di esecuzione dei trasferimenti.
Per creare dashboard personalizzate, configurare avvisi e metriche delle query con Monitoring, puoi utilizzare la console Google Cloud o l'API Monitoring.
Visualizza i dati di trasferimento in Metrics Explorer
Nella console Google Cloud, vai alla pagina Monitoring.
Nel riquadro di navigazione, fai clic su Esplora metriche.
Seleziona il progetto.
Nella casella Trova tipo di risorsa e metrica, inserisci quanto segue:
- In Tipo di risorsa, inserisci
BigQuery DTS Config. Per Metrica, seleziona una delle metriche elencate in Metriche di monitoraggio per le configurazioni di trasferimento, ad esempio
Completed run count.
- In Tipo di risorsa, inserisci
(Facoltativo) Seleziona allineatore, riduttore e altri parametri.
Le metriche vengono visualizzate nella finestra Esplora metriche.
Definizione degli avvisi di Cloud Monitoring
Puoi definire avvisi di Monitoring per le metriche di BigQuery Data Transfer Service:
Nella console Google Cloud, vai alla pagina Monitoring.
Nel riquadro di navigazione, seleziona Avvisi > Crea criterio.
Per saperne di più sui criteri di avviso e sui relativi concetti, consulta Tipi di criteri di avviso.
Fai clic su Aggiungi condizione e seleziona un tipo di condizione.
Seleziona metriche e filtri. Per le metriche, il tipo di risorsa è BigQuery DTS Config.
Fai clic su Save condition (Salva condizione).
Inserisci il nome del criterio e fai clic su Salva criterio.
Per ulteriori informazioni sui criteri e sui concetti di avviso, consulta Introduzione agli avvisi.
Definizione di dashboard personalizzate di Cloud Monitoring
Puoi creare dashboard personalizzate sulle metriche di BigQuery Data Transfer Service:
Nella console Google Cloud, vai alla pagina Monitoring.
Nel riquadro di navigazione, seleziona Dashboard > Crea dashboard.
Fai clic su Aggiungi grafico.
Assegna un titolo al grafico.
Seleziona metriche e filtri. Per le metriche, il tipo di risorsa è BigQuery DTS Config.
Fai clic su Salva.
Per saperne di più, consulta Gestire le dashboard personalizzate.
Frequenza e fidelizzazione dei report sulle metriche
Le metriche per le esecuzioni di BigQuery Data Transfer Service vengono esportate in Monitoring in batch, a intervalli di 1 minuto. I dati di monitoraggio vengono conservati per sei settimane.
La dashboard fornisce l'analisi dei dati a intervalli predefiniti di 1h (1 ora), 6H
(6 ore), 1D (1 giorno), 1W (1 settimana) e 6W (6 settimane). Puoi richiedere manualmente l'analisi in qualsiasi intervallo compreso tra 1M (1 minuto) e 6W (6 settimane).
Monitora le metriche per le configurazioni di trasferimento
Le seguenti metriche per le configurazioni di BigQuery Data Transfer Service vengono esportate in Monitoring:
| Metrica | Descrizione |
|---|---|
| Esegui la distribuzione della latenza | Distribuzione del tempo di esecuzione (in secondi) di ogni esecuzione di trasferimento, per configurazione di trasferimento. |
| Conteggio esecuzioni attive | Numero di esecuzioni di trasferimenti in esecuzione o in attesa, per configurazione di trasferimento. |
| Conteggio esecuzioni completate | Numero di esecuzioni di trasferimenti completate in un periodo di tempo, per configurazione di trasferimento. |
Filtrare le dimensioni per le metriche
Le metriche vengono aggregate per ogni configurazione di BigQuery Data Transfer Service. Puoi filtrare le metriche aggregate in base alle seguenti dimensioni:
| Proprietà | Descrizione |
|---|---|
TRANSFER_STATE |
Rappresenta lo stato di trasferimento attuale dell'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori:
|
ERROR_CODE |
Rappresenta il codice di errore finale dell'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori:
|
RUN_CAUSE |
Rappresenta il modo in cui è stata attivata un'esecuzione di trasferimento. Questa dimensione può avere uno dei seguenti valori:
|
Log di BigQuery Data Transfer Service
Ogni esecuzione di BigQuery Data Transfer Service viene registrata utilizzando Cloud Logging. Il logging è abilitato automaticamente per tutti i trasferimenti di dati.
Ruoli obbligatori
Il ruolo Visualizzatore log (roles/logging.viewer) ti concede l'accesso di sola lettura a tutte
le funzionalità di Logging. Per ulteriori informazioni sulle autorizzazioni e i ruoli di Identity and Access Management (IAM) che si applicano ai dati di Logging, consulta la guida controllo dell'accesso Logging.
visualizza i log
Per visualizzare i log, vai alla pagina Esplora log.
I log di BigQuery Data Transfer Service vengono indicizzati prima in base alla configurazione del trasferimento e poi in base alla singola esecuzione del trasferimento.
Visualizza log di esecuzione trasferimento
Per visualizzare solo le voci di log di un determinato trasferimento run_id, in Query Builder, aggiungi i seguenti filtri:
resource.type="bigquery_dts_config" labels.run_id="transfer_run_id"
Visualizza i log di configurazione del trasferimento
Per visualizzare le voci di log di un determinato trasferimento config_id, in Query Builder,
aggiungi i seguenti filtri:
resource.type="bigquery_dts_config" labels.run_id="transfer_config_id"
Visualizza tutti i log
Per visualizzare tutti i log di BigQuery Data Transfer Service, esegui una delle seguenti operazioni:
Nella sezione Campi log, per Tipo di risorsa, seleziona BigQuery DTS Config (Configurazione DTS BigQuery).
In Query Builder, aggiungi il seguente filtro:
resource.type="bigquery_dts_config"
Per ulteriori informazioni su come utilizzare Esplora log, consulta Utilizzo di Esplora log.
Formato log
BigQuery Data Transfer Service registra i messaggi nel seguente formato:
{
"insertId": "0000000000",
"jsonPayload": {
"message": "DTS transfer run message."
},
"resource": {
"type": "bigquery_dts_config",
"labels": {
"project_id": "my_project_id",
"config_id": "transfer_config_id",
"location": "us"
}
},
"timestamp": "2020-11-25T04:45:48.545732221Z",
"severity": "INFO",
"labels": {
"run_id": "transfer_run_id"
},
"logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
"receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}
Che cosa viene registrato
Le voci di log di BigQuery Data Transfer Service contengono informazioni utili per monitorare e eseguire il debug delle esecuzioni del trasferimento. Le voci di log contengono i seguenti tipi di informazioni:
timestamp: utilizzato per calcolare l'età della voce di log e applicare in modo forzato il periodo di conservazione del logseverity: può essereINFO,WARNINGoERRORmessage_text: contiene una stringa che spiega lo stato attuale dell'esecuzione del trasferimento
Passaggi successivi
- Scopri di più su Monitoring.
- Leggi una panoramica di Cloud Audit Logs e Cloud Logging.