Monitorare e visualizzare i log per BigQuery Data Transfer Service

Il monitoraggio e la registrazione di BigQuery Data Transfer Service forniscono informazioni sulle prestazioni e sullo stato del carico di lavoro del servizio. BigQuery Data Transfer Service esporta i dati di monitoraggio in Cloud Monitoring.

Monitorare BigQuery Data Transfer Service

Puoi utilizzare le metriche di monitoraggio per i seguenti scopi:

• Valuta l'utilizzo e le prestazioni di una configurazione di trasferimento dati.
• Risolvere i problemi.
• Monitora lo stato delle esecuzioni del trasferimento.

Per creare dashboard personalizzate, configurare avvisi ed eseguire query sulle metriche con Monitoring, puoi utilizzare la console Google Cloud o l'API Monitoring.

Visualizzare i dati di trasferimento in Metrics Explorer

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoring

2. Nel riquadro di navigazione, fai clic su Esplora metriche.

3. Seleziona il progetto.

4. Nella casella Trova tipo di risorsa e metrica, inserisci quanto segue:

   • In Tipo di risorsa, inserisci BigQuery DTS Config.

   • Per Metrica, seleziona una delle metriche elencate in Metriche di monitoraggio per le configurazioni di trasferimento, ad esempio Completed run count.

     

5. (Facoltativo) Seleziona l'allineatore, il riduttore e altri parametri.

6. Le metriche vengono visualizzate nella finestra Esplora metriche.

   

Definisci gli avvisi di Cloud Monitoring

Puoi definire avvisi di monitoraggio per le metriche di BigQuery Data Transfer Service:

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoring

2. Nel riquadro di navigazione, seleziona Avvisi > Crea criterio.

   Per ulteriori informazioni sui criteri di avviso e sui concetti alla base, consulta la pagina Tipi di criteri di avviso.

3. Fai clic su Aggiungi condizione e seleziona un tipo di condizione.

4. Seleziona metriche e filtri. Per le metriche, il tipo di risorsa è BigQuery DTS Config.

5. Fai clic su Save Condition (Salva condizione).

6. Inserisci il nome del criterio e fai clic su Salva criterio.

Per ulteriori informazioni sui criteri e sui concetti relativi agli avvisi, consulta Introduzione agli avvisi.

Definisci le dashboard personalizzate di Cloud Monitoring

Puoi creare dashboard personalizzate sulle metriche di BigQuery Data Transfer Service:

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoring

2. Nel riquadro di navigazione, seleziona Dashboard > Crea dashboard.

3. Fai clic su Aggiungi grafico.

4. Assegna un titolo al grafico.

5. Seleziona metriche e filtri. Per le metriche, il tipo di risorsa è BigQuery DTS Config.

6. Fai clic su Salva.

Per ulteriori informazioni, vedi Gestire le dashboard personalizzate.

Frequenza e conservazione dei report sulle metriche

Le metriche per le esecuzioni di BigQuery Data Transfer Service vengono esportate in Monitoring in batch, a intervalli di 1 minuto. I dati di monitoraggio vengono conservati per 6 settimane.

La dashboard fornisce l'analisi dei dati a intervalli predefiniti di 1h (1 ora), 6H (6 ore), 1D (1 giorno), 1W (1 settimana) e 6W (6 settimane). Puoi richiedere manualmente l'analisi in qualsiasi intervallo compreso tra 1M (1 minuto) e 6W (6 settimane).

Monitorare le metriche per le configurazioni di trasferimento

Le seguenti metriche per le configurazioni di BigQuery Data Transfer Service vengono esportate in Monitoring:

Metrica	Descrizione
Esegui la distribuzione della latenza	Distribuzione del tempo di esecuzione (in secondi) di ogni esecuzione del trasferimento, per configurazione del trasferimento.
Conteggio esecuzioni attive	Numero di esecuzioni del trasferimento in esecuzione o in attesa, per configurazione del trasferimento.
Conteggio esecuzioni completate	Numero di esecuzioni di trasferimento completate in un periodo di tempo, per configurazione di trasferimento.

Dimensioni filtro per le metriche

Le metriche vengono aggregate per ogni configurazione di BigQuery Data Transfer Service. Puoi filtrare le metriche aggregate in base alle seguenti dimensioni:

Proprietà	Descrizione
TRANSFER_STATE	Rappresenta lo stato attuale del trasferimento dell'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori: unspecified pending running succeeded failed cancelled
ERROR_CODE	Rappresenta il codice di errore finale dell'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori: OK CANCELLED UNKNOWN INVALID_ARGUMENT DEADLINE_EXCEEDED NOT_FOUND ALREADY_EXISTS PERMISSION_DENIED UNAUTHENTICATED RESOURCE_EXHAUSTED FAILED_PRECONDITION ABORTED OUT_OF_RANGE UNIMPLEMENTED INTERNAL UNAVAILABLE DATA_LOSS
RUN_CAUSE	Rappresenta la modalità di attivazione di un'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori: USER_REQUESTED AUTO_SCHEDULE

Log di BigQuery Data Transfer Service

Ogni esecuzione di BigQuery Data Transfer Service viene registrata utilizzando Cloud Logging. La registrazione viene attivata automaticamente per tutti i trasferimenti di dati.

Ruoli obbligatori

Il ruolo Visualizzatore log (roles/logging.viewer) ti consente di accedere in sola lettura a tutte le funzionalità di Logging. Per saperne di più su ruoli e autorizzazioni Identity and Access Management (IAM) che si applicano ai dati di logging, consulta la guida controllo dell'accesso Logging.

Visualizza i log

Per visualizzare i log, vai alla pagina Esplora log.

Vai a Esplora log

I log di BigQuery Data Transfer Service vengono indicizzati prima in base alla configurazione del trasferimento e poi in base alla singola esecuzione del trasferimento.

Visualizza i log delle esecuzioni del trasferimento

Per mostrare solo le voci di log di un determinato trasferimento run_id, in Query Builder, aggiungi i seguenti filtri:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

Visualizzare i log di configurazione del trasferimento

Per mostrare le voci di log di un determinato trasferimento config_id, in Query Builder, aggiungi i seguenti filtri:

resource.type="bigquery_dts_config"
resource.labels.config_id="transfer_config_id"

Visualizza tutti i log

Per visualizzare tutti i log di BigQuery Data Transfer Service, esegui una delle seguenti operazioni:

• Nel riquadro Campi, per Tipo di risorsa, seleziona Configurazione BigQuery DTS.

  

• In Query Builder, aggiungi il seguente filtro:

  resource.type="bigquery_dts_config"

Per saperne di più su come utilizzare Esplora log, vedi Utilizzo di Esplora log.

Formato log

BigQuery Data Transfer Service registra i messaggi nel seguente formato:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

Che cosa viene registrato

Le voci di log di BigQuery Data Transfer Service contengono informazioni utili per monitorare ed eseguire il debug delle esecuzioni del trasferimento. Le voci di log contengono i seguenti tipi di informazioni:

• timestamp: utilizzato per calcolare l'età della voce di log e per applicare il periodo di conservazione del log
• severity: può essere INFO, WARNING o ERROR
• message_text: contiene una stringa che spiega lo stato attuale dell'esecuzione del trasferimento

Passaggi successivi

• Scopri di più su Monitoring.
• Leggi una panoramica di Cloud Audit Logs e Cloud Logging.