Questa pagina è stata tradotta dall'API Cloud Translation.

Monitorare e visualizzare i log di BigQuery Data Transfer Service

Il monitoraggio e i log di BigQuery Data Transfer Service forniscono informazioni sul rendimento e sullo stato del carico di lavoro del servizio. BigQuery Data Transfer Service esporta i dati di monitoraggio in Cloud Monitoring.

Monitorare BigQuery Data Transfer Service

Puoi utilizzare le metriche di monitoraggio per le seguenti finalità:

Valutare l'utilizzo e le prestazioni di una configurazione di trasferimento dati.
Risolvere i problemi.
Monitora gli stati delle esecuzioni del trasferimento.

Per creare dashboard personalizzate, configurare avvisi e eseguire query sulle metriche con Monitoring, puoi utilizzare la console Google Cloud o l'API Monitoring.

Visualizzare i dati di trasferimento in Metrics Explorer

Nella console Google Cloud, vai alla pagina Monitoring.

Vai a Monitoring
Nel riquadro di navigazione, fai clic su Esplora metriche.
Seleziona il progetto.
Nella casella Trova tipo di risorsa e metrica, inserisci quanto segue:
- In Tipo di risorsa, inserisci BigQuery DTS Config.
- In Metrica, seleziona una delle metriche elencate in Metriche di monitoraggio per le configurazioni di trasferimento, ad esempio Completed run count.
(Facoltativo) Seleziona allineatore, riduttore e altri parametri.
Le metriche vengono visualizzate nella finestra Esplora metriche.

Definire gli avvisi di Cloud Monitoring

Puoi definire avvisi di monitoraggio per le metriche di BigQuery Data Transfer Service:

Nella console Google Cloud, vai alla pagina Monitoring.

Vai a Monitoring
Nel riquadro di navigazione, seleziona Avvisi > Crea criterio.

Per ulteriori informazioni sui criteri di avviso e sui relativi concetti, consulta Tipi di criteri di avviso.
Fai clic su Aggiungi condizione e seleziona un tipo di condizione.
Seleziona metriche e filtri. Per le metriche, il tipo di risorsa è BigQuery DTS Config.
Fai clic su Save Condition (Salva condizione).
Inserisci il nome del criterio e fai clic su Salva criterio.

Per ulteriori informazioni sui criteri e sui concetti di avviso, consulta Introduzione agli avvisi.

Definire le dashboard personalizzate di Cloud Monitoring

Puoi creare dashboard personalizzate in base alle metriche di BigQuery Data Transfer Service:

Nella console Google Cloud, vai alla pagina Monitoring.

Vai a Monitoring
Nel riquadro di navigazione, seleziona Dashboard > Crea dashboard.
Fai clic su Aggiungi grafico.
Assegna un titolo al grafico.
Seleziona metriche e filtri. Per le metriche, il tipo di risorsa è BigQuery DTS Config.
Fai clic su Salva.

Per saperne di più, consulta Gestire le dashboard personalizzate.

Frequenza e conservazione dei report sulle metriche

Le metriche per le esecuzioni di BigQuery Data Transfer Service vengono esportate in Monitoring in batch, a intervalli di 1 minuto. I dati di monitoraggio vengono conservati per 6 settimane.

La dashboard fornisce l'analisi dei dati in intervalli predefiniti di 1h (1 ora), 6H (6 ore), 1D (1 giorno), 1W (1 settimana) e 6W (6 settimane). Puoi richiedere manualmente un'analisi in qualsiasi intervallo compreso tra 1M (1 minuto) e 6W (6 settimane).

Monitorare le metriche per le configurazioni di trasferimento

Le seguenti metriche per le configurazioni di BigQuery Data Transfer Service vengono esportate in monitoraggio:

Metrica	Descrizione
Esegui la distribuzione della latenza	Distribuzione del tempo di esecuzione (in secondi) di ogni esecuzione del trasferimento, per configurazione del trasferimento.
Conteggio esecuzioni attive	Numero di esecuzioni di trasferimento in esecuzione o in attesa per configurazione di trasferimento.
Conteggio esecuzioni completate	Numero di esecuzioni di trasferimento completate in un periodo di tempo, per configurazione di trasferimento.

Filtrare le dimensioni per le metriche

Le metriche vengono aggregate per ogni configurazione di BigQuery Data Transfer Service. Puoi filtrare le metriche aggregate in base alle seguenti dimensioni:

Proprietà	Descrizione
`TRANSFER_STATE`	Rappresenta lo stato corrente del trasferimento dell'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori: `unspecified` `pending` `running` `succeeded` `failed` `cancelled`
`ERROR_CODE`	Rappresenta il codice di errore finale dell'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori: `OK` `CANCELLED` `UNKNOWN` `INVALID_ARGUMENT` `DEADLINE_EXCEEDED` `NOT_FOUND` `ALREADY_EXISTS` `PERMISSION_DENIED` `UNAUTHENTICATED` `RESOURCE_EXHAUSTED` `FAILED_PRECONDITION` `ABORTED` `OUT_OF_RANGE` `UNIMPLEMENTED` `INTERNAL` `UNAVAILABLE` `DATA_LOSS`
`RUN_CAUSE`	Rappresenta la modalità di attivazione di un'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori: `USER_REQUESTED` `AUTO_SCHEDULE`

Log di BigQuery Data Transfer Service

Ogni esecuzione di BigQuery Data Transfer Service viene registrata utilizzando Cloud Logging. La registrazione viene attivata automaticamente per tutti i trasferimenti di dati.

Ruoli obbligatori

Il ruolo Visualizzatore log (roles/logging.viewer) ti consente di accedere di sola lettura a tutte le funzionalità di Logging. Per saperne di più sui ruoli e sulle autorizzazioni di Identity and Access Management (IAM) che si applicano ai dati di logging, consulta la guida al controllo dell'accesso per i log.

Visualizza i log

Per visualizzare i log, vai alla pagina Esplora log.

Vai a Esplora log

I log di BigQuery Data Transfer Service vengono indicizzati prima in base alla configurazione del trasferimento e poi in base alla singola esecuzione del trasferimento.

Visualizza i log di esecuzione del trasferimento

Per visualizzare solo le voci di log di un determinato trasferimento run_id, in Query Builder aggiungi i seguenti filtri:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

Visualizza i log di esecuzione.

Visualizzare i log di configurazione del trasferimento

Per visualizzare le voci di log di un determinato trasferimento config_id, in Query Builder, aggiungi i seguenti filtri:

resource.type="bigquery_dts_config"
labels.run_id="transfer_config_id"

Visualizza i log di configurazione.

Visualizza tutti i log

Per visualizzare tutti i log di BigQuery Data Transfer Service, svolgi una delle seguenti operazioni:

Nella sezione Campi log, per Tipo di risorsa, seleziona BigQuery DTS Config.
In Query Builder, aggiungi il seguente filtro:
```
resource.type="bigquery_dts_config"
```

Per saperne di più su come utilizzare Esplora log, consulta Utilizzare Esplora log.

Formato del log

BigQuery Data Transfer Service registra i messaggi nel seguente formato:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

Che cosa viene registrato nei log

Le voci di log di BigQuery Data Transfer Service contengono informazioni utili per monitorare ed eseguire il debug delle esecuzioni di trasferimento. Le voci dei log contengono i seguenti tipi di informazioni:

timestamp: utilizzato per calcolare la voce di log e l'ora della voce del log e per applicare il periodo di conservazione del log
severity: può essere INFO, WARNING o ERROR
message_text: contiene una stringa che spiega lo stato corrente dell'esecuzione del trasferimento

Passaggi successivi

Scopri di più su Monitoring.
Leggi una panoramica di Cloud Audit Logs e Cloud Logging.