Questa pagina è stata tradotta dall'API Cloud Translation.

Monitorare e visualizzare i log per BigQuery Data Transfer Service

Il servizio di monitoraggio e logging di BigQuery Data Transfer Service fornisce e informazioni sulle prestazioni e sullo stato del carico di lavoro del servizio. BigQuery Data Transfer Service esporta i dati di monitoraggio in Cloud Monitoring.

Monitorare BigQuery Data Transfer Service

Puoi utilizzare le metriche di monitoraggio per i seguenti scopi:

Valutare l'utilizzo e le prestazioni di una configurazione di trasferimento di dati.
Risolvere i problemi.
Monitora gli stati di esecuzione dei trasferimenti.

Per creare dashboard personalizzate, configurare avvisi e eseguire query sulle metriche con Monitoring, puoi utilizzare la console Google Cloud o l'API Monitoring.

Visualizzare i dati di trasferimento in Esplora metriche

Nella console Google Cloud, vai alla pagina Monitoring.

Vai a Monitoring
Nel riquadro di navigazione, fai clic su Esplora metriche.
Seleziona il progetto.
Nella casella Trova tipo di risorsa e metrica, inserisci quanto segue:
- In Tipo di risorsa, inserisci BigQuery DTS Config.
- In Metrica, seleziona una delle metriche elencate in Metriche di monitoraggio per le configurazioni di trasferimento, ad esempio Completed run count.
(Facoltativo) Seleziona allineatore, riduttore e altri parametri.
Le metriche vengono visualizzate nella finestra Esplora metriche.

Definire gli avvisi di Cloud Monitoring

Puoi definire avvisi di Monitoring per Metriche di BigQuery Data Transfer Service:

Nella console Google Cloud, vai alla pagina Monitoring.

Vai a Monitoring
Nel riquadro di navigazione, seleziona Avvisi > Crea criterio.

Per ulteriori informazioni sui criteri di avviso e sui relativi concetti, consulta Tipi di criteri di avviso.
Fai clic su Aggiungi condizione e seleziona un tipo di condizione.
Seleziona metriche e filtri. Per le metriche, il tipo di risorsa è BigQuery DTS Config.
Fai clic su Save Condition (Salva condizione).
Inserisci il nome del criterio e fai clic su Salva criterio.

Per ulteriori informazioni sui criteri e sui concetti di avviso, consulta Introduzione agli avvisi.

Definizione di dashboard personalizzate di Cloud Monitoring

Puoi creare dashboard personalizzate in base alle metriche di BigQuery Data Transfer Service:

Nella console Google Cloud, vai alla pagina Monitoring.

Vai a Monitoring
Nel riquadro di navigazione, seleziona Dashboard > Crea dashboard.
Fai clic su Aggiungi grafico.
Assegna un titolo al grafico.
Seleziona metriche e filtri. Per le metriche, il tipo di risorsa è BigQuery DTS Config.
Fai clic su Salva.

Per saperne di più, consulta Gestire le dashboard personalizzate.

Frequenza e conservazione dei report sulle metriche

Le metriche per le esecuzioni di BigQuery Data Transfer Service vengono esportate in Monitoring in batch, a intervalli di 1 minuto. I dati di monitoraggio vengono conservati per 6 settimane.

La dashboard fornisce l'analisi dei dati a intervalli predefiniti di 1h (1 ora) e 6H (6 ore), 1D (1 giorno), 1W (1 settimana) e 6W (6 settimane). Puoi eseguire manualmente analisi delle richieste in qualsiasi intervallo compreso tra 1M (1 minuto) e 6W (6 settimane).

Monitora le metriche per le configurazioni di trasferimento

Le seguenti metriche per le configurazioni di BigQuery Data Transfer Service vengono esportate Monitoraggio:

Metrica	Descrizione
Esegui la distribuzione della latenza	Distribuzione del tempo di esecuzione (in secondi) di ogni esecuzione di trasferimento, per configurazione di trasferimento.
Conteggio esecuzioni attive	Numero di esecuzioni di trasferimenti in esecuzione o in attesa, per configurazione di trasferimento.
Conteggio esecuzioni completate	Numero di esecuzioni di trasferimento completate in un periodo di tempo, per configurazione di trasferimento.

Filtrare le dimensioni per le metriche

Le metriche vengono aggregate per ogni configurazione di BigQuery Data Transfer Service. Tu possono filtrare le metriche aggregate in base alle seguenti dimensioni:

Proprietà	Descrizione
`TRANSFER_STATE`	Rappresenta lo stato di trasferimento attuale dell'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori: `unspecified` `pending` `running` `succeeded` `failed` `cancelled`
`ERROR_CODE`	Rappresenta il codice di errore finale dell'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori: `OK` `CANCELLED` `UNKNOWN` `INVALID_ARGUMENT` `DEADLINE_EXCEEDED` `NOT_FOUND` `ALREADY_EXISTS` `PERMISSION_DENIED` `UNAUTHENTICATED` `RESOURCE_EXHAUSTED` `FAILED_PRECONDITION` `ABORTED` `OUT_OF_RANGE` `UNIMPLEMENTED` `INTERNAL` `UNAVAILABLE` `DATA_LOSS`
`RUN_CAUSE`	Rappresenta la modalità di attivazione di un'esecuzione del trasferimento. Questa dimensione può avere uno dei seguenti valori: `USER_REQUESTED` `AUTO_SCHEDULE`

Log di BigQuery Data Transfer Service

Ogni esecuzione di BigQuery Data Transfer Service viene registrata utilizzando Cloud Logging. Il logging è abilitato automaticamente per tutti i trasferimenti di dati.

Ruoli obbligatori

Il ruolo Visualizzatore log (roles/logging.viewer) ti consente di accedere di sola lettura a tutte le funzionalità di Logging. Per ulteriori informazioni sui Autorizzazioni e ruoli di Identity and Access Management (IAM) che si applicano a Dati di logging, consulta Controllo dell'accesso di Logging .

Visualizza i log

Per visualizzare i log, vai alla pagina Esplora log.

Vai a Esplora log

I log di BigQuery Data Transfer Service vengono indicizzati per primi dalla configurazione del trasferimento e e poi dalla singola esecuzione del trasferimento.

Visualizza log di esecuzione trasferimento

Per visualizzare solo le voci di log di un determinato trasferimento run_id, in Query Builder aggiungi i seguenti filtri:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

Visualizza i log di esecuzione.

Visualizzare i log di configurazione del trasferimento

Per visualizzare le voci di log di un determinato trasferimento config_id, in Query Builder, aggiungi i seguenti filtri:

resource.type="bigquery_dts_config"
labels.run_id="transfer_config_id"

Visualizza i log di configurazione.

Visualizza tutti i log

Per visualizzare tutti i log di BigQuery Data Transfer Service, esegui una delle seguenti operazioni:

Nella sezione Campi log, per Tipo di risorsa, seleziona BigQuery DTS Config.
In Query Builder, aggiungi il seguente filtro:
```
resource.type="bigquery_dts_config"
```

Per saperne di più su come utilizzare Esplora log, consulta Utilizzare Esplora log.

Formato del log

BigQuery Data Transfer Service registra i messaggi nel seguente formato:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

Che cosa viene registrato nei log

Le voci di log di BigQuery Data Transfer Service contengono informazioni utili per: il monitoraggio e il debug delle esecuzioni del trasferimento. Le voci dei log contengono i seguenti tipi di informazioni:

timestamp: utilizzato per calcolare l'età della voce di log e applicare in modo forzato i valori periodo di conservazione
severity: può essere INFO, WARNING o ERROR
message_text: contiene una stringa che spiega lo stato attuale del esecuzione trasferimento

Passaggi successivi

Scopri di più su Monitoring.
Leggi una panoramica di Cloud Audit Logs e Cloud Logging.