Monitora i log Dataplex

I log dei job Dataplex possono essere visualizzati, cercati, filtrati e archiviati in Cloud Logging.

Consulta i prezzi di Google Cloud Observability per comprendere i tuoi costi.
Per informazioni sulla conservazione dei log, consulta Periodi di conservazione dei log.
Consulta Filtri di esclusione per disabilitare tutti i log o per escluderli da Logging.
Consulta Panoramica del routing e dell'archiviazione per instradare i log da Logging a Cloud Storage, BigQuery o Pub/Sub.

Accedi ai log del servizio Dataplex in Logging

Dataplex pubblica i seguenti log di servizio in Cloud Logging.

Tipo di log	Nome log	Query logName	Descrizione log
Log eventi di scansione dei dati	`dataplex.googleapis.com/data_scan`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)`	Log degli eventi per i job di scansione dei dati che indicano lo stato, i risultati e le statistiche dei job
Log dei risultati delle regole di scansione della qualità dei dati	`dataplex.googleapis.com/data_quality_scan_rule_result`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)`	Risultati delle regole di analisi della qualità dei dati in un job di qualità dei dati
Log di rilevamento	`dataplex.googleapis.com/discovery`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)`	Progressi e aggiornamenti sulla scoperta degli asset in una zona
Log di processo	`dataplex.googleapis.com/process`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)`	Esecuzioni del job derivanti dalle attività di elaborazione dei dati

Esegui query nei log eventi di scansione dei dati

Quando utilizzi Dataplex per creare ed eseguire una scansione dei dati, in Logging viene generato un log eventi di scansione dei dati per il job risultante.

Puoi accedere a Logging utilizzando la console di Logging, il comando gcloud logging o l'API Logging.

Console

Nella console Google Cloud, vai a Cloud Logging > Log (Esplora log):

Vai a Esplora log
Nella visualizzazione Esplora log, individua la scheda Query.
Fai clic sul menu a discesa Risorsa.
Seleziona Cloud Dataplex DataScan. Fai clic su Applica.
Fai clic sul menu a discesa Nome log.
Nel campo Cerca nomi log, inserisci dataplex.googleapis.com%2Fdata_scan. Seleziona data_scan e fai clic su Applica.
(Facoltativo) Filtra i log in base a una località o a un ID analisi dei dati specifici aggiungendo i seguenti filtri alla query di log:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Fai clic su Esegui query.

gcloud

Google Cloud SDK include un gruppo di comandi, gcloud logging, che forniscono un'interfaccia a riga di comando per l'API Cloud Logging. Per leggere le voci di log, esegui questo comando.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Segui le istruzioni dell'API Logging per elencare le voci di log (entries.list) utilizzando Explorer API.

Query sui log dei risultati delle regole di scansione della qualità dei dati

Quando utilizzi Dataplex per creare ed eseguire un'analisi della qualità dei dati, in Logging viene generato un log dei risultati della regola di analisi della qualità dei dati per il job risultante.

Puoi accedere a Logging utilizzando la console di Logging, il comando gcloud logging o l'API Logging.

Console

Nella console Google Cloud, vai a Cloud Logging > Log (Esplora log):

Vai a Esplora log
Nella visualizzazione Esplora log, individua la scheda Query.
Fai clic sul menu a discesa Risorsa.
Seleziona Cloud Dataplex DataScan. Fai clic su Applica.
Fai clic sul menu a discesa Nome log.
Nel campo Cerca nomi log, inserisci dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Seleziona data_quality_scan_rule_result e fai clic su Applica.
(Facoltativo) Filtra i log in base a una località o a un ID analisi dei dati specifici aggiungendo i seguenti filtri alla query di log:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Fai clic su Esegui query.

gcloud

Google Cloud SDK include un gruppo di comandi, gcloud logging, che forniscono un'interfaccia a riga di comando per l'API Cloud Logging. Per leggere le voci di log, esegui questo comando.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Segui le istruzioni dell'API Logging per elencare le voci di log (entries.list) utilizzando Explorer API.

Esegui query sui log di rilevamento

Quando utilizzi Dataplex per rilevare i dati negli asset, in Logging viene generato un log di rilevamento.

Puoi accedere a Logging utilizzando la console di Logging, il comando gcloud logging o l'API Logging.

Console

Nella console Google Cloud, vai a Cloud Logging > Log (Esplora log):

Vai a Esplora log
Nella visualizzazione Esplora log, individua la scheda Query.
Fai clic sul menu a discesa Risorsa.
Seleziona Zona Cloud Dataplex. Fai clic su Aggiungi.
Fai clic sul menu a discesa Nome log.
Digita dataplex.googleapis.com%2Fdiscovery. Seleziona discovery e fai clic su Aggiungi.

(Facoltativo) Filtra i log in base a un asset specifico aggiungendo i seguenti filtri nella query di log:

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

Fai clic su Esegui query.

gcloud

Google Cloud CLI ha un gruppo di comandi, gcloud logging, che forniscono un'interfaccia a riga di comando per l'API Cloud Logging. Per leggere le voci di log, esegui questo comando.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Segui le istruzioni dell'API Logging per elencare le voci di log (entries.list) utilizzando Explorer API.

Esegui query sui log di processo

Quando utilizzi Dataplex per pianificare ed eseguire Tasks, in Logging viene generato un log di processo per il job risultante.

Puoi accedere a Logging utilizzando la console di Logging, il comando gcloud logging o l'API Logging.

Console

Nella console Google Cloud, vai a Cloud Logging > Log (Esplora log):

Vai a Esplora log
Nella visualizzazione Esplora log, individua la scheda Query.
Fai clic sul menu a discesa Risorsa.
Seleziona Attività Cloud Dataplex. Fai clic su Aggiungi.
Fai clic sul menu a discesa Nome log.
Digita dataplex.googleapis.com%2Fprocess. Seleziona process e fai clic su Add (Aggiungi).
(Facoltativo) Filtra i log in base a un'attività specifica aggiungendo i seguenti filtri nella query di log:
```
resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"
```
Fai clic su Esegui query.

gcloud

Google Cloud SDK include un gruppo di comandi, gcloud logging, che forniscono un'interfaccia a riga di comando per l'API Cloud Logging. Per leggere le voci di log, esegui questo comando.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Segui le istruzioni dell'API Logging per elencare le voci di log (entries.list) utilizzando Explorer API.

Passaggi successivi

Scopri di più su Cloud Logging.
Scopri di più sul monitoraggio di Dataplex.