Monitorare i log di Dataplex

I log dei job Dataplex possono essere visualizzati, cercati, filtrati e archiviati in Cloud Logging.

Per informazioni sui costi, consulta la pagina Prezzi di Google Cloud Observability.

Per ulteriori informazioni sulla conservazione dei log, consulta Periodi di conservazione dei log.

Per disattivare tutti i log o escluderli da Logging, consulta Filtri di esclusione.

Per instradare i log da Logging a Cloud Storage, BigQuery o Pub/Sub, consulta Panoramica di instradamento e archiviazione.

Accedere ai log del servizio Dataplex in Logging

Dataplex pubblica i seguenti log di servizio in Cloud Logging.

Tipo di log Nome log Query logName Descrizione del log
Log degli eventi di analisi dei dati dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Log eventi per i job di scansione dei dati che indicano lo stato, i risultati e le statistiche dei job
Log dei risultati delle regole di analisi della qualità dei dati dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Risultati delle regole di analisi della qualità dei dati in un job di qualità dei dati
Log di Discovery dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Aggiornamento e avanzamento del rilevamento degli asset in una zona
Log dei job di metadati dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Log relativi ai job di importazione dei metadati e agli elementi di importazione nel file di importazione dei metadati
Log di elaborazione dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Esecuzioni di job risultanti da attività di elaborazione dei dati

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto

Per accedere a Logging, puoi utilizzare Esplora log nella console Google Cloud, i comandi gcloud logging o l'API Logging.

Esegui query sui log degli eventi di scansione dei dati

Quando utilizzi Dataplex per creare ed eseguire un'analisi dei dati, viene generato un log degli eventi di analisi dei dati in Logging per il job risultante.

Console

  1. Nella console Google Cloud, vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nella visualizzazione Esplora log, individua la scheda Query.

  3. Fai clic sul menu Risorsa.

  4. Seleziona Cloud Dataplex DataScan. Fai clic su Applica.

  5. Fai clic sul menu Nome log.

  6. Nel campo Nomi dei log di ricerca, inserisci dataplex.googleapis.com%2Fdata_scan. Seleziona data_scan e fai clic su Applica.

  7. (Facoltativo) Filtra i log in base a un ID o a una posizione di scansione dei dati specifici aggiungendo i seguenti filtri nella query del log:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Fai clic su Esegui query.

gcloud

Per leggere le voci di log degli eventi di scansione dei dati, utilizza il comando gcloud logging read con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il metodo entries.list.

Esegui query sui log dei risultati delle regole di analisi della qualità dei dati

Quando utilizzi Dataplex per creare ed eseguire un'analisi della qualità dei dati, viene prodotto un log dei risultati delle regole di analisi della qualità dei dati in Logging per il job risultante.

Console

  1. Nella console Google Cloud, vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nella visualizzazione Esplora log, individua la scheda Query.

  3. Fai clic sul menu Risorsa.

  4. Seleziona Cloud Dataplex DataScan. Fai clic su Applica.

  5. Fai clic sul menu Nome log.

  6. Nel campo Nomi dei log di ricerca, inserisci dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Seleziona data_quality_scan_rule_result e fai clic su Applica.

  7. (Facoltativo) Filtra i log in base a un ID o a una posizione di scansione dei dati specifici aggiungendo i seguenti filtri nella query del log:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Fai clic su Esegui query.

gcloud

Per leggere le voci di log dei risultati delle regole di scansione della qualità dei dati, utilizza il comando gcloud logging read con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il metodo entries.list.

Esegui query sui log di rilevamento

Quando utilizzi Dataplex per rilevare i dati negli asset, viene generato un log di rilevamento in Logging.

Console

  1. Nella console Google Cloud, vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nella visualizzazione Esplora log, individua la scheda Query.

  3. Fai clic sul menu Risorsa.

  4. Seleziona Zona Cloud Dataplex. Fai clic su Applica.

  5. Fai clic sul menu Nome log.

  6. Nel campo Nomi dei log di ricerca, inserisci dataplex.googleapis.com%2Fdiscovery. Seleziona discovery e fai clic su Applica.

  7. (Facoltativo) Filtra i log in base a un asset specifico aggiungendo i seguenti filtri nella query del log:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. Fai clic su Esegui query.

gcloud

Per leggere le voci di log di Discovery, utilizza il comando gcloud logging read con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il metodo entries.list.

Log dei job di query sui metadati

Quando esegui un job di importazione dei metadati, i log dei job di metadati vengono generati in Logging.

Console

  1. Nella console Google Cloud, vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nella visualizzazione Esplora log, individua la scheda Query.

  3. Fai clic sul menu Risorsa.

  4. Seleziona Job metadati Cloud Dataplex.

  5. (Facoltativo) Per filtrare i log in base a una località o a un ID job dei metadati specifici, seleziona una località o un ID job.

  6. Fai clic su Applica.

  7. Fai clic sul menu Nome log.

  8. Digita dataplex.googleapis.com%2Fmetadata_job e poi seleziona metadata_job.

  9. Fai clic su Applica.

gcloud

Per leggere le voci di log dei job di metadati, utilizza il comando gcloud logging read con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Per elencare le voci di log, utilizza il metodo entries.list.

Log del processo di query

Quando utilizzi Dataplex per pianificare ed eseguire attività, in Logging viene generato un log di processo per il job risultante.

Console

  1. Nella console Google Cloud, vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nella visualizzazione Esplora log, individua la scheda Query.

  3. Fai clic sul menu Risorsa.

  4. Seleziona Attività Cloud Dataplex. Fai clic su Applica.

  5. Fai clic sul menu Nome log.

  6. Nel campo Nomi dei log di ricerca, inserisci dataplex.googleapis.com%2Fprocess. Seleziona process e fai clic su Applica.

  7. (Facoltativo) Filtra i log in base a un'attività specifica aggiungendo i seguenti filtri nella query del log:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. Fai clic su Esegui query.

gcloud

Per leggere le voci di log dei processi, utilizza il comando gcloud logging read con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il metodo entries.list.

Passaggi successivi