I log dei job Dataplex possono essere visualizzati, cercati, filtrati e archiviati in Cloud Logging.
Consulta i prezzi di Google Cloud Observability per conoscere i costi.
Per informazioni sulla conservazione dei log, consulta Periodi di conservazione dei log.
Consulta Filtri di esclusione per disattivare tutti i log o escluderne alcuni da Logging.
Consulta la Panoramica su routing e archiviazione per eseguire il routing log da Logging a Cloud Storage, BigQuery o Pub/Sub.
Accedi ai log del servizio Dataplex in Logging
Dataplex pubblica i seguenti log di servizio in Cloud Logging.
Tipo di log | Nome log | logName query |
Descrizione log |
---|---|---|---|
Log degli eventi di analisi dei dati | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
Log eventi per i job di scansione dei dati che indicano stato, risultati e statistiche del job |
Log dei risultati della regola di analisi della qualità dei dati | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
Risultati delle regole di analisi della qualità dei dati in un job di qualità dei dati |
Log di rilevamento | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
Avanzamento e aggiornamenti della scoperta sugli asset in una zona |
Log dei job di metadati | dataplex.googleapis.com/metadata_job |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) |
Log relativi ai job di importazione dei metadati e agli elementi di importazione nel file di importazione dei metadati |
Log di elaborazione | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
Esecuzioni di job risultanti da attività di elaborazione dei dati |
Puoi accedere a Logging utilizzando
Esplora log nel
nella console Google Cloud,
i comandi gcloud logging
oppure
l'API Logging.
Esegui query sui log degli eventi di scansione dei dati
Quando utilizzi Dataplex per creare ed eseguire un'analisi dei dati, in Log viene generato un log degli eventi di analisi dei dati per il job risultante.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella visualizzazione Esplora log, individua la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Cloud Dataplex DataScan. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi dei log di ricerca, inserisci
dataplex.googleapis.com%2Fdata_scan
. Seleziona data_scan e fai clic su Applica.(Facoltativo) Filtra i log in base a un ID o a una posizione di scansione dei dati specifici aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci di log degli eventi di scansione dei dati, utilizza il
comando gcloud logging read
con la seguente query:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
Per elencare le voci di log, utilizza
Metodo entries.list
.
Esegui query sui log dei risultati delle regole di analisi della qualità dei dati
Quando utilizzi Dataplex per creare ed eseguire un'analisi della qualità dei dati, in Logging viene generato un log dei risultati della regola di analisi della qualità dei dati per il job risultante.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella vista Esplora log, trova la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Cloud Dataplex DataScan. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi log di ricerca, inserisci
dataplex.googleapis.com%2Fdata_quality_scan_rule_result
. Seleziona data_quality_scan_rule_result e fai clic su Applica.(Facoltativo) Filtra i log in base a un ID o a una posizione di scansione dei dati specifici aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci di log dei risultati delle regole di scansione della qualità dei dati, utilizza il
comando gcloud logging read
con la seguente query:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
Per elencare le voci di log, utilizza
Metodo entries.list
.
Log di rilevamento delle query
Quando utilizzi Dataplex per rilevare i dati negli asset, viene generato un log di rilevamento in Logging.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella vista Esplora log, trova la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Zona Cloud Dataplex. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi log di ricerca, inserisci
dataplex.googleapis.com%2Fdiscovery
. Seleziona discovery e fai clic su Applica.(Facoltativo) Filtra i log in base a un asset specifico aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci del log di rilevamento, utilizza il
Comando gcloud logging read
con la seguente query:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Zone" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.zone_id=ZONE_ID AND jsonPayload.assetId=ASSET_ID' --limit 10
REST
Per elencare le voci di log, utilizza
Metodo entries.list
.
Esegui query sui log dei job dei metadati
Quando esegui un job di importazione dei metadati, i log dei job di metadati vengono generati in Logging.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella visualizzazione Esplora log, individua la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Job metadati Cloud Dataplex.
(Facoltativo) Per filtrare i log in base a una località specifica o a un ID job di metadati specifico, seleziona una località o un ID job.
Fai clic su Applica.
Fai clic sul menu Nome log.
Digita
dataplex.googleapis.com%2Fmetadata_job
e poi seleziona metadata_job.Fai clic su Applica.
gcloud
Per leggere le voci di log dei job di metadati, utilizza
Comando gcloud logging read
con la seguente query:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/MetadataJob" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND resource.labels.location=LOCATION AND resource.labels.metadata_job_id=METADATA_JOB_ID --limit 10
REST
Per elencare le voci di log, utilizza
Metodo entries.list
.
Log del processo di query
Quando utilizzi Dataplex per pianificare ed eseguire attività, un processo generato in Logging per il job risultante.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella visualizzazione Esplora log, individua la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Attività Cloud Dataplex. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi log di ricerca, inserisci
dataplex.googleapis.com%2Fprocess
. Seleziona process e fai clic su Applica.(Facoltativo) Filtra i log in base a un'attività specifica aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci di log del processo, utilizza
Comando gcloud logging read
con la seguente query:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Task" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.task_id=TASK_ID' --limit 10
REST
Per elencare le voci di log, utilizza
Metodo entries.list
.
Passaggi successivi
- Scopri di più su Cloud Logging.
- Scopri di più sul monitoraggio Dataplex.