I log dei job Dataplex possono essere visualizzati, cercati, filtrati e archiviati in Cloud Logging.
Per conoscere i tuoi costi, consulta i prezzi di Google Cloud Observability.
Consulta Periodi di conservazione dei log per informazioni sulla conservazione dei log.
Consulta Filtri di esclusione per disabilitare tutti i log o escludere i log da Logging.
Consulta Panoramica su routing e archiviazione per indirizzare i log da Logging a Cloud Storage, BigQuery o Pub/Sub.
Accedi ai log del servizio Dataplex in Logging
Dataplex pubblica i seguenti log di servizio su Cloud Logging.
| Tipo di log | Nome log | logName query |
Descrizione log |
|---|---|---|---|
| Log eventi di scansione dei dati | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
Log eventi per i job di scansione dei dati che indicano stato, risultati e statistiche del job |
| Log dei risultati della regola di analisi della qualità dei dati | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
Risultati delle regole di analisi della qualità dei dati in un job di qualità dei dati |
| Log di rilevamento | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
Avanzamento e aggiornamenti della scoperta sugli asset in una zona |
| Log di processo | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
Esecuzioni del job derivanti da attività di elaborazione dati |
Puoi accedere a Logging utilizzando Esplora log nella console Google Cloud, i comandi gcloud logging o l'API Logging.
Esegui query sui log eventi di scansione dei dati
Quando utilizzi Dataplex per creare ed eseguire un'analisi dei dati, in Logging viene generato un log eventi di analisi dei dati per il job risultante.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella vista Esplora log, trova la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Cloud Dataplex DataScan. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi log di ricerca, inserisci
dataplex.googleapis.com%2Fdata_scan. Seleziona data_scan e fai clic su Applica.(Facoltativo) Filtra i log in base a una località o un ID scansione dei dati specifici aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci del log eventi della scansione dei dati, utilizza il comando gcloud logging read con la seguente query:
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
Per elencare le voci di log, utilizza il metodo entries.list.
Esegui query sui log dei risultati della regola di scansione della qualità dei dati
Quando utilizzi Dataplex per creare ed eseguire un'analisi della qualità dei dati, in Logging viene generato un log dei risultati della regola di analisi della qualità dei dati per il job risultante.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella vista Esplora log, trova la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Cloud Dataplex DataScan. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi log di ricerca, inserisci
dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Seleziona data_quality_scan_rule_result e fai clic su Applica.(Facoltativo) Filtra i log in base a una località o un ID scansione dei dati specifici aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci di log dei risultati della regola di analisi della qualità dei dati, utilizza il comando gcloud logging read con la seguente query:
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
Per elencare le voci di log, utilizza il metodo entries.list.
Log di rilevamento delle query
Quando utilizzi Dataplex per rilevare i dati negli asset, viene generato un log di rilevamento in Logging.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella vista Esplora log, trova la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Zona Cloud Dataplex. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi log di ricerca, inserisci
dataplex.googleapis.com%2Fdiscovery. Seleziona discovery e fai clic su Applica.(Facoltativo) Filtra i log in base a un asset specifico aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci di log del rilevamento, utilizza il comando gcloud logging read con la seguente query:
gcloud logging read \
'resource.type="dataplex.googleapis.com/Zone" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.zone_id=ZONE_ID AND
jsonPayload.assetId=ASSET_ID'
--limit 10
REST
Per elencare le voci di log, utilizza il metodo entries.list.
Query sui log di processo
Quando utilizzi Dataplex per pianificare ed eseguire attività, in Logging viene generato un log di processo per il job risultante.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella vista Esplora log, trova la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Attività Cloud Dataplex. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi log di ricerca, inserisci
dataplex.googleapis.com%2Fprocess. Seleziona Elabora e fai clic su Applica.(Facoltativo) Filtra i log in base a un'attività specifica aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci di log del processo, utilizza il comando gcloud logging read con la seguente query:
gcloud logging read \
'resource.type="dataplex.googleapis.com/Task" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.task_id=TASK_ID'
--limit 10
REST
Per elencare le voci di log, utilizza il metodo entries.list.
Passaggi successivi
- Scopri di più su Cloud Logging.
- Scopri di più sul monitoraggio Dataplex.