Dataplex-Logs überwachen

Dataplex-Joblogs können in Cloud Logging angesehen, durchsucht, gefiltert und archiviert werden.

Informationen zu den Kosten finden Sie unter Preise für die Beobachtbarkeit von Google Cloud.
Unter Aufbewahrungsdauer von Logs finden Sie Informationen zur Logging-Aufbewahrung.
Unter Ausschlussfilter können Sie alle Logs deaktivieren oder Logs von Logging ausschließen.
Unter Übersicht: Routing und Speicher erfahren Sie, wie Sie Logs von Logging an Cloud Storage, BigQuery oder Pub/Sub weiterleiten.

Auf Dataplex-Dienstlogs in Logging zugreifen

Dataplex veröffentlicht die folgenden Dienstlogs in Cloud Logging.

Logtyp	Logname	logName-Abfrage	Protokollbeschreibung
Datenscan-Ereignisprotokolle	`dataplex.googleapis.com/data_scan`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)`	Ereignisprotokolle für Datenscanjobs, die Jobstatus, Ergebnisse und Statistiken angeben
Ergebnisprotokolle für Datenqualitätsscans	`dataplex.googleapis.com/data_quality_scan_rule_result`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)`	Ergebnisse von Regeln für Datenqualitätsscans in einem Datenqualitätsjob
Erkennungslogs	`dataplex.googleapis.com/discovery`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)`	Erkennungsfortschritt und Aktualisierungen über Assets in einer Zone
Prozessprotokolle	`dataplex.googleapis.com/process`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)`	Jobausführungen, die aus Datenverarbeitungsaufgaben resultieren

Ereignisprotokolle zum Datenscan abfragen

Wenn Sie mit Dataplex einen Datenscan erstellen und ausführen, wird in Logging ein Ereignisprotokoll des Datenscans für den resultierenden Job generiert.

Sie können auf Logging mit der Logging-Konsole, dem Befehl "gcloud logging" oder der Logging API zugreifen.

Console

Rufen Sie in der Google Cloud Console Cloud Logging > Logs (Log-Explorer) auf:

Zum Log-Explorer
Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.
Klicken Sie auf das Drop-down-Menü Ressource.
Wählen Sie Cloud Dataplex DataScan aus. Klicken Sie auf Anwenden.
Klicken Sie auf das Drop-down-Menü Logname.
Geben Sie im Feld Lognamen suchen den Wert dataplex.googleapis.com%2Fdata_scan ein. Wählen Sie data_scan aus und klicken Sie auf Übernehmen.
Optional: Filtern Sie die Logs nach einer bestimmten Datenscan-ID oder einem bestimmten Speicherort, indem Sie der Logabfrage die folgenden Filter hinzufügen:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Klicken Sie auf Abfrage ausführen.

gcloud

Das Google Cloud SDK bietet die Befehlsgruppe gcloud logging, die eine Befehlszeile für die Cloud Logging API bereitstellt. Führen Sie den folgenden Befehl aus, um Ihre Logeinträge zu lesen.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Folgen Sie der Anleitung für die Logging API, um Logeinträge (entries.list) mit dem APIs Explorer aufzulisten.

Ergebnisprotokolle des Datenqualitätsscans abfragen

Wenn Sie mit Dataplex einen Datenqualitätsscan erstellen und ausführen, wird in Logging für den resultierenden Job ein Regelergebnisprotokoll für den Datenqualitätsscan erstellt.

Sie können auf Logging mit der Logging-Konsole, dem Befehl "gcloud logging" oder der Logging API zugreifen.

Console

Rufen Sie in der Google Cloud Console Cloud Logging > Logs (Log-Explorer) auf:

Zum Log-Explorer
Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.
Klicken Sie auf das Drop-down-Menü Ressource.
Wählen Sie Cloud Dataplex DataScan aus. Klicken Sie auf Anwenden.
Klicken Sie auf das Drop-down-Menü Logname.
Geben Sie im Feld Lognamen suchen den Wert dataplex.googleapis.com%2Fdata_quality_scan_rule_result ein. Wählen Sie data_quality_scan_rule_result aus und klicken Sie auf Übernehmen.
Optional: Filtern Sie die Logs nach einer bestimmten Datenscan-ID oder einem bestimmten Speicherort, indem Sie der Logabfrage die folgenden Filter hinzufügen:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Klicken Sie auf Abfrage ausführen.

gcloud

Das Google Cloud SDK bietet die Befehlsgruppe gcloud logging, die eine Befehlszeile für die Cloud Logging API bereitstellt. Führen Sie den folgenden Befehl aus, um Ihre Logeinträge zu lesen.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Folgen Sie der Anleitung für die Logging API, um Logeinträge (entries.list) mit dem APIs Explorer aufzulisten.

Abfrageerkennungslogs

Wenn Sie mit Dataplex Daten in Assets ermitteln, wird in Logging ein Erkennungslog erstellt.

Sie können auf Logging mit der Logging-Konsole, dem Befehl "gcloud logging" oder der Logging API zugreifen.

Console

Rufen Sie in der Google Cloud Console Cloud Logging > Logs (Log-Explorer) auf:

Zum Log-Explorer
Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.
Klicken Sie auf das Drop-down-Menü Ressource.
Wählen Sie Cloud Dataplex-Zone aus. Klicken Sie auf Hinzufügen.
Klicken Sie auf das Drop-down-Menü Logname.
Geben Sie dataplex.googleapis.com%2Fdiscovery ein. Wählen Sie discovery aus und klicken Sie auf Hinzufügen.

(Optional) Filtern Sie die Logs nach einem bestimmten Asset, indem Sie der Logabfrage die folgenden Filter hinzufügen:

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

Klicken Sie auf Abfrage ausführen.

gcloud

Die Google Cloud CLI bietet die Befehlsgruppe gcloud logging, die eine Befehlszeile für die Cloud Logging API bereitstellt. Führen Sie den folgenden Befehl aus, um Ihre Logeinträge zu lesen.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Folgen Sie der Anleitung für die Logging API, um Logeinträge (entries.list) mit dem APIs Explorer aufzulisten.

Prozesslogs abfragen

Wenn Sie Tasks mit Dataplex planen und ausführen, wird in Logging ein Prozesslog für den resultierenden Job generiert.

Sie können auf Logging mit der Logging-Konsole, dem Befehl "gcloud logging" oder der Logging API zugreifen.

Console

Rufen Sie in der Google Cloud Console Cloud Logging > Logs (Log-Explorer) auf:

Zum Log-Explorer
Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.
Klicken Sie auf das Drop-down-Menü Ressource.
Wählen Sie Cloud Dataplex Task aus. Klicken Sie auf Hinzufügen.
Klicken Sie auf das Drop-down-Menü Logname.
Geben Sie dataplex.googleapis.com%2Fprocess ein. Wählen Sie Verarbeiten aus und klicken Sie auf Hinzufügen.
(Optional) Filtern Sie die Logs nach einer bestimmten Aufgabe, indem Sie der Logabfrage die folgenden Filter hinzufügen:
```
resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"
```
Klicken Sie auf Abfrage ausführen.

gcloud

Das Google Cloud SDK bietet die Befehlsgruppe gcloud logging, die eine Befehlszeile für die Cloud Logging API bereitstellt. Führen Sie den folgenden Befehl aus, um Ihre Logeinträge zu lesen.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Folgen Sie der Anleitung für die Logging API, um Logeinträge (entries.list) mit dem APIs Explorer aufzulisten.

Nächste Schritte

Weitere Informationen zu Cloud Logging
Weitere Informationen zum Dataplex-Monitoring