Diese Seite wurde von der Cloud Translation API übersetzt.

Dataplex-Logs überwachen

Dataplex-Job-Logs können in Cloud Logging angesehen, durchsucht, gefiltert und archiviert werden.

Informationen zu den Kosten finden Sie unter Google Cloud Observability – Preise.
Unter Aufbewahrungsdauer von Logs finden Sie Informationen zur Logging-Aufbewahrung.
Unter Ausschlussfilter können Sie alle Logs deaktivieren oder ausschließen. Logs aus Logging.
Unter Übersicht: Routing und Speicher erfahren Sie, wie Sie Logs von Logging an Cloud Storage, BigQuery oder Pub/Sub weiterleiten.

Dataplex-Dienstlogs in Logging aufrufen

Dataplex veröffentlicht die folgenden Dienstprotokolle in Cloud Logging.

Logtyp	Logname	`logName` Suchanfrage	Protokollbeschreibung
Protokolle zu Datenscans	`dataplex.googleapis.com/data_scan`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)`	Ereignisprotokolle für Jobs zum Scannen von Daten mit Jobstatus, Ergebnissen und Statistiken
Ergebnisprotokolle der Datenqualitätsscanregel	`dataplex.googleapis.com/data_quality_scan_rule_result`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)`	Ergebnisse der Regeln für Datenqualitätsscans in einem Datenqualitätsjob
Discovery-Logs	`dataplex.googleapis.com/discovery`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)`	Fortschritt bei der Erkennung und Updates von Assets in einer Zone
Logs zu Metadatenjobs	`dataplex.googleapis.com/metadata_job`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job)`	Logs zu Metadaten-Importjobs und Importelementen in der Metadaten-Importdatei
Prozessprotokolle	`dataplex.googleapis.com/process`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)`	Jobausführungen, die aus Datenverarbeitungsaufgaben resultieren

Sie können auf Logging zugreifen, indem Sie die Log-Explorer in der Google Cloud Console, der gcloud logging-Befehle oder die Logging API

Ereignisprotokolle zum Datenscan abfragen

Wenn Sie Dataplex verwenden, um einen Datenscan zu erstellen und auszuführen, wird in Logging für den resultierenden Job ein Datenscan-Ereignisprotokoll erstellt.

Console

Rufen Sie in der Google Cloud Console die Seite Logs-Explorer auf.

Zum Log-Explorer
Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.
Klicken Sie auf das Menü Ressource.
Wählen Sie Cloud Dataplex-DataScan aus. Klicken Sie auf Anwenden.
Klicken Sie auf das Menü Logname.
Geben Sie in das Feld Lognamen suchen Folgendes ein: dataplex.googleapis.com%2Fdata_scan Wählen Sie data_scan aus und klicken Sie auf Übernehmen.
Optional: Filtern Sie die Logs nach einer bestimmten ID oder einem Speicherort für Datenscans, indem Sie der Logabfrage die folgenden Filter hinzufügen:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Klicken Sie auf Abfrage ausführen.

gcloud

Verwenden Sie zum Lesen der Ereignisprotokolleinträge des Datenscans die Methode gcloud logging read-Befehl durch die folgende Abfrage:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Verwenden Sie die Methode entries.list, um Logeinträge aufzulisten.

Ergebnisprotokolle der Datenqualitätsscanregel abfragen

Wenn Sie Dataplex verwenden, um einen Datenqualitätsscan zu erstellen und auszuführen, wird in Logging für den resultierenden Job ein Ergebnisprotokoll für die Datenqualitätsscanregel erstellt.

Console

Rufen Sie in der Google Cloud Console die Seite Logs-Explorer auf.

Zum Log-Explorer
Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.
Klicken Sie auf das Menü Ressource.
Wählen Sie Cloud Dataplex-DataScan aus. Klicken Sie auf Anwenden.
Klicken Sie auf das Menü Logname.
Geben Sie im Feld Lognamen durchsuchen dataplex.googleapis.com%2Fdata_quality_scan_rule_result ein. Wählen Sie data_quality_scan_rule_result aus und klicken Sie auf Übernehmen.
Optional: Filtern Sie die Logs nach einer bestimmten ID oder einem Speicherort für Datenscans, indem Sie der Logabfrage die folgenden Filter hinzufügen:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Klicken Sie auf Abfrage ausführen.

gcloud

Wenn Sie die Logeinträge der Datenqualitätsscan-Regelergebnisse lesen möchten, verwenden Sie den Befehl gcloud logging read mit der folgenden Abfrage:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Verwenden Sie zum Auflisten von Logeinträgen die Methode entries.list-Methode.

Discovery-Logs abfragen

Wenn Sie Dataplex zum Erkennen von Daten in Assets verwenden, wird ein Erkennungslog in Logging erstellt.

Console

Rufen Sie in der Google Cloud Console die Seite Logs-Explorer auf.

Zum Log-Explorer
Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.
Klicken Sie auf das Menü Ressource.
Wählen Sie Cloud Dataplex-Zone aus. Klicken Sie auf Anwenden.
Klicken Sie auf das Menü Logname.
Geben Sie im Feld Lognamen durchsuchen dataplex.googleapis.com%2Fdiscovery ein. Wählen Sie Discovery aus und klicken Sie auf Übernehmen.

Optional: Filtern Sie die Protokolle nach einem bestimmten Asset, indem Sie die folgenden Filter in die Protokollabfrage einfügen:

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

Klicken Sie auf Abfrage ausführen.

gcloud

Wenn Sie die Logeinträge der Suche lesen möchten, verwenden Sie den Befehl gcloud logging read mit der folgenden Abfrage:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Verwenden Sie die Methode entries.list, um Logeinträge aufzulisten.

Logs zu Metadatenjobs abfragen

Wenn Sie einen Metadatenimportjob ausführen, Joblogs werden in Logging erstellt.

Console

Rufen Sie in der Google Cloud Console die Seite Logs-Explorer auf.

Zum Log-Explorer
Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.
Klicken Sie auf das Menü Ressource.
Wählen Sie Metadaten-Job in Cloud Dataplex aus.
Optional: Wenn Sie die Protokolle nach einem bestimmten Standort oder einer bestimmten Metadaten-Job-ID filtern möchten, wählen Sie einen Standort oder eine Job-ID aus.
Klicken Sie auf Anwenden.
Klicken Sie auf das Menü Logname.
Geben Sie dataplex.googleapis.com%2Fmetadata_job ein und wählen Sie metadata_job an.
Klicken Sie auf Anwenden.

gcloud

Verwenden Sie zum Lesen der Logeinträge Ihres Metadatenjobs die Methode gcloud logging read-Befehl durch die folgende Abfrage:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Verwenden Sie die Methode entries.list, um Logeinträge aufzulisten.

Prozesslogs abfragen

Wenn Sie Dataplex für Aufgaben planen und ausführen, einem Prozess Log wird in Logging für den resultierenden Job erstellt.

Console

Rufen Sie in der Google Cloud Console die Seite Logs-Explorer auf.

Zum Log-Explorer
Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.
Klicken Sie auf das Menü Ressource.
Wählen Sie Cloud Dataplex-Aufgabe aus. Klicken Sie auf Anwenden.
Klicken Sie auf das Menü Logname.
Geben Sie im Feld Lognamen durchsuchen dataplex.googleapis.com%2Fprocess ein. Wählen Sie process (Prozess) aus und klicken Sie auf Apply (Anwenden).
Optional: Filtern Sie die Logs nach einer bestimmten Aufgabe, indem Sie Folgendes hinzufügen: Filter in der Logabfrage:
```
resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"
```
Klicken Sie auf Abfrage ausführen.

gcloud

Verwenden Sie zum Lesen Ihrer Prozesslogeinträge die Methode gcloud logging read-Befehl durch die folgende Abfrage:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Verwenden Sie zum Auflisten von Logeinträgen die Methode entries.list-Methode.

Nächste Schritte

Weitere Informationen zu Cloud Logging
Weitere Informationen zum Dataplex-Monitoring