Dataplex-Protokolle überwachen

Dataplex-Job-Logs können in Cloud Logging angesehen, durchsucht, gefiltert und archiviert werden.

Informationen zu den Kosten finden Sie unter Google Cloud Observability-Preise.

Weitere Informationen zur Aufbewahrungsdauer von Logs finden Sie unter Aufbewahrungsdauer von Logs.

Informationen zum Deaktivieren aller Logs oder Ausschließen von Logs vom Logging finden Sie unter Ausschlussfilter.

Informationen zum Weiterleiten von Logs von Logging an Cloud Storage, BigQuery oder Pub/Sub finden Sie unter Routing und Speicher – Übersicht.

Auf Dataplex-Dienstprotokolle in Logging zugreifen

Dataplex veröffentlicht die folgenden Dienstprotokolle in Cloud Logging.

Logtyp Logname logName Abfrage Protokollbeschreibung
Protokolle zu Datenscans dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Ereignisprotokolle für Jobs zum Scannen von Daten mit Jobstatus, Ergebnissen und Statistiken
Protokolle zu den Ergebnissen von Regeln für Datenqualitätsscans dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Ergebnisse von Regeln für Datenqualitätsscans in einem Job für die Datenqualität
Discovery-Logs dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Fortschritt der Erkennung und Updates für Assets in einer Zone
Logs zu Metadatenjobs dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Protokolle zu Metadatenimportjobs und Importelementen in der Metadatenimportdatei
Prozessprotokolle dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Jobausführungen, die aus Datenverarbeitungsaufgaben resultieren

Ersetzen Sie Folgendes:

  • PROJECT_ID: die Projekt-ID

Sie können den Log-Explorer in derGoogle Cloud -Konsole, die gcloud logging-Befehle oder die Logging API verwenden, um auf Logging zuzugreifen.

Ereignisprotokolle für Datenscans abfragen

Wenn Sie mit Dataplex einen Datenscan erstellen und ausführen, wird in Logging ein Ereignisprotokoll für den resultierenden Job erstellt.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Logs-Explorer auf.

    Zum Log-Explorer

  2. Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.

  3. Klicken Sie auf das Menü Ressource.

  4. Wählen Sie Cloud Dataplex-DataScan aus. Klicken Sie auf Anwenden.

  5. Klicken Sie auf das Menü Logname.

  6. Geben Sie im Feld Lognamen durchsuchen dataplex.googleapis.com%2Fdata_scan ein. Wählen Sie data_scan aus und klicken Sie auf Übernehmen.

  7. Optional: Sie können die Protokolle nach einer bestimmten Datenscan-ID oder einem bestimmten Speicherort filtern, indem Sie die folgenden Filter in die Protokollabfrage einfügen:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Klicken Sie auf Abfrage ausführen.

gcloud

Wenn Sie die Ereignisprotokolleinträge für den Datenscan lesen möchten, verwenden Sie den Befehl gcloud logging read mit der folgenden Abfrage:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Verwenden Sie die Methode entries.list, um Logeinträge aufzulisten.

Logs zu Ergebnissen von Regeln für Datenqualitätsscans abfragen

Wenn Sie in Dataplex einen Datenqualitätsscan erstellen und ausführen, wird in der Protokollierung ein Protokoll mit den Ergebnissen der Datenqualitätsscan-Regeln für den resultierenden Job erstellt.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Logs-Explorer auf.

    Zum Log-Explorer

  2. Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.

  3. Klicken Sie auf das Menü Ressource.

  4. Wählen Sie Cloud Dataplex-DataScan aus. Klicken Sie auf Anwenden.

  5. Klicken Sie auf das Menü Logname.

  6. Geben Sie im Feld Lognamen durchsuchen dataplex.googleapis.com%2Fdata_quality_scan_rule_result ein. Wählen Sie data_quality_scan_rule_result aus und klicken Sie auf Übernehmen.

  7. Optional: Sie können die Protokolle nach einer bestimmten Datenscan-ID oder einem bestimmten Speicherort filtern, indem Sie die folgenden Filter in die Protokollabfrage einfügen:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Klicken Sie auf Abfrage ausführen.

gcloud

Wenn Sie die Logeinträge der Datenqualitätsscan-Regeln lesen möchten, verwenden Sie den Befehl gcloud logging read mit der folgenden Abfrage:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Verwenden Sie die Methode entries.list, um Logeinträge aufzulisten.

Erkennungslogs abfragen

Wenn Sie mit Dataplex Daten in Assets ermitteln, wird in Logging ein Discovery-Log erstellt.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Logs-Explorer auf.

    Zum Log-Explorer

  2. Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.

  3. Klicken Sie auf das Menü Ressource.

  4. Wählen Sie Cloud Dataplex-Zone aus. Klicken Sie auf Anwenden.

  5. Klicken Sie auf das Menü Logname.

  6. Geben Sie im Feld Lognamen durchsuchen dataplex.googleapis.com%2Fdiscovery ein. Wählen Sie Discovery aus und klicken Sie auf Übernehmen.

  7. Optional: Filtern Sie die Protokolle nach einem bestimmten Asset, indem Sie die folgenden Filter in die Protokollabfrage einfügen:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. Klicken Sie auf Abfrage ausführen.

gcloud

Wenn Sie die Logeinträge der Suche lesen möchten, verwenden Sie den Befehl gcloud logging read mit der folgenden Abfrage:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Verwenden Sie die Methode entries.list, um Logeinträge aufzulisten.

Metadatenjobprotokolle abfragen

Wenn Sie einen Metadatenimportjob ausführen, werden in Logging Metadatenjob-Logs erstellt.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Logs-Explorer auf.

    Zum Log-Explorer

  2. Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.

  3. Klicken Sie auf das Menü Ressource.

  4. Wählen Sie Metadaten-Job in Cloud Dataplex aus.

  5. Optional: Wenn Sie die Protokolle nach einem bestimmten Standort oder einer bestimmten Metadaten-Job-ID filtern möchten, wählen Sie einen Standort oder eine Job-ID aus.

  6. Klicken Sie auf Anwenden.

  7. Klicken Sie auf das Menü Logname.

  8. Geben Sie dataplex.googleapis.com%2Fmetadata_job ein und wählen Sie dann metadata_job aus.

  9. Klicken Sie auf Anwenden.

gcloud

Wenn Sie die Logeinträge für Metadatenjobs lesen möchten, verwenden Sie den Befehl gcloud logging read mit der folgenden Abfrage:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Verwenden Sie die Methode entries.list, um Logeinträge aufzulisten.

Prozessprotokolle abfragen

Wenn Sie Dataplex zum Planen und Ausführen von Aufgaben verwenden, wird in der Protokollierung ein Prozessprotokoll für den resultierenden Job erstellt.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Logs-Explorer auf.

    Zum Log-Explorer

  2. Suchen Sie in der Ansicht Log-Explorer den Tab Abfrage.

  3. Klicken Sie auf das Menü Ressource.

  4. Wählen Sie Cloud Dataplex-Aufgabe aus. Klicken Sie auf Anwenden.

  5. Klicken Sie auf das Menü Logname.

  6. Geben Sie im Feld Lognamen durchsuchen dataplex.googleapis.com%2Fprocess ein. Wählen Sie process (Verarbeitung) aus und klicken Sie auf Apply (Übernehmen).

  7. Optional: Sie können die Protokolle auf eine bestimmte Aufgabe filtern, indem Sie der Protokollabfrage die folgenden Filter hinzufügen:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. Klicken Sie auf Abfrage ausführen.

gcloud

Verwenden Sie den Befehl gcloud logging read mit der folgenden Abfrage, um Ihre Prozessprotokolleinträge zu lesen:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Verwenden Sie die Methode entries.list, um Logeinträge aufzulisten.

Nächste Schritte