Metadaten mit einer benutzerdefinierten Pipeline importieren

In diesem Dokument wird beschrieben, wie Sie Dataplex Catalog-Metadaten mithilfe der API-Methoden für den Metadatenimport und Ihrer eigenen Pipeline aus einem Drittanbietersystem in Dataplex importieren. Die Dataplex Catalog-Metadaten bestehen aus Einträgen und ihren Aspekten.

Wenn Sie stattdessen eine von Google Cloudverwaltete Orchestration-Pipeline zum Extrahieren und Importieren von Metadaten verwenden möchten, empfehlen wir eine verwaltete Konnektivitätspipeline. Bei einer verwalteten Konnektivitätspipeline verwenden Sie Ihren eigenen Connector, der Metadaten extrahiert und eine Ausgabe in einem Format generiert, das als Eingabe für die API-Methoden zum Metadatenimport (Metadatenimportdatei) verwendet werden kann. Anschließend verwenden Sie Workflows, um die Pipeline-Aufgaben zu orchestrieren.

Allgemeine Schritte

So importierst du Metadaten mit der Metadatenimport-API:

  1. Bestimmen Sie den Aufgabenbereich.

    Außerdem erfahren Sie, wie Dataplex die Vergleichslogik und den Synchronisierungsmodus für Einträge und Aspekte anwendet.

  2. Erstellen Sie eine oder mehrere Metadatenimportdateien, in denen die zu importierenden Daten definiert werden.

  3. Speichern Sie die Metadatenimportdateien in einem Cloud Storage-Bucket.

  4. Führen Sie einen Metadatenimportjob aus.

Bei den Schritten auf dieser Seite wird davon ausgegangen, dass Sie mit den Konzepten von Dataplex Catalog vertraut sind, einschließlich Eintragsgruppen, Eintragstypen und Aspekttypen. Weitere Informationen finden Sie in der Dataplex Catalog-Übersicht.

Hinweise

Führen Sie die Aufgaben in diesem Abschnitt aus, bevor Sie Metadaten importieren.

Erforderliche Rollen

Damit das Dataplex-Dienstkonto die erforderlichen Berechtigungen für den Zugriff auf den Cloud Storage-Bucket hat, bitten Sie Ihren Administrator, dem Dataplex-Dienstkonto die IAM-Rolle „Storage Object Viewer“ (roles/storage.objectViewer) und die Berechtigung storage.buckets.get für den Bucket zuzuweisen.

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Metadatenjobs benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Google Cloud -Ressourcen erstellen

Bereiten Sie die folgenden Google Cloud -Ressourcen vor:

  1. Erstellen Sie eine Eintragsgruppe für die Einträge, die Sie importieren möchten.
  2. Erstellen Sie Aspekttypen für die Aspekte, die Sie importieren möchten.
  3. Erstellen Sie Eintragstypen für die Einträge, die Sie importieren möchten.
  4. Erstellen Sie einen Cloud Storage-Bucket, um Ihre Metadatenimportdateien zu speichern.

Komponenten eines Metadatenjobs

Beachten Sie beim Importieren von Metadaten die folgenden Komponenten eines Metadatenjobs:

  • Jobumfang: Die Eintragsgruppe, die Eintragstypen und die Aspekttypen, die in den Job eingeschlossen werden sollen.
  • Synchronisierungsmodus: Gibt an, ob die Einträge und Aspekte im Job vollständig oder inkrementell aktualisiert werden sollen.
  • Metadatenimportdatei: Datei, in der die Werte für die Einträge und Aspekte im Job festgelegt werden. Sie können mehrere Metadaten-Importdateien im selben Metadaten-Job angeben. Sie speichern die Dateien in Cloud Storage.
  • Vergleichslogik: Bestimmt, welche Einträge und Aspekte in Dataplex geändert werden sollen.

Aufgabenbereich

Der Jobumfang definiert die Eintragsgruppe, die Eintragstypen und optional die Aspekttypen, die in einen Metadatenjob einbezogen werden sollen. Wenn Sie Metadaten importieren, ändern Sie die Einträge und Aspekte, die zu Ressourcen im Umfang des Jobs gehören.

Beachten Sie beim Definieren des Aufgabenumfangs die folgenden Richtlinien:

  • Eintragsgruppe: Geben Sie eine einzelne Eintragsgruppe an, die in den Job aufgenommen werden soll. Durch den Job werden nur die Einträge geändert, die zu dieser Eintragsgruppe gehören. Die Eingangsgruppe und der Job müssen sich in derselben Region befinden.

  • Eingabetypen: Geben Sie einen oder mehrere Eingabetypen an, die in den Job aufgenommen werden sollen. Der Job ändert nur die Einträge, die zu diesen Eintragstypen gehören. Der Standort eines Eintragstyps muss entweder mit dem Standort der Stelle übereinstimmen oder der Eintragstyp muss global sein.

  • Aspekttypen: Optional. Geben Sie einen oder mehrere Aspekttypen an, die in den Job aufgenommen werden sollen. Wenn Sie einen Umfang für Aspekttypen angeben, werden durch den Job nur die Aspekte geändert, die zu diesen Aspekttypen gehören. Der Standort eines Aspekttyps muss entweder mit dem Standort der Stelle übereinstimmen oder der Aspekttyp muss global sein.

Sie geben den Jobumfang an, wenn Sie einen Metadatenjob erstellen.

Synchronisierungsmodus

Mit dem Synchronisierungsmodus wird festgelegt, ob die Einträge und Aspekte in einem Metadatenjob vollständig oder inkrementell aktualisiert werden sollen.

  • FULL: wird für Einträge unterstützt. Alle Einträge im Umfang des Jobs werden geändert.

    Wenn ein Eintrag in Dataplex vorhanden ist, aber nicht in der Metadatenimportdatei enthalten ist, wird er beim Ausführen des Metadatenjobs gelöscht.

    Die vollständige Synchronisierung wird für Aspekte nicht unterstützt.

  • INCREMENTAL: Unterstützt für Aspekte. Ein Aspekt wird nur dann geändert, wenn die Metadatenimportdatei einen Verweis auf den Aspekt im Feld updateMask und im Feld aspectKeys enthält. Weitere Informationen zu diesen Feldern in der Metadatenimportdatei finden Sie in diesem Dokument im Abschnitt Struktur eines Importelements.

    Die inkrementelle Synchronisierung wird für Einträge nicht unterstützt.

Sie geben den Synchronisierungsmodus an, wenn Sie einen Metadatenjob erstellen.

Metadatenimportdatei

Die Metadatenimportdatei enthält die Einträge und Aspekte, die Sie ändern möchten. Hier werden die Werte für alle Felder festgelegt, die zu diesen Einträgen und Aspekten gehören. Sie bereiten die Datei vor, bevor Sie einen Metadatenjob ausführen.

Es gelten die folgenden allgemeinen Richtlinien:

  • Sie können mehrere Metadaten-Importdateien im selben Metadaten-Job angeben.

  • Die Einträge, die Sie in der Datei angeben, ersetzen alle vorhandenen Einträge für alle Ressourcen, die in den Geltungsbereich des Jobs fallen. Das bedeutet, dass Sie Werte für alle Einträge in einem Job angeben müssen, nicht nur für die Werte, die Sie hinzufügen oder aktualisieren möchten. Wenn Sie eine Liste der aktuellen Einträge in Ihrem Projekt als Ausgangspunkt erhalten möchten, verwenden Sie die entries.list API-Methode.

  • Sie müssen im Rahmen eines Metadatenjobs eine Metadatenimportdatei angeben. Wenn Sie alle vorhandenen Daten für die Einträge im Umfang des Jobs löschen möchten, stellen Sie eine leere Metadatenimportdatei bereit.

  • Alle Einträge und Aspekte, die Sie in die Datei aufnehmen, müssen zu den Eintragsgruppen, Eintragstypen und Aspekttypen gehören, die Sie im Umfang des Jobs definieren.

In den folgenden Abschnitten findest du detaillierte Richtlinien zum Erstellen einer Metadatenimportdatei.

Struktur der Datei

Jede Zeile in der Metadatenimportdatei enthält ein JSON-Objekt, das einem Importelement entspricht. Ein Importelement ist ein Objekt, das die Werte beschreibt, die für einen Eintrag und die zugehörigen Aspekte geändert werden sollen.

Sie können mehrere Importelemente in einer einzelnen Metadaten-Importdatei angeben. Geben Sie dasselbe Importelement jedoch nicht mehrmals in einem Metadatenjob an. Verwenden Sie ein Zeilenvorschubzeichen (0x0a), um die einzelnen Importelemente voneinander zu trennen.

Eine Metadatenimportdatei mit einem Zeilenumbruch zwischen den einzelnen Importelementen sieht in etwa so aus:

{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }

Struktur eines Importelements

Jedes Importelement in der Metadatenimportdatei enthält die folgenden Felder (siehe ImportItem). Im folgenden Beispiel sind zur besseren Lesbarkeit Zeilenumbrüche formatiert. Beim Speichern der Datei sollten Sie jedoch nur nach jedem Importelement einen Zeilenumbruch einfügen. Fügen Sie zwischen den Feldern eines einzelnen Importelements keine Zeilenumbrüche ein.

{
  "entry": {
    "name": "ENTRY_NAME",
    "entryType": "ENTRY_TYPE",
    "entrySource": {
      "resource": "RESOURCE",
      "system": "SYSTEM",
      "platform": "PLATFORM",
      "displayName": "DISPLAY_NAME",
      "description": "DESCRIPTION",
      "createTime": "ENTRY_CREATE_TIMESTAMP",
      "updateTime": "ENTRY_UPDATE_TIMESTAMP"
    },
    "aspects": {
      "ASPECT": {
        "data": {
          "KEY": "VALUE"
        },
        "aspectSource": {
          "createTime": "ASPECT_CREATE_TIMESTAMP",
          "updateTime": "ASPECT_UPDATE_TIMESTAMP"
        }
      },
      # Additional aspect maps
    },
    "parentEntry": "PARENT_ENTRY",
    "fullyQualifiedName": "FULLY_QUALIFIED_NAME"
  },
  "updateMask": "UPDATE_MASK_FIELDS",
  "aspectKeys": [
    "ASPECT_KEY",
    # Additional aspect keys
  ],
}

Ersetzen Sie Folgendes:

  • entry: Informationen zu einem Eintrag und seinen zugehörigen Aspekten:

    • ENTRY_NAME: Der relative Ressourcenname des Eintrags im Format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
    • ENTRY_TYPE: Der relative Ressourcenname des Eintragstyps, mit dem dieser Eintrag erstellt wurde, im Format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID.
    • entrySource: Informationen aus dem Quellsystem zur Datenressource, die durch den Eintrag dargestellt wird:
      • RESOURCE: der Name der Ressource im Quellsystem.
      • SYSTEM: der Name des Quellsystems.
      • PLATFORM: die Plattform, die das Quellsystem enthält.
      • DISPLAY_NAME: einen nutzerfreundlichen Anzeigenamen.
      • DESCRIPTION: eine Beschreibung des Eintrags.
      • ENTRY_CREATE_TIMESTAMP: die Uhrzeit, zu der der Eintrag im Quellsystem erstellt wurde.
      • ENTRY_UPDATE_TIMESTAMP: die Uhrzeit, zu der der Eintrag im Quellsystem aktualisiert wurde.

    • aspects: die Aspekte, die mit dem Eintrag verknüpft sind. Das aspect-Objekt und seine Daten werden als Aspektkarte bezeichnet.

      • ASPECT: Ein Aspekt, der mit dem Eintrag verknüpft ist. Verwenden Sie je nachdem, wie der Aspekt mit dem Eintrag verknüpft ist, eines der folgenden Formate:

        • Wenn der Aspekt direkt mit dem Eintrag verknüpft ist, geben Sie den relativen Ressourcennamen seines Aspekttyps im Format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID an.
        • Wenn der Aspekt mit dem Pfad des Eintrags verknüpft ist, geben Sie den Pfad des Aspekttyps im Format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH an.

      • KEY und VALUE: Der Inhalt des Aspekts gemäß der Metadatenvorlage für den Aspekttyp. Der Inhalt muss als UTF-8 codiert sein. Die maximale Größe des Felds beträgt 120 KB. Das data-Dictionary ist erforderlich, auch wenn es leer ist.

      • ASPECT_CREATE_TIMESTAMP: Der Zeitpunkt, zu dem der Aspekt im Quellsystem erstellt wurde.

      • ASPECT_UPDATE_TIMESTAMP: Der Zeitpunkt, zu dem der Aspekt im Quellsystem aktualisiert wurde.

    • PARENT_ENTRY: der Ressourcenname des übergeordneten Eintrags.

    • FULLY_QUALIFIED_NAME: Ein Name für den Eintrag, auf den ein externes System verweisen kann. Weitere Informationen finden Sie unter Vollständig qualifizierte Namen.

  • UPDATE_MASK_FIELDS: die zu aktualisierenden Felder in Pfaden, die relativ zur Entry-Ressource sind. Trennen Sie die einzelnen Felder durch Kommas.

    Im FULL-Eintragssynchronisierungsmodus enthält Dataplex die Pfade aller Felder für einen Eintrag, die geändert werden können, einschließlich Aspekte.

    Das Feld updateMask wird ignoriert, wenn ein Eintrag erstellt oder neu erstellt wird.

  • ASPECT_KEY: die zu ändernden Aspekte. Unterstützt die folgenden Syntaxen:

    • ASPECT_TYPE_REFERENCE: entspricht dem Aspekttyp für Aspekte, die direkt mit dem Eintrag verknüpft sind.
    • ASPECT_TYPE_REFERENCE@PATH: stimmt mit dem Aspekttyp und dem angegebenen Pfad überein.
    • ASPECT_TYPE_REFERENCE@*: entspricht dem Aspekttyp für alle Pfade.

    Ersetzen Sie ASPECT_TYPE_REFERENCE durch einen Verweis auf den Aspekttyp im Format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.

    Wenn Sie dieses Feld leer lassen, wird davon ausgegangen, dass genau die Aspekte angegeben sind, die im angegebenen Eintrag vorhanden sind.

    Im FULL-Eintragssynchronisierungsmodus fügt Dataplex implizit die Schlüssel für alle erforderlichen Aspekte eines Eintrags hinzu.

Anforderungen für Dateien

Für die Metadatenimportdatei gelten die folgenden Anforderungen:

  • Die Datei muss als JSON Lines-Datei formatiert sein, also eine durch Zeilenumbruch getrennte JSON-Datei. Verwenden Sie ein Zeilenvorschubzeichen (0x0a), um die Importelemente voneinander zu trennen.
  • Die Datei muss die UTF-8-Zeichencodierung verwenden.
  • Unterstützte Dateiendungen sind .jsonl und .json.
  • Die Dateigröße jeder Metadatenimportdatei darf maximal 1 GiB betragen. Die maximale Gesamtgröße aller Daten im Metadaten-Job beträgt 3 GB. Dazu gehören alle mit dem Job verknüpften Dateien und Metadaten.
  • Die Einträge und Aspekte, die Sie in der Datei angeben, müssen zum Umfang des Metadatenjobs gehören.
  • Die Datei muss in einen Cloud Storage-Bucket hochgeladen werden. Speichern Sie die Datei nicht in einem Ordner mit dem Namen CLOUD_STORAGE_URI/deletions/.

Vergleichslogik

Dataplex ermittelt, welche Einträge und Aspekte geändert werden sollen, indem die Werte und Zeitstempel, die Sie in der Metadatenimportdatei angeben, mit den Werten und Zeitstempeln in Ihrem Projekt verglichen werden.

Im Allgemeinen aktualisiert Dataplex die Werte in Ihrem Projekt, wenn mindestens eine vorgeschlagene Änderung in der Metadatenimportdatei den Status Ihres Projekts beim Ausführen des Jobs ändert, ohne veraltete Daten einzuführen. Auf die vorgeschlagene Änderung muss in der Metadatenimportdatei im Feld „Update-Maske“ oder im Feld „Aspektschlüssel“ verwiesen werden.

Für jeden Eintrag, der zum Umfang des Jobs gehört, führt Dataplex einen der folgenden Schritte aus:

  • Erstellt einen Eintrag und zugehörige Aspekte. Wenn die Metadatenimportdatei einen Eintrag enthält, der in Ihrem Projekt nicht vorhanden ist, erstellt Dataplex den Eintrag und die angehängten Aspekte.
  • Löst einen Eintrag und angehängte Aspekte. Wenn ein Eintrag in Ihrem Projekt vorhanden ist, aber nicht in der Metadatenimportdatei, wird der Eintrag und die zugehörigen Aspekte aus Ihrem Projekt gelöscht.

  • Aktualisiert einen Eintrag und die angehängten Aspekte. Wenn ein Eintrag sowohl in der Metadatenimportdatei als auch in Ihrem Projekt vorhanden ist, wertet Dataplex die Zeitstempel der Eintragsquelle und die Zeitstempel der Aspektquelle aus, die mit dem Eintrag verknüpft sind, um zu ermitteln, welche Werte geändert werden sollen. Anschließend führt Dataplex einen oder mehrere der folgenden Schritte aus:

    • Der Eintrag wird neu erstellt. Wenn der Zeitstempel für die Erstellung der Eintragsquelle in der Metadatenimportdatei jünger ist als der entsprechende Zeitstempel in Ihrem Projekt, wird der Eintrag in Dataplex neu erstellt.
    • Aktualisiert den Eintrag. Wenn der Zeitstempel für die Aktualisierung der Eintragsquelle in der Metadatenimportdatei aktueller ist als der entsprechende Zeitstempel in Ihrem Projekt, wird der Eintrag in Ihrem Projekt in Dataplex aktualisiert.
    • Erstellt einen Aspekt. Wenn ein Aspekt in Ihrem Projekt nicht vorhanden ist und in der Metadatenimportdatei im Eintragsobjekt, im Feld „Aktualisierungsmaske“ und im Feld „Aspektschlüssel“ enthalten ist, wird er in Dataplex erstellt.
    • Löscht einen Aspekt. Wenn ein Aspekt in Ihrem Projekt vorhanden ist und in der Metadatenimportdatei im Feld „Update-Maske“ und im Feld „Aspektschlüssel“ enthalten ist, aber nicht im Eintragsobjekt, wird er in Dataplex gelöscht.

    • Aktualisiert einen Aspekt. Wenn ein Aspekt in Ihrem Projekt vorhanden ist und im Eintragsobjekt, im Feld „Updatemaske“ und im Feld „Aspektschlüssel“ in der Metadatenimportdatei enthalten ist und der Zeitstempel für die Aktualisierung der Aspektquelle in der Metadatenimportdatei jünger ist als der entsprechende Zeitstempel in Ihrem Projekt, wird der Aspekt in Dataplex aktualisiert.

      Wenn in der Metadatenimportdatei kein Zeitstempel für die Aktualisierung der Aspektquelle angegeben ist, der entsprechende Eintrag aber für eine Aktualisierung markiert ist, wird der Aspekt auch in Dataplex aktualisiert.

      Wenn jedoch mindestens ein Aspekt in der Metadatenimportdatei einen älteren Zeitstempel als der entsprechende Zeitstempel in Ihrem Projekt hat, werden in Dataplex keine Aktualisierungen für den angehängten Eintrag vorgenommen.

Metadatenimportdatei erstellen

Bevor Sie Metadaten importieren, erstellen Sie eine Metadatenimportdatei für Ihren Job. Gehen Sie dazu so vor:

  1. Bereiten Sie eine Metadatenimportdatei vor. Folgen Sie dazu der Anleitung weiter oben in diesem Dokument.
  2. Laden Sie die Datei in einen Cloud Storage-Bucket hoch.

Sie können mehrere Metadaten-Importdateien im selben Metadaten-Job angeben. Wenn Sie mehrere Dateien angeben möchten, speichern Sie sie im selben Cloud Storage-Bucket. Beim Ausführen des Jobs geben Sie einen Bucket an, keine bestimmte Datei. Dataplex importiert Metadaten aus allen Dateien, die im Bucket gespeichert sind, einschließlich Dateien in Unterordnern.

Metadatenimportjob ausführen

Nachdem Sie eine Metadatenimportdatei erstellt haben, führen Sie mithilfe der API einen Metadatenimportjob aus.

REST

Verwenden Sie zum Importieren von Metadaten die Methode metadataJobs.create.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_NUMBER: Ihre Google Cloud -Projektnummer oder -ID.
  • LOCATION_ID: den Google Cloud -Standort, z. B. us-central1.
  • METADATA_JOB_ID: Optional. Die ID des Metadatenjobs.

  • CLOUD_STORAGE_URI: Der URI des Cloud Storage-Bucket oder -Ordners, der die Metadatenimportdateien enthält. Weitere Informationen zu den Dateianforderungen finden Sie unter Metadatenimportdatei.

  • ENTRY_GROUP: Der relative Ressourcenname der Eintragsgruppe, die für den Job relevant ist, im Format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID. Geben Sie nur eine Eintragsgruppe an. Weitere Informationen finden Sie unter Aufgabenbereich.

  • ENTRY_TYPE: Der relative Ressourcenname eines Eintragstyps, der für den Job relevant ist, im Format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID. Weitere Informationen finden Sie unter Aufgabenbereich.

  • ASPECT_TYPE: Optional. Der relative Ressourcenname eines Aspekttyps, der für den Job relevant ist, im Format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/aspectTypes/ASPECT_TYPE_ID. Weitere Informationen finden Sie unter Aufgabenbereich.
  • LOG_LEVEL: die Ebene der zu erfassenden Protokolle, z. B. INFO oder DEBUG. Weitere Informationen finden Sie unter Jobprotokolle ansehen und Fehler beheben.

HTTP-Methode und URL:

POST https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

JSON-Text anfordern:

{
  "type": IMPORT,
  "import_spec": {
    "source_storage_uri": gs://CLOUD_STORAGE_URI/,
    "scope": {
      "entryGroups": [
        ENTRY_GROUP
      ],
      "entry_types": [
        ENTRY_TYPE
      ],
      "aspect_types": [
        ASPECT_TYPE
      ]
    },
    "entry_sync_mode": FULL,
    "aspect_sync_mode": INCREMENTAL,
    "log_level": LOG_LEVEL
  }
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Die Antwort identifiziert einen Vorgang mit langer Ausführungszeit.

Details zu einem Metadatenjob abrufen

So rufen Sie Informationen zu einem Metadatenjob ab, z. B. den Status des Jobs und die Anzahl der geänderten Einträge: Weitere Informationen zur Fehlerbehebung bei einem fehlgeschlagenen Job finden Sie im Abschnitt Jobprotokolle ansehen und Fehler beheben dieses Dokuments.

REST

Verwenden Sie die Methode metadataJobs.get, um Informationen zu einem Metadatenjob abzurufen.

Liste der Metadatenjobs abrufen

Sie können eine Liste der letzten Metadatenjobs abrufen. Ältere Jobs, die einen Endstatus erreicht haben, werden regelmäßig aus dem System gelöscht.

REST

Mit der Methode metadataJobs.list können Sie eine Liste der letzten Metadatenjobs abrufen.

Metadatenjob abbrechen

Sie können einen Metadaten-Job abbrechen, den Sie nicht ausführen möchten.

REST

Verwenden Sie die Methode metadataJobs.cancel, um einen Metadatenjob abzubrechen.

Jobprotokolle ansehen und Fehler beheben

Verwenden Sie Cloud Logging, um Logs für einen Metadaten-Job aufzurufen. Weitere Informationen finden Sie unter Dataplex-Logs überwachen.

Sie konfigurieren die Protokollebene, wenn Sie einen Metadatenjob erstellen. Folgende Protokollebenen sind verfügbar:

  • INFO: Ermöglicht Protokolle auf Jobebene. Enthält zusammengefasste Protokolle zu Importelementen, gibt jedoch nicht an, bei welchem Importelement ein Fehler aufgetreten ist.

  • DEBUG: Hier finden Sie detaillierte Protokolle für jedes Importelement. Verwenden Sie Protokolle auf Debugging-Ebene, um Probleme mit bestimmten Importelementen zu beheben. Mithilfe der Protokollierung auf Debugging-Ebene können Sie beispielsweise Ressourcen ermitteln, die im Jobbereich fehlen, Einträge oder Aspekte, die nicht dem zugehörigen Eintrags- oder Aspekttyp entsprechen, oder andere Fehlkonfigurationen in der Metadatenimportdatei.

Validierungsfehler

In Dataplex werden die Metadatenimportdateien anhand der aktuellen Metadaten in Ihrem Projekt validiert. Bei einem Validierungsproblem wird möglicherweise einer der folgenden Status zurückgegeben:

  • FAILED: tritt auf, wenn die Metadatenimportdatei einen Fehler enthält. Dataplex importiert keine Metadaten und der Job schlägt fehl. Beispiele für Fehler in der Metadatenimportdatei:
    • Ein Element in der Datei kann nicht in ein gültiges Importelement geparst werden
    • Ein Eintrag oder Aspekt in der Datei gehört zu einer Eintragsgruppe, einem Eintragstyp oder einem Aspekttyp, der nicht zum Umfang des Jobs gehört
    • Derselbe Eintragsname wird im Job mehrmals angegeben.
    • Ein Aspekttyp, der in der Aspektkarte oder in den Aspektschlüsseln angegeben ist, verwendet nicht das Format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH.
  • SUCCEEDED_WITH_ERRORS: tritt auf, wenn die Metadatenimportdatei erfolgreich geparst werden kann, der Import eines Elements in der Datei jedoch dazu führt, dass ein Eintrag in Ihrem Projekt in einem inkonsistenten Zustand ist. Dataplex ignoriert solche Einträge, importiert aber die restlichen Metadaten aus der Datei.

Verwenden Sie Jobprotokolle, um den Fehler zu beheben.

Nächste Schritte