Einträge verwalten und benutzerdefinierte Quellen aufnehmen

In diesem Dokument wird beschrieben, wie Sie Eintragstypen, Eintragsgruppen, und benutzerdefinierte Einträge, um die Integration benutzerdefinierter Datenquellen in Dataplex.

Ein Eintrag steht für eine Ressource, für die Sie Metadaten erfassen. Eine Eintragsgruppe ist ein Container für einen oder mehrere Einträge zur Verwaltung der Zugriffssteuerung und regionalen Standort. Mit einem Eintragstyp werden die erforderlichen Metadaten für Einträge definiert. Eintragstypen bringt Struktur und Regeln in eine frei fließende und lose definierte Eintragsressource. sodass Einträge erweiterbar sind.

Wenn Sie eine benutzerdefinierte Datenquelle in Dataplex einbinden möchten, erstellen Sie einen benutzerdefinierten Eintrag mit einem benutzerdefinierten Eintragstyp, der zu einer benutzerdefinierten Eintragsgruppe gehört. Das Erstellen eines benutzerdefinierten Eintrags umfasst die folgenden allgemeinen Schritte:

  1. Eine Eintragsgruppe erstellen.
  2. Erstellen Sie einen Eintragstyp.
  3. Erstellen Sie einen benutzerdefinierten Eintrag für den Eintragstyp innerhalb der Eintragsgruppe.

Einträge

Ein Eintrag stellt ein Daten-Asset dar, für das Sie Metadaten erfassen. Jeder Eintrag ist eine Instanz eines Eintragstyps. Jeder Vorgang zu Aspekten eines Eintrags muss den erforderlichen Aspekten des Eintragstyps entsprechen. Wenn Sie beispielsweise einen Eintrag erstellen, müssen Sie Werte für alle vom Eintragstyp definierten Aspekttypen angeben. Aspekte, die im Eintragstyp als required gekennzeichnet sind, können nicht gelöscht werden.

Kategorien von Einträgen

  • Systemeinträge: Dataplex erstellt Einträge für Google Cloud-Ressourcen wie BigQuery-Datasets oder -Tabellen. Die Einträge, die Von Dataplex erstellte Einträge werden Systemeinträge genannt. Dataplex hält Systemeinträge durch kontinuierliche Metadatensynchronisierung aus den unterstützten Google Cloud-Systemen automatisch auf dem neuesten Stand.

    Die automatisch eingefügten Metadaten (sogenannte erforderliche Aspekten) für Systemeinträge. Sie können nur zusätzliche Metadaten hinzufügen und ändern für Systemeinträge mithilfe optionaler Aspekte. Weitere Informationen finden Sie unter Kategorien von Aspekten.

  • Benutzerdefinierte Einträge: Einträge, die Sie für benutzerdefinierte Ressourcen erstellen und verwalten können, werden als benutzerdefinierte Einträge bezeichnet. Benutzerdefinierte Ressourcen sind die Ressourcen, in Diensten von Drittanbietern, die entweder in Google Cloud oder extern gehostet werden (z. B. lokal).

Eintragsgruppen

Eine Eintragsgruppe ist ein Container für einen oder mehrere Einträge. Sie können Eintragsgruppen verwenden um die Zugriffssteuerung und den regionalen Speicherort für die Einträge zu verwalten. Jede Eintragsgruppe gehört zu einem Projekt.

Kategorien von Eintragsgruppen

  • Systemeintragsgruppen: für Google Cloud-Ressourcen, Dataplex automatisch Eintragsgruppen für jedes System in jedem Projekt und an dem sich die Ressourcen befinden. @bigquery ist beispielsweise die Systemeingabegruppe für BigQuery.

  • Benutzerdefinierte Eintragsgruppen: Eintragsgruppen, die Sie für benutzerdefinierte Ressourcen erstellen.

Eintragstypen

Mit Eintragstypen werden die erforderlichen Metadaten für Einträge dieses Typs anhand einer Reihe erforderlicher Aspekttypen definiert.

Sie können die erforderlichen Aspekttypen nur in Einträgen angeben und nicht in den Spalten eines Eintrags. Wenn Sie einen Eintrag eines bestimmten Eintragstyps erstellen, müssen Sie Werte für alle erforderlichen Aspekttypen angeben, die vom Eintragstyp angegeben werden.

Erforderliche Aspekttypen, auf die in einem Eintragstyp verwiesen wird, müssen zur dasselbe Projekt wie der Eintragstyp.

Kategorien von Eintragstypen

  • Benutzerdefinierte Eintragstypen: Eintragstypen, die Sie erstellen und verwalten. Sie können um benutzerdefinierte Einträge zu erstellen.

  • Systemeintragstypen: Dataplex bietet diese Eintragstypen. ist standardmäßig aktiviert. Systemeintragstypen sind in die Kategorien wiederverwendbar und eingeschränkt.

    In der folgenden Tabelle werden die Kategorien der Systemeintragstypen und die Liste der Eintragstypen beschrieben, die Dataplex für jede der Kategorien bereitstellt:

    Kategorie des Systemeintragstyps Beschreibung Von Dataplex bereitgestellte Eintragstypen
    Wiederverwendbarer Systemeintragstyp Mit diesem Eintragstyp können Sie benutzerdefinierte Einträge erstellen.
    • generic
    Typ des eingeschränkten Systemeintrags Diese sind für das System reserviert, z. B. zum Erstellen von Einträgen für Google Cloud-Ressourcen

    Mit diesen Eintragstypen können keine Einträge erstellt werden. Sie können jedoch Einträge dieser Typen bearbeiten, um optionale Aspekte hinzuzufügen.
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

Sie können einen benutzerdefinierten Eintragstyp an einem bestimmten regionalen Standort oder als globale Ressource erstellen. Systemeintragstypen sind immer global. Der Standort eines Eintragstyp wirkt sich auf den Umfang seiner Anwendbarkeit aus. Weitere Informationen finden Sie unter Projekt- und Standorteinschränkungen.

Hinweis

Bevor Sie Einträge verwalten und benutzerdefinierte Datenquellen aufnehmen, müssen Sie die in diesem Abschnitt beschriebenen Aufgaben ausführen.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten von Einträgen benötigen, bitten Sie Ihren Administrator, Ihnen folgende IAM-Rollen für die Ressource:

  • Alle Berechtigungen für Einträge, Eintragsgruppen und Eintragstypen: Dataplex-Katalogadministrator (roles/dataplex.catalogAdmin)
  • Alle Dataplex Catalog-Ressourcen wie Einträge, Eintragsgruppen und Eintragstypen erstellen und verwalten: Dataplex Catalog Editor (roles/dataplex.catalogEditor)
  • Vollzugriff auf eintragsbezogene Vorgänge: Dataplex Entry Owner (roles/dataplex.entryOwner)
  • Sie können Einträge, Eintragsgruppen, Eintragstypen und zugehörige IAM-Richtlinien aufrufen: Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
  • Verwenden Sie Aspekttypen, um beim Erstellen benutzerdefinierter Einträge Aspekte dieser Typen zu erstellen: Dataplex Aspect Type User (roles/dataplex.aspectTypeUser)
  • Eintragsgruppen erstellen und verwalten: Inhaber von Dataplex-Eintragsgruppen (roles/dataplex.entryGroupOwner)
  • Datensatztypen erstellen und verwalten: Dataplex Entry Type Owner (roles/dataplex.entryTypeOwner)
  • Verwenden Sie Eintragstypen, um Einträge dieser Typen zu erstellen und zu ändern: Dataplex Entry Type User (roles/dataplex.entryTypeUser)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen finden Sie unter Dataplex-IAM-Rollen

API aktivieren

Aktivieren Sie die Dataplex API in Ihrem Dataplex-Projekt.

API aktivieren

Eintragsgruppe erstellen

Console

  1. Rufen Sie in der Google Cloud Console die Dataplex-Seite Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eintragsgruppen > Benutzerdefiniert.

  3. Klicken Sie auf Erstellen.

  4. Geben Sie im Fenster Eintragsgruppe erstellen Folgendes ein:

    • Optional: Geben Sie im Feld Anzeigename einen Anzeigenamen für die Gruppe ein.
    • Eintragsgruppen-ID: Geben Sie eine eindeutige ID für die Eintragsgruppe ein.
    • Optional: Geben Sie im Feld Beschreibung eine Beschreibung für die Gruppe ein.
    • Standort: Wählen Sie einen Standort aus. Sie können den Standort nicht mehr ändern, nachdem Sie die Eingangsgruppe erstellt haben.

  5. Optional: Fügen Sie im Abschnitt Labels beliebige Labels als Schlüssel/Wert-Paare zu Ihren Ressourcen hinzu:

    1. Klicken Sie auf Label hinzufügen.
    2. Geben Sie im Feld Schlüssel einen Schlüssel ein.
    3. Geben Sie im Feld Wert einen Wert für den Schlüssel ein.
    4. Wenn Sie weitere Labels hinzufügen möchten, klicken Sie auf Label hinzufügen und wiederholen Sie die Schritte.

  6. Klicken Sie auf Speichern.

REST

Verwenden Sie zum Erstellen einer Eintragsgruppe die Methode entryGroups.Create .

Eintragstyp erstellen

Wenn Sie eine neue Quelle aufnehmen möchten, müssen Sie einen Datensatztyp erstellen.

Console

  1. Rufen Sie in der Google Cloud Console die Dataplex-Seite Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eingabetypen > Benutzerdefiniert.

  3. Klicken Sie auf Erstellen.

  4. Geben Sie im Fenster Eintragstyp erstellen Folgendes ein:

    1. Optional: Geben Sie im Feld Anzeigename einen Anzeigenamen für die Eintragstyp.
    2. Eintragstyp-ID: Geben Sie eine eindeutige ID für den Eintragstyp ein. Sie können nicht nach dem Erstellen des Eintragstyps ändern.
    3. Optional: Geben Sie in das Feld Beschreibung eine Beschreibung für Ihre Eintragstyp.
    4. Optional: Geben Sie im Feld System das Quellsystem ein.
    5. Optional: Geben Sie im Feld Plattform die Plattform ein, für die Einträge vorgenommen werden. gehören. Beispiel: Google Cloud.
    6. Wählen Sie im Feld Standort einen Standort aus. Sie können den Speicherort nicht mehr ändern, nachdem Sie den Datensatztyp erstellt haben.

  5. Optional: Definieren Sie im Abschnitt Typaliasse den Datentyp für Ihren Eintragstyp aus. Der Datentyp kann zum Abfragen von Einträgen verwendet werden.

    1. Klicken Sie auf Typalias hinzufügen.
    2. Wählen Sie im Feld Typalias einen Datentyp aus. Sie können mehrere Aliasse für den Typ hinzufügen.

  6. Wählen Sie im Bereich Erforderliche Aspekttypen die Aspekttypen aus, die für diesen Eintragstyp obligatorisch sind. Jeder Eintrag, der basierend auf diesem Typ werden diese erforderlichen Aspekttypen zugewiesen.

    1. Klicken Sie auf Aspekttyp auswählen.
    2. Wählen Sie im Fenster Aspekttypen auswählen den Aspekttyp aus.
    3. Klicken Sie auf Auswählen.

    Die erforderlichen Aspekte können nicht aus einem Eintrag gelöscht werden.

  7. Optional: Fügen Sie im Abschnitt Labels beliebige Labels als Schlüssel/Wert-Paare hinzu. Paaren zu Ihren Ressourcen:

    1. Klicken Sie auf Label hinzufügen.
    2. Geben Sie im Feld Schlüssel einen Schlüssel ein.
    3. Geben Sie im Feld Wert einen Wert für den Schlüssel ein.
    4. Wenn Sie weitere Labels hinzufügen möchten, klicken Sie auf Label hinzufügen und wiederholen Sie die Schritte.

  8. Klicken Sie auf Speichern.

REST

Verwenden Sie zum Erstellen eines Eintragstyps die Methode entryType.create .

Benutzerdefinierten Eintrag erstellen

Prüfen Sie vor dem Erstellen eines benutzerdefinierten Eintrags, ob Sie erstellt eine Eintragsgruppe und einen entry type (Eintragstyp).

Console

Das Erstellen eines benutzerdefinierten Eintrags wird in der Google Cloud Console nicht unterstützt. Verwenden Sie stattdessen die Google Cloud CLI oder die der API erstellen.

REST

Verwenden Sie zum Erstellen eines benutzerdefinierten Eintrags den entries.create .

Nachdem Sie einen benutzerdefinierten Eintrag erstellt haben, können Sie ihm Aspekte hinzufügen. Weitere Informationen finden Sie unter Einträgen Aspekte hinzufügen.

Eintragsgruppen verwalten

In diesem Abschnitt wird beschrieben, wie Sie die Liste der verfügbaren Eingangsgruppen aufrufen, Details ansehen, Eingangsgruppen aktualisieren und löschen.

Liste der verfügbaren Eintragsgruppen aufrufen

Console

  1. Rufen Sie in der Google Cloud Console die Dataplex-Seite Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Einstiegsgruppen.

    Sie können auf die Liste der benutzerdefinierten und systeminternen Eintragsgruppen zugreifen. Weitere Informationen finden Sie im Abschnitt Kategorien von Eintragsgruppen dieses Dokuments.

    Auf dem Tab Custom (Benutzerdefiniert) werden die Eintragsgruppen mit dem Suffix (Data Catalog) sind die Eintragsgruppen, die mit aus Data Catalog an.

  3. Wenn Sie die Liste der Eingangsgruppen für alle Projekte aufrufen möchten, klicken Sie auf den Tab Benutzerdefiniert und aktivieren Sie die Option Aus allen Projekten anzeigen.

REST

Mit der Methode entryGroups.list können Sie eine Liste der verfügbaren Eingangsgruppen aufrufen.

Details einer Eintragsgruppe ansehen

Console

  1. Rufen Sie in der Google Cloud Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Einstiegsgruppen.

  3. Klicken Sie auf die Eintragsgruppe, deren Details Sie ansehen möchten.

    Die Seite mit den Details zur Eintragsgruppe wird geöffnet. Sie können auf Informationen wie Anzeigename, Eintragsgruppen-ID, Beschreibung, Projekt-ID, Standort, Labels, das Erstellungsdatum und das Datum der letzten Änderung der ausgewählten Eintragsgruppe.

  4. Wenn die Eintragsgruppe aus Data Catalog bezogen wird, mit dem Suffix (Data Catalog) versehen ist, können Sie die Details in sowohl Data Catalog als auch Dataplex Catalog Schnittstellen. Wählen Sie dazu auf der Detailseite der Eintragsgruppe Data Catalog oder Dataplex Catalog.

  5. So rufen Sie die Liste der zehn verwandten Einträge auf, die kürzlich erstellt wurden: Klicken Sie auf den Tab Beispieleinträge.

REST

Verwenden Sie die Methode entryGroups.get, um die Details einer Eingangsgruppe abzurufen.

Eintragsgruppe aktualisieren

Console

  1. Rufen Sie in der Google Cloud Console die Dataplex-Seite Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Einstiegsgruppen > Benutzerdefiniert.

  3. Klicken Sie auf die Eintragsgruppe, die Sie aktualisieren möchten.

  4. Klicken Sie auf der Seite Details zur Eingangsgruppe auf Bearbeiten.

  5. Bearbeiten Sie nach Bedarf den Anzeigenamen, die Beschreibung und die Labels.

  6. Klicken Sie auf Speichern.

REST

Verwenden Sie die Methode entryGroups.patch, um eine Eintragsgruppe zu aktualisieren.

Eintragsgruppe löschen

Console

  1. Rufen Sie in der Google Cloud Console die Dataplex-Seite Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Einstiegsgruppen > Benutzerdefiniert.

  3. Klicken Sie auf die Eintragsgruppe, die Sie löschen möchten.

  4. Klicken Sie auf der Seite Details zur Eingangsgruppe auf Löschen. Bestätigen Sie die Aktion, wenn Sie dazu aufgefordert werden.

REST

Verwenden Sie die Methode entryGroups.delete, um eine Eintragsgruppe zu löschen.

Eintragstypen verwalten

In diesem Abschnitt wird beschrieben, wie Sie die Liste der verfügbaren Eintragsgruppen, sowie Eintragstypen aktualisieren und löschen.

Liste der verfügbaren Eintragstypen aufrufen

Console

  1. Rufen Sie in der Google Cloud Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eintragstypen.

    Sie können auf die Liste der benutzerdefinierten Eintragstypen und der Systemeintragstypen zugreifen. Weitere Informationen finden Sie im Abschnitt Kategorien von Eintragstypen dieses Dokuments.

  3. Um die Liste der Eintragstypen für alle Projekte aufzurufen, klicken Sie auf das Symbol Benutzerdefiniert und klicken Sie auf die Ein/Aus-Schaltfläche Aus allen Projekten anzeigen, auf Position.

REST

Um die Liste der verfügbaren Eintragstypen aufzurufen, verwenden Sie den entryTypes.list .

Details zu einem Eintragstyp aufrufen

Console

  1. Rufen Sie in der Google Cloud Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eintragstypen > Benutzerdefiniert.

  3. Klicken Sie auf den Eintragstyp, für den Sie die Details aufrufen möchten.

    Die Detailseite des Eintragstyps wird geöffnet. Sie können auf Informationen wie Anzeigename, Eintragstyp-ID, Beschreibung, Projekt-ID, Standort, Plattform, System, Typaliasse, Labels, Erstellungsdatum und Datum der letzten Änderung den ausgewählten Eintragstyp aus.

  4. Klicken Sie auf den Tab Beispieleinträge, um eine Liste der zehn zuletzt erstellten zugehörigen Einträge aufzurufen.

REST

Um die Details eines Eintragstyps abzurufen, verwenden Sie die Methode entryTypes.get .

Eintragstyp aktualisieren

Console

  1. Rufen Sie in der Google Cloud Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eingabetypen > Benutzerdefiniert.

  3. Klicken Sie auf den Eintragstyp, den Sie aktualisieren möchten.

  4. Klicken Sie auf der Seite Details zum Eintragstyp auf Bearbeiten.

  5. Anzeigenamen, Beschreibung, System, Plattform, Typaliasse und Labels hinzufügen.

  6. Klicken Sie auf Speichern.

REST

Verwenden Sie die Methode entryTypes.patch, um einen Eintragstyp zu aktualisieren.

Eintragstyp löschen

Console

  1. Rufen Sie in der Google Cloud Console die Dataplex-Seite Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eintragstypen > Benutzerdefiniert.

  3. Klicken Sie auf den Eintragstyp, den Sie löschen möchten.

  4. Klicken Sie auf der Seite Details zum Eintragstyp auf Löschen. Bestätigen, wann werden.

REST

Verwenden Sie die Methode entryTypes.delete, um einen Eintragstyp zu löschen.

Nächste Schritte