Daten-Assets in einem Lake verwalten

Auf dieser Seite wird erläutert, wie Sie Cloud Storage-Buckets und BigQuery-Datasets als Assets in vorhandenen Dataplex-Zonen hinzufügen, aktualisieren und entfernen.

Übersicht

Ein Asset ist Daten zugeordnet, die entweder in Cloud Storage oder BigQuery gespeichert sind. Sie können Daten, die in separaten Google Cloud-Projekten als Assets gespeichert sind, einer einzelnen Zone in einem Data Lake zuordnen. Sie können vorhandene Cloud Storage-Buckets oder BigQuery-Datasets anhängen, die dann über den Datensee verwaltet werden.

Hinweis :Angehängte Assets können nicht von einer anderen Datenzone oder einem anderen Data Lake verwaltet werden.

Hinweis

• Falls noch nicht geschehen, erstellen Sie einen Lake und eine Zone in diesem Lake.

• Für die meisten gcloud lakes-Befehle ist ein Speicherort erforderlich. Sie können den Speicherort mit dem Flag --location angeben.

Zugriffssteuerung

• Wenn Sie Assets entfernen möchten, gewähren Sie den IAM-Rollen die Berechtigungen dataplex.lakes.delete, dataplex.zones.delete oder dataplex.assets.delete. Dataplex bestimmte Rollen roles/dataplex.admin und roles/dataplex.editor können verwendet werden, um diese Berechtigungen zu gewähren.

• Wenn Sie Assets hinzufügen möchten, gewähren Sie die IAM-Rollen mit den Berechtigungen create bis dataplex.lakes.create, dataplex.zones.create oder dataplex.assets.create. Die Rollen roles/dataplex.admin und roles/dataplex.editor enthalten Folgendes Berechtigungen.

• Mithilfe der Legacy-Rollen roles/owner und roles/editor können Sie auch Nutzern oder Gruppen eine Exportberechtigung erteilen.

• Sie müssen den Dataplex-Dienst für Ressourcen autorisieren, die mit dem Dataplex-Lake verknüpft sind. Die Autorisierung wird automatisch und implizit für Ressourcen im Projekt gewährt, in dem der Datensee erstellt wird. Autorisieren Sie den Dataplex-Dienst für andere Projekte explizit für Ressourcen.

Weitere Informationen finden Sie unter Dataplex-IAM und -Zugriffssteuerung.

Rollen für Cloud Storage-Buckets gewähren

Wenn Sie Ihrem Data Lake einen Cloud Storage-Bucket aus einem anderen Projekt anhängen möchten, müssen Sie dem Dataplex-Dienstkonto ([e-mail], in der Console auf der Seite mit den Details zum Data Lake abgerufen) die Rolle „Dataplex-Dienstkonto“ (roles/dataplex.serviceAgent) im Projekt zuweisen, das den Bucket enthält. Diese Rolle bietet Dataplex-Dienst mit der erforderlichen Rolle auf Administratorebene für den Bucket, damit Berechtigungen können für den Bucket selbst festgelegt werden.

Rollen für BigQuery-Datasets gewähren

Wenn Sie ein BigQuery-Dataset aus einem anderen Projekt an Ihren Data Lake anhängen möchten, müssen Sie dem Dataplex-Dienstkonto die Rolle „BigQuery-Administrator“ für das Dataset zuweisen.

Überlegungen zu VPC Service Controls

Dataplex verstößt nicht gegen VPC Service Controls-Perimeter. Bevor Sie dem Lake ein Asset hinzufügen, prüfen Sie, ob sich der zugrunde liegende Bucket oder Datensatz im selben VPC Service Controls-Netzwerk wie der Lake befindet.

Weitere Informationen finden Sie unter VPC Service Controls mit Dataplex.

Asset hinzufügen

Sie können einen Cloud Storage-Bucket oder ein BigQuery-Dataset hinzufügen Asset durch Ausstellen einer Dataplex API-Methode lakes.zones.assets.create oder auf der in einem lokalen Browser geöffneten Seite „Datenzone“ einen Bucket oder ein Dataset hinzufügen.

Hinweis: Sie können mehrere Assets gleichzeitig in einer Datenzone erstellen. Sie können den Datenbereich weiter verwenden, während das Asset hinzugefügt wird.

Wenn es keine Überschneidung zwischen der Dataplex-Lake-Region gibt und einer der Cloud Storage-Bucket-Regionen haben, können Sie den Bucket in eine Zone in Ihrem Lake.

Weitere Informationen zum Standort einer Region Cloud Storage-Asset und wie Dataplex die Speicherort eines Buckets beim Erstellen des Publishing-Datasets, siehe Regionale Ressourcen.

Console

1. Öffnen Sie in der Google Cloud Console die Seite „Dataplex“:

   Dataplex in der Google Cloud Console öffnen

2. Klicken Sie auf der Seite Verwalten auf den Datensee, dem Sie einen Cloud Storage-Bucket oder einen BigQuery-Datensatz hinzufügen möchten. Die Seite des Sees wird geöffnet.

   

3. Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, der Sie das Asset hinzufügen möchten. Die Seite „Datenzone“ für diese Datenzone wird geöffnet.

4. Klicke auf dem Tab Assets auf + Assets hinzufügen. Die Seite Assets hinzufügen wird geöffnet.

5. Klicken Sie auf Asset hinzufügen.

6. Wählen Sie im Feld Typ entweder BigQuery-Dataset oder Cloud Storage-Bucket.

7. Geben Sie im Feld Anzeigename einen Namen für das neue Asset ein.

8. Gib im Feld ID eine eindeutige ID für das Asset ein.

9. Optional: Geben Sie eine Beschreibung ein.

10. Je nach Asset-Typ im Feld Dataset oder Bucket: Klicken Sie auf Durchsuchen, um den Cloud Storage-Bucket zu suchen und auszuwählen, oder BigQuery-Dataset

11. Optional: Wenn Ihr Asset-Typ Cloud Storage-Bucket ist und Sie möchten, dass das Asset von Dataplex verwaltet wird, setzen Sie ein Häkchen in das Kästchen Auf verwaltet umstellen. Wenn Sie diese Option auswählen, müssen Sie das Asset nicht separat aktualisieren. Diese Option ist für BigQuery-Datasets nicht verfügbar.

12. Klicken Sie auf Weiter.

13. Wählen Sie die restlichen Parameterwerte aus. Weitere Informationen zu finden Sie unter Lake-Sicherheit.

14. Klicken Sie auf Senden, um das Asset hinzuzufügen.

15. Vergewissern Sie sich, dass Sie wieder auf die Seite "Data Zone" (Datenzone) zurückgekehrt sind und dass Ihr neuer in der Asset-Liste angezeigt wird.

REST

Folgen Sie der API-Anleitung, um einen Bucket hinzuzufügen. mit APIs Explorer.

Wenn das Hinzufügen erfolgreich ist, wird die Datenzone automatisch in den aktiven Modus versetzt. Bundesstaat. Wenn der Vorgang fehlschlägt, wird die Datenzone auf ihren vorherigen fehlerfreien Zustand zurückgesetzt.

Cloud Storage-Bucket-Asset aktualisieren

Wenn Sie ein Asset vom Typ Cloud Storage-Bucket hinzufügen, Dataplex veröffentlicht BigQuery automatisch externe Tabellen für die Tabellen, die im

Wenn Sie ein Cloud Storage-Bucket-Asset upgraden, geschieht Folgendes: Dataplex entfernt die angehängten externen Tabellen und erstellt BigLake-Tabellen. BigLake-Tabellen unterstützen eine detailliertere Sicherheit, einschließlich Zeilen-, Spalten- und dynamischer Datenmaskierung.

Hinweis: Unstrukturierte Daten vom Typ Fileset in Cloud Storage-Buckets die als Managed gekennzeichnet sind, werden veröffentlicht als BigQuery-Objekttabellen.

Sie können ein Cloud Storage-Bucket-Asset in der Google Cloud Console aktualisieren oder durch Ausführen der Dataplex API-Methode Patch:

Console

1. Öffnen Sie in der Google Cloud Console die Seite „Dataplex“:

   Zu Dataplex

2. Klicken Sie auf der Seite Verwalten auf den Namen des Lakes. Die Seite des Sees wird geöffnet.

3. Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite „Datenzone“ wird geöffnet.

4. Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie aktualisieren möchten.

5. Klicken Sie auf Upgrade auf „verwaltet“.

REST

Folgen Sie der API-Anleitung, um ein Bucket-Asset mithilfe des Cloud Explorers zu aktualisieren.

Downgrade eines Cloud Storage-Bucket-Assets ausführen

Wenn Sie ein Downgrade für ein Cloud Storage-Bucket-Asset ausführen, geschieht Folgendes: Dataplex entfernt die angehängten BigLake-Tabellen und erstellt externe Tabellen.

Sie können ein Cloud Storage-Bucket-Asset in der Google Cloud Console oder durch Ausführen der Dataplex API-Methode Patch downgraden. Dabei muss das Feld readAccessMode in ResourceSpec auf DIRECT festgelegt sein.

Console

1. Öffnen Sie in der Google Cloud Console die Seite „Dataplex“:

   Zu Dataplex

2. Klicken Sie auf der Seite Verwalten auf den Namen des Lakes. Die Lake-Seite wird geöffnet.

3. Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite „Datenzone“ wird geöffnet.

4. Klicke auf dem Tab Assets auf den Namen des Assets, für das du ein Upgrade ausführen.

5. Klicken Sie auf Aus verwalteten Modus downgraden.

REST

Folgen Sie der API-Anleitung, um ein Bucket-Asset mit dem Cloud Explorer herunterzustufen. Achten Sie darauf, dass readAccessMode auf DIRECT in ResourceSpec

Asset entfernen

Sie können einen Cloud Storage-Bucket oder ein BigQuery-Dataset-Asset in der Google Cloud Console oder über die Dataplex API-Methode lakes.zones.assets.delete entfernen. Entfernen Sie das Asset aus der Datenzone oder dem Data Lake, bevor Sie es einer anderen zuweisen.

Hinweis: Der Cloud Storage-Bucket wird nicht gelöscht, wenn Sie ihn aus der Datei Data Zone oder Data Lake. Sie müssen ihn gegebenenfalls explizit löschen.

In der folgenden Anleitung wird gezeigt, wie Sie ein Dataplex entfernen. mithilfe der Google Cloud Console oder der Dataplex API.

Console

1. Öffnen Sie in der Google Cloud Console die Seite „Dataplex“:

   Öffnen Sie Dataplex in der Google Cloud Console

2. Klicken Sie auf der Seite Verwalten auf den Datensee, aus dem Sie einen Cloud Storage-Bucket oder ein BigQuery-Dataset entfernen möchten. Die Seite des Sees wird geöffnet.

   

3. Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, die Sie z. B. den Cloud Storage-Bucket oder BigQuery, des Datasets. Die Seite „Datenzone“ für diese Datenzone wird geöffnet.

4. Wähle auf dem Tab Assets das gewünschte Asset aus, indem du das Kästchen links anklickst. des Asset-Namens ein.

5. Klicken Sie auf Asset löschen, um das Asset zu entfernen.

6. Klicken Sie im Dialogfeld auf Löschen, um die Verknüpfung aufzuheben.

REST

Folgen Sie der API-Anleitung, um einen Bucket mithilfe des Cloud Explorers zu entfernen.

Nächste Schritte

• Weitere Informationen zum Ermitteln von Daten
• Weitere Informationen zum Erstellen eines Lakes
• Cloud-Audit-Logs