Auf dieser Seite wird erläutert, wie Sie Cloud Storage-Buckets und BigQuery-Datasets als Assets zu vorhandenen Dataplex-Zonen hinzufügen, aktualisieren und entfernen.
Übersicht
Ein Asset ist Daten zugeordnet, die entweder in Cloud Storage oder BigQuery gespeichert sind. Sie können Daten, die in separaten Google Cloud -Projekten gespeichert sind, als Assets einer einzelnen Zone innerhalb eines Datensees zuordnen. Sie können vorhandene Cloud Storage-Buckets oder BigQuery-Datasets anhängen, die dann über den Datensee verwaltet werden.
Hinweise
Falls noch nicht geschehen, erstellen Sie einen Lake und eine Zone in diesem Lake.
Für die meisten
gcloud lakes-Befehle ist ein Speicherort erforderlich. Sie können den Speicherort mit dem Flag--locationangeben.
Erforderliche Rollen
Wenn Sie Assets entfernen möchten, gewähren Sie den IAM-Rollen die Berechtigungen
dataplex.lakes.delete,dataplex.zones.deleteoderdataplex.assets.delete. Mit den Dataplex-spezifischen Rollenroles/dataplex.adminundroles/dataplex.editorkönnen Sie diese Berechtigungen erteilen.Wenn Sie Assets hinzufügen möchten, gewähren Sie die IAM-Rollen mit den Berechtigungen
createbisdataplex.lakes.create,dataplex.zones.createoderdataplex.assets.create. Die Rollenroles/dataplex.adminundroles/dataplex.editorenthalten diese Berechtigungen.Mithilfe der Legacy-Rollen
roles/ownerundroles/editorkönnen Sie auch Nutzern oder Gruppen eine Exportberechtigung erteilen.Sie müssen den Dataplex-Dienst für Ressourcen autorisieren, die mit dem Dataplex-Lake verbunden sind. Die Autorisierung wird automatisch und implizit für Ressourcen im Projekt gewährt, in dem der Datensee erstellt wird. Autorisieren Sie für andere Projekte den Dataplex-Dienst explizit für Ressourcen.
Weitere Informationen finden Sie unter Dataplex-IAM und -Zugriffssteuerung.
Rollen für Cloud Storage-Buckets gewähren
Wenn Sie Ihrem Data Lake einen Cloud Storage-Bucket aus einem anderen Projekt anhängen möchten, müssen Sie dem Dataplex-Dienstkonto (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, in der Console auf der Seite mit den Details zum Data Lake abgerufen) die Rolle „Dataplex-Dienstkonto“ (roles/dataplex.serviceAgent) im Projekt zuweisen, das den Bucket enthält. Diese Rolle stellt dem Dataplex-Dienst die erforderliche Rolle auf Administratorebene für den Bucket bereit, damit Berechtigungen für den Bucket selbst festgelegt werden können.
Rollen für BigQuery-Datasets gewähren
Wenn Sie ein BigQuery-Dataset aus einem anderen Projekt an Ihren Data Lake anhängen möchten, müssen Sie dem Dataplex-Dienstkonto die Rolle „BigQuery-Administrator“ für das Dataset zuweisen.
Hinweise zu VPC Service Controls
Dataplex verstößt nicht gegen VPC Service Controls-Perimeter. Bevor Sie dem Lake ein Asset hinzufügen, prüfen Sie, ob sich der zugrunde liegende Bucket oder Datensatz im selben VPC Service Controls-Netzwerk wie der Lake befindet.
Weitere Informationen finden Sie unter VPC Service Controls mit Dataplex.
Asset hinzufügen
Wenn sich die Region des Dataplex Lake nicht mit der Region eines Cloud Storage-Buckets überschneidet, können Sie den Bucket keiner Zone in Ihrem Data Lake hinzufügen.
Weitere Informationen zum Speicherort einer Cloud Storage-Ressource und dazu, wie Dataplex den Speicherort eines Buckets beim Erstellen des Veröffentlichungsdatensatzes behandelt, finden Sie unter Regionale Ressourcen.
So fügen Sie ein Asset hinzu:
Console
Rufen Sie in der Google Cloud -Console die Seite „Dataplex“ auf.
Klicken Sie auf der Seite Verwalten auf den Datensee, dem Sie einen Cloud Storage-Bucket oder BigQuery-Dataset hinzufügen möchten. Die Seite des Sees wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, der Sie das Asset hinzufügen möchten. Die Seite „Datenzone“ für diese Datenzone wird geöffnet.
Klicke auf dem Tab Assets auf + Assets hinzufügen. Die Seite Assets hinzufügen wird geöffnet.
Klicken Sie auf Asset hinzufügen.
Wählen Sie im Feld Typ entweder BigQuery-Dataset oder Cloud Storage-Bucket aus.
Geben Sie im Feld Anzeigename einen Namen für das neue Asset ein.
Geben Sie im Feld ID eine eindeutige ID für das Asset ein.
Optional: Geben Sie eine Beschreibung ein.
Klicken Sie im Feld Dataset oder Bucket (je nach Art des Assets) auf Durchsuchen, um den Cloud Storage-Bucket oder das BigQuery-Dataset zu suchen und auszuwählen.
Optional: Wenn Ihr Asset-Typ Cloud Storage-Bucket ist und Sie möchten, dass das Asset von Dataplex verwaltet wird, setzen Sie ein Häkchen in das Kästchen Auf verwaltet umstellen. Wenn Sie diese Option auswählen, müssen Sie das Asset nicht separat aktualisieren. Diese Option ist für BigQuery-Datasets nicht verfügbar.
Klicken Sie auf Weiter.
Wählen Sie die restlichen Parameterwerte aus. Weitere Informationen zu den Sicherheitseinstellungen finden Sie unter Sicherheit für Datenlakes.
Klicken Sie auf Senden.
Prüfen Sie, ob Sie auf der Seite „Datenzone“ zurückgekehrt sind und Ihr neues Asset in der Asset-Liste angezeigt wird.
REST
Verwenden Sie die Methode lakes.zones.assets.create, um ein Asset hinzuzufügen.
Wenn die Datenzone erfolgreich hinzugefügt wurde, wechselt sie automatisch in den aktiven Zustand. Wenn der Vorgang fehlschlägt, wird die Datenzone auf ihren vorherigen fehlerfreien Zustand zurückgesetzt.
Cloud Storage-Bucket-Asset aktualisieren
Wenn Sie ein Asset vom Typ „Cloud Storage-Bucket“ hinzufügen, veröffentlicht Dataplex automatisch externe BigQuery-Tabellen für die im Asset gehosteten Tabellen.
Wenn Sie ein Cloud Storage-Bucket-Asset aktualisieren, entfernt Dataplex die angehängten externen Tabellen und erstellt BigLake-Tabellen. BigLake-Tabellen unterstützen eine detailliertere Sicherheit, einschließlich Zeilen-, Spalten- und dynamischer Datenmaskierung.
So führen Sie ein Upgrade für ein Cloud Storage-Bucket-Asset durch:
Console
Rufen Sie in der Google Cloud -Console die Seite „Dataplex“ auf.
Klicken Sie auf der Seite Verwalten auf den Namen des Sees. Die Seite des Sees wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite „Datenzone“ wird geöffnet.
Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie aktualisieren möchten.
Klicken Sie auf Auf verwaltete Property umstellen.
REST
Verwenden Sie die Methode lakes.zones.assets.patch, um ein Bucket-Asset zu aktualisieren.
Downgrade eines Cloud Storage-Bucket-Assets
Wenn Sie ein Cloud Storage-Bucket-Asset downgraden, entfernt Dataplex die angehängten BigLake-Tabellen und erstellt externe Tabellen.
Console
Rufen Sie in der Google Cloud -Console die Seite „Dataplex“ auf.
Klicken Sie auf der Seite Verwalten auf den Namen des Sees. Die Seite des Sees wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite „Datenzone“ wird geöffnet.
Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie aktualisieren möchten.
Klicken Sie auf Aus verwalteten Modus downgraden.
REST
Verwenden Sie die Methode lakes.zones.assets.patch, um ein Bucket-Asset zu downgraden. Achten Sie darauf, dass Sie das Feld readAccessMode in ResourceSpec auf DIRECT setzen.
Asset entfernen
Entfernen Sie das Asset aus der Datenzone oder dem Data Lake, bevor Sie es einer anderen zuweisen.
So entfernen Sie ein Asset:
Console
Rufen Sie in der Google Cloud -Console die Seite „Dataplex“ auf.
Klicken Sie auf der Seite Verwalten auf den Datensee, aus dem Sie einen Cloud Storage-Bucket oder ein BigQuery-Dataset entfernen möchten. Die Seite des Sees wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, aus der Sie den Cloud Storage-Bucket oder das BigQuery-Dataset entfernen möchten. Die Seite „Datenzone“ für diese Datenzone wird geöffnet.
Wählen Sie auf dem Tab Assets das Asset aus, indem Sie das Kästchen links neben dem Asset-Namen anklicken.
Klicken Sie auf Asset löschen.
Klicken Sie im Dialogfeld zur Bestätigung auf Löschen.
REST
Verwenden Sie die Methode lakes.zones, assets.delete,um einen Bucket zu entfernen.
Nächste Schritte
- Weitere Informationen zum Entdecken von Daten
- Weitere Informationen zum Erstellen eines Sees
- Cloud-Audit-Logs