Auf dieser Seite wird erläutert, wie Sie Cloud Storage-Buckets und BigQuery-Datasets als Assets in vorhandenen Dataplex-Zonen hinzufügen, upgraden und entfernen.
Überblick
Ein Asset wird Daten zugeordnet, die in Cloud Storage oder BigQuery gespeichert sind. Sie können Daten, die in separaten Google Cloud-Projekten als Assets gespeichert sind, einer einzelnen Zone innerhalb eines Lakes zuordnen. Sie können vorhandene Cloud Storage-Buckets oder BigQuery-Datasets zur Verwaltung aus dem Lake hinzufügen.
Hinweise
Falls noch nicht geschehen, erstellen Sie einen Lake und eine Zone in diesem Lake.
Für die meisten
gcloud lakes-Befehle ist ein Speicherort erforderlich. Sie können den Speicherort mit dem Flag--locationangeben.
Zugriffssteuerung
Um Assets zu entfernen, müssen Sie die IAM-Rollen mit den IAM-Berechtigungen
dataplex.lakes.delete,dataplex.zones.deleteoderdataplex.assets.deletezuweisen. Die Dataplex-spezifischen Rollenroles/dataplex.adminundroles/dataplex.editorkönnen zum Gewähren dieser Berechtigungen verwendet werden.Gewähren Sie die IAM-Rollen mit den Berechtigungen
create–dataplex.lakes.create,dataplex.zones.createoderdataplex.assets.create, um Assets hinzuzufügen. Die Rollenroles/dataplex.adminundroles/dataplex.editorenthalten diese Berechtigungen.Sie können auch Nutzern oder Gruppen Berechtigungen erteilen, indem Sie die Legacy-Rollen
roles/ownerundroles/editorverwenden.Sie müssen den Dataplex-Dienst für Ressourcen autorisieren, die an den Dataplex-Lake angehängt werden. Die Autorisierung wird automatisch und implizit für Ressourcen in dem Projekt gewährt, in dem der Lake erstellt wird. Bei anderen Projekten autorisieren Sie den Dataplex-Dienst explizit für Ressourcen.
Weitere Informationen finden Sie unter Dataplex-IAM und -Zugriffssteuerung.
Rollen für Cloud Storage-Buckets gewähren
Wenn Sie einen Cloud Storage-Bucket aus einem anderen Projekt an Ihren Lake anhängen möchten, müssen Sie dem Dataplex-Dienstkonto (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, das von der Lake-Detailseite in der Console abgerufen wird) die Dataplex-Dienstkontorolle (roles/dataplex.serviceAgent) in dem Projekt gewähren, das den Bucket enthält. Durch diese Rolle erhält der Dataplex-Dienst die erforderliche Rolle auf Administratorebene für den Bucket, damit Berechtigungen für den Bucket selbst festgelegt werden können.
Rollen für BigQuery-Datasets gewähren
Wenn Sie ein BigQuery-Dataset aus einem anderen Projekt an Ihren Lake anhängen möchten, müssen Sie dem Dataplex-Dienstkonto die Rolle „BigQuery-Administrator“ für das Dataset gewähren.
Überlegungen zu VPC Service Controls
Dataplex verstößt nicht gegen VPC Service Controls-Perimeter. Bevor Sie dem Lake ein Asset hinzufügen, muss sich der zugrunde liegende Bucket oder Dataset im selben VPC Service Controls-Netzwerk wie der Lake befinden.
Weitere Informationen finden Sie unter VPC Service Controls mit Dataplex.
Asset hinzufügen
Sie können einen Cloud Storage-Bucket oder ein BigQuery-Dataset-Asset hinzufügen. Dazu verwenden Sie die Dataplex API-Methode lakes.zones.assets.create oder fügen einen Bucket oder ein Dataset auf der Seite „Datenzone“ hinzu, die in einem lokalen Browser geöffnet wird.
Wenn es keine Überschneidung zwischen der Dataplex-Lake-Region und einer der Cloud Storage-Bucket-Region gibt, können Sie den Bucket keiner Zone in Ihrem Lake hinzufügen.
Weitere Informationen zum regionalen Standort eines Cloud Storage-Assets und dazu, wie Dataplex den Standort eines Buckets beim Erstellen des Veröffentlichungs-Datasets verarbeitet, finden Sie unter Regionale Ressourcen.
Console
Öffnen Sie in der Google Cloud Console die Seite „Dataplex“:
Klicken Sie auf der Seite Verwalten auf den Lake, dem Sie einen Cloud Storage-Bucket oder ein BigQuery-Dataset hinzufügen möchten. Die Lake-Seite wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, der Sie das Asset hinzufügen möchten. Die Seite „Datenzone“ für diese Datenzone wird geöffnet.
Klicken Sie auf dem Tab Assets auf + Assets hinzufügen. Die Seite Assets hinzufügen wird geöffnet.
Klicken Sie auf Asset hinzufügen.
Wählen Sie im Feld Typ entweder BigQuery-Dataset oder Cloud Storage-Bucket aus.
Geben Sie im Feld Anzeigename einen Namen für das neue Asset ein.
Gib im Feld ID eine eindeutige ID für das Asset ein.
Optional: Geben Sie eine Beschreibung ein.
Klicken Sie je nach Typ des Assets im Feld Dataset oder Bucket auf Durchsuchen, um den Cloud Storage-Bucket oder das BigQuery-Dataset auszuwählen.
Optional: Wenn Ihr Asset-Typ Cloud Storage-Bucket ist und Dataplex das Asset verwalten soll, klicken Sie das Kästchen Upgrade auf verwaltet an. In diesem Fall müssen Sie das Asset nicht separat upgraden. Diese Option ist für BigQuery-Datasets nicht verfügbar.
Klicken Sie auf Weiter.
Wählen Sie die restlichen Parameterwerte aus. Weitere Informationen zu Sicherheitseinstellungen finden Sie unter Lake-Sicherheit.
Klicken Sie auf Senden, um das Asset hinzuzufügen.
Prüfen Sie, ob Sie sich wieder auf der Seite für die Datenzone befinden und das neue Asset in der Asset-Liste angezeigt wird.
REST
Folgen Sie der API-Anleitung zum Hinzufügen eines Buckets mit APIs Explorer.
Wenn das Hinzufügen erfolgreich ist, wechselt die Datenzone automatisch in den Status „Aktiv“. Wenn er fehlschlägt, wird die Datenzone auf ihren vorherigen fehlerfreien Zustand zurückgesetzt.
Upgrade eines Cloud Storage-Bucket-Assets durchführen
Wenn Sie ein Asset vom Typ „Cloud Storage-Bucket“ hinzufügen, veröffentlicht Dataplex automatisch externe BigQuery-Tabellen für die im Asset gehosteten Tabellen.
Wenn Sie ein Cloud Storage-Bucket-Asset upgraden, entfernt Dataplex die angehängten externen Tabellen und erstellt BigLake-Tabellen. BigLake-Tabellen unterstützen eine bessere, differenzierte Sicherheit, einschließlich der Maskierung auf Zeilen-, Spaltenebene und der dynamischen Datenmaskierung.
Sie können ein Upgrade eines Cloud Storage-Bucket-Assets in der Google Cloud Console oder durch Ausführen der Dataplex API-Methode Patch ausführen.
Console
Öffnen Sie in der Google Cloud Console die Seite „Dataplex“:
Klicken Sie auf der Seite Verwalten auf den Namen des Lakes. Die Lake-Seite wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite für die Datenzone wird geöffnet.
Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie umstellen möchten.
Klicken Sie auf Upgrade auf verwaltet.
REST
Folgen Sie der API-Anleitung zum Upgrade eines Bucket-Assets mit Cloud Explorer.
Downgrade eines Cloud Storage-Bucket-Assets ausführen
Wenn Sie ein Downgrade für ein Cloud Storage-Bucket-Asset ausführen, entfernt Dataplex die angehängten BigLake-Tabellen und erstellt externe Tabellen.
Sie können ein Downgrade eines Cloud Storage-Bucket-Assets in der Google Cloud Console ausführen oder die Dataplex API-Methode Patch ausführen, wobei das Feld readAccessMode in ResourceSpec auf DIRECT gesetzt ist.
Console
Öffnen Sie in der Google Cloud Console die Seite „Dataplex“:
Klicken Sie auf der Seite Verwalten auf den Namen des Lakes. Die Lake-Seite wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite für die Datenzone wird geöffnet.
Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie umstellen möchten.
Klicken Sie auf Downgrade von verwaltet ausführen.
REST
Folgen Sie der API-Anleitung, um mit Cloud Explorer ein Downgrade für ein Bucket-Asset durchzuführen. Achten Sie darauf, dass das Feld readAccessMode in ResourceSpec auf DIRECT gesetzt ist.
Asset entfernen
Sie können einen Cloud Storage-Bucket oder ein BigQuery-Dataset-Asset über die Google Cloud Console oder durch Ausführen der Dataplex API-Methode lakes.zones.assets.delete entfernen.
Entfernen Sie das Asset aus der Datenzone oder dem Data Lake, bevor Sie es an eine andere Zone oder den Data Lake anhängen.
Die folgende Anleitung zeigt, wie Sie ein Dataplex-Asset mithilfe der Google Cloud Console oder der Dataplex API entfernen.
Console
Öffnen Sie in der Google Cloud Console die Seite „Dataplex“:
Klicken Sie auf der Seite Verwalten auf den Lake, aus dem Sie einen Cloud Storage-Bucket oder ein BigQuery-Dataset entfernen möchten. Die Lake-Seite für diesen Lake wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, aus der Sie den Cloud Storage-Bucket oder das BigQuery-Dataset entfernen möchten. Die Seite „Datenzone“ für diese Datenzone wird geöffnet.
Wählen Sie auf dem Tab Assets das Asset aus, indem Sie das Kästchen links neben dem Asset-Namen anklicken.
Klicken Sie auf Asset löschen, um das Asset zu entfernen.
Klicken Sie im Dialogfeld auf Löschen, um das Trennen zu bestätigen.
REST
Folgen Sie der API-Anleitung zum Entfernen eines Buckets mit Cloud Explorer.
Nächste Schritte
- Weitere Informationen zur Datenermittlung
- Weitere Informationen zum Erstellen eines Lakes
- Cloud-Audit-Logs