Zonen hinzufügen

Auf dieser Seite werden Zonen vorgestellt und erklärt, wie Sie Ihren Dataplex-Lake.

Konzepte für Dataplex-Zonen

Datenzonen sind benannte Entitäten innerhalb eines Dataplex-Lakes. Sie sind logische Gruppierungen von unstrukturierten, semistrukturierten und strukturierten Daten, die aus mehreren Assets bestehen, z. B. Cloud Storage-Buckets, BigQuery-Datasets und BigQuery-Tabellen.

Ein See kann eine oder mehrere Zonen umfassen. Eine Zone kann nur Teil eines Lake sein, sie kann aber Assets enthalten, die auf Ressourcen verweisen, die zu Projekten außerhalb des übergeordneten Projekts gehören.

Sie können Konfigurationen für eine Zone in Dataplex auswählen. Sie können zwischen zwei Zonentypen wählen: Rohdatenzonen und kuratierte Zonen.

Rohzonen

In Rohzonen werden strukturierte Daten, semistrukturierte Daten wie CSV-Dateien und JSON-Dateien und unstrukturierte Daten in jedem Format aus externen Quellen. Dies ist nützlich, um Rohdaten bereitzustellen, bevor Transformationen. Daten können in Cloud Storage-Buckets oder BigQuery-Datasets gespeichert werden.

Rohzonen unterstützen Lese- und Schreibvorgänge auf Bucket- oder Dataset-Ebene Berechtigungen. Weitere Informationen finden Sie unter IAM und Zugriffssteuerung.

Es gibt keine Einschränkungen im Hinblick auf die Art der Daten, die in Rohzonen gespeichert werden können.

Ausgewählte Zonen

In ausgewählten Zonen werden strukturierte Daten gespeichert. Daten können in Cloud Storage-Buckets gespeichert werden oder BigQuery-Datasets.

Zu den unterstützten Formaten für Cloud Storage-Buckets gehören Parquet, Avro und ORC. Das ist nützlich für die Bereitstellung von Daten, die verarbeitet werden müssen, bevor sie für die Analyse verwendet werden, oder für die Bereitstellung von Daten, die für die Analyse bereit sind.

Für BigQuery-Tabellen benötigen Sie ein klar definiertes Schema und Partitionen im Hive-Stil Wenn Sie ein Schema für eine bestimmte Tabelle in einer Zone, müssen die Daten dem Schema entsprechen, das für die Tabelle ohne Schema definiert wurde. Drift.

Das bedeutet, dass die Daten mit dem Schema kompatibel sein sollten, für die Tabelle definiert wurde und neue Partitionen kein Schema haben sollten, mit dem Tabellenschema steht.

Für Lese- und Schreibberechtigungen werden in kuratierten Zonen die Detailebenen „Cloud Storage-Bucket“ oder „BigQuery-Dataset“ unterstützt. Weitere Informationen finden Sie unter Zugriffssteuerung mit IAM.

Hinweise

Bevor Sie einem See Zonen hinzufügen können, müssen Sie einen See haben. Wenn Sie noch keine erstellen Sie einen Lake.

Für die meisten gcloud lake-Befehle ist ein Speicherort erforderlich. Sie können den Standort angeben, indem Sie indem Sie den Parameter --location festlegen.

Zugriffssteuerung

  • Um eine Zone hinzuzufügen, müssen Sie IAM-Rollen mit der IAM-Berechtigung dataplex.lakes.create haben. Mit der Dataplex-spezifischen Rolle roles/dataplex.admin können Sie Berechtigungen zum Hinzufügen erteilen.

Weitere Informationen finden Sie unter Dataplex-Zugriffssteuerung mit IAM.

Zonen hinzufügen

Sie können eine neue Zone erstellen und einem vorhandenen Lake hinzufügen, indem Sie den Dataplex API-Methode lakes.zones.create oder in der Google Cloud Console eine Zone hinzufügen.

Sie können Ihrem Lake mehrere Zonen hinzufügen. Sie können jeweils eine Zone hinzufügen, während die Zone erstellt wird.

Console

  1. Rufen Sie in der Google Cloud Console Dataplex auf:

    Zu Dataplex

  2. Rufen Sie die Ansicht Verwalten auf.

  3. Klicken Sie in der Ansicht Verwalten auf den Namen des Sees, dem Sie eine Zone hinzufügen möchten.

  4. Klicken Sie auf dem Tab Zonen auf Zone hinzufügen.

  5. Geben Sie einen Anzeigenamen für die Zone ein.

  6. Klicken Sie auf das Drop-down-Menü Typ. Wählen Sie Raw Zone oder Curated Zone aus. Weitere Informationen zu unterstützten Zonentypen

  7. Optional: Geben Sie eine Beschreibung ein.

  8. Wählen Sie unter Speicherorte für Daten entweder Regional oder Multiregional aus. Ihre Auswahl kann später nicht mehr geändert werden. Daten aus einer einzelnen Region und aus mehreren Regionen können nicht in derselben Zone gemischt werden.

  9. Optional: Metadatenerkennung aktivieren, um Dataplex zu ermöglichen , um Metadaten automatisch zu scannen und aus den Daten in Ihrer Zone zu extrahieren:

    1. Klicken Sie auf Discovery-Einstellungen.

    2. Achten Sie darauf, dass Metadatenerkennung aktivieren ausgewählt ist.

    3. Optional: Geben Sie unter Muster einschließen die Dateien an, die in die Discovery-Scans einbezogen werden sollen.

    4. Optional: Geben Sie unter Auszuschließende Muster die Dateien an, die bei Discovery-Scans ausgeschlossen werden sollen. Wenn Sie sowohl Ein- als auch Ausschlussmuster eingeben, schließen Sie werden zuerst angewendet.

    5. Klicken Sie auf das Drop-down-Menü Wiederholungen und wählen Sie eine Häufigkeit aus.

    6. Klicken Sie auf das Drop-down-Menü Zeitzone und wählen Sie eine Zeitzone aus.

    7. Wenn Sie unter Wiederholungen Benutzerdefiniert ausgewählt haben, geben Sie unter Planen Folgendes ein: einen Jobzeitplan Andernfalls wird der Wert für Zeitplan automatisch für Sie ausgefüllt.

  10. Klicken Sie auf Erstellen.

Es kann einige Minuten dauern, bis die Zone erstellt ist.

REST

Folgen Sie der API-Anleitung, um eine Zone mithilfe des APIs Explorers hinzuzufügen.

Wenn die Zone erfolgreich erstellt wurde, wechselt sie automatisch in den aktiven Zustand. Wenn schlägt er fehl, wird der Lake auf den vorherigen Zustand zurückgesetzt.

Nachdem Sie die Zone erstellt haben, können Sie in Ihrer Zone Daten, die in Cloud Storage-Buckets und BigQuery-Datasets gespeichert sind, als Assets zuordnen.

Nächste Schritte