Kurzanleitung: Lake erstellen

Kurzanleitung: Lake erstellen

In diesem Dokument erfahren Sie, wie Sie mit Dataplex in derGoogle Cloud -Console beginnen. Dazu wird beschrieben, wie Sie einen Datensee erstellen, eine Zone hinzufügen und ein Asset anhängen.

Hinweise

Hinweis :Erstellen oder verwenden Sie für Dataplex-Anwendungsfälle keinen Lake mit der ID goog-dataproc-default-lake, da dies der Standard-Lake ist, der ausschließlich für Dataproc-Arbeitsbereiche gedacht ist.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. Make sure that you have the following role or roles on the project: `roles/dataplex.admin`, `roles/dataplex.editor`

   Check for the roles

   1. In the Google Cloud console, go to the IAM page.

      Go to IAM
   2. Select the project.

   3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

   4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

   Grant the roles

   1. In the Google Cloud console, go to the IAM page.

      IAM aufrufen
   2. Wählen Sie das Projekt aus.
   3. Klicken Sie auf Zugriff erlauben.

   4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Dies ist in der Regel die E-Mail-Adresse eines Google-Kontos.

   5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
   6. Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
   7. Klicken Sie auf Speichern.

   8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   9. Make sure that billing is enabled for your Google Cloud project.

   10. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

       Enable the APIs

   11. Make sure that you have the following role or roles on the project: `roles/dataplex.admin`, `roles/dataplex.editor`

       Check for the roles

       1. In the Google Cloud console, go to the IAM page.

          Go to IAM
       2. Select the project.

       3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

       4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

       Grant the roles

       1. In the Google Cloud console, go to the IAM page.

          IAM aufrufen
       2. Wählen Sie das Projekt aus.
       3. Klicken Sie auf Zugriff erlauben.

       4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Dies ist in der Regel die E-Mail-Adresse eines Google-Kontos.

       5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
       6. Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
       7. Klicken Sie auf Speichern.
       Cloud Storage-Bucket erstellen:
       1. In the Google Cloud console, go to the Cloud Storage Buckets page.

          Go to Buckets page

       2. Click Create bucket.
       3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
          • For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
          • For Choose where to store your data, do the following:
            • Select a Location type option.
            • Select a Location option.
          • For Choose a default storage class for your data, select the following: Standard.
          • For Choose how to control access to objects, select an Access control option.
          • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
       4. Click Create.

Lakes erstellen

Ein Data Lake ist ein logisches Konstrukt, das eine Datendomain oder eine Geschäftseinheit darstellt. Wenn Sie Daten beispielsweise nach Gruppennutzung organisieren müssen, erstellen Sie einen Datensee für jede Abteilung (z. B. Einzelhandel, Vertrieb und Finanzen).

In den folgenden Schritten wird gezeigt, wie Sie mit der Google Cloud -Console einen Datensee erstellen.

1. Rufen Sie in der Google Cloud -Console Dataplex auf.

   Zu Dataplex

2. Rufen Sie die Ansicht Verwalten auf.

3. Klicken Sie auf Erstellen.

4. Geben Sie einen Anzeigenamen ein.

5. Die See-ID wird automatisch für Sie generiert.

6. Geben Sie die Region an, in der die Instanz erstellt werden soll.

   Bei Lakes, die in einer bestimmten Region erstellt wurden (z. B. us-central1), können je nach Zoneneinstellungen sowohl Daten mit einer Region (us-central1) als auch Daten mit mehreren Regionen (us multi-region) angehängt werden.

7. Klicken Sie auf Erstellen.

Ihrem See eine Zone hinzufügen

Nachdem Sie den See erstellt haben, können Sie ihm Zonen hinzufügen. Zonen sind logische Gruppierungen innerhalb eines Data Lake, die sich zum Kategorisieren strukturierter und unstrukturierter Daten eignen.

1. Klicken Sie in der Ansicht Verwalten auf den Namen des Sees, dem Sie eine Zone hinzufügen möchten.

2. Klicken Sie auf Zone hinzufügen.

3. Geben Sie einen Anzeigenamen für die Zone ein.

   Hinweis :Die Zonen-ID wird automatisch für Sie generiert. Bei Bedarf können Sie auch Ihren eigenen Ausweis angeben.

4. Klicken Sie auf das Drop-down-Menü Typ. Wählen Sie Raw Zone oder Curated Zone aus. Weitere Informationen zu Zonentypen

5. Wählen Sie unter Speicherorte für Daten entweder Regional oder Mehrere Regionen aus. Ihre Auswahl kann später nicht mehr geändert werden. Daten aus einer einzelnen Region und aus mehreren Regionen können nicht in derselben Zone gemischt werden.

   Hinweis: Die Erkennung ist standardmäßig aktiviert. Maximieren Sie die Discovery-Einstellungen und prüfen Sie, ob Metadatenerkennung aktivieren ausgewählt ist. Weitere Informationen zu Discovery

6. Klicken Sie auf Erstellen.

Es kann einige Minuten dauern, bis die Zone erstellt ist.

Asset anhängen

Daten können in Cloud Storage-Buckets oder BigQuery-Datasets gespeichert und als Assets an Datenzonen in einem Dataplex-Datensee angehängt werden.

So hängen Sie Ihren Cloud Storage-Bucket als Asset an:

1. Klicken Sie in der Ansicht Verwalten auf den Namen des Datensees, dem Sie einen Cloud Storage-Bucket zuordnen möchten.

2. Klicken Sie auf dem Tab Zonen auf die Zone, der Sie das Asset hinzufügen möchten.

3. Klicke auf dem Tab Assets auf  Assets hinzufügen.

4. Klicken Sie auf Asset hinzufügen.

5. Wählen Sie unter Typ die Option Storage-Bucket aus.

6. Geben Sie unter Anzeigename einen Namen für das Asset ein.

   Hinweis :Die Asset-ID wird automatisch für Sie generiert. Bei Bedarf können Sie auch Ihren eigenen Ausweis angeben.

7. Klicken Sie im Feld Bucket auf Durchsuchen. Wenn Sie einen Cloud Storage-Bucket haben, suchen Sie ihn und klicken Sie auf Auswählen. Wenn Sie keinen Cloud Storage-Bucket haben, können Sie einen erstellen, indem Sie auf die Schaltfläche  klicken.

   1. Geben Sie einen eindeutigen Namen für den Bucket ein. Klicken Sie auf Weiter.

   2. Wählen Sie einen Standorttyp aus. Klicken Sie auf Weiter.

   3. Wählen Sie eine Standardspeicherklasse für Ihre Daten aus. Klicken Sie auf Weiter.

   4. Wählen Sie eine Zugriffssteuerungsebene aus. Klicken Sie auf Weiter.

   5. Wählen Sie eine Datenschutzoption oder Keine aus. Klicken Sie auf Weiter.

   6. Klicken Sie auf Erstellen.

   7. Klicken Sie auf Auswählen.

8. Klicken Sie auf Fertig.

9. Klicken Sie auf Weiter.

10. Wählen Sie unter Erkennungseinstellungen die Option Übernehmen aus, um die Erkennungseinstellungen von der Zonenebene zu übernehmen.

11. Klicken Sie auf Weiter.

12. Klicken Sie unter Assets hinzufügen auf Senden.

Warten Sie, bis die Asset-Erstellung abgeschlossen ist.

Weitere Informationen zur Verwendung Ihres Datensees finden Sie im Abschnitt Nächste Schritte. Andernfalls löschen Sie die von Ihnen erstellten Ressourcen. Folgen Sie dazu der Anleitung im Abschnitt Bereinigen.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

Alternativ können Sie die in dieser Anleitung verwendeten Ressourcen löschen. Ein Data Lake wird erst gelöscht, wenn Sie alle zugehörigen Ressourcen der Datenzone gelöscht haben. Ebenso wird eine Datenzone erst gelöscht, wenn Sie alle zugehörigen Asset-Ressourcen löschen.

Storage-Bucket trennen

So lösen Sie die Verknüpfung des von Ihnen erstellten Dataplex-Assets auf:

1. Rufen Sie in der Google Cloud -Console Dataplex auf.

   Zu Dataplex

2. Klicken Sie in der Ansicht Verwalten auf den Namen des von Ihnen erstellten Datensees.

3. Klicken Sie auf dem Tab Zonen auf den Namen der von Ihnen erstellten Zone.

4. Wählen Sie auf dem Tab Assets das Asset aus, das Sie trennen möchten, indem Sie das Kästchen links neben dem Bucket-Namen anklicken.

5. Klicken Sie auf Asset löschen.

6. Klicken Sie auf Löschen, um die Verknüpfung aufzuheben.

Zone löschen

So löschen Sie die von Ihnen erstellte Dataplex-Zone:

1. Rufen Sie in der Google Cloud -Console Dataplex auf.

   Zu Dataplex

2. Klicken Sie in der Ansicht Verwalten auf den von Ihnen erstellten See.

3. Wählen Sie auf dem Tab Zonen die Zone aus, die Sie löschen möchten, indem Sie das Kästchen links neben dem Namen der Datenzone anklicken.

4. Klicken Sie auf Zone löschen.

5. Klicken Sie zur Bestätigung noch einmal auf Löschen.

Lake löschen

In den folgenden Schritten wird gezeigt, wie Sie den von Ihnen erstellten Dataplex Lake löschen.

1. Rufen Sie in der Google Cloud -Console Dataplex auf.

   Zu Dataplex

2. Klicken Sie in der Ansicht Verwalten auf den von Ihnen erstellten See.

3. Klicken Sie oben auf der Seite auf Löschen.

4. Bestätigen Sie das Löschen, indem Sie „delete“ in das Feld eingeben.

5. Klicken Sie auf See löschen, um den Vorgang zu bestätigen.

Nächste Schritte

• Organisieren Sie Ihre Daten in Lakes und Zonen.
• Lake schützen
• In der Google Cloud -Console können Sie gefundene Metadaten aufrufen.
• Gefundene Metadaten mit der API ansehen