Kurzanleitung: Lake erstellen

Kurzanleitung: Lake erstellen

Auf dieser Seite erfahren Sie, wie Sie mit Dataplex in der Google Cloud Console beginnen. Dazu wird beschrieben, wie Sie einen Lake erstellen, eine Zone hinzufügen und ein Asset anhängen.

Hinweis

Hinweis: Erstellen oder verwenden Sie für Dataplex-Anwendungsfälle keinen Data Lake mit der ID goog-dataproc-default-lake. Die ID goog-dataproc-default-lake dient als Der Standard-Lake, der ausschließlich für Dataproc-Arbeitsbereiche vorgesehen ist.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

   Check for the roles

   1. In the Google Cloud console, go to the IAM page.

      Go to IAM
   2. Select the project.

   3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

   4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

   Grant the roles

   1. In the Google Cloud console, go to the IAM page.

      IAM aufrufen
   2. Wählen Sie das Projekt aus.
   3. Klicken Sie auf Zugriff erlauben.

   4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Dies ist in der Regel die E-Mail-Adresse eines Google-Kontos.

   5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
   6. Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
   7. Klicken Sie auf Speichern.

   8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   9. Make sure that billing is enabled for your Google Cloud project.

   10. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

       Enable the APIs

   11. Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

       Check for the roles

       1. In the Google Cloud console, go to the IAM page.

          Go to IAM
       2. Select the project.

       3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

       4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

       Grant the roles

       1. In the Google Cloud console, go to the IAM page.

          IAM aufrufen
       2. Wählen Sie das Projekt aus.
       3. Klicken Sie auf Zugriff erlauben.

       4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Dies ist in der Regel die E-Mail-Adresse eines Google-Kontos.

       5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
       6. Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
       7. Klicken Sie auf Speichern.
       Erstellen Sie einen Cloud Storage-Bucket:
       1. In the Google Cloud console, go to the Cloud Storage Buckets page.

          Go to Buckets page

       2. Click Create bucket.
       3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
          • For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
          • For Choose where to store your data, do the following:
            • Select a Location type option.
            • Select a Location option.
          • For Choose a default storage class for your data, select the following: Standard.
          • For Choose how to control access to objects, select an Access control option.
          • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
       4. Click Create.

Lakes erstellen

In den folgenden Schritten wird beschrieben, wie Sie mit der Google Cloud Console einen See erstellen.

1. Rufen Sie in der Google Cloud Console „Dataplex“ auf.

   Zu Dataplex

2. Rufen Sie die Ansicht Verwalten auf.

3. Klicken Sie auf Erstellen.

4. Geben Sie einen Anzeigenamen ein.

5. Die See-ID wird automatisch für Sie generiert.

6. Geben Sie die Region an, in der die Instanz erstellt werden soll.

   Bei Lakes, die in einer bestimmten Region erstellt wurden (z. B. us-central1), können je nach Zoneneinstellungen sowohl Daten mit einer Region (us-central1) als auch Daten mit mehreren Regionen (us multi-region) angehängt werden.

7. Klicken Sie auf Erstellen.

Ihrem See eine Zone hinzufügen

Nachdem Sie den Lake erstellt haben, können Sie ihm Zonen hinzufügen. Zonen sind logische Gruppierungen von unstrukturierten und strukturierten Daten.

1. Klicken Sie in der Ansicht Verwalten auf den Namen des Sees, dem Sie eine Zone hinzufügen möchten.

2. Klicken Sie auf  Zone hinzufügen.

3. Geben Sie einen Anzeigenamen für die Zone ein.

   Hinweis: Die Zonen-ID wird automatisch für Sie generiert. Bei Bedarf können Sie auch Ihren eigenen Ausweis angeben.

4. Klicken Sie auf das Drop-down-Menü Typ. Wählen Sie Rohzone oder Ausgewählte Zone aus. Weitere Informationen zu Zonentypen

5. Wählen Sie unter Speicherorte für Daten entweder Regional oder Mehrere Regionen aus. Ihre Auswahl kann später nicht mehr geändert werden. Daten für eine einzelne Region und mehrere Regionen dürfen nicht in derselben Zone gemischt werden.

   Hinweis: Die Erkennung ist standardmäßig aktiviert. Maximieren Sie die Discovery-Einstellungen und prüfen Sie, ob Metadatenerkennung aktivieren ausgewählt ist. Weitere Informationen über Auffindbarkeit

6. Klicken Sie auf Erstellen.

Es kann einige Minuten dauern, bis die Zone erstellt ist.

Asset anhängen

Daten können in Cloud Storage-Buckets oder in BigQuery gespeichert werden. Datasets und können als Assets an Datenzonen innerhalb eines Dataplex-Lake.

So fügen Sie den zuvor erstellten Cloud Storage-Bucket als Asset hinzu:

1. Klicken Sie in der Ansicht Manage (Verwalten) auf den Namen des Lake, für den Sie Cloud Storage-Bucket anhängen.

2. Klicken Sie auf dem Tab Zonen auf die Zone, der Sie das Asset hinzufügen möchten.

3. Klicke auf dem Tab Assets auf  Assets hinzufügen.

4. Klicken Sie auf Asset hinzufügen.

5. Wählen Sie unter Typ die Option Storage-Bucket aus.

6. Geben Sie unter Anzeigename einen Namen für das Asset ein.

   Hinweis :Die Asset-ID wird automatisch für Sie generiert. Bei Bedarf können Sie können Sie Ihre eigene ID angeben.

7. Klicken Sie im Feld Bucket auf Durchsuchen. Wenn Sie Cloud Storage haben suchen Sie ihn und klicken Sie auf Auswählen. Wenn Sie keinen Cloud Storage-Bucket haben, können Sie einen erstellen, indem Sie auf die Schaltfläche  klicken.

   1. Geben Sie einen eindeutigen Namen für den Bucket ein. Klicken Sie auf Weiter.

   2. Wählen Sie einen Standorttyp aus. Klicken Sie auf Weiter.

   3. Wählen Sie eine Standardspeicherklasse für Ihre Daten aus. Klicken Sie auf Weiter.

   4. Wählen Sie eine Zugriffssteuerungsebene aus. Klicken Sie auf Weiter.

   5. Wählen Sie eine Datenschutzoption oder Keine aus. Klicken Sie auf Weiter.

   6. Klicken Sie auf Erstellen.

   7. Klicken Sie auf Auswählen.

8. Klicken Sie auf Fertig.

9. Klicken Sie auf Weiter.

10. Wählen Sie unter Erkennungseinstellungen die Option Übernehmen aus, um die Erkennungseinstellungen Einstellungen aus der Zonenebene.

11. Klicken Sie auf Weiter.

12. Klicken Sie unter Assets hinzufügen auf Senden.

Warten Sie, bis die Asset-Erstellung abgeschlossen ist.

Hinweis: Informationen zur Verwendung des Lakes finden Sie im Abschnitt Weitere Informationen.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

Alternativ können Sie die in dieser Anleitung verwendeten Ressourcen löschen. Lakes können gelöscht werden, bis alle untergeordneten Datenzonenressourcen gelöscht wurden. Ebenso können Datenzonen erst gelöscht werden, wenn alle zugehörigen Asset-Ressourcen gelöscht wurden:

Storage-Bucket trennen

In den folgenden Schritten erfahren Sie, wie Sie das von Ihnen erstellte Dataplex-Asset trennen.

1. Rufen Sie Dataplex in der Google Cloud Console auf.

   Zu Dataplex

2. Klicken Sie in der Ansicht Verwalten auf den Namen des von Ihnen erstellten Datensees.

3. Klicken Sie auf dem Tab Zonen auf den Namen der von Ihnen erstellten Zone.

4. Wählen Sie auf dem Tab Assets das zu entfernende Asset aus, indem Sie das Kästchen neben dem links vom Bucket-Namen.

5. Klicken Sie auf Asset löschen.

6. Klicken Sie auf Löschen, um das Trennen zu bestätigen.

Bereich löschen

Die folgenden Schritte zeigen, wie Sie die Dataplex-Zone löschen, die Sie erstellt.

1. Rufen Sie in der Google Cloud Console „Dataplex“ auf.

   Zu Dataplex

2. Klicken Sie in der Ansicht Verwalten auf den von Ihnen erstellten See.

3. Wählen Sie auf dem Tab Zonen die zu löschende Zone aus, indem Sie das Kästchen neben dem links neben dem Namen der Datenzone.

4. Klicken Sie auf Zone löschen.

5. Klicken Sie zur Bestätigung noch einmal auf Löschen.

Lake löschen

Die folgenden Schritte zeigen, wie Sie den von Ihnen erstellten Dataplex-Lake löschen erstellt.

1. Rufen Sie Dataplex in der Google Cloud Console auf.

   Zu Dataplex

2. Klicken Sie in der Ansicht Verwalten auf den von Ihnen erstellten See.

3. Klicken Sie oben auf der Seite auf Löschen.

4. Bestätigen Sie das Löschen, indem Sie „delete“ in das Textfeld eingeben.

5. Klicken Sie auf See löschen, um den Vorgang zu bestätigen.

Nächste Schritte

Nachdem Sie den See, die Zonen und die Assets erstellt haben, haben Sie folgende Möglichkeiten:

• Organisieren Sie Ihre Daten in Lakes und Zonen.
• Lake schützen
• Erkannte Metadaten mit der Google Cloud Console aufrufen
• Erkannte Metadaten mit der API ansehen