Kurzanleitung: Lakes erstellen

Kurzanleitung: Lakes erstellen

Auf dieser Seite werden die ersten Schritte mit Dataplex in der Google Cloud Console beschrieben. Sie erfahren, wie Sie einen Lake erstellen, eine Zone hinzufügen und ein Asset anhängen.

Hinweis

Hinweis: Für Dataplex-Anwendungsfälle sollten Sie keinen Lake mit der ID goog-dataproc-default-lake erstellen oder verwenden. Die ID goog-dataproc-default-lake dient als Standardsee, der ausschließlich für Dataproc-Arbeitsbereiche vorgesehen ist. Die Verwendung des reservierten Lake-Namens wird für Dataplex Explore nicht unterstützt.

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery und Cloud Storage APIs aktivieren.

   Aktivieren Sie die APIs

5. Prüfen Sie, ob Sie die folgenden Rollen für das Projekt haben: roles/dataplex.admin, roles/dataplex.editor

   Auf Rollen prüfen

   1. Öffnen Sie in der Google Cloud Console die Seite IAM.

      IAM aufrufen
   2. Wählen Sie das Projekt aus.

   3. Suchen Sie in der Spalte Hauptkonto die Zeile mit Ihrer E-Mail-Adresse.

      Ist Ihre E-Mail-Adresse nicht in dieser Spalte enthalten, haben Sie keine Rollen.

   4. Prüfen Sie in der Spalte Rolle der Zeile mit Ihrer E-Mail-Adresse, ob die Liste der Rollen die erforderlichen Rollen enthält.

   Rollen zuweisen

   1. Öffnen Sie in der Google Cloud Console die Seite IAM.

      IAM aufrufen
   2. Wählen Sie das Projekt aus.
   3. Klicken Sie auf Zugriff erlauben.
   4. Geben Sie in das Feld Neue Hauptkonten Ihre E-Mail-Adresse ein.
   5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
   6. Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
   7. Klicken Sie auf Speichern.

6. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

7. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

8. Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery und Cloud Storage APIs aktivieren.

   Aktivieren Sie die APIs

9. Prüfen Sie, ob Sie die folgenden Rollen für das Projekt haben: roles/dataplex.admin, roles/dataplex.editor

   Auf Rollen prüfen

   1. Öffnen Sie in der Google Cloud Console die Seite IAM.

      IAM aufrufen
   2. Wählen Sie das Projekt aus.

   3. Suchen Sie in der Spalte Hauptkonto die Zeile mit Ihrer E-Mail-Adresse.

      Ist Ihre E-Mail-Adresse nicht in dieser Spalte enthalten, haben Sie keine Rollen.

   4. Prüfen Sie in der Spalte Rolle der Zeile mit Ihrer E-Mail-Adresse, ob die Liste der Rollen die erforderlichen Rollen enthält.

   Rollen zuweisen

   1. Öffnen Sie in der Google Cloud Console die Seite IAM.

      IAM aufrufen
   2. Wählen Sie das Projekt aus.
   3. Klicken Sie auf Zugriff erlauben.
   4. Geben Sie in das Feld Neue Hauptkonten Ihre E-Mail-Adresse ein.
   5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
   6. Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
   7. Klicken Sie auf Speichern.
Cloud Storage-Bucket erstellen:
1. Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Buckets.

   Zur Seite „Buckets“

2. Klicken Sie auf Bucket erstellen.
3. Geben Sie auf der Seite Bucket erstellen die Bucket-Informationen ein. Klicken Sie auf Weiter, um mit dem nächsten Schritt fortzufahren.
   • Geben Sie unter Bucket benennen einen eindeutigen Bucket-Namen ein. Der Bucket-Name darf keine vertraulichen Informationen enthalten, da der Bucket-Namespace global und öffentlich sichtbar ist.
   • Gehen Sie unter Speicherort für Daten auswählen folgendermaßen vor:
     • Wählen Sie eine Option für Standorttyp aus.
     • Wählen Sie eine Standort-Option aus.
   • Wählen Sie unter Standardspeicherklasse für Ihre Daten auswählen Folgendes aus: Standard.
   • Wählen Sie unter Zugriffssteuerung für Objekte auswählen eine Option für die Zugriffssteuerung aus.
   • Geben Sie für Erweiterte Einstellungen (optional) eine Verschlüsselungsmethode, eine Aufbewahrungsrichtlinie oder Bucket-Labels an.
4. Klicken Sie auf Erstellen.

Lakes erstellen

Die folgenden Schritte zeigen, wie Sie einen Lake mit der Google Cloud Console erstellen.

1. Rufen Sie in der Google Cloud Console Dataplex auf.

   Zu Dataplex

2. Rufen Sie die Ansicht Verwalten auf.

3. Klicken Sie auf Erstellen.

4. Geben Sie einen Anzeigenamen ein.

5. Die Lake-ID wird automatisch für Sie generiert.

6. Geben Sie die Region an, in der die Instanz erstellt werden soll.

   Bei Lakes, die in einer bestimmten Region erstellt wurden (z. B. us-central1), können sowohl Daten mit einer einzelnen Region (us-central1) als auch Daten mit mehreren Regionen (us multi-region) abhängig von den Zoneneinstellungen angehängt werden.

7. Klicken Sie auf Erstellen.

Zone zu Ihrem Lake hinzufügen

Nachdem Sie den Lake erstellt haben, können Sie ihm Zonen hinzufügen. Zonen sind logische Gruppierungen von unstrukturierten und strukturierten Daten.

1. Klicken Sie in der Ansicht Verwalten auf den Namen des Lakes, dem Sie eine Zone hinzufügen möchten.

2. Klicken Sie auf Zone hinzufügen.

3. Geben Sie einen Anzeigenamen für die Zone ein.

   Hinweis: Die Zonen-ID wird automatisch für Sie generiert. Bei Bedarf können Sie Ihre eigene ID angeben.

4. Klicken Sie auf das Drop-down-Menü Typ. Wählen Sie Rohzone oder Ausgewählte Zone aus. Weitere Informationen zu den Zonentypen

5. Wählen Sie unter Speicherorte für Daten entweder Regional oder Multiregional aus. Ihre Auswahl kann später nicht mehr geändert werden. Daten einer einzelnen Region und mehrerer Regionen können nicht in derselben Zone gemischt werden.

   Hinweis :Discovery ist standardmäßig aktiviert. Klicken Sie auf Discovery-Einstellungen, um zu sehen, ob Metadatenerkennung aktivieren ausgewählt ist. Weitere Informationen zu Discovery-Kampagnen

6. Klicken Sie auf Erstellen.

Das Erstellen der Zone kann einige Minuten dauern.

Asset anhängen

Daten können in Cloud Storage-Buckets oder BigQuery-Datasets gespeichert und als Assets an Datenzonen innerhalb eines Dataplex-Lakes angehängt werden.

Führen Sie die folgenden Schritte aus, um den Cloud Storage-Bucket anzuhängen, den Sie zuvor als Asset erstellt haben.

1. Klicken Sie in der Ansicht Verwalten auf den Namen des Lakes, an den Sie einen Cloud Storage-Bucket anhängen möchten.

2. Klicken Sie auf dem Tab Zonen auf die Zone, der Sie das Asset hinzufügen möchten.

3. Klicken Sie auf dem Tab Assets auf Assets hinzufügen.

4. Klicken Sie auf Asset hinzufügen.

5. Wählen Sie unter Typ die Option Storage-Bucket aus.

6. Geben Sie unter Anzeigename einen Namen für das Asset ein.

   Hinweis :Die Asset-ID wird automatisch für Sie generiert. Bei Bedarf können Sie Ihre eigene ID angeben.

7. Klicken Sie im Feld Bucket auf Durchsuchen. Wenn Sie einen Cloud Storage-Bucket haben, suchen Sie ihn und klicken Sie auf Auswählen. Wenn Sie keinen Cloud Storage-Bucket haben, können Sie einen erstellen, indem Sie auf die Schaltfläche klicken.

   1. Geben Sie einen eindeutigen Namen für den Bucket ein. Klicken Sie auf Weiter.

   2. Wählen Sie einen Standorttyp aus. Klicken Sie auf Weiter.

   3. Wählen Sie eine Standardspeicherklasse für Ihre Daten aus. Klicken Sie auf Weiter.

   4. Wählen Sie eine Zugriffssteuerungsebene aus. Klicken Sie auf Weiter.

   5. Wählen Sie eine Datenschutzoption oder Keine aus. Klicken Sie auf Weiter.

   6. Klicken Sie auf Erstellen.

   7. Klicken Sie auf Auswählen.

8. Klicken Sie auf Fertig.

9. Klicken Sie auf Weiter.

10. Wählen Sie unter Discovery-Einstellungen die Option Übernehmen aus, um die Discovery-Einstellungen von der Zonenebene zu übernehmen.

11. Klicken Sie auf Weiter.

12. Klicken Sie unter Assets hinzufügen auf Senden.

Warten Sie, bis das Asset erstellt wurde.

Hinweis: Informationen zur Verwendung Ihres Lakes finden Sie im Abschnitt Nächste Schritte.

Bereinigen

So vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wenn das Projekt, das Sie löschen möchten, an eine Organisation geknüpft ist, maximieren Sie in der Spalte Name die Liste Organisation.
3. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
4. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Alternativ können Sie die in dieser Anleitung verwendeten Ressourcen löschen. Lakes können nur gelöscht werden, wenn alle zugehörigen Datenzonenressourcen gelöscht wurden. Ebenso können Datenzonen nur gelöscht werden, wenn alle zugehörigen Asset-Ressourcen gelöscht wurden:

Storage-Bucket trennen

In den folgenden Schritten wird gezeigt, wie Sie das von Ihnen erstellte Dataplex-Asset trennen.

1. Rufen Sie in der Google Cloud Console Dataplex auf.

   Zu Dataplex

2. Klicken Sie in der Ansicht Verwalten auf den Namen des von Ihnen erstellten Lakes.

3. Klicken Sie auf dem Tab Zonen auf den Namen der von Ihnen erstellten Zone.

4. Wählen Sie auf dem Tab Assets das zu trennende Asset aus. Klicken Sie dazu auf das Kästchen links neben dem Bucket-Namen.

5. Klicken Sie auf Asset löschen.

6. Klicken Sie auf Löschen, um das Trennen zu bestätigen.

Bereich löschen

In den folgenden Schritten wird gezeigt, wie Sie die von Ihnen erstellte Dataplex-Zone löschen.

1. Rufen Sie in der Google Cloud Console Dataplex auf.

   Zu Dataplex

2. Klicken Sie in der Ansicht Verwalten auf den von Ihnen erstellten Lake.

3. Wählen Sie auf dem Tab Zonen die Zone aus, die Sie löschen möchten. Klicken Sie dazu auf das Kästchen links neben dem Namen der Datenzone.

4. Klicken Sie auf Zone löschen.

5. Klicken Sie zur Bestätigung noch einmal auf Löschen.

Lake löschen

In den folgenden Schritten wird gezeigt, wie Sie den von Ihnen erstellten Dataplex-See löschen.

1. Rufen Sie in der Google Cloud Console Dataplex auf.

   Zu Dataplex

2. Klicken Sie in der Ansicht Verwalten auf den von Ihnen erstellten Lake.

3. Klicken Sie oben auf der Seite auf Löschen.

4. Bestätigen Sie das Löschen, indem Sie „delete“ in das Textfeld eingeben.

5. Klicken Sie zum Bestätigen auf Lake löschen.

Nächste Schritte

Nachdem Sie den Lake, die Zonen und die Assets erstellt haben, können Sie:

• Organisieren Sie Ihre Daten in Lakes und Zonen.
• Sichern Sie Ihren Lake.
• Erkannte Metadaten in der Google Cloud Console ansehen
• Erkannte Metadaten mithilfe der API aufrufen