Entwicklungsumgebungen erstellen

In dieser Kurzanleitung werden Sie durch die Schritte zum Erstellen individueller Entwicklungsumgebungen in Dataform geführt, damit jeder Entwickler in seiner eigenen Entwicklungsumgebung arbeiten kann:

Hinweise

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
  2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  4. BigQuery and Dataform APIs aktivieren.

    Aktivieren Sie die APIs

  5. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  7. BigQuery and Dataform APIs aktivieren.

    Aktivieren Sie die APIs

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, damit Sie die Berechtigungen erhalten, die Sie zum Ausführen aller Aufgaben in dieser Anleitung benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Möglicherweise können Sie die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Dataform-Repository erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf Repository erstellen.

  3. Führen Sie auf der Seite Repository erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Repository-ID den Wert quickstart-dev ein.

    2. Wählen Sie in der Liste Region europe-west4 aus.

    3. Klicken Sie auf Erstellen.

  4. Klicken Sie auf Fertig.

Dataform Zugriff auf BigQuery gewähren

Zum Ausführen von Workflows in BigQuery muss das Dataform-Dienstkonto die folgenden erforderlichen Rollen haben:

  • BigQuery-Dateneditor für Projekte, für die Dataform Lese- und Schreibzugriff benötigt. Sie enthalten in der Regel das Projekt, in dem Ihr Dataform-Repository gehostet wird.
  • BigQuery Data Viewer für Projekte, auf die Dataform Lesezugriff benötigt.
  • BigQuery Job User in dem Projekt, in dem Ihr Dataform-Repository gehostet wird.

So weisen Sie diese Rollen zu:

  1. Öffnen Sie in der Google Cloud Console die Seite IAM.

    Zur Seite „IAM“

  2. Klicken Sie auf Hinzufügen.

  3. Geben Sie im Feld Neue Hauptkonten Ihre Dataform-Dienstkonto-ID ein.

  4. Wählen Sie in der Drop-down-Liste Rolle auswählen die Rolle BigQuery-Jobnutzer aus.

  5. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie in der Drop-down-Liste Rolle auswählen die Rolle BigQuery-Datenbearbeiter aus.

  6. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie in der Drop-down-Liste Rolle auswählen die Rolle BigQuery-Datenbetrachter aus.

  7. Klicken Sie auf Speichern.

Kompilierungsüberschreibungen für Arbeitsbereiche konfigurieren

So erstellen Sie isolierte Entwicklungsumgebungen mit Überschreibungen von Dataform-Arbeitsbereichkompilierungen:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-dev.

  3. Klicken Sie auf Einstellungen und dann auf Bearbeiten

  4. Geben Sie im Bereich Überschreibungen von Arbeitsbereichskompilierungen im Feld Schema-Suffix den Wert ${workspaceName} ein.

    Wenn Sie die Ausführung in einem Arbeitsbereich auslösen, hängt Dataform den Namen des Arbeitsbereichs als Suffix an das Standardschema in dataform.json an. In dieser Kurzanleitung werden die Dataform-Standardeinstellungen mit dem Standardschema dataform verwendet.

  5. Klicken Sie auf Speichern.

Dataform wendet Überschreibungen von Arbeitsbereichskompilierungen auf alle Arbeitsbereiche in Ihrem Repository an.

Wenn Sie bei dieser Konfiguration einen SQL-Workflow in einem Arbeitsbereich manuell ausführen, führt Dataform ihn mit Überschreibungen von Arbeitsbereichskompilierungen aus. Daher führt Dataform den SQL-Workflow im dataform_workspaceName-Schema in BigQuery aus und macht den Arbeitsbereich in eine isolierte Entwicklungsumgebung.

Wenn Sie die Ausführung beispielsweise in einem sasha-Arbeitsbereich manuell auslösen, führt Dataform den SQL-Workflow im Schema dataform_sasha in BigQuery aus.

Wenn Sie SQL-Workflows ohne Überschreibungen von Arbeitsbereichskompilierungen ausführen, aber Arbeitsbereichskompilierungen für Entwicklungsumgebungen beibehalten möchten, können Sie Releasekonfigurationen erstellen, um andere Ausführungsumgebungen zu konfigurieren, z. B. staging und production.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden.

In BigQuery erstellte Datasets löschen

Löschen Sie Datasets mit Namen, die mit dataform beginnen, z. B. dataform-sasha, um Gebühren für BigQuery-Assets zu vermeiden.

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie ein Dataset aus.

  3. Klicken Sie auf das Menü Aktionen und wählen Sie Löschen aus.

  4. Geben Sie im Dialogfeld Dataset löschen delete in das Feld ein und klicken Sie dann auf Löschen.

Dataform-Repository löschen

Für das Erstellen von Dataform-Repositories fallen keine Kosten an. Wenn Sie jedoch ein Repository und seinen gesamten Inhalt löschen möchten, gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie neben quickstart-dev auf das -Menü Mehr und wählen Sie dann Löschen aus.

    1. Geben Sie im Fenster Repository löschen den Namen des Repositorys ein, um das Löschen zu bestätigen.
  3. Klicken Sie zur Bestätigung auf Löschen.

Nächste Schritte