Entwicklungsumgebungen erstellen

In dieser Kurzanleitung erfahren Sie, wie Sie in Dataform individuelle Entwicklungsumgebungen erstellen, damit jeder Entwickler in seiner eigenen Entwicklungsumgebung arbeiten kann:

Hinweis

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen aller Aufgaben in dieser Anleitung benötigen:

  • Dataform Admin (roles/dataform.admin) – Repositories
  • Dataform-Bearbeiter (roles/dataform.editor) – Arbeitsbereiche und Workflowaufrufe

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Dataform-Repository erstellen

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie auf Repository erstellen.

  3. Führen Sie auf der Seite Repository erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Repository-ID den Wert quickstart-dev ein.

    2. Wählen Sie in der Liste Region europe-west4 aus.

    3. Klicken Sie auf Erstellen.

  4. Klicken Sie auf Fertig.

Dataform Zugriff auf BigQuery gewähren

Damit Workflows in BigQuery ausgeführt werden können, muss das Dataform-Dienstkonto die folgenden Rollen haben:

  • BigQuery-Dateneditor für Projekte, für die Dataform sowohl Lese- als auch Schreibzugriff benötigt. Sie enthalten in der Regel das Projekt, in dem Ihr Dataform-Repository gehostet wird.
  • BigQuery Data Viewer für Projekte, auf die Dataform Lesezugriff benötigt.
  • BigQuery-Jobnutzer für das Projekt, in dem Ihr Dataform-Repository gehostet wird.

So weisen Sie diese Rollen zu:

  1. Öffnen Sie in der Google Cloud Console die Seite IAM.

    Zur IAM-Seite

  2. Klicken Sie auf Hinzufügen.

  3. Geben Sie im Feld Neue Hauptkonten die ID Ihres Dataform-Dienstkontos ein.

  4. Wählen Sie im Drop-down-Menü Rolle auswählen die Rolle BigQuery-Jobnutzer aus.

  5. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie dann im Drop-down-Menü Rolle auswählen die Rolle BigQuery-Datenbearbeiter aus.

  6. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie dann im Drop-down-Menü Rolle auswählen die Rolle BigQuery-Datenbetrachter aus.

  7. Klicken Sie auf Speichern.

Kompilierungsüberschreibungen für Arbeitsbereiche konfigurieren

So erstellen Sie isolierte Entwicklungsumgebungen mit Überschreibungen von Dataform-Arbeitsbereichskompilierungen:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie auf quickstart-dev.

  3. Klicken Sie auf Einstellungen und dann auf Bearbeiten

  4. Geben Sie im Bereich Überschreibungen von Arbeitsbereichskompilierungen im Feld Schema-Suffix den Wert ${workspaceName} ein.

    Wenn Sie die Ausführung in einem Arbeitsbereich auslösen, hängt Dataform den Namen des Arbeitsbereichs als Suffix an das in den Workflow-Einstellungen festgelegte Standardschema an. In dieser Kurzanleitung werden die Dataform-Standardeinstellungen mit dem Standardschema dataform verwendet.

  5. Klicken Sie auf Speichern.

Dataform wendet Überschreibungen von Arbeitsbereichskompilierungen auf alle Arbeitsbereiche in Ihrem Repository an.

Bei dieser Konfiguration führt Dataform einen SQL-Workflow, der manuell in einem Arbeitsbereich ausgeführt wird, mit Überschreibungen der Arbeitsbereichskompilierung aus. Dataform führt also den SQL-Workflow im dataform_workspaceName-Schema in BigQuery aus und wandelt den Arbeitsbereich in eine isolierte Entwicklungsumgebung um.

Wenn Sie beispielsweise die Ausführung in einem sasha-Arbeitsbereich manuell auslösen, führt Dataform Ihren SQL-Workflow im Schema dataform_sasha in BigQuery aus.

Wenn Sie SQL-Workflows ohne Überschreibungen von Arbeitsbereichskompilierungen ausführen, aber die Überschreibungen von Arbeitsbereichskompilierungen für Entwicklungsumgebungen beibehalten möchten, können Sie Releasekonfigurationen erstellen, um andere Ausführungsumgebungen zu konfigurieren, z. B. staging und production.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

In BigQuery erstellte Datasets löschen

Löschen Sie Datasets mit Namen, die mit dataform beginnen, z. B. dataform-sasha, damit keine Gebühren für BigQuery-Assets anfallen.

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie ein Dataset aus.

  3. Klicken Sie auf das Menü Aktionen und wählen Sie Löschen aus.

  4. Geben Sie im Dialogfeld Dataset löschen den Wert delete in das Feld ein und klicken Sie auf Löschen.

Dataform-Repository löschen

Für das Erstellen von Dataform-Repositories fallen keine Kosten an. Möchten Sie jedoch ein Repository und seinen Inhalt löschen, gehen Sie so vor:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie neben quickstart-dev auf das Dreipunkt-Menü  Mehr und wählen Sie Löschen aus.

    1. Geben Sie im Fenster Repository löschen den Namen des Repositorys ein, um das Löschen zu bestätigen.

  3. Klicken Sie zur Bestätigung auf Löschen.

Nächste Schritte