Produktionsausführungen planen
In dieser Kurzanleitung werden Sie durch die folgenden Schritte zum Planen von Produktionsausführungen in Dataform geführt:
- Dataform-Repository erstellen
- Dataform Zugriff auf BigQuery gewähren
Erstellen Sie eine Releasekonfiguration, um die Produktionsumgebung zu konfigurieren.
Erstellen Sie eine
production
-Releasekonfiguration, um die Häufigkeit der Erstellung vonproduction
-Kompilierungsergebnissen festzulegen.Workflowkonfiguration erstellen, um Ausführungen in der Produktionsumgebung zu planen
Erstellen Sie eine
production
-Workflowkonfiguration, wählen Sie dieproduction
-Releasekonfiguration aus und legen Sie einen Zeitplan für die Ausführung vonproduction
-Kompilierungsergebnissen fest.
Hinweise
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
Dataform-Administrator (
roles/dataform.admin
) für Repositories -
Dataform-Bearbeiter (
roles/dataform.editor
) für Arbeitsbereiche und Workflow-Aufrufe Rufen Sie in der Google Cloud Console die Seite Dataform auf.
Klicken Sie auf
Repository erstellen.Führen Sie auf der Seite Repository erstellen die folgenden Schritte aus:
Geben Sie im Feld Repository-ID den Wert
quickstart-production
ein.Wählen Sie in der Liste Region
europe-west4
aus.Klicken Sie auf Erstellen.
Klicken Sie auf Fertig.
- BigQuery-Dateneditor für Projekte, für die Dataform sowohl Lese- als auch Schreibzugriff benötigt. Sie enthalten in der Regel das Projekt, in dem Ihr Dataform-Repository gehostet wird.
- BigQuery Data Viewer für Projekte, für die Dataform schreibgeschützten Zugriff benötigt.
- BigQuery-Jobnutzer für das Projekt, in dem Ihr Dataform-Repository gehostet wird.
Rufen Sie in der Google Cloud Console die Seite IAM auf.
Klicken Sie auf Hinzufügen.
Geben Sie im Feld Neue Hauptkonten die ID Ihres Dataform-Dienstkontos ein.
Wählen Sie in der Liste Rolle auswählen die Rolle BigQuery-Jobnutzer aus.
Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie in der Liste Rolle auswählen die Rolle BigQuery-Datenbearbeiter aus.
Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie in der Liste Rolle auswählen die Rolle BigQuery Data Viewer aus.
Klicken Sie auf Speichern.
Rufen Sie in der Google Cloud Console die Seite Dataform auf.
Klicken Sie auf
quickstart-production
.Klicken Sie auf Releasekonfigurationen und dann auf Konfiguration des neuen Release.
Konfigurieren Sie im Bereich Releasekonfiguration erstellen die folgenden Einstellungen:
Geben Sie im Feld Release-ID den Wert
production
ein.Übernehmen Sie im Feld Git commitish den Standardwert
main
.Wählen Sie im Menü Häufigkeit die Option Benutzerdefiniert aus.
Geben Sie im Feld Benutzerdefinierter Zeitplan
0 16 * * *
ein.Wählen Sie im Menü Zeitzone eine UTC+1-Zeitzone aus, z. B. Greenwich Mean Time (GMT).
Jeden Tag um 16:00 Uhr UTC+1 kompiliert Dataform das Repository
quickstart-production
und wendet die in dieser Releasekonfiguration konfigurierten Kompilierungseinstellungen an, umproduction
-Kompilierungsergebnisse zu erstellen.Klicken Sie auf Erstellen.
Rufen Sie in der Google Cloud Console die Seite Dataform auf.
Klicken Sie auf
quickstart-production
.Klicken Sie auf Workflowkonfigurationen und dann auf Neue Workflowkonfiguration.
Geben Sie im Bereich Workflowkonfiguration erstellen im Feld Konfigurations-ID den Wert
production
ein.Wählen Sie im Menü Releasekonfiguration die Option
production
aus.Geben Sie im Feld Häufigkeit den Wert
0 17 * * *
ein.Wählen Sie im Menü Zeitzone eine UTC+1-Zeitzone aus, z. B. Greenwich Mean Time (GMT).
Jeden Tag um 17:00 Uhr UTC+1 führt Dataform das aktuelle
production
-Kompilierungsergebnis desquickstart-production
-Repositorys aus.Damit Dataform das neueste Kompilierungsergebnis in der entsprechenden Release-Konfiguration ausführt, sollte zwischen dem Zeitpunkt der Erstellung des Kompilierungsergebnisses und dem Zeitpunkt der geplanten Ausführung eine Pause von mindestens einer Stunde liegen.
Klicken Sie auf Alle Aktionen.
Dataform führt alle Workflow-Aktionen im
production
-Kompilierungsergebnis aus.Klicken Sie auf Erstellen.
Rufen Sie in der Google Cloud Console die Seite Dataform auf.
Klicken Sie auf
quickstart-production
.Klicken Sie auf Releasekonfigurationen.
Klicken Sie auf
production
.Rufen Sie in der Google Cloud Console die Seite Dataform auf.
Klicken Sie auf
quickstart-production
.Klicken Sie auf Workflowkonfigurationen.
Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie
dataform_production
aus.Klicken Sie auf das Menü
Aktionen und wählen Sie Löschen aus.Geben Sie im Dialogfeld Dataset löschen Löschen ein und klicken Sie auf Löschen.
Rufen Sie in der Google Cloud Console die Seite Dataform auf.
Klicken Sie auf
quickstart-production
.Klicken Sie auf Releasekonfigurationen.
Klicken Sie neben der
production
-Releasekonfiguration auf das Menü Mehr und dann auf Löschen.Klicken Sie im Dialogfeld Releasekonfiguration löschen auf Löschen.
Rufen Sie in der Google Cloud Console die Seite Dataform auf.
Klicken Sie auf
quickstart-production
.Klicken Sie auf Workflowkonfigurationen.
Klicken Sie neben der Workflowkonfiguration
production
auf das Menü Mehr und dann auf Löschen.Klicken Sie im Dialogfeld Releasekonfiguration löschen auf Löschen.
Rufen Sie in der Google Cloud Console die Seite Dataform auf.
Klicken Sie neben
quickstart-production
auf das Menü Mehr und wählen Sie Löschen aus.Geben Sie im Fenster Repository löschen den Namen des Repositorys ein, um das Löschen zu bestätigen.
Klicken Sie zur Bestätigung auf Löschen.
Weitere Informationen zum Code-Lebenszyklus in Dataform finden Sie unter Einführung in den Code-Lebenszyklus in Dataform.
Weitere Informationen zu Best Practices für den Workflow-Lebenszyklus in Dataform finden Sie unter Best Practices für den Workflow-Lebenszyklus.
Weitere Informationen zu Release-Konfigurationen in Dataform finden Sie unter Release-Konfiguration erstellen.
Weitere Informationen zu Workflow-Konfigurationen in Dataform finden Sie unter Ausführungen mit Workflow-Konfigurationen planen.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen aller Aufgaben in dieser Anleitung benötigen:
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Dataform-Repository erstellen
Dataform Zugriff auf BigQuery gewähren
Damit Workflows in BigQuery ausgeführt werden können, muss das Dataform-Dienstkonto die folgenden erforderlichen Rollen haben:
So weisen Sie diese Rollen zu:
Releasekonfiguration erstellen
Führen Sie die folgenden Schritte aus, um Ergebnisse der Produktionskompilierung des Repositorys quickstart-production
zu erstellen:
Die Releasekonfiguration production
erstellt jeden Tag um 16:00 Uhr UTC+1 ein Kompilierungsergebnis des gesamten Repositorys quickstart-production
.
Workflowkonfiguration erstellen
So planen Sie die Ausführung von production
-Tabellen:
Die Workflowkonfiguration production
führt jeden Tag um 16:00 Uhr UTC+1 das gesamte aktuelle Kompilierungsergebnis aus, das von der Releasekonfiguration production
erstellt wird.
Frühere Ergebnisse der production
-Kompilierung ansehen
So rufen Sie frühere Ergebnisse der geplanten production
-Kompilierung auf:
Frühere production
-Workflowausführungen ansehen
So rufen Sie frühere production
-Workflowausführungen auf:
Bereinigen
Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:
In BigQuery erstelltes Dataset löschen
Führen Sie die folgenden Schritte aus, um das Dataset dataform_production
zu löschen und so Kosten für BigQuery-Assets zu vermeiden:
Dataform-Releasekonfiguration löschen
Für das Erstellen von Dataform-Releasekonfigurationen fallen keine Kosten an. Möchten Sie jedoch die Releasekonfiguration production
löschen, gehen Sie so vor:
Dataform-Workflowkonfiguration löschen
Führen Sie die folgenden Schritte aus, um die Workflowkonfiguration der Dataform-production
zu löschen und so Kosten für BigQuery-Assets zu vermeiden:
Dataform-Repository löschen
Für das Erstellen von Dataform-Repositories fallen keine Kosten an. Möchten Sie dennoch ein Repository und seinen Inhalt löschen, gehen Sie so vor: