Produktionsausführungen planen

Produktionsausführungen planen

In dieser Kurzanleitung werden Sie durch die folgenden Schritte zum Planen von Produktionsausführungen in Dataform geführt:

• Erstellen Sie ein Dataform-Repository.
• Dataform Zugriff auf BigQuery gewähren

• Erstellen Sie eine Releasekonfiguration, um die Produktionsumgebung zu konfigurieren.

  Erstellen Sie eine production-Releasekonfiguration mit der Häufigkeit, mit der production-Kompilierungsergebnisse erstellt werden.

• Workflowkonfiguration zum Planen von Ausführungen in der Produktionsumgebung erstellen

  Erstellen Sie eine production-Workflowkonfiguration, wählen Sie die Releasekonfiguration production aus und legen Sie einen Zeitplan für die Ausführung der production-Kompilierungsergebnisse fest.

• Frühere Kompilierungsergebnisse ansehen

• Frühere Ausführungen ansehen

• Erstellen Sie Assets bereinigen

Hinweise

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. Enable the BigQuery and Dataform APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

7. Enable the BigQuery and Dataform APIs.

   Enable the APIs

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, damit Sie die Berechtigungen erhalten, die Sie zum Ausführen aller Aufgaben in dieser Anleitung benötigen:

• Dataform Admin (roles/dataform.admin) für Repositories
• Dataform Editor (roles/dataform.editor) für Arbeitsbereiche und WorkflowInvocations

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Möglicherweise können Sie die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Dataform-Repository erstellen

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Klicken Sie auf Repository erstellen.

3. Führen Sie auf der Seite Repository erstellen die folgenden Schritte aus:

   1. Geben Sie im Feld Repository-ID den Wert quickstart-production ein.

   2. Wählen Sie in der Liste Region europe-west4 aus.

   3. Klicken Sie auf Erstellen.

4. Klicken Sie auf Fertig.

Dataform Zugriff auf BigQuery gewähren

Zum Ausführen von Workflows in BigQuery muss das Dataform-Dienstkonto die folgenden erforderlichen Rollen haben:

• BigQuery-Dateneditor für Projekte, für die Dataform Lese- und Schreibzugriff benötigt. Sie enthalten in der Regel das Projekt, in dem Ihr Dataform-Repository gehostet wird.
• BigQuery Data Viewer für Projekte, auf die Dataform Lesezugriff benötigt.
• BigQuery Job User in dem Projekt, in dem Ihr Dataform-Repository gehostet wird.

So weisen Sie diese Rollen zu:

1. Öffnen Sie in der Google Cloud Console die Seite IAM.

   Zur Seite „IAM“

2. Klicken Sie auf Hinzufügen.

3. Geben Sie im Feld Neue Hauptkonten Ihre Dataform-Dienstkonto-ID ein.

4. Wählen Sie in der Drop-down-Liste Rolle auswählen die Rolle BigQuery-Jobnutzer aus.

5. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie in der Drop-down-Liste Rolle auswählen die Rolle BigQuery-Datenbearbeiter aus.

6. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie in der Drop-down-Liste Rolle auswählen die Rolle BigQuery-Datenbetrachter aus.

7. Klicken Sie auf Speichern.

Releasekonfiguration erstellen

So erstellen Sie Ergebnisse der Produktionskompilierung des Repositorys quickstart-production:

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Klicken Sie auf quickstart-production.

3. Klicken Sie auf Release-Konfigurationen und dann auf Neue Releasekonfiguration.

4. Konfigurieren Sie im Bereich Releasekonfiguration erstellen die folgenden Einstellungen:

   1. Geben Sie im Feld Release-ID den Wert production ein.

   2. Übernehmen Sie im Feld Git commitish den Standardwert main .

   3. Wählen Sie im Drop-down-Menü Häufigkeit die Option Benutzerdefiniert aus.

   4. Geben Sie im Feld Benutzerdefinierter Zeitplan 0 16 * * * ein.

   5. Wählen Sie im Drop-down-Menü Zeitzone eine UTC+1-Zeitzone aus, z. B. Greenwich Mean Time (GMT).

   Dataform kompiliert jeden Tag um 16:00 Uhr UTC+1 das Repository quickstart-production und wendet die in dieser Releasekonfiguration konfigurierten Kompilierungseinstellungen an, um die Kompilierungsergebnisse production zu erstellen.

5. Klicken Sie auf Erstellen.

Die Releasekonfiguration production erstellt täglich um 16:00 Uhr UTC+1 ein Kompilierungsergebnis des gesamten quickstart-production-Repositorys.

Workflowkonfiguration erstellen

So planen Sie die Ausführung von production-Tabellen:

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Klicken Sie auf quickstart-production.

3. Klicken Sie auf Workflowkonfigurationen und dann auf Neue Workflowkonfiguration.

4. Geben Sie im Bereich Workflowkonfiguration erstellen im Feld Konfigurations-ID den Wert production ein.

5. Wählen Sie im Drop-down-Menü Release-Konfiguration die Option production aus.

6. Geben Sie im Feld Häufigkeit den Wert 0 17 * * * ein.

7. Wählen Sie im Drop-down-Menü Zeitzone eine UTC+1-Zeitzone aus, z. B. Greenwich Mean Time (GMT).

   Dataform führt jeden Tag um 17:00 Uhr UTC+1 das letzte production-Kompilierungsergebnis des Repositorys quickstart-production aus.

   Damit Dataform das letzte Kompilierungsergebnis in der entsprechenden Releasekonfiguration ausführt, muss zwischen dem Zeitpunkt der Erstellung des Kompilierungsergebnisses und der geplanten Ausführung eine Pause von mindestens einer Stunde eingehalten werden.

8. Klicken Sie auf Alle Aktionen.

   Dataform führt alle SQL-Workflowaktionen im Kompilierungsergebnis production aus.

9. Klicken Sie auf Erstellen.

Die Workflowkonfiguration production führt jeden Tag um 16:00 Uhr (UTC+1) das gesamte neueste Kompilierungsergebnis aus, das von der production-Releasekonfiguration erstellt wurde.

Frühere Kompilierungsergebnisse von production ansehen

So rufen Sie frühere geplante Kompilierungsergebnisse für production auf:

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Klicken Sie auf quickstart-production.

3. Klicken Sie auf Releasekonfigurationen.

4. Klicken Sie auf production.

Frühere production Workflowausführungen ansehen

So rufen Sie frühere production-Workflowausführungen auf:

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Klicken Sie auf quickstart-production.

3. Klicken Sie auf Workflowkonfigurationen.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden.

In BigQuery erstelltes Dataset löschen

So löschen Sie das Dataset dataform_production, um Gebühren für BigQuery-Assets zu vermeiden:

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

   BigQuery aufrufen

2. Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie dataform_production aus.

3. Klicken Sie auf das Menü Aktionen und wählen Sie Löschen aus.

4. Geben Sie im Dialogfeld Dataset löschen delete ein und klicken Sie dann auf Löschen.

Dataform-Releasekonfiguration löschen

Für das Erstellen von Dataform-Releasekonfigurationen fallen keine Kosten an. Wenn Sie jedoch die Releasekonfiguration production löschen möchten, gehen Sie so vor:

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Klicken Sie auf quickstart-production.

3. Klicken Sie auf Releasekonfigurationen.

4. Klicken Sie in der Releasekonfiguration production auf das -Dreipunkt-Menü und dann auf Löschen.

5. Klicken Sie im Dialogfeld Releasekonfiguration löschen auf Löschen.

Dataform-Workflowkonfiguration löschen

Führen Sie die folgenden Schritte aus, um die Workflowkonfiguration der Dataform-production zu löschen und so Kosten für BigQuery-Assets zu vermeiden:

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Klicken Sie auf quickstart-production.

3. Klicken Sie auf Workflowkonfigurationen.

4. Klicken Sie in der Workflowkonfiguration production auf das -Dreipunkt-Menü und dann auf Löschen.

5. Klicken Sie im Dialogfeld Releasekonfiguration löschen auf Löschen.

Dataform-Repository löschen

Für das Erstellen von Dataform-Repositories fallen keine Kosten an. Wenn Sie jedoch ein Repository und seinen gesamten Inhalt löschen möchten, gehen Sie so vor:

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Klicken Sie neben quickstart-production auf das -Menü Mehr und wählen Sie dann Löschen aus.

3. Geben Sie im Fenster Repository löschen den Namen des Repositorys ein, um das Löschen zu bestätigen.

4. Klicken Sie zur Bestätigung auf Löschen.

Nächste Schritte

• Weitere Informationen zum Codelebenszyklus in Dataform finden Sie unter Einführung in den Codelebenszyklus in Dataform.

• Weitere Informationen zu Best Practices für den Codelebenszyklus in Dataform finden Sie unter Codelebenszyklus verwalten.

• Weitere Informationen zu Releasekonfigurationen in Dataform finden Sie unter Releasekonfiguration erstellen.

• Weitere Informationen zu Workflowkonfigurationen in Dataform finden Sie unter Ausführungen mit Workflowkonfigurationen planen.