Produktionsausführungen planen

In dieser Kurzanleitung werden Sie durch die folgenden Schritte zum Planen der Produktion geführt Ausführungen in Dataform:

Hinweis

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen aller Aufgaben in dieser Anleitung benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Dataform-Repository erstellen

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie auf Repository erstellen.

  3. Führen Sie auf der Seite Repository erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Repository-ID den Wert quickstart-production ein.

    2. Wählen Sie in der Liste Region europe-west4 aus.

    3. Klicken Sie auf Erstellen.

  4. Klicken Sie auf Fertig.

Dataform Zugriff auf BigQuery gewähren

Damit Workflows in BigQuery ausgeführt werden können, muss das Dataform-Dienstkonto die folgenden Rollen haben:

  • BigQuery-Dateneditor für Projekte, auf die Dataform Lese- und Schreibzugriff benötigt. Sie enthalten in der Regel das Projekt, in dem Ihr Dataform-Repository gehostet wird.
  • BigQuery-Datenbetrachter für Projekte, auf die Dataform Lesezugriff benötigt.
  • BigQuery-Jobnutzer für das Projekt, das Ihr Dataform-Repository hostet.

So weisen Sie diese Rollen zu:

  1. Öffnen Sie in der Google Cloud Console die Seite IAM.

    Zur IAM-Seite

  2. Klicken Sie auf Hinzufügen.

  3. Geben Sie das Dataform in das Feld Neue Hauptkonten ein Dienstkonto-ID.

  4. Wählen Sie im Drop-down-Menü Rolle auswählen die Rolle BigQuery-Jobnutzer aus.

  5. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie dann in der Drop-down-Liste Rolle auswählen Folgendes aus: Wählen Sie die Rolle BigQuery-Dateneditor aus.

  6. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie dann in der Drop-down-Liste Rolle auswählen Folgendes aus: Wählen Sie die Rolle BigQuery-Datenbetrachter aus.

  7. Klicken Sie auf Speichern.

Releasekonfiguration erstellen

Führen Sie die folgenden Schritte aus, um Ergebnisse der Produktionskompilierung des Repositorys quickstart-production zu erstellen:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Release-Konfigurationen und dann auf Neue Releasekonfiguration:

  4. Konfigurieren Sie im Bereich Releasekonfiguration erstellen die folgenden Einstellungen:

    1. Geben Sie im Feld Release-ID den Wert production ein.

    2. Übernehmen Sie im Feld Git Commitish den Standardwert main .

    3. Wählen Sie im Drop-down-Menü Häufigkeit die Option Benutzerdefiniert aus.

    4. Geben Sie im Feld Benutzerdefinierter Zeitplan 0 16 * * * ein.

    5. Wählen Sie im Drop-down-Menü Zeitzone eine UTC+1-Zeitzone aus, z. B. Greenwich Mean Time (GMT).

    Jeden Tag um 16:00 Uhr UTC+1 kompiliert Dataform das Repository quickstart-production und wendet die in dieser Releasekonfiguration konfigurierten Kompilierungseinstellungen an, um production-Kompilierungsergebnisse zu erstellen.

  5. Klicken Sie auf Erstellen.

Die Releasekonfiguration production erstellt ein Kompilierungsergebnis der gesamtes quickstart-production-Repository täglich um 16:00 Uhr UTC+1.

Workflowkonfiguration erstellen

So planen Sie die Ausführung von production-Tabellen:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Workflowkonfigurationen und dann auf Neue Workflowkonfiguration:

  4. Geben Sie im Bereich Workflowkonfiguration erstellen im Feld Konfigurations-ID den Wert production ein.

  5. Wählen Sie im Drop-down-Menü Release-Konfiguration die Option production aus.

  6. Geben Sie im Feld Häufigkeit den Wert 0 17 * * * ein.

  7. Wählen Sie im Drop-down-Menü Zeitzone eine koordinierte Weltzeit (UTC+1) aus, z. B. Greenwich Mean Time (GMT):

    Jeden Tag um 17:00 Uhr UTC+1 führt Dataform die neueste production aus Kompilierungsergebnis des Repositorys quickstart-production.

    Um sicherzustellen, dass Dataform das neueste Kompilierungsergebnis ausführt Halten Sie in der entsprechenden Releasekonfiguration eine Pause von mindestens einer Stunde zwischen den Zeitpunkt der Erstellung des Kompilierungsergebnisses und den Zeitpunkt der geplanten Ausführung.

  8. Klicken Sie auf Alle Aktionen.

    Dataform führt alle SQL-Workflowaktionen in das Kompilierungsergebnis production.

  9. Klicken Sie auf Erstellen.

Die Workflowkonfiguration production führt das gesamte aktuellste Durch die Releasekonfiguration production erstelltes Kompilierungsergebnis jeden Tag um 16:00 Uhr UTC+1.

Frühere production-Kompilierungsergebnisse ansehen

So rufen Sie vergangene geplante Kompilierungsergebnisse von production auf:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Releasekonfigurationen.

  4. Klicken Sie auf production.

Bisherige production-Workflowausführungen ansehen

So können Sie sich frühere production-Workflowausführungen ansehen:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Workflowkonfigurationen.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

In BigQuery erstelltes Dataset löschen

So vermeiden Sie Gebühren für BigQuery-Assets: Schritte zum Löschen des Datasets dataform_production:

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie dataform_production aus.

  3. Klicken Sie auf das Menü Aktionen und wählen Sie Löschen aus.

  4. Geben Sie im Dialogfeld Dataset löschen delete ein und klicken Sie auf Löschen.

Dataform-Releasekonfiguration löschen

Für das Erstellen des Dataform-Release fallen keine Kosten an Konfigurationen. Wenn Sie jedoch den Release production löschen möchten, konfigurieren möchten, führen Sie die folgenden Schritte aus:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Releasekonfigurationen.

  4. Klicken Sie neben der Releasekonfiguration production auf das Mehr und dann auf Löschen.

  5. Klicken Sie im Dialogfeld Releasekonfiguration löschen auf Löschen.

Dataform-Workflowkonfiguration löschen

Führen Sie die folgenden Schritte aus, um die Workflowkonfiguration der Dataform-production zu löschen und so Kosten für BigQuery-Assets zu vermeiden:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Workflowkonfigurationen.

  4. Klicken Sie in der Konfiguration des production-Workflows auf das Mehr und dann auf Löschen.

  5. Klicken Sie im Dialogfeld Releasekonfiguration löschen auf Löschen.

Dataform-Repository löschen

Für das Erstellen von Dataform-Repositories fallen keine Kosten an. Möchten Sie jedoch ein Repository und seinen Inhalt löschen, gehen Sie so vor:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zu Dataform

  2. Klicken Sie neben quickstart-production auf das Menü  Mehr und wählen Sie Löschen aus.

  3. Geben Sie im Fenster Repository löschen den Namen des Repository, um das Löschen zu bestätigen.

  4. Klicken Sie zur Bestätigung auf Löschen.

Nächste Schritte