Produktionsausführungen planen

In dieser Kurzanleitung werden Sie durch die folgenden Schritte geführt, um Produktionsausführungen in Dataform zu planen:

Hinweise

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  4. BigQuery and Dataform APIs aktivieren.

    Aktivieren Sie die APIs

    5.

  5. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  7. BigQuery and Dataform APIs aktivieren.

    Aktivieren Sie die APIs

    8.

Dataform unterstützt VPC Service Controls derzeit nicht. Wenn Sie VPC Service Controls verwenden, schließen Sie BigQuery-Ressourcen aus Ihrem VPC Service Controls-Perimeter aus, um Dataform zu verwenden.

Erforderliche Rollen

Damit Sie die Berechtigungen erhalten, die Sie zum Ausführen aller Aufgaben in dieser Anleitung benötigen, müssen Sie Ihren Administrator bitten, Ihnen die folgenden IAM-Rollen zuzuweisen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Möglicherweise können Sie die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen anfordern.

Dataform-Repository erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf Repository erstellen.

  3. Führen Sie auf der Seite Repository erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Repository-ID den Wert quickstart-production ein.

    2. Wählen Sie in der Liste Region europe-west4 aus.

    3. Klicken Sie auf Erstellen.

  4. Klicken Sie auf Fertig.

Dataform Zugriff auf BigQuery gewähren

Zum Ausführen von Workflows in BigQuery muss das Dataform-Dienstkonto die folgenden erforderlichen Rollen haben:

  • BigQuery-Dateneditor für Projekte, für die Dataform Lese- und Schreibzugriff benötigt. Üblicherweise enthält sie das Projekt, in dem das Dataform-Repository gehostet wird.
  • BigQuery-Datenbetrachter für Projekte, auf die Dataform Lesezugriff benötigt.
  • BigQuery-Jobnutzer für das Projekt, das Ihr Dataform-Repository hostet.

So weisen Sie diese Rollen zu:

  1. Öffnen Sie in der Google Cloud Console die Seite IAM.

    Zur Seite „IAM“

  2. Klicken Sie auf Add (Hinzufügen).

  3. Geben Sie in das Feld Neue Hauptkonten die Dataform-Dienstkonto-ID ein.

  4. Wählen Sie in der Drop-down-Liste Rolle auswählen die Rolle BigQuery-Jobnutzer aus.

  5. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie dann in der Drop-down-Liste Rolle auswählen die Rolle BigQuery-Dateneditor aus.

  6. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie dann in der Drop-down-Liste Rolle auswählen die Rolle BigQuery-Datenbetrachter aus.

  7. Klicken Sie auf Speichern.

Releasekonfiguration erstellen

Führen Sie die folgenden Schritte aus, um Ergebnisse der Produktionskompilierung des Repositorys quickstart-production zu erstellen:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Release-Konfigurationen und dann auf Neue Release-Konfiguration.

  4. Konfigurieren Sie im Bereich Release-Konfiguration erstellen die folgenden Einstellungen:

    1. Geben Sie im Feld Release-ID den Wert production ein.

    2. Übernehmen Sie im Feld GitCommit den Standardwert main .

    3. Wählen Sie im Drop-down-Menü Häufigkeit die Option Benutzerdefiniert aus.

    4. Geben Sie im Feld Benutzerdefinierter Zeitplan 0 16 * * * ein.

    5. Wählen Sie im Drop-down-Menü Zeitzone eine UTC+1-Zeitzone aus, z. B. Greenwich Mean Time (GMT).

    Jeden Tag um 16:00 Uhr UTC+1 kompiliert Dataform das Repository quickstart-production und wendet die Kompilierungseinstellungen an, die in dieser Release-Konfiguration konfiguriert sind, um production-Compilationsergebnisse zu erstellen.

  5. Klicken Sie auf Erstellen.

Die Release-Konfiguration production erstellt jeden Tag um 16 Uhr UTC+1 ein Kompilationsergebnis des gesamten quickstart-production-Repositorys.

Workflowkonfiguration erstellen

So planen Sie die Ausführung von production-Tabellen:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Workflowkonfigurationen und dann auf Neue Workflowkonfiguration.

  4. Geben Sie im Bereich Workflow-Konfiguration erstellen im Feld Konfigurations-ID den Wert production ein.

  5. Wählen Sie im Drop-down-Menü Release-Konfiguration die Option production aus.

  6. Geben Sie im Feld Häufigkeit den Wert 0 17 * * * ein.

  7. Wählen Sie im Drop-down-Menü Zeitzone eine UTC+1-Zeitzone aus, z. B. Greenwich Mean Time (GMT).

    Jeden Tag um 17:00 Uhr UTC+1 führt Dataform das aktuelle Kompilierungsergebnis production des Repositorys quickstart-production aus.

    Damit Dataform das letzte Kompilierungsergebnis in der entsprechenden Release-Konfiguration ausführt, muss zwischen dem Zeitpunkt des Kompilierungsergebnisses und dem Zeitpunkt der geplanten Ausführung eine Pause von mindestens 1 Stunde erfolgen.

  8. Klicken Sie auf Alle Aktionen.

    Dataform führt alle SQL-Workflowaktionen im Kompilierungsergebnis production aus.

  9. Klicken Sie auf Erstellen.

Die Workflow-Konfiguration production führt jeden Tag um 16 Uhr UTC+1 das gesamte aktuelle Kompilierungsergebnis aus, das von der production-Release-Konfiguration erstellt wird.

Bisherige Ergebnisse der Zusammenstellung von production ansehen

So rufen Sie frühere geplante production-Compilierungsergebnisse auf:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Release-Konfigurationen.

  4. Klicken Sie auf production.

Frühere Workflowausführungen von production ansehen

So rufen Sie vergangene production-Workflowausführungen auf:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Workflow-Konfigurationen.

Bereinigen

So vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

In BigQuery erstelltes Dataset löschen

Mit den folgenden Schritten löschen Sie das Dataset dataform_production, damit Ihnen keine BigQuery-Assets in Rechnung gestellt werden:

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie dataform_production aus.

  3. Klicken Sie auf das Menü Aktionen und wählen Sie dann Löschen aus.

  4. Geben Sie im Dialogfeld Dataset löschen delete in das Textfeld ein und klicken Sie auf Löschen.

Dataform-Releasekonfiguration löschen

Für das Erstellen von Dataform-Release-Konfigurationen fallen keine Kosten an. Möchten Sie jedoch die Release-Konfiguration production löschen, gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Release-Konfigurationen.

  4. Klicken Sie neben der Release-Konfiguration production auf das Menü Mehr und dann auf Löschen.

  5. Klicken Sie im Pop-up-Fenster Release-Konfiguration löschen auf Löschen.

Dataform-Workflowkonfiguration löschen

Führen Sie die folgenden Schritte aus, um die Workflow-Konfiguration für Dataform zu löschen production, um zu vermeiden, dass Ihnen BigQuery-Assets in Rechnung gestellt werden:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Workflow-Konfigurationen.

  4. Klicken Sie neben der Workflowkonfiguration production auf das Menü und dann auf Löschen.

  5. Klicken Sie im Pop-up-Fenster Release-Konfiguration löschen auf Löschen.

Dataform-Repository löschen

Für das Erstellen von Dataform-Repositories fallen keine Kosten an. Möchten Sie jedoch ein Repository und seinen Inhalt löschen, gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie bis zum quickstart-production auf das Menü Mehr und wählen Sie dann Löschen aus.

  3. Geben Sie im Fenster Repository löschen den Namen des Repositorys ein, um das Löschen zu bestätigen.

  4. Klicken Sie zur Bestätigung auf Löschen.

Nächste Schritte