Ausführungen mit Workflowkonfigurationen planen

In diesem Dokument erfahren Sie, wie Sie in Dataform eine Workflowkonfiguration erstellen, um SQL-Workflowausführungen zu planen und zu konfigurieren. Mit Workflowkonfigurationen können Sie Dataform-SQL-Workflows nach einem Zeitplan ausführen.

Workflowkonfigurationen

Wenn Sie Dataform-Ausführungen aller oder ausgewählter SQL-Workflow-Aktionen in BigQuery planen möchten, können Sie Workflowkonfigurationen erstellen. In einer Workflowkonfiguration wählen Sie eine Releasekonfiguration für die Kompilierung, SQL-Workflowaktionen für die Ausführung und den Ausführungszeitplan aus.

Bei einer geplanten Ausführung Ihrer Workflowkonfiguration stellt Dataform dann die Auswahl der Aktionen aus dem letzten Kompilierungsergebnis in Ihrer Release-Konfiguration in BigQuery bereit. Sie können die Ausführung einer Workflowkonfiguration auch manuell mit der Dataform API workflowConfigs auslösen.

Eine Dataform-Workflowkonfiguration enthält die folgenden Ausführungseinstellungen:

  • ID der Workflowkonfiguration
  • Releasekonfiguration

  • Dienstkonto

    Das Dienstkonto, das mit der Workflowkonfiguration verknüpft ist. Sie können das Standarddienstkonto von Dataform, ein Dienstkonto auswählen, das mit Ihrem Google Cloud-Projekt verknüpft ist, oder ein anderes Dienstkonto manuell eingeben. Standardmäßig werden für Workflowkonfigurationen dieselben Dienstkonten wie für die zugehörigen Repositories verwendet.

  • Auszuführende SQL-Workflow-Aktionen:

    • Alle Aktionen
    • Auswahl von Aktionen
    • Auswahl von Tags

  • Ausführungszeitplan und Zeitzone

Hinweis

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zur Seite „Dataform“

  2. Wählen Sie ein Repository aus oder erstellen Sie ein neues.

  3. Erstellen Sie eine Releasekonfiguration.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Dataform Admin (roles/dataform.admin) für Repositories zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Workflowkonfiguration benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie ein anderes Dienstkonto als das standardmäßige Dataform-Dienstkonto verwenden möchten, gewähren Sie Zugriff auf das benutzerdefinierte Dienstkonto.

Workflowkonfiguration erstellen

So erstellen Sie eine Dataform-Workflowkonfiguration:

  1. Gehen Sie in Ihrem Repository zu Releases und Planung.
  2. Klicken Sie im Bereich Workflowkonfigurationen auf Erstellen.

  3. Geben Sie im Bereich Workflowkonfiguration erstellen im Feld Konfigurations-ID eine eindeutige ID für die Workflowkonfiguration ein.

    IDs dürfen nur Ziffern, Buchstaben, Bindestriche und Unterstriche enthalten.

  4. Wählen Sie im Drop-down-Menü Releasekonfiguration eine Konfiguration für die Release-Kompilierung aus.

  5. Optional: Geben Sie im Feld Häufigkeit die Häufigkeit der Ausführungen im unix-cron-Format ein.

    Damit Dataform das neueste Kompilierungsergebnis in der entsprechenden Release-Konfiguration ausführt, muss zwischen dem Erstellen des Kompilierungsergebnisses und der geplanten Ausführung mindestens eine Stunde liegen.

  6. Wählen Sie im Drop-down-Menü Dienstkonto ein Dienstkonto für die Workflowkonfiguration aus.

    Im Drop-down-Menü können Sie das Standarddienstkonto von Dataform oder ein beliebiges Dienstkonto auswählen, das mit Ihrem Google Cloud-Projekt verknüpft ist und auf das Sie Zugriff haben. Wenn Sie kein Dienstkonto auswählen, wird in der Workflowkonfiguration das Dienstkonto des Repositories verwendet.

  7. Optional: Wählen Sie im Drop-down-Menü Zeitzone die Zeitzone für die Ausführungen aus.

    Die Standardzeitzone ist UTC.

  8. Wählen Sie die auszuführenden SQL-Workflow-Aktionen aus:

    1. Klicken Sie auf Alle Aktionen, um den gesamten SQL-Workflow auszuführen.
    2. Wenn Sie ausgewählte Aktionen im SQL-Workflow ausführen möchten, klicken Sie auf Auswahl von Aktionen und wählen Sie die Aktionen aus.
    3. Wenn Sie Aktionen mit ausgewählten Tags ausführen möchten, klicken Sie auf Auswahl von Tags und wählen Sie die entsprechenden Tags aus.
    4. Optional: Wenn Sie ausgewählte Aktionen oder Tags und ihre Abhängigkeiten ausführen möchten, wählen Sie die Option Abhängigkeiten einschließen aus.
    5. Optional: Wenn Sie ausgewählte Aktionen oder Tags und ihre abhängigen Elemente ausführen möchten, wählen Sie die Option Abhängige Elemente einschließen aus.
    6. Optional: Wenn Sie alle Tabellen neu erstellen möchten, wählen Sie die Option Mit vollständiger Aktualisierung ausführen aus.

    Ohne diese Option aktualisiert Dataform inkrementelle Tabellen, ohne sie von Grund auf neu zu erstellen.

  9. Klicken Sie auf Erstellen.



In der folgenden Workflowkonfiguration werden beispielsweise jede Stunde in der Zeitzone CEST Aktionen mit dem Tag hourly ausgeführt:

  • Konfigurations-ID: production-hourly
  • Releasekonfiguration: –
  • Frequenz: 0 * * * *
  • Zeitzone: Central European Summer Time (CEST)
  • Auswahl von SQL-Workflow-Aktionen: Auswahl von Tags, hourly-Tag

Workflowkonfiguration bearbeiten

So bearbeiten Sie eine Workflow-Konfiguration:

  1. Gehen Sie in Ihrem Repository zu Releases und Planung.
  2. Klicken Sie neben der Workflowkonfiguration, die Sie bearbeiten möchten, auf das Dreipunkt-Menü  Mehr und dann auf Bearbeiten.
  3. Bearbeiten Sie im Bereich Workflowkonfiguration bearbeiten die Einstellungen für die Releasekonfiguration und klicken Sie dann auf Speichern.

Workflowkonfiguration löschen

So löschen Sie eine Workflowkonfiguration:

  1. Gehen Sie in Ihrem Repository zu Releases und Planung.
  2. Klicken Sie neben der Workflowkonfiguration, die Sie löschen möchten, auf das Dreipunkt-Menü  Mehr und dann auf Löschen.
  3. Klicken Sie im Dialogfeld Releasekonfiguration löschen auf Löschen.

Nächste Schritte