Ausführungen mit Workflowkonfigurationen planen

In diesem Dokument erfahren Sie, wie Sie eine Workflowkonfiguration in Dataform erstellen, um SQL-Workflowausführungen zu planen und zu konfigurieren. Sie können Workflowkonfigurationen verwenden, um Dataform-SQL-Workflows nach einem Zeitplan auszuführen.

Informationen zu Workflowkonfigurationen

Sie können Workflowkonfigurationen erstellen, um Dataform-Ausführungen aller oder ausgewählter SQL-Workflow-Aktionen in BigQuery zu planen. In einer Workflowkonfiguration wählen Sie eine Version für die Kompilierung sowie SQL-Workflowaktionen für die Ausführung aus und legen den Ausführungszeitplan fest.

Anschließend stellt Dataform während einer geplanten Ausführung Ihrer Workflowkonfiguration Ihre Auswahl an Aktionen aus dem letzten Kompilierungsergebnis Ihrer Releasekonfiguration in BigQuery bereit. Mit Dataform APIworkflowConfigs können Sie die Ausführung einer Workflowkonfiguration auch manuell auslösen.

Eine Dataform-Workflowkonfiguration enthält die folgenden Ausführungseinstellungen:

  • ID der Workflowkonfiguration
  • Releasekonfiguration

  • Dienstkonto

    Dienstkonto, das mit der Workflowkonfiguration verknüpft ist. Sie können das Dataform-Standarddienstkonto, ein mit Ihrem Google Cloud-Projekt verknüpftes Dienstkonto auswählen oder manuell ein anderes Dienstkonto eingeben. Standardmäßig verwenden Workflowkonfigurationen dieselben Dienstkonten wie ihre Repositories.

  • Auszuführende SQL-Workflow-Aktionen:

    • Alle Aktionen
    • Auswahl von Aktionen
    • Auswahl von Tags

  • Ausführungszeitplan und Zeitzone

Hinweise

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zur Seite „Dataform“

  2. Wählen Sie ein Repository aus oder erstellen Sie ein Repository.

  3. Erstellen Sie eine Releasekonfiguration.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Dataform Editor (roles/dataform.editor) für Repositories zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Workflowkonfiguration benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Möglicherweise können Sie die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie ein anderes Dienstkonto als das Dataform-Standarddienstkonto verwenden möchten, gewähren Sie Zugriff auf das benutzerdefinierte Dienstkonto.

Workflowkonfiguration erstellen

So erstellen Sie eine Dataform-Workflowkonfiguration:

  1. Wechseln Sie in Ihrem Repository zu Releases und Planung.
  2. Klicken Sie im Abschnitt Workflowkonfigurationen auf Erstellen.

  3. Geben Sie im Bereich Workflowkonfiguration erstellen im Feld Konfigurations-ID eine eindeutige ID für die Workflowkonfiguration ein.

    IDs dürfen nur Ziffern, Buchstaben, Bindestriche und Unterstriche enthalten.

  4. Wählen Sie im Drop-down-Menü Release-Konfiguration eine Konfiguration für kompilierten Release aus.

  5. Optional: Geben Sie im Feld Häufigkeit die Häufigkeit der Ausführungen im Format unix-Cron ein.

    Damit Dataform das letzte Kompilierungsergebnis in der entsprechenden Releasekonfiguration ausführt, muss zwischen dem Zeitpunkt der Erstellung des Kompilierungsergebnisses und der geplanten Ausführung eine Pause von mindestens einer Stunde eingehalten werden.

  6. Wählen Sie im Drop-down-Menü Dienstkonto ein Dienstkonto für die Workflowkonfiguration aus.

    Im Drop-down-Menü können Sie das Dataform-Standarddienstkonto oder ein beliebiges Dienstkonto auswählen, das mit Ihrem Google Cloud-Projekt verknüpft ist, auf das Sie Zugriff haben. Wenn Sie kein Dienstkonto auswählen, verwendet die Workflowkonfiguration das Dienstkonto des Repositorys.

  7. Optional: Wählen Sie im Drop-down-Menü Zeitzone die gewünschte Zeitzone für die Ausführungen aus.

    Die Standardzeitzone ist UTC.

  8. Wählen Sie die auszuführenden SQL-Workflow-Aktionen aus:

    1. Klicken Sie auf Alle Aktionen, um den gesamten SQL-Workflow auszuführen.
    2. Klicken Sie zum Ausführen ausgewählter Aktionen im SQL-Workflow auf Auswahl von Aktionen und wählen Sie dann Aktionen aus.
    3. Wenn Sie Aktionen mit ausgewählten Tags ausführen möchten, klicken Sie auf Tags auswählen und wählen Sie dann Tags aus.
    4. Optional: Wählen Sie zum Ausführen ausgewählter Aktionen oder Tags und ihrer Abhängigkeiten die Option Abhängigkeiten einbeziehen aus.
    5. Optional: Wählen Sie zum Ausführen ausgewählter Aktionen oder Tags und ihrer abhängigen Elemente die Option Abhängigkeiten einschließen aus.
    6. Optional: Wenn Sie alle Tabellen von Grund auf neu erstellen möchten, wählen Sie die Option Mit vollständiger Aktualisierung ausführen aus.

    Ohne diese Option aktualisiert Dataform inkrementelle Tabellen, ohne sie von Grund auf neu zu erstellen.

  9. Klicken Sie auf Erstellen.



Mit der folgenden Workflowkonfiguration werden beispielsweise stündlich Aktionen mit dem Tag hourly in der Zeitzone CEST ausgeführt:

  • Konfigurations-ID: production-hourly
  • Release-Konfiguration: –
  • Häufigkeit: 0 * * * *
  • Zeitzone: Central European Summer Time (CEST)
  • Auswahl von SQL-Workflowaktionen: Auswahl von Tags, hourly-Tag

Workflowkonfiguration bearbeiten

So bearbeiten Sie eine Workflowkonfiguration:

  1. Wechseln Sie in Ihrem Repository zu Releases und Planung.
  2. Klicken Sie neben der Workflowkonfiguration, die Sie bearbeiten möchten, auf das Dreipunkt-Menü und dann auf Bearbeiten.
  3. Bearbeiten Sie im Bereich Workflowkonfiguration bearbeiten die Einstellungen für die Releasekonfiguration und klicken Sie dann auf Speichern.

Workflowkonfiguration löschen

So löschen Sie eine Workflowkonfiguration:

  1. Wechseln Sie in Ihrem Repository zu Releases und Planung.
  2. Klicken Sie neben der Workflowkonfiguration, die Sie löschen möchten, auf das -Menü Mehr und dann auf Löschen.
  3. Klicken Sie im Dialogfeld Releasekonfiguration löschen auf Löschen.

Nächste Schritte