Workflows orchestrieren
Wenn Sie Support benötigen oder Feedback zu dieser Funktion geben möchten, senden Sie eine E-Mail an bigquery-workflows-preview-feedback@google.com.
In diesem Dokument wird beschrieben, wie Sie Workflows orchestrieren, einschließlich der Planung von Workflows und der Prüfung geplanter Workflowausführungen.
Workflows basieren auf Dataform.
Jeder Workflow-Zeitplan wird von einem benutzerdefinierten Dataform-Dienstkonto ausgeführt, das Sie beim Erstellen des Zeitplans auswählen. Weitere Informationen zu den Arten von Dienstkonten in Dataform finden Sie unter Dienstkonten in Dataform.
Änderungen, die Sie an einem Workflow vornehmen, werden automatisch gespeichert, sind aber nur für Sie und für Nutzer verfügbar, denen die Rolle „Dataform Admin“ für das Projekt zugewiesen wurde. Wenn Sie den Zeitplan mit einer neuen Version des Workflows aktualisieren möchten, müssen Sie den Workflow bereitstellen. Durch die Bereitstellung wird der Zeitplan so aktualisiert, dass die aktuelle Version des Workflows verwendet wird. Zeitpläne führen immer die zuletzt bereitgestellte Version aus.
Für Zeitpläne von Workflows, die Notebooks enthalten, wird eine Standardlaufzeitspezifikation verwendet. Bei einer geplanten Ausführung eines Workflows mit Notebooks schreibt BigQuery die Notebookausgabe in den Cloud Storage-Bucket, der beim Erstellen des Zeitplans ausgewählt wurde.
Hinweise
Erstellen Sie zuerst einen Workflow.
Workflow-Zeitplan aktivieren
Wenn Sie Workflows planen möchten, müssen Sie dem Dienstkonto, das Sie für Workflowpläne verwenden möchten, die folgenden Rollen zuweisen:
- Service Account User (
roles/iam.serviceAccountUser) - Folgen Sie der Anleitung unter Einer einzelnen Rolle ein Dienstkonto zuweisen, um Ihrem Dienstkonto ein Hauptkonto hinzuzufügen. Das bedeutet, dass Sie dem Dienstkonto dasselbe Dienstkonto als Hauptkonto hinzufügen. Weisen Sie diesem Hauptkonto dann die Rolle „Dienstkontonutzer“ zu.
Wenn Ihr Workflow SQL-Abfragen enthält, müssen Sie dem Dienstkonto, das Sie für Workflow-Zeitpläne verwenden möchten, die folgenden Rollen zuweisen:
- BigQuery-Jobnutzer(
roles/bigquery.jobUser) - Folgen Sie der Anleitung unter Einzelne Rolle für ein Projekt gewähren, um Ihrem Dienstkonto die Rolle „BigQuery-Jobnutzer“ für Projekte zuzuweisen, aus denen Ihre Workflows Daten lesen.
- BigQuery Data Viewer (
roles/bigquery.dataViewer) - Folgen Sie der Anleitung unter Einzelne Rolle für ein Projekt gewähren, um Ihrem Dienstkonto die Rolle „BigQuery-Datenbetrachter“ für Projekte zuzuweisen, aus denen Ihre Workflows Daten lesen.
- BigQuery Data Editor (
roles/bigquery.dataEditor) - Folgen Sie der Anleitung unter Einzelne Rolle für ein Projekt gewähren, um Ihrem Dienstkonto die Rolle „BigQuery-Datenbearbeiter“ für Projekte zuzuweisen, in die Ihre Workflows Daten schreiben.
Wenn Ihr Workflow Notebooks enthält, müssen Sie dem Dienstkonto, das Sie für Workflow-Zeitpläne verwenden möchten, die folgenden Rollen zuweisen:
- Notebook Executor User (
roles/aiplatform.notebookExecutorUser) - Folgen Sie der Anleitung unter Einzelne Rolle für ein Projekt gewähren, um Ihrem Dienstkonto für das ausgewählte Projekt die Rolle „Notebook-Ausführer“ zuzuweisen.
- Storage-Administrator (
roles/storage.admin) - Folgen Sie der Anleitung unter Richtlinie auf Bucket-Ebene ein Hauptkonto hinzufügen, um Ihrem Dienstkonto ein Hauptkonto für den Cloud Storage-Bucket hinzuzufügen, den Sie zum Speichern der Ausgabe von Notebooks verwenden möchten, die in geplanten Workflowausführungen ausgeführt werden, und diesem Hauptkonto die Rolle „Storage-Administrator“ zuzuweisen.
Außerdem müssen Sie dem Standard-Dataform-Dienstkonto die folgende Rolle zuweisen:
- Service Account Token Creator(
roles/iam.serviceAccountTokenCreator) - Folgen Sie Zugriff auf die Tokenerstellung für ein Dienstkonto gewähren, um dem standardmäßigen Dataform-Dienstkonto ein Hauptkonto für Ihr Dienstkonto hinzuzufügen und diesem Hauptkonto die Rolle „Ersteller von Dienstkonto-Tokens“ zuzuweisen.
Weitere Informationen zu Dienstkonten in Dataform finden Sie unter Dienstkonten in Dataform.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwaltung von Workflows benötigen:
-
So löschen Sie Workflows:
Dataform Admin (
roles/dataform.Admin) für den Workflow -
So erstellen, bearbeiten, führen und löschen Sie Workflow-Zeitpläne:
Dataform Admin (
roles/dataform.Admin) für den Workflow -
So rufen Sie Workflows auf und führen sie aus:
Dataform-Betrachter (
roles/dataform.Viewer) für das Projekt -
So rufen Sie Workflow-Zeitpläne auf:
Dataform-Bearbeiter (
roles/dataform.Editor) für das Projekt
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Weitere Informationen zu Dataform IAM finden Sie unter Zugriffssteuerung mit IAM.
Workflow-Zeitplan erstellen
Führen Sie diese Schritte aus, um einen Workflow-Zeitplan zu erstellen.
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.
Klicken Sie auf Planen.
Geben Sie im Bereich Workflow planen im Feld Name des Zeitplans einen Namen für den Zeitplan ein.
Wählen Sie im Feld Dienstkonto ein Dienstkonto aus.
Wenn Ihr Workflow ein Notebook enthält, klicken Sie im Feld Cloud Storage-Bucket auf Durchsuchen und wählen Sie einen Cloud Storage-Bucket zum Speichern der Ausgabe von Notebooks in Ihrem Workflow aus oder erstellen Sie einen.
Dem ausgewählten Dienstkonto muss die IAM-Rolle „Storage Admin“ für den ausgewählten Bucket zugewiesen sein. Weitere Informationen finden Sie unter Workflow-Planung aktivieren.
Führen Sie im Abschnitt Planungshäufigkeit folgende Schritte aus:
- Wählen Sie im Drop-down-Menü Wiederholungen die Häufigkeit der geplanten Workflowausführungen aus.
- Geben Sie im Feld Um die Uhrzeit für die geplanten Workflowausführungen ein.
- Wählen Sie im Drop-down-Menü Zeitzone die Zeitzone für den Zeitplan aus.
Klicken Sie auf Zeitplan erstellen.
Wenn Sie den Zeitplan erstellen, wird die aktuelle Version des Workflows automatisch bereitgestellt. Wenn Sie den Zeitplan mit einer neuen Version des Workflows aktualisieren möchten, müssen Sie den Workflow bereitstellen.
Die zuletzt bereitgestellte Version des Workflows wird zur ausgewählten Zeit und mit der ausgewählten Häufigkeit ausgeführt.
Workflow bereitstellen
Durch die Bereitstellung eines Workflows wird sein Zeitplan mit der aktuellen Version des Workflows aktualisiert. Zeitpläne führen die zuletzt bereitgestellte Version des Workflows aus.
Führen Sie diese Schritte aus, um einen Workflow bereitzustellen.
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.
Klicken Sie auf Bereitstellen.
Der entsprechende Zeitplan wird mit der aktuellen Version des Workflows aktualisiert. Die zuletzt bereitgestellte Version des Workflows wird zum geplanten Zeitpunkt ausgeführt.
Zeitplan deaktivieren
Wenn Sie geplante Ausführungen eines ausgewählten Workflows pausieren möchten, ohne den Zeitplan zu löschen, können Sie ihn deaktivieren.
So deaktivieren Sie einen Zeitplan für einen ausgewählten Workflow:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.
Klicken Sie auf Zeitplan ansehen.
Klicken Sie in der Tabelle Zeitplandetails in der Zeile Zeitplanstatus auf die Ein/Aus-Schaltfläche Zeitplan ist aktiviert.
Zeitplan aktivieren
So nehmen Sie geplante Ausführungen eines deaktivierten Workflow-Zeitplans wieder auf:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.
Klicken Sie auf Zeitplan ansehen.
Klicken Sie in der Tabelle Zeitplandetails in der Zeile Zeitplanstatus auf die Ein/Aus-Schaltfläche Zeitplan deaktiviert.
Bereitstellen Workflow manuell ausführen
Wenn Sie einen Workflow, der mit einem ausgewählten Zeitplan bereitgestellt wurde, manuell ausführen, führt BigQuery den bereitgestellten Workflow einmal aus, unabhängig vom Zeitplan.
So führen Sie einen bereitgestellten Workflow manuell aus:
Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Klicken Sie auf den Namen des ausgewählten Workflow-Zeitplans.
Klicken Sie auf der Seite mit den Details zum Zeitplan auf Ausführen.
Alle Zeitpläne für Workflows ansehen
So rufen Sie alle Workflow-Zeitpläne in Ihrem Google Cloud-Projekt auf:
Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Optional: Wenn Sie zusätzliche Spalten mit Details zum Workflow-Zeitplan anzeigen möchten, klicken Sie auf Spaltenanzeigeoptionen, wählen Sie die gewünschten Spalten aus und klicken Sie auf OK.
Details zum Workflow-Zeitplan ansehen
So rufen Sie Details zu einem ausgewählten Workflow-Zeitplan auf:
Bereich Explorer
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.
Klicken Sie auf Zeitplan ansehen.
Seite Orchestrierung
Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Klicken Sie auf den Namen des ausgewählten Workflow-Zeitplans.
Bisherige geplante Ausführungen ansehen
So rufen Sie bisherige Ausführungen eines ausgewählten Workflow-Zeitplans auf:
Bereich Explorer
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.
Klicken Sie auf Ausführungen.
Optional: Klicken Sie auf Aktualisieren, um die Liste der letzten Ausführungen zu aktualisieren.
Seite Orchestrierung
- Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Klicken Sie auf den Namen des ausgewählten Notizbuchs.
Prüfen Sie auf der Seite Zeitplandetails im Abschnitt Frühere Ausführungen frühere Ausführungen.
Optional: Klicken Sie auf Aktualisieren, um die Liste der letzten Ausführungen zu aktualisieren.
Workflowzeitplan bearbeiten
So bearbeiten Sie einen Workflow-Zeitplan:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.
Klicken Sie auf Zeitplan ansehen und dann auf Bearbeiten.
Bearbeiten Sie im Dialogfeld Workflow planen den Zeitplan und klicken Sie dann auf Zeitplan aktualisieren.
Workflow-Zeitplan löschen
So löschen Sie einen Workflow-Zeitplan endgültig:
Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Führen Sie eine der folgenden Aktionen aus:
Klicken Sie auf den Namen des ausgewählten Workflow-Zeitplans und dann auf der Seite Zeitplandetails auf Löschen.
Klicken Sie in der Zeile mit dem ausgewählten Workflow-Zeitplan in der Spalte Aktionen auf Aktionen ansehen und dann auf Löschen.
Klicken Sie im angezeigten Dialogfeld auf Löschen.