Workflows verwalten
In diesem Dokument wird beschrieben, wie Sie Workflows verwalten, einschließlich der Planung und des Löschens von Workflows.
Außerdem wird beschrieben, wie Sie Workflow-Metadaten in Dataplex aufrufen und verwalten.
Workflows basieren auf Dataform.
Hinweise
- Erstellen Sie einen Workflow.
- Wenn Sie Workflow-Metadaten in Dataplex verwalten möchten, muss die Dataplex API in Ihrem Google Cloud -Projekt aktiviert sein.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwaltung von Workflows benötigen:
-
So löschen Sie Workflows:
Dataform Admin (
roles/dataform.Admin
) für den Workflow -
So rufen Sie Workflows auf und führen sie aus:
Dataform-Betrachter (
roles/dataform.Viewer
) für das Projekt
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Wenn Sie Workflow-Metadaten in Dataplex verwalten möchten, benötigen Sie die erforderlichen Dataplex-Rollen.
Weitere Informationen zu Dataform IAM finden Sie unter Zugriffssteuerung mit IAM.
Alle Workflows anzeigen
So rufen Sie eine Liste aller Workflows in Ihrem Projekt auf:
Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
Klicken Sie im Bereich Explorer auf
und maximieren Sie Workflows.
Bisherige manuelle Ausführungen ansehen
So rufen Sie die letzten manuellen Ausführungen eines ausgewählten Workflows auf:
Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.
Klicken Sie auf Ausführungen.
Optional: Klicken Sie auf Aktualisieren, um die Liste der letzten Ausführungen zu aktualisieren.
Benachrichtigungen für fehlgeschlagene Workflowausführungen konfigurieren
Jeder Workflow hat eine entsprechende Dataform-Repository-ID. Jede Ausführung eines BigQuery-Workflows wird in Cloud Logging mit der entsprechenden Dataform-Repository-ID protokolliert. Mit Cloud Monitoring können Sie Trends in Cloud Logging-Logs für BigQuery-Workflowausführungen beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen auftreten.
Wenn Sie Benachrichtigungen erhalten möchten, wenn ein BigQuery-Workflow fehlschlägt, können Sie eine protokollbasierte Benachrichtigungsrichtlinie für die entsprechende Dataform-Repository-ID erstellen. Eine Anleitung finden Sie unter Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren.
So finden Sie die Dataform-Repository-ID Ihres Workflows:
Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.
Klicken Sie auf Einstellungen.
Die Dataform-Repository-ID Ihres Workflows wird unten auf dem Tab Einstellungen angezeigt.
Workflow löschen
So löschen Sie einen Workflow endgültig:
Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows. Suchen Sie den Workflow, den Sie löschen möchten.
Klicken Sie neben dem Workflow auf
Aktionen ansehen und dann auf Löschen.Klicken Sie auf Löschen.
Metadaten in Dataplex verwalten
Mit Dataplex können Sie Metadaten für Workflows speichern und verwalten. Workflows sind in Dataplex standardmäßig ohne zusätzliche Konfiguration verfügbar.
Mit Dataplex können Sie Workflows an allen Workflow-Standorten verwalten. Für die Verwaltung von Workflows in Dataplex gelten die Kontingente und Limits für Dataplex sowie die Dataplex-Preise.
Dataplex ruft automatisch die folgenden Metadaten aus Workflows ab:
- Name des Daten-Assets
- Übergeordnetes Daten-Asset
- Speicherort des Daten-Assets
- Daten-Asset-Typ
- Entsprechendes Google Cloud -Projekt
In Dataplex werden Workflows als Einträge mit den folgenden Eintragswerten protokolliert:
- Systemeintragsgruppe
- Die Systemeintragsgruppe für Workflows ist
@dataform
. Wenn Sie Details zu Workflow-Einträgen in Dataplex aufrufen möchten, müssen Sie die Systemeintragsgruppedataform
aufrufen. Eine Anleitung zum Aufrufen einer Liste aller Einträge in einer Eintragsgruppe finden Sie in der Dataplex-Dokumentation unter Details einer Eintragsgruppe aufrufen. - Systemeintragstyp
- Der Systemeintragstyp für Workflows ist
dataform-code-asset
. Wenn Sie Details zu Workflows aufrufen möchten, müssen Sie den Systemeintragstypdataform-code-asset
aufrufen, die Ergebnisse mit einem aspektbasierten Filter filtern und das Feldtype
im Aspektdataform-code-asset
aufWORKFLOW
setzen. Wählen Sie dann einen Eintrag des ausgewählten Workflows aus. Eine Anleitung zum Aufrufen von Details zu einem ausgewählten Eintragstyp finden Sie in der Dataplex-Dokumentation unter Details zu einem Eintragstyp aufrufen. Eine Anleitung zum Aufrufen der Details eines ausgewählten Eintrags finden Sie in der Dataplex-Dokumentation unter Details eines Eintrags aufrufen. - Systemaspekttyp
- Der Systemaspekttyp für Workflows ist
dataform-code-asset
. Wenn Sie Datenworkflow-Einträge mit Aspekten annotieren und so Workflows in Dataplex zusätzlichen Kontext geben möchten, rufen Sie den Aspekttypdataform-code-asset
auf, filtern Sie die Ergebnisse mit einem aspektbasierten Filter und legen Sie das Feldtype
im Aspektdataform-code-asset
aufWORKFLOW
fest. Eine Anleitung zum Anhängen von Aspekten an Einträge finden Sie in der Dataplex-Dokumentation unter Aspekte verwalten und Metadaten anreichern. - Typ
- Der Typ für Datenkanäle ist
WORKFLOW
. Mit diesem Typ können Sie Workflows imdataform-code-asset
-Systemeintragstyp und imdataform-code-asset
-Aspekttyp filtern, indem Sie dieaspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW
-Abfrage in einem aspektbasierten Filter verwenden.
Eine Anleitung zum Suchen nach Assets in Dataplex finden Sie in der Dataplex-Dokumentation unter Datenassets in Dataplex suchen.
Nächste Schritte
- Weitere Informationen zu Workflows in BigQuery
- Weitere Informationen zum Erstellen von Workflows
- Weitere Informationen zum Orchestrating von Workflows