Workflows verwalten

In diesem Dokument wird beschrieben, wie Sie Workflows verwalten, einschließlich der Planung und des Löschens von Workflows.

Außerdem wird beschrieben, wie Sie Workflow-Metadaten in Dataplex aufrufen und verwalten.

Workflows basieren auf Dataform.

Hinweise

  1. Erstellen Sie einen Workflow.
  2. Wenn Sie Workflow-Metadaten in Dataplex verwalten möchten, muss die Dataplex API in Ihrem Google Cloud -Projekt aktiviert sein.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwaltung von Workflows benötigen:

  • So löschen Sie Workflows: Dataform Admin (roles/dataform.Admin) für den Workflow
  • So rufen Sie Workflows auf und führen sie aus: Dataform-Betrachter (roles/dataform.Viewer) für das Projekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie Workflow-Metadaten in Dataplex verwalten möchten, benötigen Sie die erforderlichen Dataplex-Rollen.

Weitere Informationen zu Dataform IAM finden Sie unter Zugriffssteuerung mit IAM.

Alle Workflows anzeigen

So rufen Sie eine Liste aller Workflows in Ihrem Projekt auf:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im Bereich Explorer auf und maximieren Sie Workflows.

Bisherige manuelle Ausführungen ansehen

So rufen Sie die letzten manuellen Ausführungen eines ausgewählten Workflows auf:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.

  3. Klicken Sie auf Ausführungen.

  4. Optional: Klicken Sie auf Aktualisieren, um die Liste der letzten Ausführungen zu aktualisieren.

Benachrichtigungen für fehlgeschlagene Workflowausführungen konfigurieren

Jeder Workflow hat eine entsprechende Dataform-Repository-ID. Jede Ausführung eines BigQuery-Workflows wird in Cloud Logging mit der entsprechenden Dataform-Repository-ID protokolliert. Mit Cloud Monitoring können Sie Trends in Cloud Logging-Logs für BigQuery-Workflowausführungen beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen auftreten.

Wenn Sie Benachrichtigungen erhalten möchten, wenn ein BigQuery-Workflow fehlschlägt, können Sie eine protokollbasierte Benachrichtigungsrichtlinie für die entsprechende Dataform-Repository-ID erstellen. Eine Anleitung finden Sie unter Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren.

So finden Sie die Dataform-Repository-ID Ihres Workflows:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows und wählen Sie dann einen Workflow aus.

  3. Klicken Sie auf Einstellungen.

    Die Dataform-Repository-ID Ihres Workflows wird unten auf dem Tab Einstellungen angezeigt.

Workflow löschen

So löschen Sie einen Workflow endgültig:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Workflows. Suchen Sie den Workflow, den Sie löschen möchten.

  3. Klicken Sie neben dem Workflow auf Aktionen ansehen und dann auf Löschen.

  4. Klicken Sie auf Löschen.

Metadaten in Dataplex verwalten

Mit Dataplex können Sie Metadaten für Workflows speichern und verwalten. Workflows sind in Dataplex standardmäßig ohne zusätzliche Konfiguration verfügbar.

Mit Dataplex können Sie Workflows an allen Workflow-Standorten verwalten. Für die Verwaltung von Workflows in Dataplex gelten die Kontingente und Limits für Dataplex sowie die Dataplex-Preise.

Dataplex ruft automatisch die folgenden Metadaten aus Workflows ab:

  • Name des Daten-Assets
  • Übergeordnetes Daten-Asset
  • Speicherort des Daten-Assets
  • Daten-Asset-Typ
  • Entsprechendes Google Cloud -Projekt

In Dataplex werden Workflows als Einträge mit den folgenden Eintragswerten protokolliert:

Systemeintragsgruppe
Die Systemeintragsgruppe für Workflows ist @dataform. Wenn Sie Details zu Workflow-Einträgen in Dataplex aufrufen möchten, müssen Sie die Systemeintragsgruppe dataform aufrufen. Eine Anleitung zum Aufrufen einer Liste aller Einträge in einer Eintragsgruppe finden Sie in der Dataplex-Dokumentation unter Details einer Eintragsgruppe aufrufen.
Systemeintragstyp
Der Systemeintragstyp für Workflows ist dataform-code-asset. Wenn Sie Details zu Workflows aufrufen möchten, müssen Sie den Systemeintragstyp dataform-code-asset aufrufen, die Ergebnisse mit einem aspektbasierten Filter filtern und das Feld type im Aspekt dataform-code-asset auf WORKFLOW setzen. Wählen Sie dann einen Eintrag des ausgewählten Workflows aus. Eine Anleitung zum Aufrufen von Details zu einem ausgewählten Eintragstyp finden Sie in der Dataplex-Dokumentation unter Details zu einem Eintragstyp aufrufen. Eine Anleitung zum Aufrufen der Details eines ausgewählten Eintrags finden Sie in der Dataplex-Dokumentation unter Details eines Eintrags aufrufen.
Systemaspekttyp
Der Systemaspekttyp für Workflows ist dataform-code-asset. Wenn Sie Datenworkflow-Einträge mit Aspekten annotieren und so Workflows in Dataplex zusätzlichen Kontext geben möchten, rufen Sie den Aspekttyp dataform-code-asset auf, filtern Sie die Ergebnisse mit einem aspektbasierten Filter und legen Sie das Feld type im Aspekt dataform-code-asset auf WORKFLOW fest. Eine Anleitung zum Anhängen von Aspekten an Einträge finden Sie in der Dataplex-Dokumentation unter Aspekte verwalten und Metadaten anreichern.
Typ
Der Typ für Datenkanäle ist WORKFLOW. Mit diesem Typ können Sie Workflows im dataform-code-asset-Systemeintragstyp und im dataform-code-asset-Aspekttyp filtern, indem Sie die aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW-Abfrage in einem aspektbasierten Filter verwenden.

Eine Anleitung zum Suchen nach Assets in Dataplex finden Sie in der Dataplex-Dokumentation unter Datenassets in Dataplex suchen.

Nächste Schritte