Datenvorbereitungen orchestrieren
In diesem Dokument wird beschrieben, wie Sie Pipelines zur Datenvorbereitung orchestrieren, einschließlich der Ausführung manueller und geplanter Ausführungen.
Datenvorbereitungen basieren auf Dataform.
Die Datenvorbereitung wird mit benutzerdefinierten Dataform-Dienstkonten ausgeführt, die Sie beim Konfigurieren von Zeitplänen oder Testläufen auswählen. Weitere Informationen finden Sie unter Dienstkonten in Dataform.
Änderungen, die Sie an den Schritten zur Datenvorbereitung vornehmen, werden nicht automatisch gespeichert. Sie müssen die Änderungen speichern und bereitstellen, bevor sie mit einem Zeitplan ausgeführt werden können. Zeitpläne führen immer die zuletzt bereitgestellte Version der Datenvorbereitung aus und schließen alle nicht bereitgestellten Änderungen aus, die Sie möglicherweise entwickeln.
Hinweise
Bevor Sie beginnen, erstellen Sie eine Datenvorbereitung.
Erforderliche Rollen
Wenn Sie Datenvorbereitungen ausführen möchten, müssen Sie die Rollen dem Dienstkonto zuweisen, das Sie für die Ausführung der Datenvorbereitungen verwenden möchten. Weitere Informationen finden Sie unter Erforderliche Rollen.
Datenvorbereitung entwickeln
Während Sie eine Datenvorbereitung entwickeln, können Sie die Schritte manuell ausführen und die Ausgabe prüfen, bevor Sie die Änderungen in der Produktionsumgebung bereitstellen. Sie können die aktuelle Version, die Sie entwickeln, an Ihren Daten testen, während in BigQuery weiterhin die zuletzt bereitgestellte Version gemäß einem Zeitplan ausgeführt wird. Bevor Sie die Ausführung ausführen können, müssen Sie das Ziel konfigurieren und alle Validierungsfehler beheben.
Datenvorbereitung in der Entwicklungsphase manuell ausführen
Wenn Sie die Schritte zur Datenvorbereitung testen und die Ergebnisse in der Zieltabelle validieren möchten, führen Sie die Datenvorbereitung manuell über den Editor für die Datenvorbereitung aus:
Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Datenvorbereitung. Klicken Sie auf den Namen der Datenvorbereitung, die Sie ausführen möchten.
Konfigurieren Sie die Berechtigungen für das Dienstkonto für die Ausführung:
- Bewegen Sie den Mauszeiger im Editor für die Datenvorbereitung auf die deaktivierte Option Ausführen.
- Klicken Sie im angezeigten Dialogfeld mit Informationen zur Konfiguration des Dienstkontos auf Konfigurieren.
- Wählen Sie im Dialogfeld Dienstkontoeinstellungen ein Dienstkonto aus.
- Wenn das Dienstkonto zusätzliche Berechtigungen benötigt, erteilen Sie ihm die erforderlichen Rollen. Klicken Sie dazu auf Alle gewähren.
- Klicken Sie auf Speichern.
Optional: Wenn Sie das Dienstkonto für zukünftige Ausführungen aktualisieren möchten, klicken Sie in der Symbolleiste des Editors für die Datenvorbereitung auf Dreipunkt-Menü > Jetzt Ausführung konfigurieren und aktualisieren und speichern Sie dann die Dienstkontoeinstellungen.
Beheben Sie alle angezeigten Validierungsfehler.
Klicken Sie in der Symbolleiste des Editors für die Datenvorbereitung auf Ausführen.
Klicken Sie im Dialogfeld Jetzt ausführen auf Bestätigen, um zu bestätigen, dass bei dieser manuellen Ausführung Daten in eine Zieltabelle geschrieben werden, die Sie möglicherweise auch für geplante Ausführungen verwenden.
Bei der Ausführung werden dann die Schritte ausgeführt und die Ausgabe an das Ziel geladen.
Optional: Nach Abschluss der Ausführung können Sie die Details im Bereich Ausführungen aufrufen.
Datenvorbereitung bereitstellen
Wenn Sie Ausführungen für eine Version Ihrer Datenvorbereitung planen möchten, müssen Sie sie zuerst bereitstellen. Zeitpläne führen die zuletzt bereitgestellte Version aus.
So stellen Sie eine Datenvorbereitung bereit:
Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Datenvorbereitung. Klicken Sie auf den Namen der ausgewählten Datenvorbereitung.
Der Editor für die Datenvorbereitung wird geöffnet.
Klicken Sie in der Symbolleiste des Editors für die Datenvorbereitung auf Bereitstellen.
Zeitplan erstellen
Wenn Sie einen Zeitplan erstellen möchten, der die bereitgestellten Schritte zur Datenvorbereitung ausführt und die vorbereiteten Daten in die Zieltabelle lädt, planen Sie einen Durchlauf der Datenvorbereitung. Um den Ablauf zu planen, müssen Sie das Ziel konfigurieren und alle Validierungsfehler beheben.
So erstellen Sie einen Zeitplan:
Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Datenvorbereitung. Klicken Sie auf den Namen der Datenvorbereitung, die Sie planen möchten.
Klicken Sie in der Symbolleiste des Editors für die Datenvorbereitung auf Planen.
Geben Sie einen Namen für den Zeitplan ein.
Geben Sie den Namen des Dienstkontos ein, das mit der Ausführung verknüpft ist.
Legen Sie eine Häufigkeit fest.
Klicken Sie auf Zeitplan erstellen.
Geplante Datenvorbereitung manuell ausführen
Wenn Sie eine Datenvorbereitung mit einem ausgewählten Zeitplan manuell ausführen, führt BigQuery die Datenvorbereitung einmal aus, unabhängig vom Zeitplan.
So führen Sie eine geplante Datenvorbereitung manuell aus:
Rufen Sie in der Google Cloud Console die Seite Planung auf.
Klicken Sie auf den Namen des ausgewählten Zeitplans für die Datenvorbereitung.
Klicken Sie auf der Seite mit den Details zum Zeitplan auf Ausführen.
Terminübersichten ansehen
Sie können Zeitpläne für die Datenvorbereitung im Editor für die Datenvorbereitung oder auf der Seite Planung aufrufen.
Editor für die Datenvorbereitung
So rufen Sie den Zeitplan für die Datenvorbereitung auf:
- Klicken Sie in der Symbolleiste des Datenvorbereitungseditors auf Zeitplan Zeitplan ansehen.
- Optional: Klicken Sie auf Letzte Ausführungen ansehen, um den Zeitplanverlauf aufzurufen.
Seite „Planung“
So rufen Sie alle Zeitpläne für die Datenvorbereitung in Ihrem Projekt auf:
Rufen Sie in der Google Cloud Console die Seite Planung auf.
Optional: Wenn Sie den Ausführungsverlauf und die Details eines ausgewählten Zeitplans aufrufen möchten, klicken Sie auf den Namen des Zeitplans. Der Verlauf der manuellen Ausführungen wird nicht angezeigt.
Zeitplan bearbeiten
Sie können einen Zeitplan im Editor für die Datenvorbereitung oder auf der Seite Planung bearbeiten.
Editor für die Datenvorbereitung
So bearbeiten Sie einen Zeitplan:
- Klicken Sie in der Symbolleiste des Editors für die Datenvorbereitung auf Zeitplan Zeitplan ansehen.
- Klicken Sie im Dialogfeld Datenvorbereitung planen auf Bearbeiten und aktualisieren Sie den Zeitplan.
- Klicken Sie auf Zeitplan aktualisieren.
Seite „Planung“
So bearbeiten Sie einen Zeitplan:
Rufen Sie in der Google Cloud Console die Seite Planung auf.
Klicken Sie auf den Namen des ausgewählten Zeitplans für die Datenvorbereitung.
Klicken Sie auf der Seite Zeitplandetails auf Bearbeiten.
Klicken Sie auf Zeitplan ansehen.
Klicken Sie im Dialogfeld Datenvorbereitung planen auf Bearbeiten und aktualisieren Sie den Zeitplan.
Klicken Sie auf Zeitplan aktualisieren.
Zeitplan löschen
So löschen Sie einen Zeitplan für eine ausgewählte Datenvorbereitung endgültig:
Rufen Sie in der Google Cloud Console die Seite Planung auf.
Klicken Sie in der Zeile mit dem Zeitplan auf more_vert Aktionen > Löschen.
Nächste Schritte
- Weitere Informationen zum Erstellen von Datenvorbereitungen
- Weitere Informationen zum Verwalten der Datenvorbereitung