Notebooks orchestrieren
Wenn Sie Feedback zur Notebook-Orchestrierung geben möchten, senden Sie eine E-Mail an bigquery-notebooks-scheduling-support@google.com.
In diesem Dokument wird beschrieben, wie Sie Colab Enterprise-Notebooks in BigQuery orchestrieren, einschließlich der Planung von Notebooks und der Prüfung geplanter Notebookausführungen.
Notebooks sind Code-Assets, die auf Dataform basieren.
Sie können ein Notebook so planen, dass es automatisch zu einer bestimmten Zeit und mit einer bestimmten Häufigkeit ausgeführt wird. So können Sie beispielsweise ein ML-Modell trainieren, externe APIs aufrufen oder BigQuery DataFrames-Code ausführen.
Änderungen, die Sie an einem Notizbuch vornehmen, werden automatisch gespeichert, sind aber nur für Sie und für Nutzer verfügbar, die Zugriff auf das Notizbuch haben. Wenn Sie den Zeitplan mit einer neuen Version des Notebooks aktualisieren möchten, müssen Sie das Notebook bereitstellen. Wenn Sie ein Notebook bereitstellen, aktualisieren Sie seinen Zeitplan mit der aktuellen Version des Notebooks. Zeitpläne führen die zuletzt bereitgestellte Version des Notebooks aus.
Jeder Notebook-Zeitplan wird von einem benutzerdefinierten Dataform-Dienstkonto ausgeführt, das Sie beim Erstellen des Zeitplans auswählen. Weitere Informationen zu den Arten von Dienstkonten in Dataform finden Sie unter Dienstkonten in Dataform.
Dataform schreibt die Ausgabe geplanter Notebookausführungen in den Cloud Storage-Bucket, der beim Erstellen des Zeitplans ausgewählt wurde.
Für Notebookzeitpläne wird eine Standard-E2-Laufzeit verwendet. Es gelten die Laufzeitgebühren von Colab Enterprise. Die Kosten für die Laufzeitverarbeitung richten sich nach dem E2-Maschinentyp. Informationen zu den Preisen für standardmäßige E2-Laufzeiten finden Sie unter Colab Enterprise-Preise.
Hinweise
Erstellen Sie zuerst ein Notizbuch.
Notebookzeitplan aktivieren
Wenn Sie Notebooks planen möchten, müssen Sie dem benutzerdefinierten Dataform-Dienstkonto, das Sie für Notebookpläne verwenden möchten, die folgenden Rollen zuweisen:
- Notebook Executor User (
roles/aiplatform.notebookExecutorUser) - Folgen Sie der Anleitung unter Einzelne Rolle für ein Projekt gewähren, um Ihrem benutzerdefinierten Dataform-Dienstkonto für das ausgewählte Projekt die Rolle „Notebook-Ausführer“ zuzuweisen.
- Storage-Administrator (
roles/storage.admin) - Folgen Sie der Anleitung unter Richtlinie auf Bucket-Ebene ein Hauptkonto hinzufügen, um Ihrem benutzerdefinierten Dataform-Dienstkonto ein Hauptkonto für den Cloud Storage-Bucket hinzuzufügen, den Sie zum Speichern der Ausgabe geplanter Notebookausführungen verwenden möchten, und diesem Hauptkonto die Rolle „Storage-Administrator“ zuzuweisen.
- Service Account User (
roles/iam.serviceAccountUser) - Folgen Sie der Anleitung unter Einer einzelnen Rolle ein Dienstkonto zuweisen, um Ihrem benutzerdefinierten Dataform-Dienstkonto ein Hauptkonto hinzuzufügen. Das bedeutet, dass Sie dem benutzerdefinierten Dataform-Dienstkonto dasselbe benutzerdefinierte Dataform-Dienstkonto als Hauptkonto hinzufügen. Weisen Sie diesem Hauptkonto dann die Rolle „Dienstkontonutzer“ zu.
Außerdem müssen Sie dem Standard-Dataform-Dienstkonto die folgende Rolle zuweisen:
- Service Account Token Creator(
roles/iam.serviceAccountTokenCreator) - Folgen Sie Zugriff auf die Tokenerstellung für ein benutzerdefiniertes Dataform-Dienstkonto, um dem standardmäßigen Dataform-Dienstkonto ein Hauptkonto für Ihr benutzerdefiniertes Dataform-Dienstkonto hinzuzufügen und diesem Hauptkonto die Rolle „Service Account Token Creator“ zuzuweisen.
Weitere Informationen zu Dienstkonten in Dataform finden Sie unter Dienstkonten in Dataform.
Erforderliche Berechtigungen
Zum Erstellen von Notebook-Zeitplänen benötigen Sie die folgenden Rollen:
- Dataform Admin (
roles/dataform.admin) - BigQuery Read Session-Nutzer (
roles/bigquery.readSessionUser) oder BigQuery Studio-Nutzer (roles/bigquery.studioUser)
Zum Bearbeiten und Löschen von Notebook-Zeitplänen (Vorabversion) benötigen Sie die Rolle Dataform-Bearbeiter (roles/dataform.editor).
Sie benötigen die Rolle Dataform-Betrachter (roles/dataform.viewer), um Notebook-Zeitpläne (Vorabversion) aufzurufen.
Weitere Informationen zu BigQuery IAM finden Sie unter Zugriffssteuerung mit IAM.
Zeitplan erstellen
Zum Löschen eines Notebooks führen Sie diese Schritte aus:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Notebooks und gegebenenfalls den Ordner Freigegebene Notebooks. Klicken Sie auf den Namen des Notebooks, das Sie herunterladen möchten.
Klicken Sie auf Planen.
Geben Sie im Bereich Notebook planen im Feld Name des Zeitplans einen Namen für den Zeitplan ein.
Wählen Sie im Feld Laufzeitvorlage eine Laufzeit aus.
Wählen Sie im Feld Dienstkonto ein benutzerdefiniertes Dataform-Dienstkonto aus.
Klicken Sie im Feld Cloud Storage-Bucket auf Durchsuchen und wählen Sie einen Cloud Storage-Bucket aus oder erstellen Sie einen.
Dem ausgewählten benutzerdefinierten Dataform-Dienstkonto muss die IAM-Rolle „Storage Admin“ für den ausgewählten Bucket zugewiesen sein. Weitere Informationen finden Sie unter Notebook-Planung aktivieren.
Führen Sie im Abschnitt Planungshäufigkeit folgende Schritte aus:
- Wählen Sie im Drop-down-Menü Wiederholungen die Häufigkeit der geplanten Notebookausführungen aus.
- Geben Sie im Feld Um die Uhrzeit für die geplanten Notebookausführungen ein.
- Wählen Sie im Drop-down-Menü Zeitzone die Zeitzone für den Zeitplan aus.
Klicken Sie auf Zeitplan erstellen.
Wenn Sie den Zeitplan erstellen, wird die aktuelle Version des Notebooks automatisch bereitgestellt. Wenn Sie den Zeitplan mit einer neuen Version des Notebooks aktualisieren möchten, müssen Sie das Notebook bereitstellen.
Die zuletzt bereitgestellte Version des Notebooks wird zur ausgewählten Zeit und mit der ausgewählten Häufigkeit ausgeführt.
Notebook bereitstellen
Durch die Bereitstellung eines Notebooks wird sein Zeitplan mit der aktuellen Version des Notebooks aktualisiert. Zeitpläne führen die zuletzt bereitgestellte Version des Notebooks aus.
So stellen Sie ein Notebook bereit:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Notebooks und gegebenenfalls den Ordner Freigegebene Notebooks. Klicken Sie auf den Namen des ausgewählten Notizbuchs.
Klicken Sie auf Bereitstellen.
Der entsprechende Zeitplan wird mit der aktuellen Version des Notebooks aktualisiert. Die zuletzt bereitgestellte Version des Notebooks wird zum geplanten Zeitpunkt ausgeführt.
Bereitstellen Notebook manuell ausführen
Wenn Sie ein Notebook, das mit einem ausgewählten Zeitplan bereitgestellt wurde, manuell ausführen, führt BigQuery das bereitgestellte Notebook einmal aus, unabhängig vom Zeitplan.
So führen Sie ein bereitgestelltes Notebook manuell aus:
Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Klicken Sie auf den Namen des ausgewählten Notebookzeitplans.
Klicken Sie auf der Seite mit den Details zum Zeitplan auf Ausführen.
Alle Zeitpläne ansehen
So rufen Sie alle Notebook-Zeitpläne in Ihrem Projekt auf:
Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Optional: Wenn Sie zusätzliche Spalten mit Details zum Notebook-Zeitplan anzeigen möchten, klicken Sie auf Spaltenanzeigeoptionen, wählen Sie die gewünschten Spalten aus und klicken Sie auf OK.
Zeitplandetails ansehen
Details zu einem ausgewählten Zeitplan finden Sie im Bereich Explorer oder auf der Seite Orchestrierung.
So rufen Sie Zeitplandetails für ein ausgewähltes Notebook auf:
Bereich Explorer
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Notebooks und gegebenenfalls den Ordner Freigegebene Notebooks. Klicken Sie auf den Namen des ausgewählten Notizbuchs.
Klicken Sie auf Zeitplan ansehen.
Seite Orchestrierung
Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Klicken Sie auf den Namen des ausgewählten Notebookzeitplans.
Bisherige Ausführungen ansehen
Sie können sich die bisherigen Ausführungen eines ausgewählten Notebook-Zeitplans im Bereich Explorer oder auf der Seite Orchestrierung ansehen.
So rufen Sie bisherige Ausführungen eines ausgewählten Notebook-Zeitplans auf:
Bereich Explorer
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Notebooks und gegebenenfalls den Ordner Freigegebene Notebooks. Klicken Sie auf den Namen des ausgewählten Notizbuchs.
Klicken Sie auf Zeitplan ansehen und dann auf Frühere Ausführungen ansehen.
Seite Orchestrierung
Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Klicken Sie auf den Namen des ausgewählten Notebookzeitplans.
Prüfen Sie auf der Seite Zeitplandetails im Abschnitt Frühere Ausführungen frühere Ausführungen.
Optional: Klicken Sie auf Aktualisieren, um die Liste der letzten Ausführungen zu aktualisieren.
Zeitplan deaktivieren
Wenn Sie geplante Ausführungen eines ausgewählten Notebooks pausieren möchten, ohne den Zeitplan zu löschen, können Sie ihn deaktivieren.
So deaktivieren Sie einen Zeitplan für ein ausgewähltes Notebook:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Notebooks und gegebenenfalls den Ordner Freigegebene Notebooks. Klicken Sie auf den Namen des ausgewählten Notizbuchs.
Klicken Sie auf Zeitplan ansehen.
Klicken Sie in der Tabelle „Zeitplandetails“ in der Zeile Zeitplanstatus auf die Ein/Aus-Schaltfläche Zeitplan ist aktiviert.
Zeitplan aktivieren
So nehmen Sie geplante Ausführungen eines deaktivierten Zeitplans wieder auf:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Notebooks und gegebenenfalls den Ordner Freigegebene Notebooks. Klicken Sie auf den Namen des ausgewählten Notizbuchs.
Klicken Sie auf Zeitplan ansehen.
Klicken Sie in der Tabelle „Zeitplandetails“ in der Zeile Zeitplanstatus auf die Ein/Aus-Schaltfläche Zeitplan deaktiviert.
Zeitplan bearbeiten
Sie können einen Zeitplan im Bereich Explorer oder auf der Seite Orchestrierung bearbeiten.
So bearbeiten Sie einen Zeitplan:
Bereich Explorer
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Notebooks und gegebenenfalls den Ordner Freigegebene Notebooks. Klicken Sie auf den Namen des ausgewählten Notizbuchs.
Klicken Sie auf Zeitplan ansehen und dann auf Bearbeiten.
Bearbeiten Sie im Dialogfeld Notebook planen den Zeitplan und klicken Sie dann auf Zeitplan aktualisieren.
Seite Orchestrierung
Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Klicken Sie auf den Namen des ausgewählten Notebookzeitplans.
Klicken Sie auf der Seite Zeitplandetails auf Bearbeiten.
Klicken Sie auf Zeitplan ansehen und dann auf Bearbeiten.
Bearbeiten Sie im Dialogfeld Notebook planen den Zeitplan und klicken Sie dann auf Zeitplan aktualisieren.
Zeitplan löschen
So löschen Sie einen Zeitplan für ein ausgewähltes Notebook endgültig:
Rufen Sie in der Google Cloud Console die Seite Orchestrierung auf.
Führen Sie eine der folgenden Aktionen aus:
Klicken Sie auf den Namen des ausgewählten Zeitplans und dann auf der Seite Zeitplandetails auf Löschen.
Klicken Sie in der Zeile mit dem ausgewählten Zeitplan in der Spalte Aktionen auf Aktionen ansehen und dann auf Löschen.
Klicken Sie im angezeigten Dialogfeld auf Löschen.
Nächste Schritte
- Weitere Informationen zu Colab Enterprise-Notebooks in BigQuery
- Notebooks erstellen