Orchestrare i notebook

Per fornire un feedback sull'orchestrazione dei notebook, invia un'email all'indirizzo bigquery-notebooks-scheduling-support@google.com.

Questo documento descrive come orchestrare i blocchi note di Colab Enterprise in BigQuery, inclusa la programmazione dei blocchi note e l'ispezione delle relative esecuzioni programmate.

Notebooks sono asset di codice basati su Dataform.

Puoi pianificare l'esecuzione automatica di un notebook a un'ora e con una frequenza specificate, ad esempio per addestrare un modello di ML, chiamare API esterne o eseguire codice di DataFrame BigQuery.

Le modifiche apportate a un notebook vengono salvate automaticamente, ma sono disponibili solo per te e per gli utenti che hanno accesso al notebook. Per aggiornare la pianificazione con una nuova versione del notebook, devi eseguire il deployment del notebook. Se esegui il deployment di un blocco note, ne aggiorni la pianificazione con la versione corrente del blocco note. Le pianificazioni eseguono la versione di cui è stato eseguito il deployment più recente del notebook.

Ogni pianificazione del notebook viene eseguita da un account di servizio Dataform personalizzato, che selezioni durante la creazione della pianificazione. Per ulteriori informazioni sui tipi di account di servizio in Dataform, consulta Informazioni sugli account di servizio in Dataform.

Dataform scrive l'output delle esecuzioni pianificate del notebook nel bucket Cloud Storage selezionato durante la creazione della pianificazione.

Le pianificazioni dei notebook utilizzano un runtime E2 standard. Si applicano gli addebiti di Colab Enterprise per i runtime. Ti vengono addebitati gli costi per l'elaborazione in fase di esecuzione in base al tipo di macchina E2. Per informazioni sui prezzi dei runtime E2 standard, consulta la pagina Prezzi di Colab Enterprise.

Prima di iniziare

Prima di iniziare, crea un blocco note.

Attivare la pianificazione dei notebook

Per pianificare i notebook, devi concedere i seguenti ruoli all'account di servizio Dataform personalizzato che prevedi di utilizzare per le pianificazioni dei notebook:

Utente dell'eseguitore del notebook (roles/aiplatform.notebookExecutorUser)
Segui la procedura descritta in Concedere un singolo ruolo a un progetto per concedere il ruolo Utente Executor di notebook al tuo account di servizio Dataform personalizzato nel progetto selezionato.
Amministratore dello spazio di archiviazione (roles/storage.admin)
Segui le istruzioni per aggiungere un'entità a un criterio a livello di bucket per aggiungere il tuo account di servizio Dataform personalizzato come entità al bucket Cloud Storage che prevedi di utilizzare per archiviare l'output delle esecuzioni pianificate dei notebook e concedi a questa entità il ruolo Amministratore archiviazione.
Utente dell'account di servizio (roles/iam.serviceAccountUser)
Segui la procedura descritta in Concedere un singolo ruolo a un account di servizio per aggiungere il tuo account di servizio Dataform personalizzato come entità a se stesso. In altre parole, aggiungi l'account di servizio Dataform personalizzato come entità allo stesso account di servizio Dataform personalizzato. Quindi, concedi a questa entità il ruolo Utente account di servizio.

Inoltre, devi concedere il seguente ruolo all'account di servizio Dataform predefinito:

Creatore token account di servizio(roles/iam.serviceAccountTokenCreator)
Segui le istruzioni riportate in Concedere l'accesso alla creazione di token a un account di servizio Dataform personalizzato per aggiungere l'account di servizio Dataform predefinito come entità al tuo account di servizio Dataform personalizzato e concedi a questa entità il ruolo Creatore token account di servizio.

Per scoprire di più sugli account di servizio in Dataform, consulta Informazioni sugli account di servizio in Dataform.

Autorizzazioni obbligatorie

Per creare pianificazioni dei notebook, devi disporre dei seguenti ruoli:

Per modificare ed eliminare le pianificazioni dei notebook (Anteprima), devi disporre del ruolo Editor di Dataform (roles/dataform.editor).

Per visualizzare le pianificazioni dei notebook (Anteprima), devi disporre del ruolo Visualizzatore Dataform (roles/dataform.viewer).

Per ulteriori informazioni su IAM di BigQuery, consulta Controllo dell'accesso con IAM.

Crea una pianificazione

Per pianificare un notebook:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Notebook e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del blocco note da pianificare.

  3. Fai clic su Pianifica.

  4. Nel riquadro Pianifica blocco note, nel campo Nome pianificazione, inserisci un nome per la pianificazione.

  5. Nel campo Modello di runtime, seleziona un runtime.

  6. Nel campo Account di servizio, seleziona un account di servizio Dataform personalizzato.

  7. Nel campo Bucket Cloud Storage, fai clic su Sfoglia e seleziona o crea un bucket Cloud Storage.

    All'account di servizio Dataform personalizzato selezionato deve essere concesso il ruolo IAM Storage Admin per il bucket selezionato. Per ulteriori informazioni, vedi Attivare la pianificazione dei notebook.

  8. Nella sezione Frequenza pianificazione, segui questi passaggi:

    1. Nel menu a discesa Si ripete, seleziona la frequenza delle esecuzioni pianificate del notebook.
    2. Nel campo All'ora, inserisci l'ora delle esecuzioni pianificate del blocco note.
    3. Nel menu a discesa Fuso orario, seleziona il fuso orario per la programmazione.
  9. Fai clic su Crea programmazione.

Quando crei la pianificazione, viene implementata automaticamente la versione corrente del notebook. Per aggiornare la pianificazione con una nuova versione del notebook, esegui il deployment del notebook.

L'ultima versione di cui è stato eseguito il deployment del notebook viene eseguita all'ora e con la frequenza selezionate.

Esegui il deployment di un notebook

Il deployment di un notebook aggiorna la relativa pianificazione con la versione corrente del notebook. Le pianificazioni eseguono la versione di cui è stato eseguito il deployment più recente del notebook.

Per eseguire il deployment di un notebook:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Notebook e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del blocco note selezionato.

  3. Fai clic su Esegui il deployment.

La pianificazione corrispondente viene aggiornata con la versione corrente del notebook. L'ultima versione di cui è stato eseguito il deployment del notebook viene eseguita all'ora pianificata.

Eseguire manualmente un notebook di cui è stato eseguito il deployment

Quando esegui manualmente un blocco note di cui è stato eseguito il deployment in una pianificazione selezionata, BigQuery esegue il blocco note di cui è stato eseguito il deployment una volta, indipendentemente dalla pianificazione.

Per eseguire manualmente un notebook di cui è stato eseguito il deployment:

  1. Nella console Google Cloud , vai alla pagina Orchestration.

    Vai alla pagina Orchestrazione

  2. Fai clic sul nome della pianificazione del blocco note selezionata.

  3. Nella pagina Dettagli pianificazione, fai clic su Esegui.

Visualizza tutte le pianificazioni

Per visualizzare tutte le pianificazioni dei notebook nel progetto:

  1. Nella console Google Cloud , vai alla pagina Orchestration.

    Vai alla pagina Orchestrazione

  2. (Facoltativo) Per visualizzare colonne aggiuntive con i dettagli della pianificazione del notebook, fai clic su Opzioni di visualizzazione delle colonne, quindi seleziona le colonne e fai clic su OK.

Visualizzare i dettagli della pianificazione

Puoi visualizzare i dettagli di una pianificazione selezionata nel riquadro Explorer o nella pagina Orchestration.

Per visualizzare i dettagli della pianificazione di un notebook selezionato:

Riquadro Explorer

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Notebook e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del notebook selezionato.

  3. Fai clic su Visualizza pianificazione.

Pagina Orchestrazione

  1. Nella console Google Cloud , vai alla pagina Orchestration.

    Vai alla pagina Orchestrazione

  2. Fai clic sul nome della pianificazione del blocco note selezionata.

Visualizza esecuzioni precedenti

Puoi visualizzare le esecuzioni passate di una pianificazione del blocco note selezionata nel riquadro Explorer o nella pagina Orchestration.

Per visualizzare le esecuzioni passate di una pianificazione del notebook selezionata:

Riquadro Explorer

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Notebook e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del notebook selezionato.

  3. Fai clic su Visualizza pianificazione e poi su Visualizza esecuzioni passate.

Pagina Orchestrazione

  1. Nella console Google Cloud , vai alla pagina Orchestration.

    Vai alla pagina Orchestrazione

  2. Fai clic sul nome della pianificazione del blocco note selezionata.

  3. Nella pagina Dettagli pianificazione, nella sezione Esecuzioni passate, esamina le esecuzioni passate.

  4. (Facoltativo) Per aggiornare l'elenco delle esecuzioni passate, fai clic su Aggiorna.

Disattivare una pianificazione

Per mettere in pausa le esecuzioni pianificate di un blocco note selezionato senza eliminare la pianificazione, puoi disattivarla.

Per disattivare una pianificazione per un blocco note selezionato:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Notebook e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del blocco note selezionato.

  3. Fai clic su Visualizza pianificazione.

  4. Nella tabella dei dettagli della pianificazione, nella riga Stato pianificazione, fai clic sul pulsante di attivazione/disattivazione La pianificazione è attivata.

Attivare una pianificazione

Per riprendere le esecuzioni pianificate di una pianificazione disattivata:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Notebook e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del blocco note selezionato.

  3. Fai clic su Visualizza pianificazione.

  4. Nella tabella dei dettagli della pianificazione, nella riga Stato pianificazione, fai clic sul pulsante di attivazione/disattivazione La pianificazione è disattivata.

Modificare una programmazione

Puoi modificare una pianificazione nel riquadro Esploratore o nella pagina Orchestrazione.

Per modificare una pianificazione:

Riquadro Explorer

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Notebook e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del notebook selezionato.

  3. Fai clic su Visualizza pianificazione e poi su Modifica.

  4. Nella finestra di dialogo Pianifica blocco note, modifica la pianificazione e poi fai clic su Aggiorna pianificazione.

Pagina Orchestrazione

  1. Nella console Google Cloud , vai alla pagina Orchestration.

    Vai alla pagina Orchestrazione

  2. Fai clic sul nome della pianificazione del blocco note selezionata.

  3. Nella pagina Dettagli pianificazione, fai clic su Modifica.

  4. Fai clic su Visualizza pianificazione e poi su Modifica.

  5. Nella finestra di dialogo Pianifica blocco note, modifica la pianificazione e poi fai clic su Aggiorna pianificazione.

Elimina una pianificazione

Per eliminare definitivamente una pianificazione per un blocco note selezionato:

  1. Nella console Google Cloud , vai alla pagina Orchestration.

    Vai alla pagina Orchestrazione

  2. Esegui una delle operazioni seguenti:

    • Fai clic sul nome della pianificazione selezionata e poi sulla pagina Dettagli pianificazione fai clic su Elimina.

    • Nella riga contenente la pianificazione selezionata, fai clic su Visualizza azioni nella colonna Azioni e poi su Elimina.

  3. Nella finestra di dialogo visualizzata, fai clic su Elimina.

Passaggi successivi