Orchestrare i notebook
Per fornire un feedback sull'orchestrazione dei notebook, invia un'email all'indirizzo bigquery-notebooks-scheduling-support@google.com.
Questo documento descrive come orchestrare Blocchi note Colab Enterprise in BigQuery tra cui la pianificazione dei blocchi note e l'ispezione delle esecuzioni pianificate.
I notebook sono asset di codice basati su Dataform.
Puoi pianificare l'esecuzione automatica di un blocco note di tempo e frequenza specificati, ad esempio, per addestrare un modello ML, chiama API esterne o esegui il codice di BigQuery DataFrames.
Le modifiche apportate a un blocco note vengono salvate automaticamente, ma disponibili solo per te e per gli utenti che hanno l'accesso al blocco note. Per aggiornare la pianificazione con una nuova versione del blocco note, devi eseguire il deployment del blocco note. Se esegui il deployment di un blocco note, ne aggiorni la pianificazione con la versione corrente del blocco note. Le pianificazioni eseguono l'ultima versione di cui è stato eseguito il deployment del notebook.
Ogni pianificazione del notebook viene eseguita da un account di servizio Dataform personalizzato, che selezioni durante la creazione della pianificazione. Per ulteriori informazioni sui tipi di gli account di servizio in Dataform, vedi Informazioni sugli account di servizio in Dataform.
Dataform scrive l'output delle esecuzioni del blocco note pianificate nel Bucket Cloud Storage selezionato durante per la creazione della programmazione.
Le pianificazioni dei notebook utilizzano un runtime E2 standard. Si applicano gli addebiti di Colab Enterprise per i runtime. Ti viene addebitato il costo dell'elaborazione in fase di esecuzione in base al tipo di macchina E2. Per informazioni sui prezzi dei runtime E2 standard, consulta i prezzi di Colab Enterprise.
Prima di iniziare
Prima di iniziare, crea un blocco note.
Abilita la pianificazione del blocco note
Per pianificare la creazione di blocchi note, devi concedere i ruoli seguenti al account di servizio Dataform personalizzato per il quale prevedi di utilizzare pianificazioni blocco note:
- Utente esecutore blocco note (
roles/aiplatform.notebookExecutorUser) - Segui la procedura descritta in Concedere un singolo ruolo a un progetto per concedere il ruolo Utente Executor di notebook al tuo account di servizio Dataform personalizzato nel progetto selezionato.
- Amministratore dello spazio di archiviazione (
roles/storage.admin) - Segui la procedura descritta in Aggiungere un'entità a un criterio a livello di bucket per aggiungere il tuo account di servizio Dataform personalizzato come entità al bucket Cloud Storage che prevedi di utilizzare per archiviare l'output delle esecuzioni pianificate dei notebook e concedi a questa entità il ruolo Amministratore archiviazione.
- Utente dell'account di servizio (
roles/iam.serviceAccountUser) - Segui la procedura descritta in Concedere un singolo ruolo a un account di servizio per aggiungere il tuo account di servizio Dataform personalizzato come entità a se stesso. In altre parole, aggiungi l'account di servizio Dataform personalizzato come entità allo stesso account di servizio Dataform personalizzato. Concedi quindi il ruolo Utente account di servizio a questa entità.
Inoltre, devi concedere il seguente ruolo all'account di servizio Dataform predefinito:
- Creatore token account di servizio(
roles/iam.serviceAccountTokenCreator) - Segui Concedi l'accesso per la creazione di token a un account di servizio Dataform personalizzato per aggiungere l'account di servizio Dataform predefinito come entità al tuo un account di servizio Dataform personalizzato, e concedere il ruolo Creatore token account di servizio a questa entità.
Per scoprire di più sugli account di servizio in Dataform, consulta Informazioni sugli account di servizio in Dataform.
Autorizzazioni obbligatorie
Per creare pianificazioni dei notebook, devi disporre dei seguenti ruoli:
- Amministratore Dataform (
roles/dataform.admin) - Utente sessione di lettura BigQuery (
roles/bigquery.readSessionUser) o Utente BigQuery Studio (roles/bigquery.studioUser)
Per modificare ed eliminare le pianificazioni dei notebook (Anteprima), devi disporre del ruolo
Editor di Dataform (roles/dataform.editor).
Per visualizzare le pianificazioni dei notebook (Anteprima), devi disporre del ruolo Visualizzatore Dataform (roles/dataform.viewer).
Per ulteriori informazioni su IAM di BigQuery, consulta Controllo dell'accesso con IAM.
Crea una pianificazione
Per pianificare un blocco note, segui questi passaggi:
Nella console Google Cloud, vai alla Pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Blocchi note e, se necessario, nella cartella Blocchi note condivisi. Fai clic sul nome del blocco note da pianificare.
Fai clic su Pianifica.
Nel riquadro Pianifica blocco note, nel campo Nome pianificazione, inserisci un nome per la pianificazione.
Nel campo Modello di runtime, seleziona un runtime.
Nel campo Account di servizio, seleziona un modulo Dataform personalizzato l'account di servizio.
Nel campo Bucket Cloud Storage, fai clic su Sfoglia. e selezionare o creare un bucket Cloud Storage.
All'account di servizio Dataform personalizzato selezionato deve essere concesso il ruolo IAM Storage Admin per il bucket selezionato. Per ulteriori informazioni, consulta Attivare la pianificazione dei notebook.
Nella sezione Frequenza pianificazione, segui questi passaggi:
- Nel menu a discesa Si ripete, seleziona la frequenza delle esecuzioni pianificate del notebook.
- Nel campo All'ora, inserisci l'ora delle esecuzioni pianificate del blocco note.
- Nel menu a discesa Fuso orario, seleziona il fuso orario per la pianificazione.
Fai clic su Crea pianificazione.
Quando crei la pianificazione, viene implementata automaticamente la versione corrente del notebook. Per aggiornare la pianificazione con una nuova versione del notebook, esegui il deployment del notebook.
L'ultima versione di cui è stato eseguito il deployment del blocco note vengono eseguite all'ora e alla frequenza selezionate.
Esegui il deployment di un notebook
Il deployment di un notebook aggiorna la pianificazione con la versione corrente del notebook. Le pianificazioni eseguono l'ultima versione di cui è stato eseguito il deployment del notebook.
Per eseguire il deployment di un notebook:
Nella console Google Cloud, vai alla Pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Notebook e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del blocco note selezionato.
Fai clic su Esegui il deployment.
La pianificazione corrispondente viene aggiornata con la versione corrente del blocco note. L'ultima versione di cui è stato eseguito il deployment del notebook viene eseguita all'ora pianificata.
Esegui manualmente un blocco note di cui è stato eseguito il deployment
Quando esegui manualmente un blocco note di cui è stato eseguito il deployment in una pianificazione selezionata, BigQuery esegue una volta il blocco note di cui è stato eseguito il deployment in modo indipendente dalla programmazione.
Per eseguire manualmente un notebook di cui è stato eseguito il deployment:
Nella console Google Cloud, vai alla pagina Orchestration.
Fai clic sul nome della pianificazione del blocco note selezionata.
Nella pagina Dettagli pianificazione, fai clic su Esegui.
Visualizza tutte le pianificazioni
Per visualizzare tutte le pianificazioni del blocco note nel tuo progetto:
Nella console Google Cloud, vai alla pagina Orchestration.
(Facoltativo) Per visualizzare altre colonne con i dettagli di pianificazione del blocco note, fai clic su Opzioni di visualizzazione delle colonne, e seleziona Colonne e fai clic su OK.
Visualizzare i dettagli della pianificazione
Puoi visualizzare i dettagli di una pianificazione selezionata nel riquadro Explorer o sulla pagina Orchestrazione.
Per visualizzare i dettagli di pianificazione per un blocco note selezionato:
Riquadro Explorer
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Notebook e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del notebook selezionato.
Fai clic su Visualizza pianificazione.
Pagina Orchestrazione
Nella console Google Cloud, vai alla pagina Orchestration.
Fai clic sul nome della pianificazione del blocco note selezionata.
Visualizza esecuzioni precedenti
Puoi visualizzare le esecuzioni passate di una pianificazione del blocco note selezionata nel riquadro Explorer o nella pagina Orchestration.
Per visualizzare le esecuzioni passate di una pianificazione del notebook selezionata:
Riquadro Explorer
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la sezione Blocchi note e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del notebook selezionato.
Fai clic su Visualizza pianificazione e poi su Visualizza esecuzioni passate.
Pagina Orchestrazione
Nella console Google Cloud, vai alla pagina Orchestration.
Fai clic sul nome della pianificazione del blocco note selezionata.
Nella pagina Dettagli pianificazione, nella sezione Esecuzioni precedenti, per esaminare le esecuzioni passate.
(Facoltativo) Per aggiornare l'elenco delle esecuzioni precedenti, fai clic su Aggiorna.
Disattivare una programmazione
Per mettere in pausa le esecuzioni pianificate di un blocco note selezionato senza eliminare la pianificazione, puoi disabilitare la pianificazione.
Per disattivare una pianificazione per un blocco note selezionato:
Nella console Google Cloud, vai alla Pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Blocchi note e, se necessario, nella cartella Blocchi note condivisi. Fai clic sul nome del blocco note selezionato.
Fai clic su Visualizza pianificazione.
Nella tabella dei dettagli della pianificazione, nella riga Stato pianificazione, fai clic sul pulsante di attivazione/disattivazione La pianificazione è attivata.
Attivare una pianificazione
Per riprendere le esecuzioni pianificate di una pianificazione disattivata:
Nella console Google Cloud, vai alla Pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Notebook e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del blocco note selezionato.
Fai clic su Visualizza pianificazione.
Nella tabella dei dettagli della pianificazione, nella riga Stato pianificazione, fai clic sul pulsante di attivazione/disattivazione La pianificazione è disattivata.
Modificare una pianificazione
Puoi modificare una pianificazione nel riquadro Esploratore o nella pagina Orchestrazione.
Per modificare una pianificazione:
Riquadro Explorer
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la sezione Blocchi note e, se necessario, la cartella Blocchi note condivisi. Fai clic sul nome del notebook selezionato.
Fai clic su Visualizza pianificazione e poi su Modifica.
Nella finestra di dialogo Pianifica blocco note, modifica la pianificazione, quindi fai clic su Aggiorna pianificazione.
Pagina Orchestrazione
Nella console Google Cloud, vai alla pagina Orchestration.
Fai clic sul nome della pianificazione del blocco note selezionata.
Nella pagina Dettagli pianificazione, fai clic su Modifica.
Fai clic su Visualizza pianificazione e poi su Modifica.
Nella finestra di dialogo Pianifica blocco note, modifica la pianificazione e poi fai clic su Aggiorna pianificazione.
Elimina una pianificazione
Per eliminare definitivamente una pianificazione per un blocco note selezionato:
Nella console Google Cloud, vai alla pagina Orchestrazione.
Esegui una delle operazioni seguenti:
Fai clic sul nome della pianificazione selezionata, poi Nella pagina Dettagli pianificazione, fai clic su Elimina.
Nella riga contenente la pianificazione selezionata, fai clic su . Visualizza le azioni nella colonna Azioni e poi fai clic su Elimina.
Nella finestra di dialogo visualizzata, fai clic su Elimina.
Passaggi successivi
- Scopri di più sui notebook di Colab Enterprise in BigQuery.
- Scopri come creare notebook.