Orchestrare i flussi di lavoro
Per richiedere assistenza o fornire un feedback su questa funzionalità, invia un'email all'indirizzo bigquery-workflows-preview-feedback@google.com.
Questo documento descrive come orchestrare flussi di lavoro, incluse le modalità di pianificazione dei flussi di lavoro e ispezione delle esecuzioni pianificate dei flussi di lavoro.
I flussi di lavoro sono basati su Dataform.
Ogni pianificazione del flusso di lavoro viene eseguita da un account di servizio Dataform personalizzato, che selezioni durante creazione della pianificazione. Per ulteriori informazioni sui tipi di gli account di servizio in Dataform, vedi Informazioni sugli account di servizio in Dataform.
Le modifiche apportate a un flusso di lavoro vengono salvate automaticamente, ma sono disponibili solo per te e per gli utenti a cui è stato concesso il ruolo Amministratore Dataform in del progetto. Per aggiornare la pianificazione con una nuova versione del flusso di lavoro, devi il deployment del flusso di lavoro. Il deployment aggiorna la pianificazione in modo che utilizzi la versione corrente del flusso di lavoro. Le pianificazioni eseguono sempre la versione di cui è stato eseguito il deployment più di recente.
Le pianificazioni dei flussi di lavoro che contengono blocchi note utilizzano un specifiche di runtime predefinite. Durante l'esecuzione pianificata di un un flusso di lavoro contenente blocchi note, BigQuery scrive l'output del blocco note Bucket Cloud Storage selezionato durante per la creazione della programmazione.
Prima di iniziare
Prima di iniziare, crea un flusso di lavoro.
Abilita pianificazione del flusso di lavoro
Per pianificare i flussi di lavoro, devi concedere i ruoli seguenti al l'account di servizio che prevedi di utilizzare pianificazioni del flusso di lavoro:
- Utente account di servizio (
roles/iam.serviceAccountUser) - Segui l'articolo Concedere un singolo ruolo a un account di servizio per aggiungere il tuo account di servizio come entità per trovare le regole. In altre parole, aggiungi l'account di servizio come entità allo stesso account di servizio. Quindi, concedi il ruolo Utente account di servizio a questa entità.
Se il flusso di lavoro contiene query SQL, devi concedere il metodo i seguenti ruoli all'account di servizio per cui prevedi di utilizzare pianificazioni del flusso di lavoro:
- Utente job BigQuery (
roles/bigquery.jobUser) - Segui Concedere un singolo ruolo in un progetto per concedere il ruolo Utente job BigQuery alle tue l'account di servizio sui progetti da cui i tuoi flussi di lavoro leggono i dati.
- Visualizzatore dei dati BigQuery (
roles/bigquery.dataViewer) - Segui la procedura per concedere un singolo ruolo a un progetto per concedere il ruolo Visualizzatore dati BigQuery al tuo account di servizio nei progetti da cui i tuoi flussi di lavoro leggono i dati.
- BigQuery Data Editor (
roles/bigquery.dataEditor) - Segui Concedere un singolo ruolo in un progetto per concedere il ruolo Editor dati BigQuery al tuo l'account di servizio sui progetti in cui i flussi di lavoro scrivono dati.
Se il flusso di lavoro contiene notebook, devi concedere i seguenti ruoli all'account di servizio che prevedi di utilizzare per le pianificazioni dei flussi di lavoro:
- Utente esecutore blocco note (
roles/aiplatform.notebookExecutorUser) - Segui Concedere un singolo ruolo in un progetto per concedere il ruolo Utente esecutore blocco note al tuo sul progetto selezionato.
- Amministratore dello spazio di archiviazione (
roles/storage.admin) - Segui la procedura Aggiungere un'entità a un criterio a livello di bucket per aggiungere il tuo account di servizio come entità al bucket Cloud Storage che prevedi di utilizzare per archiviare l'output dei notebook eseguiti nelle esecuzioni pianificate del flusso di lavoro e concedi a questa entità il ruolo Amministratore archiviazione.
Inoltre, devi concedere il ruolo seguente al account di servizio Dataform predefinito:
- Creatore token account di servizio(
roles/iam.serviceAccountTokenCreator) - Segui Concedi l'accesso per la creazione di token a un account di servizio per aggiungere l'account di servizio Dataform predefinito come entità al tuo l'account di servizio e concedere il ruolo Creatore token account di servizio a questa entità.
Per scoprire di più sugli account di servizio in Dataform, consulta Informazioni sugli account di servizio in Dataform.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per gestire i flussi di lavoro, chiedi all'amministratore di concederti seguenti ruoli IAM:
-
Per eliminare i flussi di lavoro:
Dataform Admin (
roles/dataform.Admin) nel flusso di lavoro -
Per creare, modificare, eseguire ed eliminare le pianificazioni del flusso di lavoro:
Amministratore Dataform (
roles/dataform.Admin) del flusso di lavoro -
Per visualizzare ed eseguire i flussi di lavoro:
Dataform Viewer (
roles/dataform.Viewer) nel progetto -
Per visualizzare le pianificazioni dei flussi di lavoro:
Editor Dataform (
roles/dataform.Editor) nel progetto
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.
Per ulteriori informazioni su IAM Dataform, consulta Controllo dell'accesso con IAM.
Crea una pianificazione del flusso di lavoro
Per pianificare un flusso di lavoro:
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Workflow, quindi seleziona un flusso di lavoro.
Fai clic su Pianifica.
Nel riquadro Pianifica flusso di lavoro, inserisci un nome per la pianificazione nel campo Nome pianificazione.
Nel campo Account di servizio, seleziona un account di servizio.
Se il flusso di lavoro contiene un blocco note, nel campo Bucket Cloud Storage fai clic su Sfoglia e seleziona o crea un bucket Cloud Storage per per archiviare l'output dei blocchi note nel tuo flusso di lavoro.
All'account di servizio selezionato deve essere concessa la Ruolo IAM Amministratore Storage per il bucket selezionato. Per ulteriori informazioni, vedi Attivare la pianificazione dei flussi di lavoro.
Nella sezione Pianifica frequenza, segui questi passaggi:
- Nel menu a discesa Ripeti, seleziona la frequenza delle esecuzioni pianificate del flusso di lavoro.
- Nel campo Alle, inserisci l'ora per le esecuzioni pianificate del flusso di lavoro.
- Nel menu a discesa Fuso orario, seleziona il fuso orario per la pianificazione.
Fai clic su Crea programmazione.
Quando crei la pianificazione, viene eseguito automaticamente il deployment della versione corrente del flusso di lavoro. Per aggiornare la pianificazione con una nuova versione del flusso di lavoro, esegui il deployment del flusso di lavoro.
L'ultima versione di cui è stato eseguito il deployment del flusso di lavoro vengono eseguite all'ora e alla frequenza selezionate.
Esegui il deployment di un flusso di lavoro
Il deployment di un flusso di lavoro aggiorna la sua pianificazione con la versione corrente un flusso di lavoro di machine learning. Le pianificazioni eseguono la versione di cui è stato eseguito il deployment più recente del flusso di lavoro.
Per eseguire il deployment di un flusso di lavoro, segui questi passaggi:
Nella console Google Cloud, vai alla Pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Workflow, quindi seleziona un flusso di lavoro.
Fai clic su Esegui il deployment.
La pianificazione corrispondente viene aggiornata con la versione corrente del flusso di lavoro. L'ultima versione di cui è stato eseguito il deployment del flusso di lavoro viene eseguita all'ora pianificata.
Disattivare una programmazione
Per mettere in pausa le esecuzioni pianificate di un flusso di lavoro selezionato senza eliminare la pianificazione, puoi disattivarla.
Per disabilitare una pianificazione per un flusso di lavoro selezionato:
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Workflows, e seleziona un flusso di lavoro.
Fai clic su Visualizza pianificazione.
Nella tabella Dettagli pianificazione, alla riga Stato pianificazione, fai clic sul pulsante di attivazione/disattivazione La pianificazione è abilitata.
Abilita una pianificazione
Per riprendere le esecuzioni pianificate di una pianificazione di un flusso di lavoro disabilitata:
Nella console Google Cloud, vai alla Pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Workflow, quindi seleziona un flusso di lavoro.
Fai clic su Visualizza pianificazione.
Nella tabella Dettagli pianificazione, nella riga Stato pianificazione, fai clic sul pulsante di attivazione/disattivazione La pianificazione è disattivata.
Esegui manualmente un flusso di lavoro di cui è stato eseguito il deployment
Quando esegui manualmente un flusso di lavoro di cui è stato eseguito il deployment in una pianificazione selezionata, BigQuery esegue il flusso di lavoro di cui è stato eseguito il deployment una volta in modo indipendente dalla programmazione.
Per eseguire manualmente un flusso di lavoro di cui è stato eseguito il deployment:
Nella console Google Cloud, vai alla pagina Orchestrazione.
Fai clic sul nome della pianificazione del flusso di lavoro selezionata.
Nella pagina Dettagli pianificazione, fai clic su Esegui.
Visualizza tutte le pianificazioni del flusso di lavoro
Per visualizzare tutte le pianificazioni dei flussi di lavoro nel tuo progetto Google Cloud:
Nella console Google Cloud, vai alla pagina Orchestrazione.
(Facoltativo) Per visualizzare colonne aggiuntive con i dettagli della pianificazione del flusso di lavoro, fai clic su Opzioni di visualizzazione delle colonne, quindi seleziona le colonne e fai clic su OK.
Visualizzare i dettagli della pianificazione del flusso di lavoro
Per visualizzare i dettagli di una pianificazione del flusso di lavoro selezionata:
Riquadro Explorer
Nella console Google Cloud, vai alla Pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Workflow, quindi seleziona un flusso di lavoro.
Fai clic su Visualizza pianificazione.
Pagina Orchestrazione
Nella console Google Cloud, vai alla pagina Orchestration.
Fai clic sul nome della pianificazione del flusso di lavoro selezionata.
Visualizzare le esecuzioni pianificate precedenti
Per visualizzare le esecuzioni precedenti di una pianificazione del flusso di lavoro selezionata:
Riquadro Explorer
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Workflow, quindi seleziona un flusso di lavoro.
Fai clic su Esecuzioni.
(Facoltativo) Per aggiornare l'elenco delle esecuzioni passate, fai clic su Aggiorna.
Pagina Orchestrazione
- Nella console Google Cloud, vai alla pagina Orchestration.
Vai alla pagina Orchestrazione
Fai clic sul nome del flusso di lavoro selezionato.
Nella pagina Dettagli pianificazione, nella sezione Esecuzioni precedenti, per controllare le esecuzioni precedenti.
(Facoltativo) Per aggiornare l'elenco delle esecuzioni passate, fai clic su Aggiorna.
Modificare una pianificazione del flusso di lavoro
Per modificare una pianificazione del flusso di lavoro:
Nella console Google Cloud, vai alla Pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e la cartella Workflows, e seleziona un flusso di lavoro.
Fai clic su Visualizza pianificazione e poi su Modifica.
Nella finestra di dialogo Pianifica flusso di lavoro, modifica la pianificazione. e fai clic su Aggiorna pianificazione.
Eliminare una pianificazione del flusso di lavoro
Per eliminare definitivamente una pianificazione di un flusso di lavoro:
Nella console Google Cloud, vai alla pagina Orchestrazione.
Esegui una delle operazioni seguenti:
Fai clic sul nome della pianificazione del flusso di lavoro selezionata e poi sulla pagina Dettagli pianificazione fai clic su Elimina.
Nella riga contenente la pianificazione del flusso di lavoro selezionata, fai clic su Visualizza le azioni nella colonna Azioni e poi fai clic su Elimina.
Nella finestra di dialogo visualizzata, fai clic su Elimina.
Passaggi successivi
- Scopri di più sui flussi di lavoro in BigQuery.
- Scopri come creare flussi di lavoro.