Usa flussi di lavoro

Per configurare ed eseguire un flusso di lavoro:

1. Creazione di un modello di flusso di lavoro
2. Configurazione di un cluster gestito (temporaneo) o selezione di un cluster esistente
3. Aggiunta di job in corso...
4. Creare un'istanza del modello per eseguire il flusso di lavoro

Puoi parametrizzare un modello di flusso di lavoro per utilizzarlo in modo dinamico per diversi flussi di lavoro. Puoi anche utilizzare i file YAML o chiamare l'API InstantiateInline per definire ed eseguire un flusso di lavoro in linea che non crea né modifica le risorse del modello.

Creazione di un modello

Comando g-cloud

Esegui questo comando command per creare una risorsa modello di flusso di lavoro Dataproc.

gcloud dataproc workflow-templates create TEMPLATE_ID \
    --region=REGION

Note:

• REGION: specifica la regione in cui verrà eseguito il modello.
• TEMPLATE_ID: fornisci un ID per il tuo modello, ad esempio "workflow-template-1".
• la crittografia CMEK. Puoi aggiungere il flag --kms-key per utilizzare la crittografia CMEK sugli argomenti dei job del modello di flusso di lavoro.

API REST

Invia un elemento WorkflowTemplate come parte di una richiesta workflowTemplates.create. Puoi aggiungere il campo WorkflowTemplate.EncryptionConfig.kmsKey per utilizzare la crittografia CMEK sugli argomenti dei job del modello del flusso di lavoro. kmsKey

Console

Puoi visualizzare i modelli e i flussi di lavoro per i quali è stata creata un'istanza dalla pagina Flussi di lavoro di Dataproc nella console Google Cloud.

Configurazione o selezione di un cluster

Dataproc può creare e utilizzare un nuovo cluster "gestito" per il tuo flusso di lavoro o per un cluster esistente.

• Cluster esistente: consulta Utilizzo dei selettori di cluster con flussi di lavoro per selezionare un cluster esistente per il tuo flusso di lavoro.

• Cluster gestito:devi configurare un cluster gestito per il tuo flusso di lavoro. Dataproc creerà questo nuovo cluster per eseguire job di flusso di lavoro, quindi eliminerà il cluster alla fine del flusso di lavoro.
  Puoi configurare un cluster gestito per il tuo flusso di lavoro utilizzando lo strumento a riga di comando gcloud o l'API Dataproc.

  Comando g-cloud

  Utilizza i flag ereditati da gcloud dataproc clustercreate per configurare il cluster gestito, ad esempio il numero di worker e il tipo di macchina master e worker. Dataproc aggiungerà un suffisso al nome del cluster per garantirne l'unicità.

  gcloud dataproc workflow-templates set-managed-cluster template-id \
      --region=region \
      --master-machine-type=machine-type \
      --worker-machine-type=machine-type \
      --num-workers=number \
      --cluster-name=cluster-name
  

  API REST

  Vedi WorkflowTemplatePlacement.ManagedCluster. Questo campo viene fornito come parte di una richiesta WorkflowTemplate completata inviata con una richiesta workflowTemplates.create o workflowTemplates.update.

  Console

  Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro per i quali è stata creata un'istanza dalla pagina Flussi di lavoro di Dataproc nella console Google Cloud.

Aggiunta di job a un modello

Tutti i job vengono eseguiti contemporaneamente, a meno che non specifichi una o più dipendenze dei job. Le dipendenze di un job vengono espresse come un elenco di altri job che devono essere completati correttamente prima dell'avvio del job finale. Devi fornire un step-id per ogni job. L'ID deve essere univoco all'interno del flusso di lavoro, ma non deve essere univoco a livello globale.

Comando g-cloud

Utilizza il tipo di job e i flag ereditati da gcloud dataproc job Submit per definire il job da aggiungere al modello. Facoltativamente, puoi utilizzare il flag ‑‑start-after job-id of another workflow job per avviare il job dopo il completamento di uno o più altri job nel flusso di lavoro.

Attualmente, i flag di job riavviabili --max-failures-per-hour e --max-failures-per-hour non sono supportati nei job del modello di flusso di lavoro di Dataproc.

Esempi:

Aggiungi il job Hadoop "foo" al modello "my-workflow".

gcloud dataproc workflow-templates add-job hadoop \
    --region=region \
    --step-id=foo \
    --workflow-template=my-workflow \
    -- space separated job args

Aggiungi il job "bar" al modello "my-workflow", che verrà eseguito dopo il completamento del job del flusso di lavoro "foo".

gcloud dataproc workflow-templates add-job job-type \
    --region=region \
    --step-id=bar \
    --start-after=foo \
    --workflow-template=my-workflow \
    -- space separated job args

Aggiungi un altro job "baz" al modello "my-workflow" da eseguire dopo il completamento dei job "foo" e "bar".

gcloud dataproc workflow-templates add-job job-type \
    --region=region \
    --step-id=baz \
    --start-after=foo,bar \
    --workflow-template=my-workflow \
    -- space separated job args

API REST

Consulta WorkflowTemplate.OrderedJob. Questo campo viene fornito come parte di una richiesta WorkflowTemplate completata inviata con una richiesta workflowTemplates.create o workflowTemplates.update.

Attualmente, i campi maxFailuresPerHour e maxFailuresTotal OrderedJob.JobScheduling non sono supportati nei job del modello di flusso di lavoro Dataproc.

Console

Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro per i quali è stata creata un'istanza dalla pagina Flussi di lavoro di Dataproc nella console Google Cloud.

Attualmente, l' opzione job di avvio Max restarts per hour non è supportata nei job del modello di flusso di lavoro di Dataproc.

Esecuzione di un flusso di lavoro

La creazione di un'istanza di un modello di flusso di lavoro esegue il flusso di lavoro definito dal modello. Sono supportate più istanze di un modello: puoi eseguire un flusso di lavoro più volte.

Comando g-cloud

gcloud dataproc workflow-templates instantiate template-id \
    --region=region

Il comando restituisce un ID operazione che puoi utilizzare per tenere traccia dello stato del flusso di lavoro.

Comando e output di esempio:

gcloud beta dataproc workflow-templates instantiate my-template-id \
    --region=us-central1
...
WorkflowTemplate [my-template-id] RUNNING
...
Created cluster: my-template-id-rg544az7mpbfa.
Job ID teragen-rg544az7mpbfa RUNNING
Job ID teragen-rg544az7mpbfa COMPLETED
Job ID terasort-rg544az7mpbfa RUNNING
Job ID terasort-rg544az7mpbfa COMPLETED
Job ID teravalidate-rg544az7mpbfa RUNNING
Job ID teravalidate-rg544az7mpbfa COMPLETED
...
Deleted cluster: my-template-id-rg544az7mpbfa.
WorkflowTemplate [my-template-id] DONE

API REST

Consulta workflowTemplates.instantiate.

Console

Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro per i quali è stata creata un'istanza dalla pagina Flussi di lavoro di Dataproc nella console Google Cloud.

Errori del job del flusso di lavoro

Un errore in qualsiasi job di un flusso di lavoro ne causerà l'esito negativo. Dataproc cercherà di mitigare l'effetto degli errori, causando l'esito negativo di tutti i job in esecuzione simultanea e impedendo l'avvio dei job successivi.

Monitoraggio ed elenco di un flusso di lavoro

Comando g-cloud

Per monitorare un flusso di lavoro:

gcloud dataproc operations describe operation-id \
    --region=region

Nota: l'ID operazione viene restituito quando crei un'istanza del flusso di lavoro con gcloud dataproc workflow-templates instantiate (consulta Esecuzione di un flusso di lavoro).

Per elencare lo stato del flusso di lavoro:

gcloud dataproc operations list \
    --region=region \
    --filter="labels.goog-dataproc-operation-type=WORKFLOW AND status.state=RUNNING"

API REST

Per monitorare un flusso di lavoro, utilizza l'API Dataproc operations.get.

Per elencare i flussi di lavoro in esecuzione, utilizza l'API Dataproc operations.list con un filtro di etichetta.

Console

Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro per i quali è stata creata un'istanza dalla pagina Flussi di lavoro di Dataproc nella console Google Cloud.

Terminare un flusso di lavoro

Puoi terminare un flusso di lavoro utilizzando Google Cloud CLI o chiamando l'API Dataproc.

Nota: il termine di un flusso di lavoro annulla l'esecuzione dei job del flusso di lavoro e, se il flusso di lavoro viene eseguito su un cluster gestito (temporaneo), elimina il cluster gestito.

Comando g-cloud

gcloud dataproc operations cancel operation-id \
    --region=region

Nota: l'ID operazione che viene restituito quando crei un'istanza del flusso di lavoro con gcloud dataproc workflow-templates instantiate (consulta Esecuzione di un flusso di lavoro).

API REST

Consulta l'API operations.cancel.

Console

Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro per i quali è stata creata un'istanza dalla pagina Flussi di lavoro di Dataproc nella console Google Cloud.

Aggiornamento di un modello di flusso di lavoro

Gli aggiornamenti non influiscono sui flussi di lavoro in esecuzione. La nuova versione del modello verrà applicata solo ai nuovi flussi di lavoro.

Comando g-cloud

I modelli di flusso di lavoro possono essere aggiornati inviando nuovi comandi gcloud workflow-templates che fanno riferimento a un template-id del flusso di lavoro esistente:

• gcloud dataproc workflow-templates add job
• gcloud dataproc workflow-templates set-managed-cluster
• gcloud dataproc workflow-templates set-cluster-selector

a un modello di flusso di lavoro esistente.

API REST

Per aggiornare un modello con l'API REST:

1. Chiama workflowTemplates.get, che restituisce il modello corrente con il campo version compilato con la versione corrente del server.
2. Apporta gli aggiornamenti al modello recuperato.
3. Chiama workflowTemplates.update con il modello aggiornato.

Per evitare modifiche simultanee, una richiesta di aggiornamento di un modello deve specificare la versione corrente del server nel campo workflowTemplate.version.

Console

Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro per i quali è stata creata un'istanza dalla pagina Flussi di lavoro di Dataproc nella console Google Cloud.

Eliminazione di un modello di flusso di lavoro

Comando g-cloud

gcloud dataproc workflow-templates delete template-id \
    --region=region

Nota: l'ID operazione che viene restituito quando crei un'istanza del flusso di lavoro con gcloud dataproc workflow-templates instantiate (consulta Esecuzione di un flusso di lavoro).

API REST

Vedi workflowTemplates.delete.

Console

Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro per i quali è stata creata un'istanza dalla pagina Flussi di lavoro di Dataproc nella console Google Cloud.