Usa i file YAML con flussi di lavoro

Puoi definire un modello di flusso di lavoro in un file YAML, quindi creare un'istanza del modello per eseguire il flusso di lavoro. Puoi anche importare ed esportare un file YAML di modello di flusso di lavoro per creare e aggiornare una risorsa del modello di flusso di lavoro Dataproc.

Inoltre, consulta l'articolo sull'utilizzo dei flussi di lavoro di Dataproc in linea per scoprire altri modi per eseguire un flusso di lavoro senza creare una risorsa del modello di flusso di lavoro.

Esegui un flusso di lavoro utilizzando un file YAML

Per eseguire un flusso di lavoro senza prima creare una risorsa modello di flusso di lavoro, utilizza il comando gcloud dataproc flusso di lavoro-templates istantaneoiate-from-file.

1. Definisci il tuo modello di flusso di lavoro in un file YAML. Il file YAML deve includere tutti i campi obbligatori WorkflowTemplate tranne il campo id, inoltre deve escludere il campo version e tutti i campi solo di output. Nel seguente esempio di flusso di lavoro, l'elenco prerequisiteStepIds nel passaggio terasort garantisce che il passaggio terasort inizierà solo dopo che il passaggio teragen sarà stato completato correttamente.

   jobs:
   - hadoopJob:
       args:
       - teragen
       - '1000'
       - hdfs:///gen/
       mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
     stepId: teragen
   - hadoopJob:
       args:
       - terasort
       - hdfs:///gen/
       - hdfs:///sort/
       mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
     stepId: terasort
     prerequisiteStepIds:
       - teragen
   placement:
     managedCluster:
       clusterName: my-managed-cluster
       config:
         gceClusterConfig:
           zoneUri: us-central1-a
   

2. Esegui il flusso di lavoro:

   gcloud dataproc workflow-templates instantiate-from-file \
       --file=TEMPLATE_YAML \
       --region=REGION
   

Crea l'istanza di un flusso di lavoro utilizzando un file YAML con posizionamento automatico della zona Dataproc

1. Definisci il tuo modello di flusso di lavoro in un file YAML. Questo file YAML è uguale al file YAML precedente, ad eccezione del fatto che il campo zoneUri è impostato sulla stringa vuota ('') per consentire al posizionamento automatico della zona di Dataproc di selezionare la zona per il cluster.

   jobs:
   - hadoopJob:
       args:
       - teragen
       - '1000'
       - hdfs:///gen/
       mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
     stepId: teragen
   - hadoopJob:
       args:
       - terasort
       - hdfs:///gen/
       - hdfs:///sort/
       mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
     stepId: terasort
     prerequisiteStepIds:
       - teragen
   placement:
     managedCluster:
       clusterName: my-managed-cluster
       config:
         gceClusterConfig:
           zoneUri: ''
   

2. Esegui il flusso di lavoro. Quando utilizzi il posizionamento automatico, devi passare un'area geografica al comando gcloud.

   gcloud dataproc workflow-templates instantiate-from-file \
       --file=TEMPLATE_YAML \
       --region=REGION
   

Importa ed esporta un file YAML di un modello di flusso di lavoro

Puoi importare ed esportare file YAML dei modelli di flusso di lavoro. In genere, un modello di flusso di lavoro viene prima esportato come file YAML, poi il file YAML viene modificato e poi il file YAML modificato viene importato per aggiornare il modello.

1. Esporta il modello del flusso di lavoro in un file YAML. Durante l'operazione di esportazione, i campi id e version e tutti i campi solo di output vengono filtrati dall'output e non vengono visualizzati nel file YAML esportato.

   gcloud dataproc workflow-templates export TEMPLATE_ID or TEMPLATE_NAME \
       --destination=TEMPLATE_YAML \
       --region=REGION
   

   Puoi passare WorkflowTemplate id o la risorsa del modello completo name ("projects/PROJECT_ID/regions/REGION/workflowTemplates/TEMPLATE_ID") al comando.
   Se ometti il flag --destination, l'output viene indirizzato a stdout, quindi il seguente comando esporterà anche il modello in un file YAML:

   gcloud dataproc workflow-templates export TEMPLATE_ID or TEMPLATE_NAME \
       --region=REGION > TEMPLATE_YAML
   
   
   

2. Modifica il file YAML in locale. Tieni presente che i campi id, version e solo di output, filtrati dal file YAML quando è stato esportato il modello, non sono consentiti nel file YAML importato.

3. Importa il modello di flusso di lavoro aggiornato File YAML:

   gcloud dataproc workflow-templates import TEMPLATE_ID or TEMPLATE_NAME \
       --source=TEMPLATE_YAML \
       --region=REGION
   

   Puoi passare WorkflowTemplate id o la risorsa del modello completo name ("projects/PROJECT_ID/regions/region/workflowTemplates/TEMPLATE_ID") al comando. La risorsa del modello con lo stesso nome di modello verrà sovrascritta (aggiornata) e il numero di versione verrà incrementato. Se non esiste un modello con lo stesso nome, verrà creato.