A differenza dei flussi di lavoro standard che creano un'istanza di una risorsa modello di flusso di lavoro creata in precedenza, i flussi di lavoro in linea utilizzano un file YAML o una definizione WorkflowTemplate incorporata per eseguire un flusso di lavoro.
Creazione ed esecuzione di un flusso di lavoro in linea
gcloud
Vedi Crea un'istanza di un flusso di lavoro utilizzando un file YAML.
REST &AM; LINEA CMD
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- project-id: ID progetto GCP
- region: area geografica del cluster, ad esempio "us-central1"
- zoneUri: specifica un'zone all'interno dell'area geografica del cluster del cluster, ad esempio "us-central1-b", oppure lascia vuoto ("") per utilizzare il posizionamento della zona automatica di Dataproc
- clusterName: nome del cluster
Metodo HTTP e URL:
POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/workflowTemplates:instantiateInline
Corpo JSON richiesta:
{ "jobs": [ { "hadoopJob": { "mainJarFileUri": "file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar", "args": [ "teragen", "1000", "hdfs:///gen/" ] }, "stepId": "teragen" }, { "hadoopJob": { "mainJarFileUri": "file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar", "args": [ "terasort", "hdfs:///gen/", "hdfs:///sort/" ] }, "stepId": "terasort", "prerequisiteStepIds": [ "teragen" ] } ], "placement": { "managedCluster": { "clusterName": "cluster-name", "config": { "gceClusterConfig": { "zoneUri": "zone" } } } } }
Per inviare la richiesta, espandi una delle seguenti opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "name": "projects/project-id/regions/region/operations/2fbd0dad-...", "metadata": { "@type": "type.googleapis.com/google.cloud.dataproc.v1.WorkflowMetadata", "graph": { "nodes": [ { "stepId": "teragen", "state": "RUNNABLE" }, { "stepId": "terasort", "prerequisiteStepIds": [ "teragen" ], "state": "BLOCKED" } ] }, "state": "PENDING", "startTime": "2020-04-02T22:50:44.826Z" } }
Console
Attualmente, la creazione di flussi di lavoro in linea non è supportata nella console Google Cloud. Puoi visualizzare i modelli di flusso di lavoro e i flussi di lavoro istanziati nella pagina Flussi di lavoro di Dataproc.