Ao contrário dos fluxos de trabalho padrão que instanciam um recurso de modelo de fluxo de trabalho criado anteriormente, os fluxos de trabalho in-line usam um arquivo YAML ou uma definição WorkflowTemplate incorporada para executar um fluxo de trabalho.
Como criar e executar um fluxo de trabalho in-line
Consulte Instanciar um fluxo de trabalho usando um arquivo YAML.
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- project-id:ID do projeto Google Cloud
- region: região do cluster, como "us-central1"
- zoneUri: especifique uma zone na região do cluster, como "us-central1-b", ou deixe em branco ("") para usar o Dataproc Canal da zona automática
- clusterName: nome do cluster
Método HTTP e URL:
POST https://dataproc.googleapis.com/v1/projects/project-id /regions/region /workflowTemplates:instantiateInline
Corpo JSON da solicitação:
{ "jobs": [ { "hadoopJob": { "mainJarFileUri": "file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar", "args": [ "teragen", "1000", "hdfs:///gen/" ] }, "stepId": "teragen" }, { "hadoopJob": { "mainJarFileUri": "file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar", "args": [ "terasort", "hdfs:///gen/", "hdfs:///sort/" ] }, "stepId": "terasort", "prerequisiteStepIds": [ "teragen" ] } ], "placement": { "managedCluster": { "clusterName": "cluster-name ", "config": { "gceClusterConfig": { "zoneUri": "zone " } } } } }
Para enviar a solicitação, expanda uma destas opções:
curl (Linux, macOS ou Cloud Shell)
Salve o corpo da solicitação em um arquivo com o nome request.json
e execute o comando a seguir:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://dataproc.googleapis.com/v1/projects/project-id /regions/region /workflowTemplates:instantiateInline"
PowerShell (Windows)
Salve o corpo da solicitação em um arquivo com o nome request.json
e execute o comando a seguir:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://dataproc.googleapis.com/v1/projects/project-id /regions/region /workflowTemplates:instantiateInline" | Select-Object -Expand Content
Você receberá uma resposta JSON semelhante a esta:
{ "name": "projects/project-id/regions/region/operations/2fbd0dad-...", "metadata": { "@type": "type.googleapis.com/google.cloud.dataproc.v1.WorkflowMetadata", "graph": { "nodes": [ { "stepId": "teragen", "state": "RUNNABLE" }, { "stepId": "terasort", "prerequisiteStepIds": [ "teragen" ], "state": "BLOCKED" } ] }, "state": "PENDING", "startTime": "2020-04-02T22:50:44.826Z" } }
No momento, a criação de fluxos de trabalho inline não é compatível com o console do Google Cloud. Os modelos de fluxo de trabalho e os fluxos de trabalho instanciados podem ser visualizados na página Fluxos de trabalho do Dataproc.
- Instalar a biblioteca cliente
- Configurar as credenciais padrão do aplicativo
- Executar o código