Tidak seperti alur kerja standar yang membuat instance resource template alur kerja yang dibuat sebelumnya, alur kerja inline menggunakan file YAML atau definisi WorkflowTemplate yang disematkan untuk menjalankan alur kerja.
.Membuat dan menjalankan alur kerja inline
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-id: Google Cloud project ID
- region: region cluster, seperti "us-central1"
- zoneUri: Tentukan zone dalam region cluster, seperti "us-central1-b", atau biarkan kosong ("") untuk menggunakan Penempatan Zona Otomatis Dataproc
- clusterName: nama cluster
Metode HTTP dan URL:
POST https://dataproc.googleapis.com/v1/projects/project-id /regions/region /workflowTemplates:instantiateInline
Meminta isi JSON:
{ "jobs": [ { "hadoopJob": { "mainJarFileUri": "file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar", "args": [ "teragen", "1000", "hdfs:///gen/" ] }, "stepId": "teragen" }, { "hadoopJob": { "mainJarFileUri": "file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar", "args": [ "terasort", "hdfs:///gen/", "hdfs:///sort/" ] }, "stepId": "terasort", "prerequisiteStepIds": [ "teragen" ] } ], "placement": { "managedCluster": { "clusterName": "cluster-name ", "config": { "gceClusterConfig": { "zoneUri": "zone " } } } } }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
curl (Linux, macOS, atau Cloud Shell)
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://dataproc.googleapis.com/v1/projects/project-id /regions/region /workflowTemplates:instantiateInline"
PowerShell (Windows)
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://dataproc.googleapis.com/v1/projects/project-id /regions/region /workflowTemplates:instantiateInline" | Select-Object -Expand Content
Anda akan melihat respons JSON yang mirip seperti berikut:
{ "name": "projects/project-id/regions/region/operations/2fbd0dad-...", "metadata": { "@type": "type.googleapis.com/google.cloud.dataproc.v1.WorkflowMetadata", "graph": { "nodes": [ { "stepId": "teragen", "state": "RUNNABLE" }, { "stepId": "terasort", "prerequisiteStepIds": [ "teragen" ], "state": "BLOCKED" } ] }, "state": "PENDING", "startTime": "2020-04-02T22:50:44.826Z" } }
Saat ini, pembuatan alur kerja inline tidak didukung di konsol Google Cloud. Template alur kerja dan alur kerja yang dibuat instance-nya dapat dilihat dari halaman Alur Kerja Dataproc.
- Menginstal library klien
- Menyiapkan kredensial default aplikasi
- Jalankan kode tersebut.
- Menginstal library klien
- Menyiapkan kredensial default aplikasi
- Menjalankan kode
- Menginstal library klien
- Menyiapkan kredensial default aplikasi
- Jalankan kode tersebut