Dokumen ini menjelaskan dasar-dasar pembuatan tugas Batch: cara membuat dan menjalankan tugas yang didasarkan pada skrip atau image container serta menggunakan variabel yang telah ditetapkan dan variabel kustom. Untuk mempelajari lebih lanjut cara membuat dan menjalankan tugas, lihat Ringkasan pembuatan dan eksekusi tugas.
Sebelum memulai
- Jika belum pernah menggunakan Batch, baca Mulai menggunakan Batch dan aktifkan Batch dengan menyelesaikan prasyarat untuk project dan pengguna.
-
Untuk mendapatkan izin yang Anda perlukan guna membuat tugas, minta administrator untuk memberi Anda peran IAM berikut:
-
Batch Job Editor (
roles/batch.jobsEditor
) pada project -
Service Account User (
roles/iam.serviceAccountUser
) pada akun layanan tugas, yang secara default merupakan akun layanan Compute Engine default
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
-
Batch Job Editor (
-
Setiap kali Anda membuat tugas, pastikan tugas tersebut memiliki konfigurasi jaringan yang valid.
- Jika tidak memiliki persyaratan jaringan tertentu untuk beban kerja atau project, dan belum mengubah jaringan default untuk project, Anda tidak perlu melakukan tindakan apa pun.
- Jika tidak, Anda perlu mengonfigurasi jaringan saat membuat tugas. Pelajari cara mengonfigurasi jaringan untuk tugas sebelum membuat tugas dasar, sehingga Anda dapat mengubah contoh di bawah untuk memenuhi persyaratan jaringan.
-
Setiap kali Anda membuat tugas, pastikan tugas tersebut memiliki lingkungan sistem operasi (OS) VM yang valid.
- Jika Anda tidak memiliki persyaratan image OS VM atau boot disk tertentu untuk workload atau project Anda, Anda tidak perlu melakukan tindakan apa pun.
- Jika tidak, Anda perlu menyiapkan opsi lingkungan OS VM yang valid. Sebelum membuat tugas dasar, izinkan konfigurasi default untuk lingkungan OS VM atau pelajari cara menyesuaikan lingkungan OS VM sehingga Anda dapat mengubah contoh di bawah untuk memenuhi kebutuhan Anda.
Membuat tugas dasar
Untuk informasi tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat
dokumentasi referensi untuk
resource REST projects.locations.jobs
.
Singkatnya, tugas terdiri dari array dari satu atau beberapa tugas
yang semuanya menjalankan satu atau beberapa
runnable,
yang merupakan skrip dan/atau container yang dapat dieksekusi untuk tugas Anda.
Untuk membahas dasar-dasarnya, bagian ini menjelaskan cara membuat contoh tugas hanya dengan
satu tugas yang dapat dijalankan, baik skrip atau image container:
- Jika Anda ingin menggunakan Batch untuk menulis tugas yang menjalankan image container, lihat membuat tugas container.
- Atau, jika Anda tidak yakin apakah ingin menggunakan image container atau tidak terbiasa dengan container, sebaiknya buat tugas skrip.
Contoh tugas untuk kedua jenis tugas berisi grup tugas dengan array 4 tugas. Setiap tugas akan mencetak pesan dan indeksnya ke output standar dan Cloud Logging. Definisi untuk tugas ini menentukan paralelisme 2, yang menunjukkan bahwa tugas harus dijalankan pada 2 VM untuk memungkinkan 2 tugas dijalankan sekaligus.
Membuat tugas container dasar
Anda dapat memilih atau membuat image container untuk menyediakan kode dan dependensi agar tugas dijalankan dari lingkungan komputasi apa pun. Untuk mengetahui informasi selengkapnya, baca bagian Menangani image container dan Menjalankan container pada instance VM.
Anda dapat membuat tugas container dasar menggunakan Konsol Google Cloud, gcloud CLI, Batch API, Go, Java, Node.js, Python, atau C++.
Konsol
Untuk membuat tugas container dasar menggunakan Konsol Google Cloud, lakukan hal berikut:
Di konsol Google Cloud, buka halaman Job list.
Klik
Create. Halaman Buat tugas batch akan terbuka. Di panel kiri, halaman Detail pekerjaan dipilih.Mengonfigurasi halaman Detail pekerjaan:
Opsional: Di kolom Job name, sesuaikan nama pekerjaan.
Misalnya, masukkan
example-basic-job
.Konfigurasikan bagian Task details:
Di jendela New runnable, tambahkan minimal satu skrip atau container untuk menjalankan tugas ini.
Misalnya, untuk menambahkan satu penampung, lakukan langkah berikut:
Pilih Container image URL (default).
Di kolom Container image URL, masukkan URL untuk image container yang ingin Anda jalankan untuk setiap tugas dalam tugas ini.
Misalnya, untuk menggunakan image container Docker
busybox
, masukkan URL berikut:gcr.io/google-containers/busybox
Opsional: Untuk mengganti perintah
ENTRYPOINT
image container, masukkan perintah di kolom Titik entri.Misalnya, masukkan:
/bin/sh
Opsional: Untuk mengganti perintah
CMD
image container, lakukan langkah berikut:Centang kotak Ganti perintah CMD image container. Kotak teks akan muncul.
Di kotak teks, masukkan satu atau beberapa perintah, dengan memisahkan setiap perintah dengan baris baru.
Misalnya, masukkan perintah berikut:
-c echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.
Klik Done.
Di kolom Task count, masukkan jumlah tugas untuk tugas ini. Nilai harus berupa bilangan bulat antara
1
dan batas tugas per grup tugas.Misalnya, masukkan
4
.Di kolom Paralelisme, masukkan jumlah tugas yang akan dijalankan secara serentak. Jumlahnya tidak boleh lebih besar dari jumlah total tugas dan harus berupa bilangan bulat antara
1
dan tugas paralel per batas tugas.Misalnya, masukkan
2
.
Konfigurasikan halaman ResourceSpecification:
Di panel kiri, klik Resource dimensions. Halaman Resource dimensions akan terbuka.
Di bagian Model penyediaan VM, pilih salah satu opsi berikut untuk model penyediaan untuk VM tugas ini:
Jika tugas Anda dapat menahan preemption dan Anda menginginkan VM diskon, pilih Spot.
Jika tidak, pilih Standar.
Misalnya, pilih Standar (default).
Pilih lokasi pekerjaan ini:
Di kolom Region, pilih region.
Misalnya, pilih
us-central1 (Iowa)
(default).Di kolom Zone, lakukan salah satu hal berikut:
Jika Anda ingin membatasi tugas ini untuk dijalankan di zona tertentu saja, pilih sebuah zona.
Jika tidak, pilih salah satu.
Misalnya, pilih any (default).
Pilih salah satu kelompok mesin berikut:
Untuk workload umum, klik Tujuan umum.
Untuk beban kerja yang membutuhkan performa intensif, klik Komputasi yang dioptimalkan.
Untuk beban kerja yang menggunakan banyak memori, klik MemoryOptimized.
Misalnya, klik Tujuan umum (default).
Di kolom Series, pilih machine series, untuk VM tugas ini.
Misalnya, jika Anda memilih General destination untuk kelompok mesin, pilih E2 (default).
Di kolom Machine type, pilih jenis mesin untuk VM tugas ini.
Misalnya, jika Anda memilih E2 untuk seri mesin, pilih e2-medium (2 vCPU, 4 GB memory) (default).
Konfigurasikan jumlah resource VM yang diperlukan untuk setiap tugas:
Di kolom Cores, masukkan jumlah vCPUs per tugas.
Misalnya, masukkan
1
(default).Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.
Misalnya, masukkan
0.5
(default).
Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Preview.
Klik Create.
Laman Detail pekerjaan menampilkan pekerjaan yang Anda buat.
gcloud
Untuk membuat tugas container dasar menggunakan gcloud CLI, lakukan hal berikut:
Buat file JSON yang menentukan detail konfigurasi tugas Anda. Misalnya, untuk membuat tugas penampung dasar, buat file JSON dengan konten berikut. Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, baca dokumentasi referensi untuk resource REST
projects.locations.jobs
.{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { CONTAINER } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }
Ganti kode berikut:
CONTAINER
: container yang dijalankan setiap tugas.CORES
: Opsional. Jumlah core, khususnya vCPUs, yang biasanya mewakili setengah core fisik, untuk dialokasikan ke setiap tugas dalam unit milidetik. Jika kolomcpuMilli
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilai ditetapkan ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilai akan ditetapkan ke0
, yang berarti tidak akan mencoba kembali tugas tersebut.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan untuk berjalan sebelum dicoba lagi atau gagal, yang diformat sebagai nilai dalam detik yang diikuti dengans
. Jika kolommaxRunDuration
tidak ditentukan, nilai ditetapkan ke604800s
(7 hari), yang merupakan nilai maksimum.TASK_COUNT
: Opsional. Jumlah tugas untuk pekerjaan tersebut. Nilai harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilai ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan secara serentak. Jumlahnya tidak boleh lebih dari jumlah tugas dan harus berupa bilangan bulat antara1
dan tugas paralel per batas tugas. Jika kolomparallelism
tidak ditentukan, nilai ditetapkan ke1
.
Buat tugas menggunakan perintah
gcloud batch jobs submit
.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Ganti kode berikut:
JOB_NAME
: nama tugas.LOCATION
: lokasi tugas.JSON_CONFIGURATION_FILE
: jalur untuk file JSON dengan detail konfigurasi tugas.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan image container Docker busybox
:
Buat file JSON di direktori saat ini bernama
hello-world-container.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { "imageUri": "gcr.io/google-containers/busybox", "entrypoint": "/bin/sh", "commands": [ "-c", "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." ] } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Jalankan perintah berikut:
gcloud batch jobs submit example-container-job \ --location us-central1 \ --config hello-world-container.json
API
Untuk membuat tugas penampung dasar menggunakan Batch API, gunakan
metode jobs.create
.
Untuk informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat
dokumentasi referensi untuk resource REST projects.locations.jobs
.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
CONTAINER
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
Ganti kode berikut:
PROJECT_ID
: project ID project Anda.LOCATION
: lokasi tugas.JOB_NAME
: nama tugas.CONTAINER
: container yang dijalankan setiap tugas.CORES
: Opsional. Jumlah core—khususnya vCPUs, yang biasanya mewakili setengah core fisik—untuk dialokasikan ke setiap tugas dalam unit milidetik. Jika kolomcpuMilli
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilai ditetapkan ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk sebuah tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilai akan ditetapkan ke0
, yang berarti tidak akan mencoba lagi tugas tersebut.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan untuk berjalan sebelum dicoba lagi atau gagal, yang diformat sebagai nilai dalam detik yang diikuti dengans
. Jika kolommaxRunDuration
tidak ditentukan, nilai ditetapkan ke604800s
(7 hari), yang merupakan nilai maksimum.TASK_COUNT
: Opsional. Jumlah tugas untuk tugas, yang harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilai ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan tugas secara serentak. Jumlah tidak boleh lebih dari jumlah tugas dan harus berupa bilangan bulat antara1
dan tugas paralel per batas tugas. Jika kolomparallelism
tidak ditentukan, nilai ditetapkan ke1
.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan image container Docker busybox
, gunakan permintaan berikut:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-container-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
"imageUri": "gcr.io/google-containers/busybox",
"entrypoint": "/bin/sh",
"commands": [
"-c",
"echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
]
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
dengan PROJECT_ID
adalah project ID project Anda.
Go
Go
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Batch Go.
Untuk mengautentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Batch Java.
Untuk mengautentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Node.js
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Batch Node.js.
Untuk mengautentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Batch Python.
Untuk mengautentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
C++
C++
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Batch C++.
Untuk mengautentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat tugas skrip dasar
Anda dapat membuat tugas skrip dasar menggunakan Konsol Google Cloud, gcloud CLI, Batch API, Go, Java, Node.js, Python, atau C++.
Konsol
Untuk membuat tugas skrip dasar menggunakan Konsol Google Cloud, lakukan hal berikut:
Di konsol Google Cloud, buka halaman Job list.
Klik
Create. Halaman Buat tugas batch akan terbuka. Di panel kiri, halaman Detail pekerjaan dipilih.Mengonfigurasi halaman Detail pekerjaan:
Opsional: Di kolom Job name, sesuaikan nama pekerjaan.
Misalnya, masukkan
example-basic-job
.Konfigurasikan bagian Task details:
Di jendela New runnable, tambahkan minimal satu skrip atau container untuk menjalankan tugas ini.
Misalnya, untuk menambahkan satu skrip, lakukan hal berikut:
Pilih Skrip. Kotak teks akan muncul.
Di kotak teks, masukkan skrip yang ingin Anda jalankan untuk setiap tugas dalam tugas ini.
Misalnya, masukkan skrip berikut:
echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.
Klik Done.
Di kolom Task count, masukkan jumlah tugas untuk tugas ini. Nilai harus berupa bilangan bulat antara
1
dan batas tugas per grup tugas.Misalnya, masukkan
4
.Di kolom Paralelisme, masukkan jumlah tugas yang akan dijalankan secara serentak. Jumlahnya tidak boleh lebih besar dari jumlah total tugas dan harus berupa bilangan bulat antara
1
dan tugas paralel per batas tugas.Misalnya, masukkan
2
.
Konfigurasikan halaman ResourceSpecification:
Di panel kiri, klik Resource dimensions. Halaman Resource dimensions akan terbuka.
Di bagian Model penyediaan VM, pilih salah satu opsi berikut untuk model penyediaan untuk VM tugas ini:
Jika tugas Anda dapat menahan preemption dan Anda menginginkan VM diskon, pilih Spot.
Jika tidak, pilih Standar.
Misalnya, pilih Standar (default).
Pilih lokasi pekerjaan ini:
Di kolom Region, pilih region.
Misalnya, pilih
us-central1 (Iowa)
(default).Di kolom Zone, lakukan salah satu hal berikut:
Jika Anda ingin membatasi tugas ini untuk dijalankan di zona tertentu saja, pilih sebuah zona.
Jika tidak, pilih salah satu.
Misalnya, pilih any (default).
Pilih salah satu kelompok mesin berikut:
Untuk workload umum, klik Tujuan umum.
Untuk beban kerja yang membutuhkan performa intensif, klik Komputasi yang dioptimalkan.
Untuk beban kerja yang menggunakan banyak memori, klik MemoryOptimized.
Misalnya, klik Tujuan umum (default).
Di kolom Series, pilih machine series, untuk VM tugas ini.
Misalnya, jika Anda memilih General destination untuk kelompok mesin, pilih E2 (default).
Di kolom Machine type, pilih jenis mesin untuk VM tugas ini.
Misalnya, jika Anda memilih E2 untuk seri mesin, pilih e2-medium (2 vCPU, 4 GB memory) (default).
Konfigurasikan jumlah resource VM yang diperlukan untuk setiap tugas:
Di kolom Cores, masukkan jumlah vCPUs per tugas.
Misalnya, masukkan
1
(default).Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.
Misalnya, masukkan
0.5
(default).
Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Preview.
Klik Create.
Laman Detail pekerjaan menampilkan pekerjaan yang Anda buat.
gcloud
Untuk membuat tugas skrip dasar menggunakan gcloud CLI, lakukan hal berikut:
Buat file JSON yang menentukan detail konfigurasi tugas Anda. Misalnya, untuk membuat tugas skrip dasar, buat file JSON dengan konten berikut. Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, baca dokumentasi referensi untuk resource REST
projects.locations.jobs
.{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { SCRIPT } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }
Ganti kode berikut:
SCRIPT
: skrip yang dijalankan oleh setiap tugas.CORES
: Opsional. Jumlah core, khususnya vCPUs, yang biasanya mewakili setengah core fisik, untuk dialokasikan ke setiap tugas dalam unit milidetik. Jika kolomcpuMilli
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilai ditetapkan ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilai akan ditetapkan ke0
, yang berarti tidak akan mencoba kembali tugas tersebut.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan untuk berjalan sebelum dicoba lagi atau gagal, yang diformat sebagai nilai dalam detik yang diikuti dengans
. Jika kolommaxRunDuration
tidak ditentukan, nilai ditetapkan ke604800s
(7 hari), yang merupakan nilai maksimum.TASK_COUNT
: Opsional. Jumlah tugas untuk pekerjaan tersebut. Nilai harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilai ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan secara serentak. Jumlahnya tidak boleh lebih dari jumlah tugas dan harus berupa bilangan bulat antara1
dan tugas paralel per batas tugas. Jika kolomparallelism
tidak ditentukan, nilai ditetapkan ke1
.
Buat tugas menggunakan perintah
gcloud batch jobs submit
.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Ganti kode berikut:
JOB_NAME
: nama tugas.LOCATION
: lokasi tugas.JSON_CONFIGURATION_FILE
: jalur untuk file JSON dengan detail konfigurasi tugas.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan skrip:
Buat file JSON di direktori saat ini bernama
hello-world-script.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Jalankan perintah berikut:
gcloud batch jobs submit example-script-job \ --location us-central1 \ --config hello-world-script.json
API
Untuk membuat tugas skrip dasar menggunakan Batch API, gunakan
metode jobs.create
.
Untuk informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat
dokumentasi referensi untuk resource REST projects.locations.jobs
.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
SCRIPT
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
Ganti kode berikut:
PROJECT_ID
: project ID project Anda.LOCATION
: lokasi tugas.JOB_NAME
: nama tugas.SCRIPT
: skrip yang dijalankan oleh setiap tugas.CORES
: Opsional. Jumlah core—khususnya vCPUs, yang biasanya mewakili setengah core fisik—untuk dialokasikan ke setiap tugas dalam unit milidetik. Jika kolomcpuMilli
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilai ditetapkan ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk sebuah tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilai akan ditetapkan ke0
, yang berarti tidak akan mencoba lagi tugas tersebut.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan untuk berjalan sebelum dicoba lagi atau gagal, yang diformat sebagai nilai dalam detik yang diikuti dengans
. Jika kolommaxRunDuration
tidak ditentukan, nilai ditetapkan ke604800s
(7 hari), yang merupakan nilai maksimum.TASK_COUNT
: Opsional. Jumlah tugas untuk pekerjaan tersebut. Nilai harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilai ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan tugas secara serentak. Jumlah tidak boleh lebih dari jumlah tugas dan harus berupa bilangan bulat antara1
dan tugas paralel per batas tugas. Jika kolomparallelism
tidak ditentukan, nilai ditetapkan ke1
.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan skrip, gunakan permintaan berikut:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-script-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
dengan PROJECT_ID
adalah project ID project Anda.
Go
Go
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Batch Go.
Untuk mengautentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Batch Java.
Untuk mengautentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Node.js
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Batch Node.js.
Untuk mengautentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Batch Python.
Untuk mengautentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
C++
C++
Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Batch C++.
Untuk mengautentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Menggunakan variabel lingkungan
Gunakan variabel lingkungan saat Anda menulis image atau skrip container yang ingin dijalankan oleh tugas. Anda dapat menggunakan variabel lingkungan apa pun yang telah ditentukan untuk semua tugas Batch dan variabel lingkungan kustom yang Anda tentukan saat membuat tugas.
Menggunakan variabel lingkungan yang telah ditetapkan
Secara default, runnable dalam tugas Anda dapat menggunakan variabel lingkungan standar berikut:
BATCH_TASK_COUNT
: jumlah tugas dalam grup tugas.BATCH_TASK_INDEX
: nomor indeks tugas dalam grup tugas. Penomoran indeks dimulai pada0
.BATCH_HOSTS_FILE
: Opsional. Jalur ke file yang mencantumkan semua instance VM yang sedang berjalan dalam grup tugas. Untuk menggunakan variabel lingkungan ini, kolomrequireHostsFile
diperlukan dan harus disetel ke benar (true).
Untuk menunjukkan cara menggunakan variabel lingkungan yang telah ditetapkan sebelumnya, lihat contoh runnable sebelumnya di Membuat tugas dasar dalam dokumen ini.
Menentukan dan menggunakan variabel lingkungan kustom
Selain itu, Anda dapat menentukan satu atau beberapa variabel lingkungan kustom dalam tugas.
Anda menentukan setiap variabel dalam lingkungan tertentu berdasarkan cakupan datanya yang diinginkan:
Untuk variabel yang memiliki nilai yang sama untuk semua tugas, gunakan salah satu fungsi berikut:
Jika variabel memiliki nilai yang sama untuk semua runnable, gunakan environment dari semua runnable (subkolom
environment
daritaskSpec
).Atau, jika variabel memiliki nilai terpisah untuk semua runnable, gunakan satu atau beberapa lingkungan dari runnable tertentu (subkolom
environment
darirunnables[]
).
Jika tidak, untuk variabel array yang memiliki nilai terpisah untuk setiap tugas, gunakan lingkungan semua tugas (
taskEnvironment
).
Di lingkungan yang dipilih, Anda menentukan nama dan nilai setiap variabel menggunakan salah satu subkolom lingkungan berikut:
Untuk menentukan variabel secara langsung di file JSON konfigurasi tugas, gunakan subkolom variabel standar (
variables
), seperti yang ditunjukkan di bagian ini. Opsi ini direkomendasikan untuk data yang tidak ingin dienkripsi.Untuk menentukan variabel menggunakan data terenkripsi, Anda dapat menggunakan Secret Manager atau Cloud Key Management Service:
Untuk menggunakan konten terenkripsi dari secret Secret Manager yang sudah ada, gunakan subkolom variabel secret (
secretVariables
). Untuk mengetahui informasi selengkapnya tentang penggunaan secret dalam tugas, lihat Melindungi data sensitif menggunakan Secret Manager.Untuk menggunakan konten terenkripsi dari kunci Cloud Key Management Service yang ada, gunakan subkolom variabel terenkripsi (
encryptedVariables
). Untuk mengetahui informasi selengkapnya tentang kunci Cloud KMS, lihat dokumentasi untuk Cloud Key Management Service.
Anda dapat menentukan dan menggunakan variabel lingkungan kustom untuk tugas Anda menggunakan gcloud CLI atau Batch API. Contoh berikut menjelaskan cara membuat dua tugas yang menentukan dan menggunakan variabel standar. Contoh tugas pertama memiliki variabel untuk runnable tertentu. Contoh tugas kedua memiliki variabel array, yang memiliki nilai berbeda untuk setiap tugas.
gcloud
Jika Anda ingin menentukan tugas yang meneruskan variabel lingkungan ke runnable yang dijalankan setiap tugas, lihat contoh untuk Menentukan dan menggunakan variabel lingkungan untuk runnable. Atau, jika Anda ingin menentukan tugas yang meneruskan daftar variabel lingkungan ke tugas yang berbeda berdasarkan indeks tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk runnable
Untuk membuat tugas yang meneruskan variabel lingkungan ke runnable menggunakan gcloud CLI, gunakan perintah gcloud batch jobs submit
dan tentukan variabel lingkungan di file konfigurasi tugas.
Misalnya, untuk membuat tugas skrip yang menentukan variabel lingkungan dan meneruskannya ke skrip 3 tugas, buat permintaan berikut:
Buat file JSON di direktori saat ini bernama
hello-world-environment-variables.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, "environment": { "variables": { "VARIABLE_NAME": "VARIABLE_VALUE" } } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "parallelism": 1 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }
Ganti kode berikut:
VARIABLE_NAME
: nama variabel lingkungan yang diteruskan ke setiap tugas. Berdasarkan konvensi, nama variabel lingkungan dikapitalisasi.VARIABLE_VALUE
: Opsional. Nilai variabel lingkungan yang diteruskan ke setiap tugas.
Jalankan perintah berikut:
gcloud batch jobs submit example-environment-variables-job \ --location us-central1 \ --config hello-world-environment-variables.json
Menentukan dan menggunakan variabel lingkungan untuk setiap tugas
Untuk membuat tugas yang meneruskan variabel lingkungan ke tugas berdasarkan indeks tugas menggunakan gcloud CLI, gunakan perintah gcloud batch jobs submit
dan tentukan kolom array taskEnvironments
di file konfigurasi tugas.
Misalnya, untuk membuat tugas yang menyertakan array 3 variabel lingkungan dengan nama yang cocok dan nilai yang berbeda, serta meneruskan variabel lingkungan ke skrip tugas yang indeksnya cocok dengan indeks variabel lingkungan dalam array:
Buat file JSON di direktori saat ini bernama
hello-world-task-environment-variables.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "taskEnvironments": [ { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2" } } ] } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }
Ganti kode berikut:
TASK_VARIABLE_NAME
: nama variabel lingkungan tugas yang diteruskan ke tugas dengan indeks yang cocok. Berdasarkan konvensi, nama variabel lingkungan ditulis dengan huruf besar.TASK_VARIABLE_VALUE_0
: nilai variabel lingkungan yang diteruskan ke tugas pertama, denganBATCH_TASK_INDEX
sama dengan0
.TASK_VARIABLE_VALUE_1
: nilai variabel lingkungan yang diteruskan ke tugas kedua, denganBATCH_TASK_INDEX
sama dengan1
.TASK_VARIABLE_VALUE_2
: nilai variabel lingkungan yang diteruskan ke tugas ketiga, denganBATCH_TASK_INDEX
sama dengan2
.
Jalankan perintah berikut:
gcloud batch jobs submit example-task-environment-variables-job \ --location us-central1 \ --config hello-world-task-environment-variables.json
API
Jika Anda ingin menentukan tugas yang meneruskan variabel lingkungan ke runnable yang dijalankan setiap tugas, lihat contoh untuk Menentukan dan menggunakan variabel lingkungan untuk runnable. Atau, jika Anda ingin menentukan tugas yang meneruskan daftar variabel lingkungan ke tugas yang berbeda berdasarkan indeks tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk runnable
Untuk membuat tugas yang meneruskan variabel lingkungan ke runnable menggunakan
Batch API, gunakan
perintah gcloud batch jobs submit
dan tentukan variabel lingkungan di kolom environment
.
Misalnya, untuk membuat tugas yang menyertakan variabel lingkungan dan meneruskannya ke skrip 3 tugas, buat permintaan berikut:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
"environment": {
"variables": {
"VARIABLE_NAME": "VARIABLE_VALUE"
}
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"parallelism": 1
}
],
"allocationPolicy": {
"instances": [
{
"policy": {
"machineType": "e2-standard-4"
}
}
]
}
}
Ganti kode berikut:
PROJECT_ID
: project ID project Anda.VARIABLE_NAME
: nama variabel environment yang diteruskan ke setiap tugas. Berdasarkan konvensi, nama variabel lingkungan dikapitalisasi.VARIABLE_VALUE
: nilai variabel lingkungan yang diteruskan ke setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk setiap tugas
Untuk membuat tugas yang meneruskan variabel lingkungan ke tugas berdasarkan indeks tugas menggunakan Batch API, gunakan metode jobs.create
dan tentukan variabel lingkungan di kolom array taskEnvironments
.
Misalnya, untuk membuat tugas yang menyertakan array 3 variabel lingkungan dengan nama yang cocok dan nilai yang berbeda, serta meneruskan variabel lingkungan ke skrip 3 tugas berdasarkan indeksnya, buat permintaan berikut:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-task-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"taskEnvironments": [
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2"
}
}
]
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
}
}
Ganti kode berikut:
PROJECT_ID
: project ID project Anda.TASK_VARIABLE_NAME
: nama variabel lingkungan yang diteruskan ke tugas dengan indeks yang cocok. Berdasarkan konvensi, nama variabel lingkungan dikapitalisasi.TASK_VARIABLE_VALUE_0
: nilai variabel lingkungan yang diteruskan ke tugas pertama, denganBATCH_TASK_INDEX
sama dengan0
.TASK_VARIABLE_VALUE_1
: nilai variabel lingkungan yang diteruskan ke tugas kedua, denganBATCH_TASK_INDEX
sama dengan1
.TASK_VARIABLE_VALUE_2
: nilai variabel lingkungan yang diteruskan ke tugas ketiga, denganBATCH_TASK_INDEX
sama dengan2
.
Langkah selanjutnya
- Jika Anda mengalami masalah saat membuat atau menjalankan tugas, lihat Pemecahan masalah.
- Melihat tugas dan tugas.
- Pelajari opsi penciptaan pekerjaan lainnya.