Dokumen ini menjelaskan dasar-dasar pembuatan tugas Batch: cara membuat dan menjalankan tugas yang didasarkan pada skrip atau image container dan menggunakan variabel standar dan kustom. Untuk mempelajari lebih lanjut cara membuat dan menjalankan tugas, lihat Ringkasan eksekusi dan pembuatan tugas.
Sebelum memulai
- Jika belum pernah menggunakan Batch, baca Mulai menggunakan Batch dan aktifkan Batch dengan menyelesaikan prasyarat untuk project dan pengguna.
-
Untuk mendapatkan izin yang diperlukan untuk membuat tugas, minta administrator untuk memberi Anda peran IAM berikut:
-
Batch Job Editor (
roles/batch.jobsEditor
) di project -
Pengguna Akun Layanan (
roles/iam.serviceAccountUser
) di akun layanan tugas, yang secara default adalah akun layanan Compute Engine default
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
-
Batch Job Editor (
-
Setiap kali Anda membuat tugas, pastikan tugas tersebut memiliki konfigurasi jaringan yang valid.
- Jika Anda tidak memiliki persyaratan jaringan tertentu untuk project atau beban kerja dan belum mengubah jaringan default untuk project, Anda tidak perlu melakukan tindakan apa pun.
- Jika tidak, Anda perlu mengonfigurasi jaringan saat membuat tugas. Pelajari cara mengonfigurasi jaringan untuk tugas sebelum membuat tugas dasar, sehingga Anda dapat mengubah contoh di bawah untuk memenuhi persyaratan jaringan Anda.
-
Setiap kali Anda membuat tugas, pastikan tugas tersebut memiliki lingkungan sistem operasi (OS) VM yang valid.
- Jika Anda tidak memiliki persyaratan image OS VM atau boot disk tertentu untuk workload atau project, Anda tidak perlu melakukan tindakan apa pun.
- Jika tidak, Anda harus menyiapkan opsi lingkungan OS VM yang valid. Sebelum membuat tugas dasar, izinkan konfigurasi default untuk lingkungan OS VM atau pelajari cara menyesuaikan lingkungan OS VM sehingga Anda dapat mengubah contoh di bawah untuk memenuhi persyaratan Anda.
Membuat tugas dasar
Untuk informasi tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST projects.locations.jobs
.
Singkatnya, tugas terdiri dari array dari satu atau beberapa tugas
yang semuanya menjalankan satu atau beberapa
runnable,
yaitu skrip dan/atau penampung yang dapat dieksekusi untuk tugas Anda.
Untuk membahas dasar-dasarnya, bagian ini menjelaskan cara membuat contoh tugas dengan
hanya satu yang dapat dijalankan, baik skrip maupun image container:
- Jika Anda ingin menggunakan Batch untuk menulis tugas yang menjalankan image container, lihat membuat tugas container.
- Atau, jika Anda tidak yakin apakah ingin menggunakan image container atau jika Anda tidak terbiasa dengan container, sebaiknya buat tugas skrip.
Contoh tugas untuk kedua jenis tugas berisi grup tugas dengan array 4 tugas. Setiap tugas mencetak pesan dan indeksnya ke output standar dan Cloud Logging. Definisi untuk tugas ini menentukan paralelisme 2, yang menunjukkan bahwa tugas harus berjalan di 2 VM untuk memungkinkan 2 tugas berjalan sekaligus.
Membuat tugas penampung dasar
Anda dapat memilih atau membuat image container untuk menyediakan kode dan dependensi agar tugas Anda dapat berjalan dari lingkungan komputasi mana pun. Untuk informasi selengkapnya, lihat Bekerja dengan image container dan Menjalankan container di instance VM.
Anda dapat membuat tugas penampung dasar menggunakan konsol Google Cloud, gcloud CLI, Batch API, Go, Java, Node.js, Python, atau C++.
Konsol
Untuk membuat tugas penampung dasar menggunakan konsol Google Cloud, lakukan hal berikut:
Di konsol Google Cloud, buka halaman Daftar tugas.
Klik
Create. Halaman Create batch job akan terbuka. Di panel kiri, halaman Detail tugas dipilih.Konfigurasikan halaman Detail tugas:
Opsional: Di kolom Nama tugas, sesuaikan nama tugas.
Misalnya, masukkan
example-basic-job
.Konfigurasikan bagian Detail tugas:
Di jendela New runnable, tambahkan minimal satu skrip atau penampung agar tugas ini dapat dijalankan.
Misalnya, untuk menambahkan satu penampung, lakukan langkah-langkah berikut:
Pilih Container image URL (default).
Di kolom Container image URL, masukkan URL untuk image container yang ingin Anda jalankan untuk setiap tugas dalam tugas ini.
Misalnya, untuk menggunakan image penampung Docker
busybox
, masukkan URL berikut:gcr.io/google-containers/busybox
Opsional: Untuk mengganti perintah
ENTRYPOINT
image container, masukkan perintah di kolom Titik entri.Misalnya, masukkan hal berikut:
/bin/sh
Opsional: Untuk mengganti perintah
CMD
image container, lakukan tindakan berikut:Pilih kotak centang Ganti perintah CMD image container. Kotak teks akan muncul.
Di kotak teks, masukkan satu atau beberapa perintah, dengan memisahkan setiap perintah dengan baris baru.
Misalnya, masukkan perintah berikut:
-c echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.
Klik Done.
Di kolom Task count, masukkan jumlah tugas untuk tugas ini. Nilai harus berupa bilangan bulat antara
1
dan batas tugas per grup tugas.Misalnya, masukkan
4
.Di kolom Parallelism, masukkan jumlah tugas yang akan dijalankan secara serentak. Jumlah ini tidak boleh lebih besar dari jumlah total tugas dan harus berupa bilangan bulat antara
1
dan batas tugas paralel per tugas.Misalnya, masukkan
2
.
Konfigurasi halaman Spesifikasi resource:
Di panel kiri, klik Spesifikasi resource. Halaman Resource specifications akan terbuka.
Di bagian VM provisioning model, pilih salah satu opsi berikut untuk model penyediaan untuk VM tugas ini:
Jika tugas Anda dapat menahan preemption dan Anda menginginkan VM dengan harga diskon, pilih Spot.
Jika tidak, pilih Standar.
Misalnya, pilih Standar (default).
Pilih lokasi untuk tugas ini:
Di kolom Region, pilih region.
Misalnya, pilih
us-central1 (Iowa)
(default).Di kolom Zone, lakukan salah satu hal berikut:
Jika Anda ingin membatasi tugas ini agar hanya berjalan di zona tertentu, pilih zona.
Jika tidak, pilih any.
Misalnya, pilih any (default).
Pilih salah satu kelompok mesin berikut:
Untuk workload umum, klik General purpose.
Untuk workload yang membutuhkan performa intensif, klik Compute optimized.
Untuk workload yang membutuhkan banyak memori, klik Memory optimized.
Misalnya, klik General destination (default).
Di kolom Series, pilih seri mesin untuk VM tugas ini.
Misalnya, jika Anda memilih General purpose untuk keluarga mesin, pilih E2 (default).
Di kolom Machine type, pilih jenis mesin untuk VM tugas ini.
Misalnya, jika Anda memilih E2 untuk seri mesin, pilih e2-medium (2 vCPU, 4 GB memory) (default).
Konfigurasikan jumlah resource VM yang diperlukan untuk setiap tugas:
Di kolom Cores, masukkan jumlah vCPUs per tugas.
Misalnya, masukkan
1
(default).Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.
Misalnya, masukkan
0.5
(default).
Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Pratinjau.
Klik Create.
Halaman Detail tugas menampilkan tugas yang Anda buat.
gcloud
Untuk membuat tugas penampung dasar menggunakan gcloud CLI, lakukan langkah-langkah berikut:
Buat file JSON yang menentukan detail konfigurasi tugas Anda. Misalnya, untuk membuat tugas penampung dasar, buat file JSON dengan konten berikut. Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST
projects.locations.jobs
.{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { CONTAINER } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }
Ganti kode berikut:
CONTAINER
: penampung yang dijalankan setiap tugas. Minimal, penampung harus menentukan gambar di subkolomimageUri
, tetapi subkolom tambahan mungkin juga diperlukan. Untuk informasi selengkapnya, lihat subkolomcontainer
dan contoh tugas penampung di bagian ini.CORES
: Opsional. Jumlah inti—khususnya vCPUs, yang biasanya mewakili setengah inti fisik—untuk dialokasikan untuk setiap tugas dalam unit milliCPU. Jika kolomcpuMilli
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilainya akan ditetapkan ke0
, yang berarti tidak mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount
, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan untuk berjalan sebelum dicoba ulang atau gagal, diformat sebagai nilai dalam detik, diikuti dengans
—misalnya,3600s
selama 1 jam. Jika kolommaxRunDuration
tidak ditentukan, nilai akan ditetapkan ke waktu proses maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration
, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT
: Opsional. Jumlah tugas untuk tugas. Nilai harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilainya akan ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan tugas secara serentak. Jumlah ini tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1
dan batas tugas paralel per tugas. Jika kolomparallelism
tidak ditentukan, nilainya akan ditetapkan ke1
.
Buat tugas menggunakan perintah
gcloud batch jobs submit
.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Ganti kode berikut:
JOB_NAME
: nama tugas.LOCATION
: lokasi tugas.JSON_CONFIGURATION_FILE
: jalur untuk file JSON dengan detail konfigurasi tugas.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan
image container Docker busybox
:
Buat file JSON di direktori saat ini bernama
hello-world-container.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { "imageUri": "gcr.io/google-containers/busybox", "entrypoint": "/bin/sh", "commands": [ "-c", "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." ] } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Jalankan perintah berikut:
gcloud batch jobs submit example-container-job \ --location us-central1 \ --config hello-world-container.json
API
Untuk membuat tugas penampung dasar menggunakan Batch API, gunakan
metode jobs.create
.
Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat
dokumentasi referensi untuk resource REST projects.locations.jobs
.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
CONTAINER
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
Ganti kode berikut:
PROJECT_ID
: Project ID project Anda.LOCATION
: lokasi tugas.JOB_NAME
: nama tugas.CONTAINER
: penampung yang dijalankan setiap tugas. Minimal, penampung harus menentukan gambar di subkolomimageUri
, tetapi subkolom tambahan mungkin juga diperlukan. Untuk informasi selengkapnya, lihat subkolomcontainer
dan contoh tugas penampung di bagian ini.CORES
: Opsional. Jumlah core—khususnya vCPUs, yang biasanya mewakili setengah core fisik—untuk dialokasikan bagi setiap tugas dalam unit milliCPU. Jika kolomcpuMilli
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilainya akan ditetapkan ke0
, yang berarti tidak mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount
, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan untuk berjalan sebelum dicoba ulang atau gagal, diformat sebagai nilai dalam detik, diikuti dengans
—misalnya,3600s
selama 1 jam. Jika kolommaxRunDuration
tidak ditentukan, nilainya akan ditetapkan ke waktu proses maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration
, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT
: Opsional. Jumlah tugas untuk tugas, yang harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilainya akan ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan tugas secara serentak. Jumlah ini tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1
dan batas tugas paralel per tugas. Jika kolomparallelism
tidak ditentukan, nilainya akan ditetapkan ke1
.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan image container Docker busybox
, gunakan permintaan berikut:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-container-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
"imageUri": "gcr.io/google-containers/busybox",
"entrypoint": "/bin/sh",
"commands": [
"-c",
"echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
]
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
dengan PROJECT_ID
adalah
project ID
project Anda.
Go
Go
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Go API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Java API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Node.js
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Node.js API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Python API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
C++
C++
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch C++ API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat tugas skrip dasar
Anda dapat membuat tugas skrip dasar menggunakan konsol Google Cloud, gcloud CLI, Batch API, Go, Java, Node.js, Python, atau C++.
Konsol
Untuk membuat tugas skrip dasar menggunakan konsol Google Cloud, lakukan hal berikut:
Di konsol Google Cloud, buka halaman Daftar tugas.
Klik
Create. Halaman Create batch job akan terbuka. Di panel kiri, halaman Detail tugas dipilih.Konfigurasikan halaman Detail tugas:
Opsional: Di kolom Nama tugas, sesuaikan nama tugas.
Misalnya, masukkan
example-basic-job
.Konfigurasikan bagian Detail tugas:
Di jendela New runnable, tambahkan minimal satu skrip atau penampung agar tugas ini dapat dijalankan.
Misalnya, untuk menambahkan satu skrip, lakukan hal berikut:
Pilih Skrip. Kotak teks akan muncul.
Di kotak teks, masukkan skrip yang ingin Anda jalankan untuk setiap tugas dalam tugas ini.
Misalnya, masukkan skrip berikut:
echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.
Klik Done.
Di kolom Task count, masukkan jumlah tugas untuk tugas ini. Nilai harus berupa bilangan bulat antara
1
dan batas tugas per grup tugas.Misalnya, masukkan
4
.Di kolom Parallelism, masukkan jumlah tugas yang akan dijalankan secara serentak. Jumlah ini tidak boleh lebih besar dari jumlah total tugas dan harus berupa bilangan bulat antara
1
dan batas tugas paralel per tugas.Misalnya, masukkan
2
.
Konfigurasi halaman Spesifikasi resource:
Di panel kiri, klik Spesifikasi resource. Halaman Resource specifications akan terbuka.
Di bagian VM provisioning model, pilih salah satu opsi berikut untuk model penyediaan untuk VM tugas ini:
Jika tugas Anda dapat menahan preemption dan Anda menginginkan VM dengan harga diskon, pilih Spot.
Jika tidak, pilih Standar.
Misalnya, pilih Standar (default).
Pilih lokasi untuk tugas ini:
Di kolom Region, pilih region.
Misalnya, pilih
us-central1 (Iowa)
(default).Di kolom Zone, lakukan salah satu hal berikut:
Jika Anda ingin membatasi tugas ini agar hanya berjalan di zona tertentu, pilih zona.
Jika tidak, pilih any.
Misalnya, pilih any (default).
Pilih salah satu kelompok mesin berikut:
Untuk workload umum, klik General purpose.
Untuk workload yang membutuhkan performa intensif, klik Compute optimized.
Untuk workload yang membutuhkan banyak memori, klik Memory optimized.
Misalnya, klik General destination (default).
Di kolom Series, pilih seri mesin untuk VM tugas ini.
Misalnya, jika Anda memilih General purpose untuk keluarga mesin, pilih E2 (default).
Di kolom Machine type, pilih jenis mesin untuk VM tugas ini.
Misalnya, jika Anda memilih E2 untuk seri mesin, pilih e2-medium (2 vCPU, 4 GB memory) (default).
Konfigurasikan jumlah resource VM yang diperlukan untuk setiap tugas:
Di kolom Cores, masukkan jumlah vCPUs per tugas.
Misalnya, masukkan
1
(default).Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.
Misalnya, masukkan
0.5
(default).
Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Pratinjau.
Klik Create.
Halaman Detail tugas menampilkan tugas yang Anda buat.
gcloud
Untuk membuat tugas skrip dasar menggunakan gcloud CLI, lakukan langkah-langkah berikut:
Buat file JSON yang menentukan detail konfigurasi tugas Anda. Misalnya, untuk membuat tugas skrip dasar, buat file JSON dengan konten berikut. Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST
projects.locations.jobs
.{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { SCRIPT } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }
Ganti kode berikut:
SCRIPT
: skrip yang dijalankan setiap tugas. Skrip harus ditentukan sebagai teks menggunakan subkolomtext
atau sebagai jalur ke file yang dapat diakses menggunakan subkolomfile
. Untuk informasi selengkapnya, lihat subkolomscript
dan contoh tugas skrip di bagian ini.CORES
: Opsional. Jumlah inti—khususnya vCPUs, yang biasanya mewakili setengah inti fisik—untuk dialokasikan bagi setiap tugas dalam unit milliCPU. Jika kolomcpuMilli
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilainya akan ditetapkan ke0
, yang berarti tidak mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount
, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan untuk berjalan sebelum dicoba ulang atau gagal, diformat sebagai nilai dalam detik, diikuti dengans
—misalnya,3600s
selama 1 jam. Jika kolommaxRunDuration
tidak ditentukan, nilai akan ditetapkan ke waktu proses maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration
, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT
: Opsional. Jumlah tugas untuk tugas. Nilai harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilainya akan ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan tugas secara serentak. Jumlah ini tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1
dan batas tugas paralel per tugas. Jika kolomparallelism
tidak ditentukan, nilainya akan ditetapkan ke1
.
Buat tugas menggunakan perintah
gcloud batch jobs submit
.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Ganti kode berikut:
JOB_NAME
: nama tugas.LOCATION
: lokasi tugas.JSON_CONFIGURATION_FILE
: jalur untuk file JSON dengan detail konfigurasi tugas.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan skrip:
Buat file JSON di direktori saat ini bernama
hello-world-script.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Jalankan perintah berikut:
gcloud batch jobs submit example-script-job \ --location us-central1 \ --config hello-world-script.json
API
Untuk membuat tugas skrip dasar menggunakan Batch API, gunakan
metode jobs.create
.
Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat
dokumentasi referensi untuk resource REST projects.locations.jobs
.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
SCRIPT
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
Ganti kode berikut:
PROJECT_ID
: Project ID project Anda.LOCATION
: lokasi tugas.JOB_NAME
: nama tugas.SCRIPT
: skrip yang dijalankan setiap tugas. Skrip harus ditentukan sebagai teks menggunakan subkolomtext
atau sebagai jalur ke file yang dapat diakses menggunakan subkolomfile
. Untuk informasi selengkapnya, lihat subkolomscript
dan contoh tugas skrip di bagian ini.CORES
: Opsional. Jumlah core—khususnya vCPUs, yang biasanya mewakili setengah core fisik—untuk dialokasikan bagi setiap tugas dalam unit milliCPU. Jika kolomcpuMilli
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 vCPU).MEMORY
: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMib
tidak ditentukan, nilainya akan ditetapkan ke2000
(2 GB).MAX_RETRY_COUNT
: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0
dan10
. Jika kolommaxRetryCount
tidak ditentukan, nilainya akan ditetapkan ke0
, yang berarti tidak mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount
, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION
: Opsional. Waktu maksimum tugas diizinkan untuk berjalan sebelum dicoba ulang atau gagal, diformat sebagai nilai dalam detik, diikuti dengans
—misalnya,3600s
selama 1 jam. Jika kolommaxRunDuration
tidak ditentukan, nilainya akan ditetapkan ke waktu proses maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration
, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT
: Opsional. Jumlah tugas untuk tugas. Nilai harus berupa bilangan bulat antara1
dan batas tugas per grup tugas. Jika kolomtaskCount
tidak ditentukan, nilainya akan ditetapkan ke1
.PARALLELISM
: Opsional. Jumlah tugas yang dijalankan tugas secara serentak. Jumlah ini tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1
dan batas tugas paralel per tugas. Jika kolomparallelism
tidak ditentukan, nilainya akan ditetapkan ke1
.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan skrip, gunakan permintaan berikut:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-script-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
dengan PROJECT_ID
adalah
project ID
project Anda.
Go
Go
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Go API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Java API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Node.js
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Node.js API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Python API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
C++
C++
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch C++ API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Menggunakan variabel lingkungan
Gunakan variabel lingkungan saat Anda menulis skrip atau image container yang ingin dijalankan tugas. Anda dapat menggunakan variabel lingkungan apa pun yang telah ditentukan sebelumnya untuk semua tugas Batch dan variabel lingkungan kustom apa pun yang ditentukan saat membuat tugas.
Menggunakan variabel lingkungan standar
Secara default, runnable dalam tugas Anda dapat menggunakan variabel lingkungan yang telah ditentukan sebelumnya berikut:
BATCH_TASK_COUNT
: jumlah total tugas dalam grup tugas ini.BATCH_TASK_INDEX
: nomor indeks tugas ini dalam grup tugas. Indeks tugas pertama adalah0
dan bertambah untuk setiap tugas tambahan.BATCH_HOSTS_FILE
: jalur ke file yang mencantumkan semua instance VM yang sedang berjalan dalam grup tugas ini. Untuk menggunakan variabel lingkungan ini, kolomrequireHostsFile
harus ditetapkan ketrue
.BATCH_TASK_RETRY_ATTEMPT
: frekuensi tugas ini telah dicoba. Nilainya adalah0
selama percobaan pertama tugas dan bertambah untuk setiap percobaan ulang berikutnya. Jumlah total percobaan ulang yang diizinkan untuk tugas ditentukan oleh nilai kolommaxRetryCount
, yaitu0
jika tidak ditentukan. Untuk mengetahui informasi selengkapnya tentang percobaan ulang, lihat Mengotomatiskan percobaan ulang tugas.
Untuk contoh cara menggunakan variabel lingkungan yang telah ditetapkan sebelumnya, lihat contoh runnable sebelumnya di Membuat tugas dasar dalam dokumen ini.
Menentukan dan menggunakan variabel lingkungan kustom
Secara opsional, Anda dapat menentukan satu atau beberapa variabel lingkungan kustom dalam tugas.
Anda menentukan setiap variabel di lingkungan tertentu berdasarkan cakupan datanya yang diinginkan:
Untuk variabel yang memiliki nilai yang sama untuk semua tugas, gunakan salah satu dari hal berikut:
Jika variabel memiliki nilai yang sama untuk semua runnable, gunakan lingkungan semua runnable (subkolom
environment
daritaskSpec
).Atau, jika variabel memiliki nilai terpisah untuk semua runnable, gunakan satu atau beberapa lingkungan runnable tertentu (subkolom
environment
darirunnables[]
).
Jika tidak, untuk variabel array yang memiliki nilai terpisah untuk setiap tugas, gunakan lingkungan semua tugas (
taskEnvironment
).
Di lingkungan yang dipilih, Anda menentukan nama dan nilai setiap variabel menggunakan salah satu subkolom lingkungan berikut:
Untuk menentukan variabel secara langsung dalam file JSON konfigurasi tugas, gunakan subkolom variabel standar (
variables
), seperti yang ditunjukkan di bagian ini. Opsi ini direkomendasikan untuk data yang tidak ingin Anda enkripsi.Untuk menentukan variabel menggunakan data terenkripsi, Anda dapat menggunakan Secret Manager atau Cloud Key Management Service:
Untuk menggunakan konten terenkripsi secret Secret Manager yang ada, gunakan subkolom variabel secret (
secretVariables
). Untuk informasi selengkapnya tentang cara menggunakan secret dalam tugas, lihat Melindungi data sensitif menggunakan Secret Manager.Untuk menggunakan konten terenkripsi dari kunci Cloud Key Management Service yang ada, gunakan subkolom variabel terenkripsi (
encryptedVariables
). Untuk informasi selengkapnya tentang kunci Cloud KMS, lihat dokumentasi untuk Cloud Key Management Service.
Anda dapat menentukan dan menggunakan variabel lingkungan kustom untuk tugas menggunakan gcloud CLI atau Batch API. Contoh berikut menjelaskan cara membuat dua tugas yang menentukan dan menggunakan variabel standar. Contoh tugas pertama memiliki variabel untuk runnable tertentu. Contoh tugas kedua memiliki variabel array, yang memiliki nilai yang berbeda untuk setiap tugas.
gcloud
Jika Anda ingin menentukan tugas yang meneruskan variabel lingkungan ke runnable yang dijalankan setiap tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk runnable. Atau, jika Anda ingin menentukan tugas yang meneruskan daftar variabel lingkungan ke tugas yang berbeda berdasarkan indeks tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk runnable
Untuk membuat tugas yang meneruskan variabel lingkungan ke tugas yang dapat dijalankan menggunakan gcloud CLI, gunakan perintah gcloud batch jobs submit
dan tentukan variabel lingkungan dalam file konfigurasi tugas.
Misalnya, untuk membuat tugas skrip yang menentukan variabel lingkungan dan meneruskannya ke skrip dari 3 tugas, buat permintaan berikut:
Buat file JSON di direktori saat ini bernama
hello-world-environment-variables.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, "environment": { "variables": { "VARIABLE_NAME": "VARIABLE_VALUE" } } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "parallelism": 1 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }
Ganti kode berikut:
VARIABLE_NAME
: nama variabel lingkungan yang diteruskan ke setiap tugas. Sesuai dengan konvensi, nama variabel lingkungan menggunakan huruf besar.VARIABLE_VALUE
: Opsional. Nilai variabel lingkungan yang diteruskan ke setiap tugas.
Jalankan perintah berikut:
gcloud batch jobs submit example-environment-variables-job \ --location us-central1 \ --config hello-world-environment-variables.json
Menentukan dan menggunakan variabel lingkungan untuk setiap tugas
Untuk membuat tugas yang meneruskan variabel lingkungan ke tugas berdasarkan indeks tugas menggunakan gcloud CLI, gunakan perintah gcloud batch jobs submit
dan tentukan kolom array taskEnvironments
dalam file konfigurasi tugas.
Misalnya, untuk membuat tugas yang menyertakan array dari 3 variabel lingkungan dengan nama yang cocok dan nilai yang berbeda, serta meneruskan variabel lingkungan ke skrip tugas yang indeksnya cocok dengan indeks variabel lingkungan dalam array:
Buat file JSON di direktori saat ini bernama
hello-world-task-environment-variables.json
dengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "taskEnvironments": [ { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2" } } ] } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }
Ganti kode berikut:
TASK_VARIABLE_NAME
: nama variabel lingkungan tugas yang diteruskan ke tugas dengan indeks yang cocok. Menurut konvensi, nama variabel lingkungan menggunakan huruf besar.TASK_VARIABLE_VALUE_0
: nilai variabel lingkungan yang diteruskan ke tugas pertama, denganBATCH_TASK_INDEX
sama dengan0
.TASK_VARIABLE_VALUE_1
: nilai variabel lingkungan yang diteruskan ke tugas kedua, denganBATCH_TASK_INDEX
sama dengan1
.TASK_VARIABLE_VALUE_2
: nilai variabel lingkungan yang diteruskan ke tugas ketiga, denganBATCH_TASK_INDEX
sama dengan2
.
Jalankan perintah berikut:
gcloud batch jobs submit example-task-environment-variables-job \ --location us-central1 \ --config hello-world-task-environment-variables.json
API
Jika Anda ingin menentukan tugas yang meneruskan variabel lingkungan ke runnable yang dijalankan setiap tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk runnable. Atau, jika Anda ingin menentukan tugas yang meneruskan daftar variabel lingkungan ke tugas yang berbeda berdasarkan indeks tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk runnable
Untuk membuat tugas yang meneruskan variabel lingkungan ke yang dapat dijalankan menggunakan
Batch API, gunakan
perintah gcloud batch jobs submit
dan tentukan variabel lingkungan di kolom environment
.
Misalnya, untuk membuat tugas yang menyertakan variabel lingkungan dan meneruskannya ke skrip dari 3 tugas, buat permintaan berikut:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
"environment": {
"variables": {
"VARIABLE_NAME": "VARIABLE_VALUE"
}
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"parallelism": 1
}
],
"allocationPolicy": {
"instances": [
{
"policy": {
"machineType": "e2-standard-4"
}
}
]
}
}
Ganti kode berikut:
PROJECT_ID
: Project ID project Anda.VARIABLE_NAME
: nama variabel lingkungan yang diteruskan ke setiap tugas. Secara konvensional, nama variabel lingkungan menggunakan huruf kapital.VARIABLE_VALUE
: nilai variabel lingkungan yang diteruskan ke setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk setiap tugas
Untuk membuat tugas yang meneruskan variabel lingkungan ke tugas berdasarkan indeks tugas menggunakan Batch API, gunakan metode jobs.create
dan tentukan variabel lingkungan di kolom array taskEnvironments
.
Misalnya, untuk membuat tugas yang menyertakan array dari 3 variabel lingkungan dengan nama yang cocok dan nilai yang berbeda, serta meneruskan variabel lingkungan ke skrip dari 3 tugas berdasarkan indeksnya, buat permintaan berikut:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-task-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"taskEnvironments": [
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2"
}
}
]
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
}
}
Ganti kode berikut:
PROJECT_ID
: Project ID project Anda.TASK_VARIABLE_NAME
: nama variabel lingkungan yang diteruskan ke tugas dengan indeks yang cocok. Secara umum, nama variabel lingkungan menggunakan huruf besar.TASK_VARIABLE_VALUE_0
: nilai variabel lingkungan yang diteruskan ke tugas pertama, denganBATCH_TASK_INDEX
sama dengan0
.TASK_VARIABLE_VALUE_1
: nilai variabel lingkungan yang diteruskan ke tugas kedua, denganBATCH_TASK_INDEX
sama dengan1
.TASK_VARIABLE_VALUE_2
: nilai variabel lingkungan yang diteruskan ke tugas ketiga, denganBATCH_TASK_INDEX
sama dengan2
.
Langkah selanjutnya
- Jika Anda mengalami masalah saat membuat atau menjalankan tugas, lihat Pemecahan masalah.
- Lihat tugas dan pekerjaan.
- Pelajari opsi pembuatan tugas lainnya.