Cloud Composer 1 | Cloud Composer 2
Halaman ini menjelaskan cara menskalakan lingkungan Cloud Composer di Cloud Composer 1.
Untuk mengetahui informasi tentang cara kerja penskalaan lingkungan, lihat Penskalaan lingkungan.
Menskalakan secara vertikal dan horizontal
Di Cloud Composer 1, Anda tidak menentukan resource CPU dan memori tertentu untuk komponen Cloud Composer dan Airflow, seperti pekerja dan penjadwal. Sebagai gantinya, Anda dapat menentukan jumlah dan jenis mesin untuk node di cluster lingkungan Anda.
Opsi untuk penskalaan horizontal:
Opsi untuk penskalaan vertikal:
Sesuaikan jumlah node
Anda dapat mengubah jumlah node di lingkungan Anda.
Angka ini sesuai dengan jumlah pekerja Airflow di lingkungan Anda. Selain menjalankan pekerja Airflow, node lingkungan Anda juga menjalankan penjadwal Airflow dan komponen lingkungan lainnya.
Konsol
Buka halaman Environments di Konsol Google Cloud:
Pilih lingkungan Anda.
Buka tab Environment configuration.
Di item Node pekerja > Jumlah node, klik Edit.
Pada dialog Worker node configuration, di kolom Node count, tentukan jumlah node di lingkungan Anda.
Klik Simpan.
gcloud
Argumen --node-count
mengontrol jumlah node di lingkungan Anda:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--zone NODE_ZONE \
--node-count NODE_COUNT
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan wilayah tempat lingkungan berada.NODE_COUNT
dengan jumlah node. Jumlah minimum node adalah3
.NODE_ZONE
dengan zona Compute Engine untuk VM lingkungan Anda.
Contoh:
gcloud composer environments update example-environment \
--location us-central1 \
--zone us-central1-a \
--node-count 6
API
Buat permintaan
environments.patch
API.Dalam permintaan ini:
Dalam parameter
updateMask
, tentukan maskconfig.nodeCount
.Dalam isi permintaan, tentukan jumlah node untuk lingkungan Anda.
"config": {
"nodeCount": NODE_COUNT
}
Ganti:
NODE_COUNT
dengan jumlah node. Jumlah minimum node adalah3
.
Contoh:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount
"config": {
"nodeCount": 6
}
Terraform
Kolom node_count
di blok node_config
menentukan jumlah node di lingkungan Anda.
resource "google_composer_environment" "example" {
config {
node_config {
node_count = NODE_COUNT
}
}
Ganti:
NODE_COUNT
dengan jumlah node.
Contoh:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
node_config {
node_count = 4
}
}
Menyesuaikan jumlah penjadwal
Lingkungan Anda dapat menjalankan lebih dari satu penjadwal Airflow secara bersamaan. Gunakan beberapa penjadwal untuk mendistribusikan beban di antara beberapa instance penjadwal untuk mendapatkan performa dan keandalan yang lebih baik.
Anda dapat menentukan jumlah penjadwal hingga jumlah node di lingkungan Anda.Meningkatkan jumlah penjadwal tidak selalu meningkatkan performa Airflow. Misalnya, hanya memiliki satu penjadwal dapat memberikan performa yang lebih baik daripada memiliki dua penjadwal. Hal ini mungkin terjadi saat penjadwal tambahan tidak digunakan, sehingga menghabiskan resource lingkungan Anda tanpa berkontribusi pada performa keseluruhan. Performa penjadwal yang sebenarnya bergantung pada jumlah pekerja Airflow, jumlah DAG dan tugas yang berjalan di lingkungan Anda, serta konfigurasi Airflow dan lingkungan.
Sebaiknya mulai dengan dua penjadwal, lalu pantau performa lingkungan Anda. Jika mengubah jumlah penjadwal, Anda selalu dapat menskalakan lingkungan kembali ke jumlah awal penjadwal.
Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi beberapa penjadwal, lihat dokumentasi Airflow.
Konsol
Buka halaman Environments di Konsol Google Cloud:
Pilih lingkungan Anda.
Buka tab Environment configuration.
Di item Referensi > Jumlah penjadwal, klik Edit.
Pada dialog Scheduler configuration, di kolom Number of schedulers, tentukan jumlah penjadwal untuk lingkungan Anda.
Klik Simpan.
gcloud
Jalankan perintah Google Cloud CLI berikut:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--scheduler-count SCHEDULER_COUNT
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan wilayah tempat lingkungan berada.SCHEDULER_COUNT
dengan jumlah penjadwal.
Contoh:
gcloud composer environments update example-environment \
--location us-central1 \
--scheduler-count 2
API
Buat permintaan
environments.patch
API.Dalam permintaan ini:
Dalam parameter
updateMask
, tentukan maskconfig.softwareConfig.schedulerCount
.Dalam isi permintaan, tentukan jumlah node untuk lingkungan Anda.
{
"config": {
"softwareConfig": {
"schedulerCount": SCHEDULER_COUNT
}
}
Ganti:
SCHEDULER_COUNT
dengan jumlah penjadwal.
Contoh:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.schedulerCount
{
"config": {
"softwareConfig": {
"schedulerCount": 2
}
}
Terraform
Kolom scheduler_count
dalam blok software_config
menentukan
jumlah penjadwal di lingkungan Anda.
Kolom ini hanya tersedia di lingkungan Cloud Composer 1 yang menggunakan Airflow 2.
resource "google_composer_environment" "example" {
config {
software_config {
scheduler_count = SCHEDULER_COUNT
}
}
}
Ganti:
SCHEDULER_COUNT
dengan jumlah penjadwal.
Contoh:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
software_config {
scheduler_count = 2
}
}
}
Menyesuaikan jenis mesin instance Cloud SQL
Anda dapat mengubah jenis mesin instance Cloud SQL yang menyimpan database Airflow lingkungan Anda.
Konsol
Buka halaman Environments di Konsol Google Cloud:
Pilih lingkungan Anda.
Buka tab Environment configuration.
Di item Resource > Jenis mesin Cloud SQL, klik Edit.
Pada dialog Cloud SQL configuration, pada menu drop-down Cloud SQL machine type, pilih jenis mesin untuk instance Cloud SQL lingkungan Anda.
Klik Simpan.
gcloud
Argumen --cloud-sql-machine-type
mengontrol jenis mesin
instance Cloud SQL di lingkungan Anda.
Jalankan perintah Google Cloud CLI berikut:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--cloud-sql-machine-type SQL_MACHINE_TYPE
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan wilayah tempat lingkungan berada.SQL_MACHINE_TYPE
dengan jenis mesin untuk instance Cloud SQL.
Contoh:
gcloud composer environments update example-environment \
--location us-central1 \
--cloud-sql-machine-type db-n1-standard-2
API
Buat permintaan
environments.patch
API.Dalam permintaan ini:
Dalam parameter
updateMask
, tentukan maskconfig.databaseConfig.machineType
.Dalam isi permintaan, tentukan jenis mesin untuk instance Cloud SQL.
{
"config": {
"databaseConfig": {
"machineType": "SQL_MACHINE_TYPE"
}
}
}
Ganti:
SQL_MACHINE_TYPE
dengan jenis mesin untuk instance Cloud SQL.
Contoh:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType
{
"config": {
"databaseConfig": {
"machineType": "db-n1-standard-2"
}
}
}
Terraform
Kolom machine_type
di blok database_config
menentukan jenis mesin untuk instance Cloud SQL.
resource "google_composer_environment" "example" {
config {
database_config {
machine_type = "SQL_MACHINE_TYPE"
}
}
}
Ganti:
SQL_MACHINE_TYPE
dengan jenis mesin untuk instance Cloud SQL.
Contoh:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
database_config {
machine_type = "db-n1-standard-2"
}
}
Menyesuaikan jenis mesin server web
Anda dapat mengubah jenis mesin untuk server web Airflow lingkungan Anda.
Konsol
Buka halaman Environments di Konsol Google Cloud:
Pilih lingkungan Anda.
Buka tab Environment configuration.
Di item Sumber daya > Jenis mesin server web, klik Edit.
Pada dialog Web server configuration, pada menu drop-down Web server machine type, pilih jenis mesin untuk server web Airflow.
Klik Simpan.
gcloud
Argumen --web-server-machine-type
mengontrol jenis mesin
instance server web Airflow di lingkungan Anda.
Jalankan perintah Google Cloud CLI berikut:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--web-server-machine-type WS_MACHINE_TYPE
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan wilayah tempat lingkungan berada.WS_MACHINE_TYPE
dengan jenis mesin untuk instance server web Airflow.
Contoh:
gcloud composer environments update example-environment \
--location us-central1 \
--web-server-machine-type composer-n1-webserver-2
API
Buat permintaan
environments.patch
API.Dalam permintaan ini:
Dalam parameter
updateMask
, tentukan maskconfig.webServerConfig.machineType
.Dalam isi permintaan, tentukan jenis mesin untuk server web.
{
"config": {
"webServerConfig": {
"machineType": "WS_MACHINE_TYPE"
}
}
}
Ganti:
WS_MACHINE_TYPE
dengan jenis mesin untuk instance server web Airflow.
Contoh:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType
{
"config": {
"webServerConfig": {
"machineType": "composer-n1-webserver-2"
}
}
}
Terraform
Kolom machine_type
di blok web_server_config
menentukan jenis mesin untuk instance server web Airflow.
resource "google_composer_environment" "example" {
config {
web_server_config {
machine_type = "WS_MACHINE_TYPE"
}
}
}
Ganti:
WS_MACHINE_TYPE
dengan jenis mesin untuk instance server web Airflow.
Contoh:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
web_server_config {
machine_type = "composer-n1-webserver-2"
}
}