Menskalakan lingkungan

Cloud Composer 1 | Cloud Composer 2

Halaman ini menjelaskan cara menskalakan lingkungan Cloud Composer di Cloud Composer 1.

Untuk mengetahui informasi tentang cara kerja penskalaan lingkungan, lihat Penskalaan lingkungan.

Menskalakan secara vertikal dan horizontal

Di Cloud Composer 1, Anda tidak menentukan resource CPU dan memori tertentu untuk komponen Cloud Composer dan Airflow, seperti pekerja dan penjadwal. Sebagai gantinya, Anda dapat menentukan jumlah dan jenis mesin untuk node di cluster lingkungan Anda.

Catatan: Selama distribusi komponen di Cloud Composer 1, beberapa komponen Airflow mungkin ditempatkan secara tidak merata di atas node yang tersedia. Dalam skenario tersebut, beban CPU atau memori dari satu atau beberapa node lebih tinggi dibandingkan dengan node lain dalam cluster.

Opsi untuk penskalaan horizontal:

• Menyesuaikan jumlah node
• Menyesuaikan jumlah penjadwal

Opsi untuk penskalaan vertikal:

• Menyesuaikan jenis mesin instance Cloud SQL
• Menyesuaikan jenis mesin server web

Sesuaikan jumlah node

Anda dapat mengubah jumlah node di lingkungan Anda.

Angka ini sesuai dengan jumlah pekerja Airflow di lingkungan Anda. Selain menjalankan pekerja Airflow, node lingkungan Anda juga menjalankan penjadwal Airflow dan komponen lingkungan lainnya.

Konsol

1. Buka halaman Environments di Konsol Google Cloud:

   Buka halaman Environments

2. Pilih lingkungan Anda.

3. Buka tab Environment configuration.

4. Di item Node pekerja > Jumlah node, klik Edit.

5. Pada dialog Worker node configuration, di kolom Node count, tentukan jumlah node di lingkungan Anda.

6. Klik Simpan.

gcloud

Argumen --node-count mengontrol jumlah node di lingkungan Anda:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan wilayah tempat lingkungan berada.
• NODE_COUNT dengan jumlah node. Jumlah minimum node adalah 3.
• NODE_ZONE dengan zona Compute Engine untuk VM lingkungan Anda.

Contoh:

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

1. Buat permintaan environments.patch API.

2. Dalam permintaan ini:

   1. Dalam parameter updateMask, tentukan mask config.nodeCount.

   2. Dalam isi permintaan, tentukan jumlah node untuk lingkungan Anda.

  "config": {
    "nodeCount": NODE_COUNT
  }

Ganti:

• NODE_COUNT dengan jumlah node. Jumlah minimum node adalah 3.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

Kolom node_count di blok node_config menentukan jumlah node di lingkungan Anda.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

Ganti:

• NODE_COUNT dengan jumlah node.

Contoh:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

Catatan: Mengubah jumlah node lingkungan tidak memicu build ulang image Airflow yang digunakan untuk lingkungan.

Menyesuaikan jumlah penjadwal

Lingkungan Anda dapat menjalankan lebih dari satu penjadwal Airflow secara bersamaan. Gunakan beberapa penjadwal untuk mendistribusikan beban di antara beberapa instance penjadwal untuk mendapatkan performa dan keandalan yang lebih baik.

Anda dapat menentukan jumlah penjadwal hingga jumlah node di lingkungan Anda.

Meningkatkan jumlah penjadwal tidak selalu meningkatkan performa Airflow. Misalnya, hanya memiliki satu penjadwal dapat memberikan performa yang lebih baik daripada memiliki dua penjadwal. Hal ini mungkin terjadi saat penjadwal tambahan tidak digunakan, sehingga menghabiskan resource lingkungan Anda tanpa berkontribusi pada performa keseluruhan. Performa penjadwal yang sebenarnya bergantung pada jumlah pekerja Airflow, jumlah DAG dan tugas yang berjalan di lingkungan Anda, serta konfigurasi Airflow dan lingkungan.

Sebaiknya mulai dengan dua penjadwal, lalu pantau performa lingkungan Anda. Jika mengubah jumlah penjadwal, Anda selalu dapat menskalakan lingkungan kembali ke jumlah awal penjadwal.

Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi beberapa penjadwal, lihat dokumentasi Airflow.

Catatan: Anda dapat menentukan jumlah penjadwal hanya jika lingkungan Anda menggunakan Airflow 2.

Konsol

1. Buka halaman Environments di Konsol Google Cloud:

   Buka halaman Environments

2. Pilih lingkungan Anda.

3. Buka tab Environment configuration.

4. Di item Referensi > Jumlah penjadwal, klik Edit.

5. Pada dialog Scheduler configuration, di kolom Number of schedulers, tentukan jumlah penjadwal untuk lingkungan Anda.

6. Klik Simpan.

gcloud

Jalankan perintah Google Cloud CLI berikut:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan wilayah tempat lingkungan berada.
• SCHEDULER_COUNT dengan jumlah penjadwal.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

1. Buat permintaan environments.patch API.

2. Dalam permintaan ini:

   1. Dalam parameter updateMask, tentukan mask config.softwareConfig.schedulerCount.

   2. Dalam isi permintaan, tentukan jumlah node untuk lingkungan Anda.

{
  "config": {
    "softwareConfig": {
      "schedulerCount": SCHEDULER_COUNT
    }
}

Ganti:

• SCHEDULER_COUNT dengan jumlah penjadwal.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.schedulerCount

{
  "config": {
    "softwareConfig": {
      "schedulerCount": 2
    }
}

Terraform

Kolom scheduler_count dalam blok software_config menentukan jumlah penjadwal di lingkungan Anda.

Kolom ini hanya tersedia di lingkungan Cloud Composer 1 yang menggunakan Airflow 2.

resource "google_composer_environment" "example" {

  config {
    software_config {
      scheduler_count = SCHEDULER_COUNT
    }
  }
}

Ganti:

• SCHEDULER_COUNT dengan jumlah penjadwal.

Contoh:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      scheduler_count = 2
    }
  }
}

Menyesuaikan jenis mesin instance Cloud SQL

Anda dapat mengubah jenis mesin instance Cloud SQL yang menyimpan database Airflow lingkungan Anda.

Konsol

1. Buka halaman Environments di Konsol Google Cloud:

   Buka halaman Environments

2. Pilih lingkungan Anda.

3. Buka tab Environment configuration.

4. Di item Resource > Jenis mesin Cloud SQL, klik Edit.

5. Pada dialog Cloud SQL configuration, pada menu drop-down Cloud SQL machine type, pilih jenis mesin untuk instance Cloud SQL lingkungan Anda.

6. Klik Simpan.

gcloud

Argumen --cloud-sql-machine-type mengontrol jenis mesin instance Cloud SQL di lingkungan Anda.

Jalankan perintah Google Cloud CLI berikut:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan wilayah tempat lingkungan berada.
• SQL_MACHINE_TYPE dengan jenis mesin untuk instance Cloud SQL.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

1. Buat permintaan environments.patch API.

2. Dalam permintaan ini:

   1. Dalam parameter updateMask, tentukan mask config.databaseConfig.machineType.

   2. Dalam isi permintaan, tentukan jenis mesin untuk instance Cloud SQL.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

Ganti:

• SQL_MACHINE_TYPE dengan jenis mesin untuk instance Cloud SQL.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

Kolom machine_type di blok database_config menentukan jenis mesin untuk instance Cloud SQL.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

Ganti:

• SQL_MACHINE_TYPE dengan jenis mesin untuk instance Cloud SQL.

Contoh:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

Menyesuaikan jenis mesin server web

Anda dapat mengubah jenis mesin untuk server web Airflow lingkungan Anda.

Konsol

1. Buka halaman Environments di Konsol Google Cloud:

   Buka halaman Environments

2. Pilih lingkungan Anda.

3. Buka tab Environment configuration.

4. Di item Sumber daya > Jenis mesin server web, klik Edit.

5. Pada dialog Web server configuration, pada menu drop-down Web server machine type, pilih jenis mesin untuk server web Airflow.

6. Klik Simpan.

gcloud

Argumen --web-server-machine-type mengontrol jenis mesin instance server web Airflow di lingkungan Anda.

Jalankan perintah Google Cloud CLI berikut:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan wilayah tempat lingkungan berada.
• WS_MACHINE_TYPE dengan jenis mesin untuk instance server web Airflow.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

1. Buat permintaan environments.patch API.

2. Dalam permintaan ini:

   1. Dalam parameter updateMask, tentukan mask config.webServerConfig.machineType.

   2. Dalam isi permintaan, tentukan jenis mesin untuk server web.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

Ganti:

• WS_MACHINE_TYPE dengan jenis mesin untuk instance server web Airflow.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

Kolom machine_type di blok web_server_config menentukan jenis mesin untuk instance server web Airflow.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

Ganti:

• WS_MACHINE_TYPE dengan jenis mesin untuk instance server web Airflow.

Contoh:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

Langkah selanjutnya

• Penskalaan dan performa lingkungan
• Harga Cloud Composer
• Mengupdate lingkungan
• Arsitektur lingkungan