Menskalakan lingkungan

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara menskalakan lingkungan Cloud Composer.

Melakukan penskalaan secara vertikal dan horizontal

Di Cloud Composer 1, Anda tidak menentukan resource CPU dan memori tertentu untuk komponen Cloud Composer dan Airflow seperti pekerja dan penjadwal. Sebagai gantinya, Anda menentukan jumlah dan jenis mesin untuk node di cluster lingkungan Anda.

Catatan: Selama distribusi komponen di Cloud Composer 1, beberapa komponen Airflow mungkin ditempatkan secara tidak merata di node yang tersedia. Dalam skenario tersebut, beban CPU atau memori dari satu atau beberapa node lebih tinggi dibandingkan dengan node lain dalam cluster.

Opsi untuk penskalaan horizontal:

• Menyesuaikan jumlah node
• Menyesuaikan jumlah penjadwal

Opsi untuk penskalaan vertikal:

• Menyesuaikan jenis mesin instance Cloud SQL
• Menyesuaikan jenis mesin server web

Menyesuaikan parameter penjadwal

Lingkungan Anda dapat menjalankan lebih dari satu penjadwal Airflow secara bersamaan. Gunakan beberapa penjadwal untuk mendistribusikan beban di antara beberapa instance penjadwal untuk performa dan keandalan yang lebih baik.

Jika lingkungan Anda menggunakan Airflow 2, Anda dapat menentukan jumlah penjadwal hingga jumlah node di lingkungan Anda.

Meningkatkan jumlah penjadwal tidak selalu meningkatkan performa Airflow. Misalnya, hanya memiliki satu penjadwal mungkin memberikan performa yang lebih baik daripada memiliki dua. Hal ini dapat terjadi jika penjadwal tambahan tidak digunakan, sehingga menggunakan resource lingkungan Anda tanpa berkontribusi pada performa secara keseluruhan. Performa penjadwal sebenarnya bergantung pada jumlah pekerja Airflow, jumlah DAG dan tugas yang berjalan di lingkungan Anda, serta konfigurasi Airflow dan lingkungan.

Sebaiknya mulai dengan dua penjadwal, lalu pantau performa lingkungan Anda. Jika mengubah jumlah penjadwal, Anda selalu dapat menskalakan lingkungan kembali ke jumlah penjadwal awal.

Untuk informasi selengkapnya tentang cara mengonfigurasi beberapa penjadwal, lihat dokumentasi Airflow.

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di item Resources > Workloads configuration, klik Edit.

5. Di item Resources > Number of schedulers, klik Edit.

6. Di panel Scheduler configuration, di kolom Number of schedulers, tentukan jumlah penjadwal untuk lingkungan Anda.

7. Klik Simpan.

gcloud

Parameter penjadwal Airflow berikut tersedia:

• --scheduler-count: jumlah penjadwal di lingkungan Anda.

Jalankan perintah Google Cloud CLI berikut:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.

• LOCATION: region tempat lingkungan berada.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

1. Buat permintaan API environments.patch.

2. Dalam permintaan ini:

   1. Dalam parameter updateMask, tentukan mask config.workloadsConfig.schedulerCount.

   2. Dalam isi permintaan, tentukan jumlah penjadwal untuk lingkungan Anda.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": SCHEDULER_COUNT
    }
  }
}

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.

• LOCATION: region tempat lingkungan berada.

• SCHEDULER_COUNT: jumlah penjadwal.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
    }
  }
}

Terraform

Kolom berikut di blok workloads_config.scheduler mengontrol parameter penjadwal Airflow. Setiap penjadwal menggunakan jumlah resource yang ditentukan.

• scheduler.count: jumlah penjadwal di lingkungan Anda.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        count = SCHEDULER_COUNT
      }
    }

  }
}

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.

• LOCATION: region tempat lingkungan berada.

• SCHEDULER_COUNT: jumlah penjadwal.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        count = 2
      }
    }

  }
}

Menyesuaikan parameter pemicu

Anda dapat menetapkan jumlah pemicu ke nol, tetapi Anda memerlukan setidaknya satu instance pemicu di lingkungan (atau setidaknya dua di lingkungan yang sangat tangguh), untuk menggunakan operator yang dapat ditangguhkan di DAG.

Bergantung pada mode ketahanan lingkungan Anda, ada berbagai kemungkinan konfigurasi untuk jumlah pemicu:

• Ketahanan standar: Anda dapat menjalankan hingga 10 pemicu.
• Ketahanan tinggi: minimal 2 pemicu, hingga maksimum 10.

Meskipun jumlah pemicu ditetapkan ke nol, definisi pod pemicu akan dibuat dan terlihat di cluster lingkungan Anda, tetapi tidak ada beban kerja pemicu yang sebenarnya dijalankan.

Anda juga dapat menentukan jumlah CPU, memori, dan kapasitas disk yang digunakan oleh pemicu Airflow di lingkungan Anda. Dengan cara ini, Anda dapat meningkatkan performa lingkungan, selain penskalaan horizontal yang disediakan dengan menggunakan beberapa pemicu.

Catatan: Untuk mengetahui informasi tentang kemungkinan nilai dan batas untuk resource, lihat bagian Batas resource.

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di item Resources > Workloads configuration, klik Edit.

5. Di panel Workloads configuration, sesuaikan parameter untuk pemicu Airflow:

   1. Di bagian Pemicu, di kolom Jumlah pemicu, masukkan jumlah pemicu di lingkungan Anda.

      Jika Anda menetapkan minimal satu pemicu untuk lingkungan, gunakan juga kolom CPU dan Memory untuk mengonfigurasi alokasi resource untuk pemicu Anda.

   2. Di CPU dan Memory, tentukan jumlah CPU, memori, dan penyimpanan untuk pemicu Airflow. Setiap pemicu menggunakan jumlah resource yang ditentukan.

6. Klik Simpan.

gcloud

Parameter pemicu Airflow berikut tersedia:

Perhatian: Selalu gunakan ketiga argumen: --triggerer-cpu, --triggerer-memory, dan --triggerer-count. Jika Anda menghapus parameter, nilai saat ini akan direset ke default: vCPU 0.5, memori 0.5 GB, atau jumlah pemicu untuk mode ketahanan lingkungan Anda.

• --triggerer-count: jumlah pemicu di lingkungan Anda.

  • Untuk lingkungan ketahanan standar, gunakan nilai antara 0 dan 10.
  • Untuk lingkungan yang sangat tangguh, gunakan 0, atau nilai antara 2 dan 10.

• --triggerer-cpu: jumlah CPU untuk pemicu Airflow.

• --triggerer-memory: jumlah memori untuk pemicu Airflow.

Jalankan perintah Google Cloud CLI berikut:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.
• LOCATION: region tempat lingkungan berada.
• TRIGGERER_COUNT: jumlah pemicu.
• TRIGGERER_CPU: jumlah CPU untuk pemicu, dalam unit vCPU.
• TRIGGERER_MEMORY: jumlah memori untuk pemicu.

Catatan: Nilai yang ditentukan untuk memori dan ruang disk harus berupa bilangan bulat yang diikuti dengan unit ukuran KB untuk kilobyte, MB untuk megabyte, atau GB untuk gigabyte. Unit ukuran default adalah GB. Misalnya, 10GB menghasilkan penyimpanan sebesar 10 gigabyte.

Contoh:

• Menskalakan ke empat instance pemicu:

  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 4 \
    --triggerer-cpu 1 \
    --triggerer-memory 1
  ```

- Disable triggerers by setting triggerer count to `0`. This operation
  doesn't require specifying CPU or memory for the triggerers.

```bash
  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 0
  ```

API

1. Dalam parameter kueri updateMask, tentukan mask config.workloadsConfig.triggerer.

2. Dalam isi permintaan, tentukan ketiga parameter untuk pemicu.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

Ganti kode berikut:

• TRIGGERER_COUNT: jumlah pemicu.

  • Untuk lingkungan ketahanan standar, gunakan nilai antara 0 dan 10.
  • Untuk lingkungan yang sangat tangguh, gunakan 0, atau nilai antara 2 dan 10.

• TRIGGERER_CPU: jumlah CPU untuk pemicu, dalam unit vCPU.

• TRIGGERER_MEMORY: jumlah memori untuk pemicu.

Contoh:

• Nonaktifkan pemicu dengan menetapkan jumlah pemicu ke 0. Operasi ini tidak memerlukan penentuan CPU atau memori untuk pemicu.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}

• Menskalakan ke empat instance pemicu:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

Kolom berikut di blok workloads_config.triggerer mengontrol parameter pemicu Airflow. Setiap pemicu menggunakan jumlah resource yang ditentukan.

• triggerer.count: jumlah pemicu di lingkungan Anda.

  • Untuk lingkungan ketahanan standar, gunakan nilai antara 0 dan 10.
  • Untuk lingkungan yang sangat tangguh, gunakan 0, atau nilai antara 2 dan 10.

• triggerer.cpu: jumlah CPU untuk pemicu Airflow.

• triggerer.memory_gb: jumlah memori untuk pemicu Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.
• LOCATION: region tempat lingkungan berada.
• TRIGGERER_COUNT: jumlah pemicu.
• TRIGGERER_CPU: jumlah CPU untuk pemicu, dalam unit vCPU.
• TRIGGERER_MEMORY: jumlah memori untuk pemicu, dalam GB.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

Menyesuaikan parameter server web

Anda dapat menentukan jumlah CPU, memori, dan kapasitas disk yang digunakan oleh server web Airflow di lingkungan Anda. Dengan cara ini, Anda dapat menskalakan performa UI Airflow, misalnya, untuk mencocokkan permintaan yang berasal dari sejumlah besar pengguna atau sejumlah besar DAG terkelola.

Catatan: Untuk mengetahui informasi tentang kemungkinan nilai dan batas untuk resource, lihat bagian Batas resource.

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di item Resources > Workloads configuration, klik Edit.

5. Di panel Workloads configuration, sesuaikan parameter untuk server web. Di kolom CPU, Memory, dan Storage, tentukan jumlah CPU, memori, dan penyimpanan untuk server web.

6. Klik Simpan.

gcloud

Parameter server web Airflow berikut tersedia:

• --web-server-cpu: jumlah CPU untuk server web Airflow.
• --web-server-memory: jumlah memori untuk server web Airflow.
• --web-server-storage: jumlah ruang disk untuk server web Airflow.

Jalankan perintah Google Cloud CLI berikut:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.
• LOCATION: region tempat lingkungan berada.
• WEB_SERVER_CPU: jumlah CPU untuk server web, dalam unit vCPU.
• WEB_SERVER_MEMORY: jumlah memori untuk server web.
• WEB_SERVER_STORAGE: jumlah memori untuk server web.

Catatan: Nilai yang ditentukan untuk memori dan ruang disk harus berupa bilangan bulat yang diikuti dengan unit ukuran KB untuk kilobyte, MB untuk megabyte, atau GB untuk gigabyte. Unit ukuran default adalah GB. Misalnya, 10GB menghasilkan penyimpanan sebesar 10 gigabyte.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

1. Buat permintaan API environments.patch.

2. Dalam permintaan ini:

   1. Di parameter updateMask, tentukan mask config.workloadsConfig.webServer untuk memperbarui semua parameter server web. Anda juga dapat memperbarui setiap parameter server web dengan menentukan mask untuk parameter tersebut: config.workloadsConfig.webServer.cpu, config.workloadsConfig.webServer.memoryGb, config.workloadsConfig.webServer.storageGb.

   2. Dalam isi permintaan, tentukan parameter server web baru.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.
• LOCATION: region tempat lingkungan berada.
• WEB_SERVER_CPU: jumlah CPU untuk server web, dalam unit vCPU.
• WEB_SERVER_MEMORY: jumlah memori untuk server web, dalam GB.
• WEB_SERVER_STORAGE: ukuran disk untuk server web, dalam GB.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Kolom berikut di blok workloads_config.web_server mengontrol parameter server web.

• web_server.cpu: jumlah CPU untuk server web.
• web_server.memory_gb: jumlah memori untuk server web.
• web_server.storage_gb: jumlah ruang disk untuk server web.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.
• LOCATION: region tempat lingkungan berada.
• WEB_SERVER_CPU: jumlah CPU untuk server web, dalam unit vCPU.
• WEB_SERVER_MEMORY: jumlah memori untuk server web, dalam GB.
• WEB_SERVER_STORAGE: ukuran disk untuk server web, dalam GB.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

Menyesuaikan ukuran lingkungan

Ukuran lingkungan mengontrol parameter performa infrastruktur Cloud Composer terkelola yang mencakup, misalnya, database Airflow.

Pertimbangkan untuk memilih ukuran lingkungan yang lebih besar jika Anda ingin menjalankan sejumlah besar DAG dan tugas.

Catatan: Ukuran lingkungan berbeda dengan preset lingkungan. Setelan bawaan lingkungan, yang dapat Anda pilih saat membuat lingkungan, menentukan semua parameter batas, skala, dan performa lingkungan, termasuk ukuran lingkungan. Ukuran lingkungan hanya menentukan parameter performa infrastruktur Cloud Composer terkelola di lingkungan Anda.

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di item Resources > Workloads configuration, klik Edit.

5. Di item Resources > Core infrastructure, klik Edit.

6. Di panel Core infrastructure, di kolom Environment size, tentukan ukuran lingkungan.

7. Klik Simpan.

gcloud

Argumen --environment-size mengontrol ukuran lingkungan:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.
• LOCATION: region tempat lingkungan berada.
• ENVIRONMENT_SIZE: small, medium, atau large.

Contoh:

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

1. Buat permintaan API environments.patch.

2. Dalam permintaan ini:

   1. Dalam parameter updateMask, tentukan mask config.environmentSize.

   2. Dalam isi permintaan, tentukan ukuran lingkungan.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

Ganti kode berikut:

• ENVIRONMENT_SIZE: ukuran lingkungan, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM, atau ENVIRONMENT_SIZE_LARGE.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

Kolom environment_size di blok config mengontrol ukuran lingkungan:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.
• LOCATION: region tempat lingkungan berada.
• ENVIRONMENT_SIZE: ukuran lingkungan, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM, atau ENVIRONMENT_SIZE_LARGE.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

Menyesuaikan jumlah node

Anda dapat mengubah jumlah node di lingkungan Anda.

Jumlah ini sesuai dengan jumlah pekerja Airflow di lingkungan Anda. Selain menjalankan pekerja Airflow, node lingkungan Anda juga menjalankan penjadwal Airflow dan komponen lingkungan lainnya.

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Pada item Node pekerja > Jumlah node, klik Edit.

5. Di panel Konfigurasi node pekerja, di kolom Jumlah node, tentukan jumlah node di lingkungan Anda.

6. Klik Simpan.

gcloud

Argumen --node-count mengontrol jumlah node di lingkungan Anda:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.
• LOCATION: region tempat lingkungan berada.
• NODE_COUNT: jumlah node. Jumlah minimum node adalah 3.
• NODE_ZONE: zona Compute Engine untuk VM lingkungan Anda.

Contoh:

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

1. Buat permintaan API environments.patch.

2. Dalam permintaan ini:

   1. Di parameter updateMask, tentukan mask config.nodeCount.

   2. Dalam isi permintaan, tentukan jumlah node untuk lingkungan Anda.

  "config": {
    "nodeCount": NODE_COUNT
  }

Ganti kode berikut:

• NODE_COUNT: jumlah node. Jumlah minimum node adalah 3.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

Kolom node_count di blok node_config menentukan jumlah node di lingkungan Anda.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

Ganti kode berikut:

• NODE_COUNT: jumlah node.

Contoh:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

Catatan: Mengubah jumlah node lingkungan tidak memicu pembuatan ulang image Airflow yang digunakan untuk lingkungan tersebut.

Menyesuaikan jenis mesin instance Cloud SQL

Anda dapat mengubah jenis mesin instance Cloud SQL yang menyimpan database Airflow lingkungan Anda.

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Pada item Resources > Cloud SQL machine type, klik Edit.

5. Di panel Konfigurasi Cloud SQL, di menu drop-down Jenis mesin Cloud SQL, pilih jenis mesin untuk instance Cloud SQL di lingkungan Anda.

6. Klik Simpan.

gcloud

Argumen --cloud-sql-machine-type mengontrol jenis mesin instance Cloud SQL di lingkungan Anda.

Jalankan perintah Google Cloud CLI berikut:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.
• LOCATION: region tempat lingkungan berada.
• SQL_MACHINE_TYPE: jenis mesin untuk instance Cloud SQL.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

1. Buat permintaan API environments.patch.

2. Dalam permintaan ini:

   1. Dalam parameter updateMask, tentukan mask config.databaseConfig.machineType.

   2. Dalam isi permintaan, tentukan jenis mesin untuk instance Cloud SQL.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

Ganti kode berikut:

• SQL_MACHINE_TYPE: jenis mesin untuk instance Cloud SQL.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

Kolom machine_type di blok database_config menentukan jenis mesin untuk instance Cloud SQL.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

Ganti kode berikut:

• SQL_MACHINE_TYPE: jenis mesin untuk instance Cloud SQL.

Contoh:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

Menyesuaikan jenis mesin server web

Anda dapat mengubah jenis mesin untuk server web Airflow di lingkungan Anda.

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di item Resources > Web server machine type, klik Edit.

5. Di panel Konfigurasi server web, pada menu drop-down Jenis mesin server web, pilih jenis mesin untuk server web Airflow.

6. Klik Simpan.

gcloud

Argumen --web-server-machine-type mengontrol jenis mesin instance server web Airflow di lingkungan Anda.

Jalankan perintah Google Cloud CLI berikut:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan.
• LOCATION: region tempat lingkungan berada.
• WS_MACHINE_TYPE: jenis mesin untuk instance server web Airflow.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

1. Buat permintaan API environments.patch.

2. Dalam permintaan ini:

   1. Dalam parameter updateMask, tentukan mask config.webServerConfig.machineType.

   2. Dalam isi permintaan, tentukan jenis mesin untuk server web.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

Ganti kode berikut:

• WS_MACHINE_TYPE: jenis mesin untuk instance server web Airflow.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

Kolom machine_type di blok web_server_config menentukan jenis mesin untuk instance server web Airflow.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

Ganti kode berikut:

• WS_MACHINE_TYPE: jenis mesin untuk instance server web Airflow.

Contoh:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

Langkah selanjutnya

• Performa dan penskalaan lingkungan
• Harga Cloud Composer
• Memperbarui lingkungan
• Arsitektur lingkungan