Menyiapkan lingkungan yang sangat tangguh

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara menyiapkan lingkungan Cloud Composer yang sangat tangguh.

Tentang ketahanan terhadap kegagalan zona di Cloud Composer

Lingkungan Cloud Composer yang sangat tangguh menggunakan mekanisme redundansi dan failover bawaan yang mengurangi kerentanan lingkungan terhadap kegagalan zonal dan pemadaman titik tunggal kegagalan.

Misalnya, pemadaman zonal akan mengganggu tugas Airflow yang berjalan di zona tertentu. Setelah itu, lingkungan yang sangat tangguh akan pulih, memulai ulang komponen yang terpengaruh di zona lain, dan mengalihkan database-nya ke zona sekunder. Dengan demikian, tugas Airflow yang gagal dapat dijadwalkan ulang dan dimulai ulang oleh Airflow, sekaligus mempertahankan histori pengoperasian DAG dan setelan lainnya.

Lingkungan yang sangat tangguh berjalan di setidaknya dua zona di region yang dipilih. Cloud Composer otomatis mendistribusikan komponen lingkungan Anda di antara zona.

Anda dapat menggunakan lingkungan Cloud Composer yang sangat tangguh untuk proses bisnis penting.

Tentang database yang sangat tersedia di lingkungan Anda

Di lingkungan Cloud Composer yang sangat tersedia, instance Cloud SQL yang menyimpan database lingkungan Anda berjalan dalam mode ketersediaan tinggi. Instance Cloud SQL yang dikonfigurasi untuk ketersediaan tinggi juga disebut instance regional dan berada di zona utama dan sekunder dalam region yang dikonfigurasi. Dalam instance regional, konfigurasi terdiri dari instance utama dan instance standby.

Jika terjadi pemadaman layanan, instance Cloud SQL di lingkungan Anda akan melakukan failover database otomatis ke instance Cloud SQL standby. Anda tidak perlu melakukan tindakan tambahan apa pun di lingkungan Cloud Composer. Setelah zona utama beroperasi lagi, lingkungan akan beralih kembali ke dua zona (utama dan sekunder). Dalam beberapa kasus, zona primer dan sekunder dapat ditukar. Instance Cloud SQL dalam mode ketersediaan tinggi menggunakan alamat IP yang sama setelah failover.

Tentang komponen Airflow yang sangat tersedia

Lingkungan Cloud Composer yang sangat tersedia menjalankan komponen Airflow yang didistribusikan di antara zona.

Lingkungan Anda selalu menjalankan tepat dua penjadwal Airflow, dua server web, dan setidaknya dua (tetapi tidak lebih dari sepuluh) pemicu jika pemicu diaktifkan. Pasangan komponen ini berjalan di zona terpisah. Jumlah minimum pekerja ditetapkan ke dua, dan cluster lingkungan Anda mendistribusikan instance pekerja di antara zona. Jika terjadi pemadaman layanan zona, instance pekerja yang terpengaruh akan dijadwalkan ulang di zona lain.

Untuk mengetahui informasi selengkapnya tentang arsitektur lingkungan yang sangat tangguh, lihat Arsitektur lingkungan yang sangat tangguh.

Sebelum memulai

  • Lingkungan yang sangat tangguh hanya tersedia di lingkungan IP Pribadi.

  • Lingkungan yang sangat tangguh ditawarkan dengan biaya inkremental jika dibandingkan dengan lingkungan reguler.

  • Lingkungan yang sangat tangguh tersedia di Cloud Composer versi 2.2.0 dan yang lebih baru.

  • Jika Anda ingin mengupdate lingkungan standar ke lingkungan yang sangat tangguh, pastikan lingkungan tersebut memenuhi persyaratan konfigurasi berikut. Jika lingkungan Anda tidak memenuhi persyaratan ini, Anda dapat memperbarui parameter skala dan performanya.

Membuat lingkungan yang sangat tangguh

Untuk membuat lingkungan yang sangat tangguh, aktifkan mode ketahanan tinggi saat Anda membuat lingkungan.

Mengupdate lingkungan standar ke mode ketahanan tinggi

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

  3. Pilih tab Environment configuration.

  4. Di bagian Mode ketahanan, klik Edit.

  5. Pilih Ketahanan tinggi, lalu klik Simpan.

gcloud 

  gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --enable-high-resilience

Ganti kode berikut:

  • ENVIRONMENT_NAME: nama lingkungan Anda.
  • LOCATION: region tempat lingkungan berada.

API

  1. Buat permintaan API environments.patch.

  2. Dalam permintaan ini:

    1. Dalam parameter updateMask, tentukan mask config.resilienceMode.

    2. Dalam isi permintaan, tentukan HIGH_RESILIENCE untuk beralih ke mode ketangguhan tinggi.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.resilienceMode

{
 "config": {
   "resilience_mode": { "HIGH_RESILIENCE" }
   }
 }

Terraform

Kolom resilience_mode di blok config menentukan mode ketangguhan. Untuk menggunakan mode ketahanan tinggi, tetapkan nilai ini ke HIGH_RESILIENCE.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    resilience_mode = "HIGH_RESILIENCE"

  }
}

Ganti kode berikut:

  • ENVIRONMENT_NAME: nama lingkungan Anda.
  • LOCATION: region tempat lingkungan berada.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    resilience_mode = "HIGH_RESILIENCE"

}

Mengubah lingkungan yang sangat tangguh ke mode ketahanan standar

Anda dapat mengubah lingkungan ke mode ketahanan standar kapan saja. Operasi ini:

  • Mengurangi jumlah server web di lingkungan Anda menjadi 1.
  • Menonaktifkan mode ketersediaan tinggi database Airflow lingkungan Anda.

  • Tidak mengubah setelan untuk jumlah minimum pekerja, penjadwal, atau pemicu Airflow.

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

  3. Pilih tab Environment configuration.

  4. Di bagian Mode ketahanan, klik Edit.

  5. Pilih Ketahanan standar (default), lalu klik Simpan.

gcloud 

  gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-high-resilience

Ganti kode berikut:

  • ENVIRONMENT_NAME: nama lingkungan Cloud Composer Anda
  • LOCATION: region tempat lingkungan berada.

API

  1. Buat permintaan API environments.patch.

  2. Dalam permintaan ini:

    1. Dalam parameter updateMask, tentukan mask config.resilienceMode.

    2. Dalam isi permintaan, tentukan RESILIENCE_MODE_UNSPECIFIED untuk beralih ke mode ketahanan standar.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.resilienceMode

{
 "config": {
   "resilience_mode": { "RESILIENCE_MODE_UNSPECIFIED" }
   }
 }

Terraform

Kolom resilience_mode di blok config menentukan mode ketangguhan. Untuk menggunakan mode ketahanan standar, tetapkan nilai ini ke STANDARD_RESILIENCE.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    resilience_mode = "STANDARD_RESILIENCE"

  }
}

Ganti kode berikut:

  • ENVIRONMENT_NAME: nama lingkungan Anda.
  • LOCATION: region tempat lingkungan berada.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    resilience_mode = "STANDARD_RESILIENCE"

}

Memeriksa apakah lingkungan Anda berjalan dalam mode ketahanan tinggi

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

  3. Pilih tab Environment configuration.

  4. Di bagian Mode ketahanan, lihat mode ketahanan lingkungan Anda.

gcloud

Untuk memeriksa apakah mode ketahanan tinggi diaktifkan di lingkungan Anda, jalankan perintah Google Cloud CLI berikut. Nilai True berarti mode ketangguhan tinggi diaktifkan di lingkungan Anda.

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.resilienceMode)"

Ganti kode berikut:

  • ENVIRONMENT_NAME: nama lingkungan Cloud Composer Anda
  • LOCATION: region tempat lingkungan berada.

Langkah selanjutnya