Mengonfigurasi snapshot terjadwal

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara mengonfigurasi lingkungan untuk menyimpan snapshot sesuai jadwal.

Untuk mengetahui informasi selengkapnya tentang cara kerja snapshot lingkungan dan cara menyimpan snapshot secara manual, lihat Menyimpan dan memuat snapshot.

Cara kerja snapshot terjadwal

Saat Anda mengaktifkan snapshot terjadwal, Cloud Composer akan menyimpan snapshot lingkungan Anda ke bucket Cloud Storage secara berkala.

Jika Anda membuat snapshot secara manual, Cloud Composer akan menyimpan snapshot di bucket lingkungan secara default. Untuk snapshot terjadwal, sebaiknya simpan snapshot di bucket terpisah. Dengan cara ini, Anda dapat menyiapkan izin dan konfigurasi siklus proses untuk bucket ini. Satu bucket dapat menyimpan snapshot dari beberapa lingkungan, dan Anda juga dapat membuat bucket yang redundant di seluruh region.

Sebelum memulai

• Untuk mengetahui informasi selengkapnya tentang persyaratan dan batasan snapshot, lihat Menyimpan dan memuat snapshot.

• Cloud Composer mendukung snapshot terjadwal di versi 2.0.32 dan yang lebih baru. Snapshot lingkungan didukung di versi 2.0.9 dan yang lebih baru.

Membuat bucket untuk snapshot terjadwal

Buat bucket untuk snapshot terjadwal. Pertimbangkan cara Anda ingin menggunakan snapshot lingkungan. Jika bucket tersebut merupakan bagian dari disaster recovery plan Anda, gunakan bucket yang redundan di seluruh region atau bucket di region yang berbeda, sehingga Anda memiliki akses ke data meskipun terjadi gangguan layanan regional penuh. Jika tidak, bucket di region yang sama dengan lingkungan mungkin lebih cocok, dan dalam hal ini Anda akan mengurangi biaya transfer data antar-region.

Mengonfigurasi izin untuk bucket

Peringatan: Snapshot dapat berisi informasi sensitif, seperti sandi dan tambahan koneksi Airflow, yang dapat didekripsi dari snapshot lingkungan. Sebaiknya batasi akses ke bucket hanya untuk entitas tepercaya.

Untuk mengurangi risiko keamanan ini, Anda dapat menyimpan informasi sensitif yang digunakan oleh DAG Airflow, seperti kunci atau sandi, di Secret Manager. Untuk informasi selengkapnya, lihat Mengonfigurasi Secret Manager untuk lingkungan Anda.

Konfigurasikan izin berikut:

• Akun layanan lingkungan Anda harus memiliki izin baca dan tulis untuk bucket ini. Misalnya, peran Storage Object Admin memiliki izin tersebut.

• Akun pengguna tidak memerlukan izin tambahan agar bucket dapat memuat snapshot darinya, kecuali jika Anda ingin melihat konten bucket dari konsol Google Cloud. Dalam hal ini, akun pengguna harus memiliki izin baca di bucket.

Menetapkan konfigurasi siklus proses untuk bucket

Untuk menghemat biaya penyimpanan, Anda dapat mengonfigurasi aturan yang menghapus snapshot lingkungan setelah jangka waktu tertentu.

Misalnya, untuk otomatis menghapus snapshot yang lebih lama dari 30 hari:

1. Tetapkan konfigurasi siklus proses untuk bucket.
2. Tentukan tindakan Delete object.
3. Pilih Usia dan 30 hari sebagai kondisi.

Mengaktifkan jadwal snapshot untuk lingkungan Anda

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di Recovery configuration > Snapshot schedule, klik Edit. Panel Jadwal snapshot akan terbuka.

5. Di panel Snapshot schedule, pilih Create snapshots periodically, according to the specified schedule.

6. Di menu drop-down Frekuensi jadwal, pilih periode harian, mingguan, atau kustom untuk snapshot.

   Anda dapat menentukan jadwal kustom dengan format unix-cron. Misalnya, untuk menyimpan snapshot setiap 30 menit, tentukan */30 * * * *.

   Penting: Batas kuota memungkinkan hingga 52 operasi snapshot simpan setiap hari untuk satu lingkungan. Jika Anda ingin snapshot terjadwal diambil pada interval reguler, interval di antaranya harus minimal 30 menit.

7. Di kolom Snapshot location, pilih folder bucket tempat Anda ingin menyimpan snapshot.

gcloud

Perbarui konfigurasi lingkungan Anda. Argumen berikut menentukan parameter untuk snapshot terjadwal:

• --enable-scheduled-snapshot-creation mengaktifkan snapshot terjadwal.
• --snapshot-location menentukan folder bucket tempat Anda ingin menyimpan snapshot.

• --snapshot-creation-schedule menentukan frekuensi pengambilan ringkasan lingkungan, dalam format unix-cron. Misalnya, untuk membuat snapshot setiap 30 menit, tentukan */30 * * * *.

  Penting: Batas kuota memungkinkan hingga 52 operasi snapshot simpan setiap hari untuk satu lingkungan. Jika Anda ingin snapshot terjadwal diambil pada interval reguler, interval di antaranya harus minimal 30 menit.

• --snapshot-schedule-timezone menentukan zona waktu untuk jadwal. Nilai ini adalah offset waktu dan tidak memperhitungkan perubahan waktu musim panas. Nilai yang valid adalah dari UTC-12 hingga UTC+12. Contoh: UTC, UTC-01, UTC+03.

gcloud beta composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --enable-scheduled-snapshot-creation \
    --snapshot-location "gs://SNAPSHOTS_FOLDER" \
    --snapshot-creation-schedule "CRON_EXPRESSION" \
    --snapshot-schedule-timezone "TIME_ZONE"

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan tersebut berada.
• SNAPSHOTS_FOLDER dengan URI folder bucket tempat menyimpan snapshot.
• CRON_EXPRESSION dengan jadwal, dalam format unix-cron.
• TIME_ZONE dengan zona waktu untuk jadwal.

Contoh (setiap hari pukul 04.00, UTC+01):

gcloud beta composer environments update example-environment \
    --location us-central1 \
    --enable-scheduled-snapshot-creation \
    --snapshot-location "gs://example-bucket/environment_snapshots" \
    --snapshot-creation-schedule "0 4 * * *" \
    --snapshot-schedule-timezone "UTC+01"

API

Buat permintaan API environments.patch.

Dalam permintaan ini:

1. Di parameter updateMask, tentukan mask config.recoveryConfig.scheduledSnapshotsConfig untuk mengganti konfigurasi snapshot terjadwal yang ada.

2. Dalam isi permintaan, tentukan konfigurasi untuk snapshot:

   {
     "config": {
       "recoveryConfig": {
         "scheduledSnapshotsConfig": {
           "enabled": true,
           "snapshot_location": "gs://SNAPSHOTS_FOLDER",
           "snapshot_creation_schedule": "CRON_EXPRESSION",
           "time_zone": "TIME_ZONE"
         }
       }
     }
   }
   

   Ganti:

   • SNAPSHOTS_FOLDER dengan URI folder bucket tempat menyimpan snapshot.

   • CRON_EXPRESSION dengan jadwal, dalam format unix-cron.

     Penting: Batas kuota memungkinkan hingga 52 operasi snapshot simpan setiap hari untuk satu lingkungan. Jika Anda ingin snapshot terjadwal diambil pada interval reguler, interval di antaranya harus minimal 30 menit.

   • TIME_ZONE dengan zona waktu untuk jadwal. Nilai ini adalah offset waktu dan tidak memperhitungkan perubahan waktu musim panas. Nilai yang valid adalah dari UTC-12 hingga UTC+12. Contoh: UTC, UTC-01, UTC+03.

   Contoh (setiap hari pukul 04.00, UTC+01):

     // PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
     // locations/us-central1/environments/example-environment?updateMask=
     // config.recoveryConfig.scheduledSnapshotsConfig
       {
         "config": {
           "recoveryConfig": {
             "scheduledSnapshotsConfig": {
               "enabled": true,
               "snapshot_location": "gs://example-bucket/environment_snapshots",
               "snapshot_creation_schedule": "0 4 * * *",
               "time_zone": "UTC+01"
             }
           }
         }
       }
   

Terraform

scheduled_snapshots_config di blok recovery_config menentukan parameter untuk snapshot terjadwal:

• enabled mengaktifkan snapshot terjadwal.
• snapshot_location menentukan folder bucket tempat Anda ingin menyimpan snapshot.
• snapshot_creation_schedule menentukan frekuensi pengambilan ringkasan lingkungan, dalam format unix-cron. Misalnya, untuk membuat snapshot setiap 30 menit, tentukan */30 * * * *.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  recovery_config {
    scheduled_snapshots_config {
      enabled = true
      snapshot_location = "gs://SNAPSHOTS_FOLDER"
      snapshot_creation_schedule = "CRON_EXPRESSION"
      time_zone = "TIME_ZONE"
    }
  }
}

Ganti:

• SNAPSHOTS_FOLDER dengan URI folder bucket tempat menyimpan snapshot.

• CRON_EXPRESSION dengan jadwal, dalam format unix-cron.

  Penting: Batas kuota memungkinkan hingga 52 operasi snapshot simpan setiap hari untuk satu lingkungan. Jika Anda ingin snapshot terjadwal diambil pada interval reguler, interval di antaranya harus minimal 30 menit.

• TIME_ZONE dengan zona waktu untuk jadwal. Nilai ini adalah offset waktu dan tidak memperhitungkan perubahan waktu musim panas. Nilai yang valid adalah dari UTC-12 hingga UTC+12. Contoh: UTC, UTC-01, UTC+03.

Contoh (setiap hari pukul 04.00, UTC+01):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  recovery_config {
    scheduled_snapshots_config {
      enabled = true
      snapshot_location = "gs://example-bucket/environment_snapshots"
      snapshot_creation_schedule = "0 4 * * *"
      time_zone = "UTC+01"
    }
  }
}

Menonaktifkan snapshot terjadwal

Jika Anda menonaktifkan snapshot terjadwal, semua snapshot yang ada yang sudah diambil tidak akan diubah atau dihapus. Snapshot ini tetap berada di lokasi tempat diperbarui.

Konsol

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di Recovery configuration > Snapshot schedule, klik Edit. Panel Jadwal snapshot akan terbuka.

5. Di panel Jadwal snapshot, pilih Jangan buat snapshot secara otomatis.

gcloud

Perbarui konfigurasi lingkungan Anda. Argumen --disable-scheduled-snapshot-creation menonaktifkan snapshot terjadwal.

gcloud beta composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-scheduled-snapshot-creation

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan tersebut berada.

Contoh:

gcloud beta composer environments update example-environment \
    --location us-central1 \
    --disable-scheduled-snapshot-creation

API

Buat permintaan API environments.patch.

Dalam permintaan ini:

1. Dalam parameter updateMask, tentukan mask config.recoveryConfig.scheduledSnapshotsConfig.enabled untuk mengganti nilai kolom enabled.

2. Dalam isi permintaan, tentukan nilai baru:

   {
     "config": {
       "recoveryConfig": {
         "scheduledSnapshotsConfig": {
           "enabled": false
         }
       }
     }
   }
   

Contoh:

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.recoveryConfig.scheduledSnapshotsConfig.enabled
{
"config": {
  "recoveryConfig": {
    "scheduledSnapshotsConfig": {
      "enabled": false
    }
  }
}
}

Terraform

Untuk menonaktifkan snapshot terjadwal, tetapkan kolom enabled di blok scheduled_snapshots_config ke false:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  recovery_config {
    scheduled_snapshots_config {
      enabled = false
    }
  }
}

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  recovery_config {
    scheduled_snapshots_config {
      enabled = false
      // Other scheduled snapshots parameters
    }
  }
}

Langkah selanjutnya

• Menyimpan dan memuat snapshot lingkungan
• Pemulihan dari bencana dengan snapshot
• Access control