Menyimpan dan memuat snapshot lingkungan

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara menyimpan dan memuat status lingkungan menggunakan snapshot lingkungan.

Anda dapat mengonfigurasi lingkungan untuk menyimpan snapshot secara otomatis. Untuk informasi selengkapnya, lihat Mengonfigurasi snapshot terjadwal.

Tentang snapshot lingkungan

Snapshot lingkungan menyimpan status lingkungan Anda. Anda dapat menyimpan dan memuat snapshot lingkungan sesuai permintaan.

Anda dapat menggunakan snapshot untuk:

Cara snapshot disimpan

Snapshot lingkungan adalah kumpulan file yang mendeskripsikan status lingkungan Anda dan menyimpan cadangan data lingkungan.

Anda dapat membuat beberapa snapshot lingkungan. Snapshot lingkungan tidak bersifat inkremental. Anda dapat menggunakan snapshot apa pun secara terpisah dari snapshot lainnya.

Cloud Composer tidak menghapus snapshot saat Anda menghapus lingkungan.

Secara default, Cloud Composer menyimpan snapshot di folder snapshots/ di bucket lingkungan Anda. Anda juga dapat menentukan lokasi kustom saat membuat snapshot.

Meskipun UI Cloud Storage menampilkan data sebagai folder untuk memudahkan, bucket berfungsi dalam struktur file datar. Hal ini tidak mengubah cara Anda menyimpan dan memuat snapshot di konsol Google Cloud, tetapi perhatikan hal ini saat Anda melakukan operasi langsung pada file di bucket. Untuk mengetahui informasi selengkapnya, lihat Namespace objek.

Pertimbangan keamanan untuk snapshot

Untuk mengurangi risiko keamanan ini, Anda dapat menyimpan informasi sensitif yang digunakan oleh DAG Airflow, seperti kunci atau sandi, di Secret Manager. Untuk informasi selengkapnya, lihat Mengonfigurasi Secret Manager untuk lingkungan Anda.

Pastikan untuk memeriksa izin keamanan untuk bucket lingkungan Anda. Jika Anda menyimpan snapshot lingkungan di bucket kustom, pastikan izin akses untuknya dikonfigurasi dengan benar di project Anda. Saat menetapkan izin, pastikan akun layanan lingkungan tersebut memiliki izin yang memadai untuk menyimpan dan memuat snapshot dari bucket.

Data yang disimpan dalam snapshot

Cloud Composer menyimpan data berikut dalam snapshot:

  • Penggantian konfigurasi Airflow.
  • Variabel lingkungan.
  • Daftar paket PyPI kustom, sebagai persyaratan.
  • Cadangan database Airflow, termasuk status tugas yang dieksekusi, dan histori eksekusi DAG.
  • Cadangan folder /dags, /data, dan /plugins dari bucket lingkungan.
  • Kunci fernet lingkungan.
  • Informasi lain tentang konfigurasi lingkungan, seperti skala dan parameter performa lingkungan. Cloud Composer tidak menggunakan informasi ini saat memuat snapshot.

Data yang dimuat dari snapshot

Cloud Composer memuat data berikut dari snapshot:

  • Penggantian konfigurasi Airflow.
  • Variabel lingkungan.

  • Paket PyPI kustom (kecuali jika Anda memilih untuk melewati penginstalannya).

  • Konten database Airflow, termasuk status tugas yang dieksekusi, dan histori DAG yang berjalan.

  • Konten folder /dags, /data, dan /plugins dari snapshot dimuat ke bucket lingkungan.

  • Kunci fernet dari snapshot digunakan untuk mengenkripsi ulang data dari snapshot dengan kunci fernet lingkungan itu sendiri. Kunci fernet lingkungan tidak berubah.

Meskipun Cloud Composer menyimpan beberapa informasi tentang konfigurasi lingkungan dalam snapshot, informasi tersebut tidak digunakan saat memuat snapshot. Parameter lingkungan berikut tidak berubah saat Anda memuat snapshot:

  • Konfigurasi lingkungan, seperti skala lingkungan dan parameter performa.
  • Konfigurasi jaringan lingkungan.
  • Konten bucket lingkungan di luar folder /dags, /data, dan /plugins.
  • Label lingkungan.

Setiap setelan yang Anda terapkan di infrastruktur Cloud Composer tanpa menggunakan Cloud Composer API dapat hilang saat Anda memuat snapshot.

Tentang operasi yang selesai sebagian

Saat Anda memuat snapshot, operasi dapat berhasil, gagal, atau diselesaikan sebagian:

  • Operasi yang berhasil akan memuat semua data dari snapshot.
  • Operasi yang gagal tidak akan menyebabkan perubahan apa pun.
  • Operasi yang selesai sebagian memuat sebagian data dari snapshot. Operasi tersebut dilaporkan sebagai gagal, tetapi pesan error menunjukkan data yang berhasil dimuat. Misalnya, jika paket PyPI diinstal, tetapi penggantian opsi konfigurasi Airflow tidak berhasil, pesan error akan menunjukkan hal ini.

Untuk operasi yang sudah selesai sebagian, Anda dapat mencoba memuat kembali snapshot yang sama. Cloud Composer akan melewati langkah-langkah yang berhasil pada upaya sebelumnya. Misalnya, jika operasi gagal karena waktu tunggu habis, tetapi database berhasil dimuat, upaya berikutnya tidak akan memuat database lagi.

Sebelum memulai

  • Di Cloud Composer 1, Anda hanya dapat menyimpan snapshot, tetapi tidak dapat memuat snapshot. Anda dapat memuat snapshot dari lingkungan Cloud Composer 1 ke lingkungan Cloud Composer 2.

  • Snapshot didukung di Cloud Composer 2 versi 2.0.9 dan yang lebih baru. Cloud Composer 1 mendukung penyimpanan snapshot lingkungan di versi 1.18.5 dan yang lebih baru.

  • Snapshot tidak membuat lingkungan. Jika ingin memuat snapshot dari lingkungan ke lingkungan lain, Anda harus membuat lingkungan baru terlebih dahulu, lalu memuat snapshot ke lingkungan tersebut.

  • Anda tidak dapat memuat snapshot ke lingkungan yang dalam status error. Anda tidak dapat memperbaiki lingkungan tersebut dengan memuat snapshot. Anda tetap dapat memuat snapshot yang ada ke lingkungan baru.

  • Ukuran maksimum database Airflow yang mendukung snapshot adalah 20 GB. Jika database lingkungan Anda memerlukan lebih dari 20 GB, kurangi ukuran database Airflow sebelum menyimpan snapshot.

  • Jumlah total objek dalam folder /dags, /plugins,dan /data di bucket lingkungan harus kurang dari 100.000 untuk membuat snapshot.

  • Jika Anda menggunakan mekanisme XCom untuk mentransfer file, pastikan Anda [menggunakannya sesuai dengan panduan Airflow][ext-airflow-xcom-backend]. Mentransfer file besar atau sejumlah besar file menggunakan XCom akan memengaruhi performa database Airflow dan dapat menyebabkan kegagalan saat memuat snapshot atau mengupgrade lingkungan Anda. Pertimbangkan untuk menggunakan alternatif seperti Cloud Storage untuk mentransfer data dalam volume besar.

  • Panjang maksimum nama objek di bucket lingkungan tidak boleh lebih dari 1.024 simbol. Jika tidak, snapshot tidak dapat dibuat.

  • Jika Anda menyimpan snapshot di lokasi di luar bucket lingkungan, akun layanan lingkungan Anda harus memiliki izin baca dan tulis untuk lokasi yang ditentukan. Misalnya, peran Storage Object Admin memiliki izin tersebut. Anda dapat menerapkannya ke project atau bucket tertentu.

  • Membuat dan menyimpan snapshot akan menghasilkan biaya tambahan, yang terkait dengan Cloud Storage. Untuk mengetahui informasi selengkapnya, lihat Harga.

Menyimpan snapshot lingkungan

Cloud Composer menyimpan snapshot lingkungan di subfolder, relatif terhadap folder yang Anda tentukan. Nama folder berisi project ID, lokasi lingkungan, nama lingkungan, dan stempel waktu saat snapshot disimpan. Contoh: /snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00.

Konsol

Untuk membuat snapshot lingkungan Anda:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

  3. Klik Simpan snapshot.

  4. Pada dialog Save snapshot, pilih tempat untuk menyimpan snapshot:

    • Untuk menyimpan snapshot di folder /snapshots di bucket lingkungan, pilih Use snapshot folder in environment bucket (default).

    • Untuk menyimpan snapshot di folder kustom, pilih Gunakan folder kustom di bucket lain, lalu tentukan lokasi.

  5. Klik Simpan.

gcloud

Perintah gcloud composer environments snapshots save menyimpan snapshot lingkungan Anda.

  • Argumen snapshot-location menentukan folder tempat snapshot disimpan. Secara default, snapshot disimpan di folder /snapshots di bucket lingkungan Anda. Contohnya, gs://us-central1-example-916807e1-bucket/snapshots. Anda juga dapat menentukan folder lain.

Untuk menyimpan snapshot lingkungan, jalankan:

gcloud composer environments snapshots save \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --snapshot-location "SNAPSHOTS_FOLDER"

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan tersebut berada.
  • (Opsional) SNAPSHOTS_FOLDER dengan URI folder bucket tempat menyimpan snapshot. Jika Anda menghapus argumen ini, Cloud Composer akan menyimpan snapshot di folder /snapshots di bucket lingkungan Anda.

Contoh berikut menggunakan lokasi default:

gcloud composer environments snapshots save \
  example-environment \
  --location us-central1

Contoh berikut menyimpan ke folder kustom:

gcloud composer environments snapshots save \
  example-environment \
  --location us-central1 \
  --snapshot-location "gs://example-bucket/environment_snapshots"

API

  1. Buat permintaan API environments.saveSnapshot.

  2. Dalam isi permintaan, di kolom snapshotLocation, tentukan folder tempat Anda ingin menyimpan snapshot.

{
  "snapshotLocation": "SNAPSHOTS_FOLDER"
}

Ganti:

  • SNAPSHOTS_FOLDER dengan URI folder bucket tempat menyimpan snapshot.

Contoh:

// POST https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment:saveSnapshot

{
  "snapshotLocation": "gs://us-central1-example-916807e1-bucket/snapshots"
}

Terraform

Anda tidak dapat menyimpan dan memuat snapshot lingkungan dari Terraform.

Menyimpan dan memuat snapshot adalah tindakan yang dilakukan pada lingkungan, dan snapshot yang dihasilkan bukan bagian dari definisi lingkungan. Karena Terraform hanya mengelola konfigurasi lingkungan Cloud Composer, Anda tidak dapat menyimpan atau memuat snapshot lingkungan dari Terraform.

Memuat snapshot lingkungan

Di Cloud Composer 1, Anda hanya dapat menyimpan snapshot, tetapi tidak dapat memuat snapshot. Anda dapat memuat snapshot dari lingkungan Cloud Composer 1 ke lingkungan Cloud Composer 2. Misalnya, saat Anda memigrasikan lingkungan ke Cloud Composer 2.

Langkah selanjutnya