Ringkasan pembuatan versi Cloud Composer

Halaman ini menjelaskan pembuatan versi Cloud Composer dan mencantumkan perbedaan antara berbagai versi Cloud Composer utama.

• Cloud Composer memiliki dua versi utama: Cloud Composer 1 dan Cloud Composer 2.
• Lingkungan Cloud Composer didasarkan pada image Cloud Composer, yang memiliki versioned.
• Anda dapat memilih versi image Cloud Composer saat membuat atau mengupgrade lingkungan.

Versi utama Cloud Composer

Cloud Composer memiliki dua versi utama:

• Cloud Composer 2. Versi ini memiliki lingkungan penskalaan otomatis.

• Cloud Composer 1. Versi ini memiliki penskalaan manual.

  Penting: Mulai April 2023, Cloud Composer 1 berada dalam mode pemeliharaan. Rilis pemeliharaan Cloud Composer 1 hanya berisi perbaikan bug dan peningkatan kecil. Dukungan untuk versi Airflow baru setelah 2.4.3 tidak direncanakan untuk Cloud Composer 1.

Tabel berikut mencantumkan perbedaan utama antara Cloud Composer 1 dan Cloud Composer 2.

	Cloud Composer 1	Cloud Composer 2
Versi image Cloud Composer	composer-1.x.x	composer-2.x.x
Versi Airflow	Airflow 1.10.* dan Airflow 2	Aliran udara 2
Versi Python	3.8.12	3.8.12
Cluster lingkungan	Cluster Google Kubernetes Engine berbasis Rute atau VPC native mode standar	Cluster Google Kubernetes Engine VPC-native mode Autopilot
Penskalaan horizontal	Dapat menyesuaikan jumlah node di cluster lingkungan. Hal ini akan mengubah jumlah pekerja Airflow. Dapat menyesuaikan jumlah penjadwal Airflow.	Penskalaan jumlah pekerja Airflow secara otomatis, berdasarkan permintaan. Dapat menetapkan dan mengubah batas atas dan bawah untuk jumlah pekerja. Dapat menyesuaikan jumlah penjadwal Airflow.
Penskalaan vertikal	Dapat menetapkan jenis mesin untuk node cluster, server web Airflow, dan database saat membuat lingkungan. Dapat mengubah jenis mesin untuk server web dan database Airflow.	Dapat menetapkan dan mengubah konfigurasi beban kerja: parameter CPU, memori, dan penyimpanan untuk pekerja Airflow, penjadwal, server web, dan database.
Model penetapan harga	Model penetapan harga Cloud Composer 1	Model penetapan harga Cloud Composer 2
Kontrol akses	Peran Cloud Composer	Peran Cloud Composer. Menggunakan Workload Identity dan memerlukan izin tambahan untuk akun Agen Layanan Cloud Composer.
Akses melalui penggabungan identitas tenaga kerja	Tidak didukung	Didukung
Arsitektur lingkungan	Arsitektur lingkungan Cloud Composer 1	Arsitektur lingkungan Cloud Composer 2
Jaringan IP pribadi	Peering VPC	Peering VPC atau Private Service Connect
Dukungan Terraform	Dapat membuat dan memperbarui lingkungan Cloud Composer 1.	Dapat membuat dan memperbarui lingkungan Cloud Composer 2.
CMEK	Didukung	Didukung
Kontrol akses server web	Didukung	Didukung
Memulai ulang server web	Didukung	Didukung
Plugin server web	Didukung di lingkungan Airflow 1 dengan serialisasi DAG yang dinonaktifkan.	Didukung
Menginstal plugin kustom	Didukung	Didukung
Operasi pemeliharaan	Semua tugas dapat terpengaruh.	Tugas yang memerlukan waktu kurang dari 55 menit untuk dijalankan tidak akan terpengaruh.
Pemuatan DAG asinkron	Didukung di Airflow 1	Tidak didukung
Serialisasi DAG	Selalu aktifkan di Airflow 2. Dapat dinonaktifkan di Airflow 1.	Selalu aktifkan di Airflow 2.
Dukungan untuk Tag Jaringan	Ya	Ya
Node cluster dengan GPU	Ya	Tidak
Menyimpan Snapshot	Didukung untuk versi Airflow 2.x dan 1.10.15	Didukung
Memuat Snapshot	Tidak didukung	Didukung
Snapshot Terjadwal	Tidak didukung	Didukung
Bucket lingkungan kustom	Tidak didukung	Didukung

Gambar Cloud Composer

Untuk menjalankan Apache Airflow, Cloud Composer mem-build image Docker yang menggabungkan rilis Airflow dengan biner umum dan library Python lainnya.

Gambar Cloud Composer mencakup modifikasi Airflow yang khusus untuk Cloud Composer dan tidak sesuai untuk codebase Airflow upstream. Paket yang telah diinstal sebelumnya beserta perubahan Airflow khusus Cloud Composer disebut secara keseluruhan sebagai versi Cloud Composer.

Google secara berkala merilis gambar Cloud Composer baru yang mencakup rilis Airflow baru dan peningkatan Cloud Composer.

Dukungan Cloud Composer 1 versi

Versi Cloud Composer 1 baru dirilis hingga akhir Maret 2023. Semua versi Cloud Composer 1 yang dirilis mengikuti kebijakan penghentian versi dan didukung menurut kebijakan tersebut.

Beberapa fitur Cloud Composer baru mungkin hanya didukung di Cloud Composer 2. Anda dapat memeriksa fitur yang hanya didukung di Cloud Composer 2 di tabel yang mencantumkan perbedaan utama antarversi.

Penghentian dan dukungan versi Cloud Composer

Google mendukung versi Cloud Composer selama jangka waktu tertentu setelah rilis versi. Selama periode ini, lingkungan Cloud Composer yang menggunakan versi ini akan sepenuhnya didukung.

Dukungan versi Cloud Composer ditentukan sebagai berikut:

• 0-12 bulan sejak tanggal rilis: Lingkungan Cloud Composer yang menjalankan versi ini sepenuhnya didukung.

• 12-18 bulan sejak tanggal rilis: Lingkungan Cloud Composer yang menjalankan versi ini tidak didukung, kecuali untuk memberi tahu pelanggan tentang masalah keamanan.

  Penting: Mungkin ada kasus ketika upgrade ke versi Composer dan Airflow yang lebih baru adalah satu-satunya solusi yang tepat untuk kerentanan keamanan.

• 18+ bulan sejak tanggal rilis: lingkungan Cloud Composer yang menjalankan versi ini tidak didukung dan sepenuhnya dikelola pengguna.

Catatan: Anda dapat menggunakan versi Cloud Composer setelah tanggal penghentian dukungan lagi. Misalnya, jika lingkungan Anda didasarkan pada versi Cloud Composer yang telah melewati periode dukungan, lingkungan Anda akan tetap berfungsi dan Anda dapat terus menggunakannya. Dalam hal ini, sebaiknya Anda mengupgrade lingkungan ke versi yang didukung.

Dukungan versi Airflow

Airflow mengikuti skema pembuatan versi software semantik. Setiap versi Airflow memiliki versi major, minor, dan patch.

Untuk mengetahui daftar versi Airflow yang didukung di setiap versi Cloud Composer, lihat daftar versi Cloud Composer.

Dukungan versi Airflow 2

• Dalam setiap rilis, Cloud Composer mendukung dua versi minor Airflow 2.

  Misalnya, Cloud Composer 1.17.0 mendukung Airflow 2.0.* dan Airflow 2.1.*.

• Untuk setiap versi minor Airflow 2, Cloud Composer mendukung satu versi patch.

  Misalnya, untuk Airflow 2.1.*, Cloud Composer mendukung Airflow 2.1.2.

• Saat versi patch baru Airflow 2 tersedia di Cloud Composer, rilis terkait memiliki dua versi patch Airflow 2 yang tersedia untuk Airflow versi minor yang sama. Versi patch sebelumnya akan dihapus di salah satu rilis berikutnya.

  Misalnya, Cloud Composer 1.17.4 mendukung Airflow 2.1.2 dan Airflow 2.1.4.

• Cloud Composer dapat melewati beberapa versi patch Airflow antarrilis Cloud Composer. Selain itu, jika ada masalah fungsi, kualitas, atau performa pada versi patch Airflow tertentu, Cloud Composer juga dapat melewati versi ini.

  Misalnya, Airflow 2.1.3 dilewati dan Airflow 2.1.4 tersedia.

• Rilis Cloud Composer yang menjalankan versi Airflow stabil dapat menyertakan update Airflow yang di-backport dari versi Airflow yang lebih baru.

Dukungan versi Airflow 1

Hanya Cloud Composer 1 yang mendukung Airflow 1.10.15, yang merupakan versi rilis terbaru dari Airflow 1.

Skema versi Cloud Composer

Skema pembuatan versi image Cloud Composer mengambil versi Cloud Composer dan Airflow:

composer-a.b.c-airflow-x.y.z

Dari mana

• composer-a.b.c adalah versi penyesuaian yang dikelola Cloud Composer
• airflow-x.y.z adalah rilis Airflow

Alias versi

Cloud Composer 2 mendukung alias versi berikut:

Alias	Versi Cloud Composer	Versi Airflow
composer-2-airflow-2	Cloud Composer 2 versi terbaru	Versi terbaru Airflow 2
composer-2-airflow-x.y	Cloud Composer 2 versi terbaru	Versi terbaru Airflow dalam x.y versi utama dan minor
composer-2-airflow-x.y.z	Cloud Composer 2 versi terbaru	Versi Airflow yang ditentukan
composer-2.b.c-airflow-x.y	Versi Cloud Composer yang ditentukan 2	Versi terbaru Airflow tersedia dalam x.y versi utama dan minor

Cloud Composer 1 mendukung alias versi berikut:

Alias	Versi Cloud Composer	Versi Airflow
composer-1-airflow-2	Cloud Composer versi terbaru 1	Versi terbaru Airflow 2
composer-1-airflow-1	Cloud Composer versi terbaru 1	Versi terbaru Airflow 1
composer-1-airflow-x.y	Cloud Composer versi terbaru 1	Versi terbaru Airflow dalam x.y versi utama dan minor
composer-1-airflow-x.y.z	Cloud Composer versi terbaru 1	Versi Airflow yang ditentukan
composer-1.b.c-airflow-x.y	Versi Cloud Composer yang ditentukan 1	Versi terbaru Airflow tersedia dalam x.y versi utama dan minor.

Alias versi berikut mengarah ke Cloud Composer 2. Anda tetap dapat menggunakannya, tetapi pertimbangkan untuk beralih ke alias untuk versi Cloud Composer Anda.

• composer-latest-airflow-x.y sama dengan composer-2-airflow-x.y.
• composer-latest-airflow-x.y.z sama dengan composer-2-airflow-x.y.z.

Perhatian: menggunakan alias versi seperti composer-a-airflow-x.y.z tidak menyediakan upgrade versi otomatis untuk suatu lingkungan. Cloud Composer me-resolve alias versi menjadi composer-a.b.c-airflow-x.y.z saat membuat lingkungan Anda.

Argumen versi di Google Cloud CLI

Saat membuat atau mengupgrade lingkungan Cloud Composer menggunakan Google Cloud CLI, Anda dapat menentukan versi Cloud Composer dan Airflow:

• Argumen --image-version menentukan versi Cloud Composer dan Airflow:

  • Format composer-a.b.c-airflow-x.y.z membuat lingkungan dengan versi Cloud Composer dan Airflow yang ditentukan.
  • Alias versi terlebih dahulu ditetapkan ke format composer-a.b.c-airflow-x.y.z, lalu membuat lingkungan dengan versi Cloud Composer dan Airflow yang ditentukan.

• --airflow-version menentukan versi Airflow dalam dua format:

  • Format x.y.z ditujukan untuk versi terbaru Cloud Composer 2 dan versi Airflow yang ditentukan. Format ini sama dengan alias versi composer-2-airflow-x.y.z.

  • Format x.y adalah untuk versi terbaru Cloud Composer 2 dan versi terbaru Airflow yang tersedia dalam x.y versi utama dan minor. Format ini sama dengan alias versi composer-2-airflow-x.y.

Langkah selanjutnya

• Gambar Cloud Composer
• Membuat lingkungan
• Mengupgrade lingkungan Cloud Composer yang sudah ada