Halaman ini menjelaskan pembuatan versi Cloud Composer dan mencantumkan perbedaan antara berbagai versi Cloud Composer utama.
- Cloud Composer memiliki dua versi utama: Cloud Composer 1 dan Cloud Composer 2.
- Lingkungan Cloud Composer didasarkan pada image Cloud Composer, yang memiliki versioned.
- Anda dapat memilih versi image Cloud Composer saat membuat atau mengupgrade lingkungan.
Versi utama Cloud Composer
Cloud Composer memiliki dua versi utama:
- Cloud Composer 2. Versi ini memiliki lingkungan penskalaan otomatis.
Cloud Composer 1. Versi ini memiliki penskalaan manual.
Tabel berikut mencantumkan perbedaan utama antara Cloud Composer 1 dan Cloud Composer 2.
Cloud Composer 1 | Cloud Composer 2 | |
---|---|---|
Versi image Cloud Composer |
composer-1.x.x
|
composer-2.x.x
|
Versi Airflow | Airflow 1.10.* dan Airflow 2 | Aliran udara 2 |
Versi Python | 3.8.12 | 3.8.12 |
Cluster lingkungan | Cluster Google Kubernetes Engine berbasis Rute atau VPC native mode standar | Cluster Google Kubernetes Engine VPC-native mode Autopilot |
Penskalaan horizontal |
Dapat menyesuaikan jumlah node di cluster lingkungan. Hal ini akan mengubah
jumlah pekerja Airflow. Dapat menyesuaikan jumlah penjadwal Airflow. |
Penskalaan jumlah pekerja Airflow secara otomatis, berdasarkan permintaan. Dapat menetapkan dan
mengubah batas atas dan bawah untuk jumlah pekerja. Dapat menyesuaikan jumlah penjadwal Airflow. |
Penskalaan vertikal | Dapat menetapkan jenis mesin untuk node cluster, server web Airflow, dan database saat membuat lingkungan. Dapat mengubah jenis mesin untuk server web dan database Airflow. | Dapat menetapkan dan mengubah konfigurasi beban kerja: parameter CPU, memori, dan penyimpanan untuk pekerja Airflow, penjadwal, server web, dan database. |
Model penetapan harga | Model penetapan harga Cloud Composer 1 | Model penetapan harga Cloud Composer 2 |
Kontrol akses | Peran Cloud Composer | Peran Cloud Composer. Menggunakan Workload Identity dan memerlukan izin tambahan untuk akun Agen Layanan Cloud Composer. |
Akses melalui penggabungan identitas tenaga kerja | Tidak didukung | Didukung |
Arsitektur lingkungan | Arsitektur lingkungan Cloud Composer 1 | Arsitektur lingkungan Cloud Composer 2 |
Jaringan IP pribadi | Peering VPC | Peering VPC atau Private Service Connect |
Dukungan Terraform | Dapat membuat dan memperbarui lingkungan Cloud Composer 1. | Dapat membuat dan memperbarui lingkungan Cloud Composer 2. |
CMEK | Didukung | Didukung |
Kontrol akses server web | Didukung | Didukung |
Memulai ulang server web | Didukung | Didukung |
Plugin server web | Didukung di lingkungan Airflow 1 dengan serialisasi DAG yang dinonaktifkan. | Didukung |
Menginstal plugin kustom | Didukung | Didukung |
Operasi pemeliharaan | Semua tugas dapat terpengaruh. | Tugas yang memerlukan waktu kurang dari 55 menit untuk dijalankan tidak akan terpengaruh. |
Pemuatan DAG asinkron | Didukung di Airflow 1 | Tidak didukung |
Serialisasi DAG | Selalu aktifkan di Airflow 2. Dapat dinonaktifkan di Airflow 1. | Selalu aktifkan di Airflow 2. |
Dukungan untuk Tag Jaringan | Ya | Ya |
Node cluster dengan GPU | Ya | Tidak |
Menyimpan Snapshot | Didukung untuk versi Airflow 2.x dan 1.10.15 | Didukung |
Memuat Snapshot | Tidak didukung | Didukung |
Snapshot Terjadwal | Tidak didukung | Didukung |
Bucket lingkungan kustom | Tidak didukung | Didukung |
Gambar Cloud Composer
Untuk menjalankan Apache Airflow, Cloud Composer mem-build image Docker yang menggabungkan rilis Airflow dengan biner umum dan library Python lainnya.
Gambar Cloud Composer mencakup modifikasi Airflow yang khusus untuk Cloud Composer dan tidak sesuai untuk codebase Airflow upstream. Paket yang telah diinstal sebelumnya beserta perubahan Airflow khusus Cloud Composer disebut secara keseluruhan sebagai versi Cloud Composer.
Google secara berkala merilis gambar Cloud Composer baru yang mencakup rilis Airflow baru dan peningkatan Cloud Composer.
Dukungan Cloud Composer 1 versi
Versi Cloud Composer 1 baru dirilis hingga akhir Maret 2023. Semua versi Cloud Composer 1 yang dirilis mengikuti kebijakan penghentian versi dan didukung menurut kebijakan tersebut.
Beberapa fitur Cloud Composer baru mungkin hanya didukung di Cloud Composer 2. Anda dapat memeriksa fitur yang hanya didukung di Cloud Composer 2 di tabel yang mencantumkan perbedaan utama antarversi.
Penghentian dan dukungan versi Cloud Composer
Google mendukung versi Cloud Composer selama jangka waktu tertentu setelah rilis versi. Selama periode ini, lingkungan Cloud Composer yang menggunakan versi ini akan sepenuhnya didukung.
Dukungan versi Cloud Composer ditentukan sebagai berikut:
- 0-12 bulan sejak tanggal rilis: Lingkungan Cloud Composer yang menjalankan versi ini sepenuhnya didukung.
12-18 bulan sejak tanggal rilis: Lingkungan Cloud Composer yang menjalankan versi ini tidak didukung, kecuali untuk memberi tahu pelanggan tentang masalah keamanan.
18+ bulan sejak tanggal rilis: lingkungan Cloud Composer yang menjalankan versi ini tidak didukung dan sepenuhnya dikelola pengguna.
Dukungan versi Airflow
Airflow mengikuti skema pembuatan versi software semantik. Setiap versi Airflow memiliki versi major, minor, dan patch.
Untuk mengetahui daftar versi Airflow yang didukung di setiap versi Cloud Composer, lihat daftar versi Cloud Composer.
Dukungan versi Airflow 2
Dalam setiap rilis, Cloud Composer mendukung dua versi minor Airflow 2.
Misalnya, Cloud Composer 1.17.0 mendukung Airflow 2.0.* dan Airflow 2.1.*.
Untuk setiap versi minor Airflow 2, Cloud Composer mendukung satu versi patch.
Misalnya, untuk Airflow 2.1.*, Cloud Composer mendukung Airflow 2.1.2.
Saat versi patch baru Airflow 2 tersedia di Cloud Composer, rilis terkait memiliki dua versi patch Airflow 2 yang tersedia untuk Airflow versi minor yang sama. Versi patch sebelumnya akan dihapus di salah satu rilis berikutnya.
Misalnya, Cloud Composer 1.17.4 mendukung Airflow 2.1.2 dan Airflow 2.1.4.
Cloud Composer dapat melewati beberapa versi patch Airflow antarrilis Cloud Composer. Selain itu, jika ada masalah fungsi, kualitas, atau performa pada versi patch Airflow tertentu, Cloud Composer juga dapat melewati versi ini.
Misalnya, Airflow 2.1.3 dilewati dan Airflow 2.1.4 tersedia.
Rilis Cloud Composer yang menjalankan versi Airflow stabil dapat menyertakan update Airflow yang di-backport dari versi Airflow yang lebih baru.
Dukungan versi Airflow 1
Hanya Cloud Composer 1 yang mendukung Airflow 1.10.15, yang merupakan versi rilis terbaru dari Airflow 1.
Skema versi Cloud Composer
Skema pembuatan versi image Cloud Composer mengambil versi Cloud Composer dan Airflow:
composer-a.b.c-airflow-x.y.z
Dari mana
composer-a.b.c
adalah versi penyesuaian yang dikelola Cloud Composerairflow-x.y.z
adalah rilis Airflow
Alias versi
Cloud Composer 2 mendukung alias versi berikut:
Alias | Versi Cloud Composer | Versi Airflow |
---|---|---|
composer-2-airflow-2 |
Cloud Composer 2 versi terbaru | Versi terbaru Airflow 2 |
composer-2-airflow-x.y |
Cloud Composer 2 versi terbaru | Versi terbaru Airflow dalam x.y versi utama dan minor |
composer-2-airflow-x.y.z |
Cloud Composer 2 versi terbaru | Versi Airflow yang ditentukan |
composer-2.b.c-airflow-x.y |
Versi Cloud Composer yang ditentukan 2 | Versi terbaru Airflow tersedia dalam x.y versi utama dan minor |
Cloud Composer 1 mendukung alias versi berikut:
Alias | Versi Cloud Composer | Versi Airflow |
---|---|---|
composer-1-airflow-2 |
Cloud Composer versi terbaru 1 | Versi terbaru Airflow 2 |
composer-1-airflow-1 |
Cloud Composer versi terbaru 1 | Versi terbaru Airflow 1 |
composer-1-airflow-x.y |
Cloud Composer versi terbaru 1 | Versi terbaru Airflow dalam x.y versi utama dan minor |
composer-1-airflow-x.y.z |
Cloud Composer versi terbaru 1 | Versi Airflow yang ditentukan |
composer-1.b.c-airflow-x.y |
Versi Cloud Composer yang ditentukan 1 | Versi terbaru Airflow tersedia dalam x.y versi utama dan minor. |
Alias versi berikut mengarah ke Cloud Composer 2. Anda tetap dapat menggunakannya, tetapi pertimbangkan untuk beralih ke alias untuk versi Cloud Composer Anda.
composer-latest-airflow-x.y
sama dengancomposer-2-airflow-x.y
.composer-latest-airflow-x.y.z
sama dengancomposer-2-airflow-x.y.z
.
Argumen versi di Google Cloud CLI
Saat membuat atau mengupgrade lingkungan Cloud Composer menggunakan Google Cloud CLI, Anda dapat menentukan versi Cloud Composer dan Airflow:
Argumen
--image-version
menentukan versi Cloud Composer dan Airflow:- Format
composer-a.b.c-airflow-x.y.z
membuat lingkungan dengan versi Cloud Composer dan Airflow yang ditentukan. - Alias versi terlebih dahulu ditetapkan ke format
composer-a.b.c-airflow-x.y.z
, lalu membuat lingkungan dengan versi Cloud Composer dan Airflow yang ditentukan.
- Format
--airflow-version
menentukan versi Airflow dalam dua format:Format
x.y.z
ditujukan untuk versi terbaru Cloud Composer 2 dan versi Airflow yang ditentukan. Format ini sama dengan alias versicomposer-2-airflow-x.y.z
.Format
x.y
adalah untuk versi terbaru Cloud Composer 2 dan versi terbaru Airflow yang tersedia dalamx.y
versi utama dan minor. Format ini sama dengan alias versicomposer-2-airflow-x.y
.