Ringkasan pembuatan versi Cloud Composer

Halaman ini menjelaskan pembuatan versi Cloud Composer dan mencantumkan perbedaan antara berbagai versi Cloud Composer utama.

Versi utama Cloud Composer

Cloud Composer memiliki dua versi utama:

  • Cloud Composer 2. Versi ini memiliki lingkungan penskalaan otomatis.
  • Cloud Composer 1. Versi ini memiliki penskalaan manual.

Tabel berikut mencantumkan perbedaan utama antara Cloud Composer 1 dan Cloud Composer 2.

Cloud Composer 1 Cloud Composer 2
Versi image Cloud Composer composer-1.x.x composer-2.x.x
Versi Airflow Airflow 1.10.* dan Airflow 2 Aliran udara 2
Versi Python 3.8.12 3.8.12
Cluster lingkungan Cluster Google Kubernetes Engine berbasis Rute atau VPC native mode standar Cluster Google Kubernetes Engine VPC-native mode Autopilot
Penskalaan horizontal Dapat menyesuaikan jumlah node di cluster lingkungan. Hal ini akan mengubah jumlah pekerja Airflow.
Dapat menyesuaikan jumlah penjadwal Airflow.
Penskalaan jumlah pekerja Airflow secara otomatis, berdasarkan permintaan. Dapat menetapkan dan mengubah batas atas dan bawah untuk jumlah pekerja.
Dapat menyesuaikan jumlah penjadwal Airflow.
Penskalaan vertikal Dapat menetapkan jenis mesin untuk node cluster, server web Airflow, dan database saat membuat lingkungan. Dapat mengubah jenis mesin untuk server web dan database Airflow. Dapat menetapkan dan mengubah konfigurasi beban kerja: parameter CPU, memori, dan penyimpanan untuk pekerja Airflow, penjadwal, server web, dan database.
Model penetapan harga Model penetapan harga Cloud Composer 1 Model penetapan harga Cloud Composer 2
Kontrol akses Peran Cloud Composer Peran Cloud Composer. Menggunakan Workload Identity dan memerlukan izin tambahan untuk akun Agen Layanan Cloud Composer.
Akses melalui penggabungan identitas tenaga kerja Tidak didukung Didukung
Arsitektur lingkungan Arsitektur lingkungan Cloud Composer 1 Arsitektur lingkungan Cloud Composer 2
Jaringan IP pribadi Peering VPC Peering VPC atau Private Service Connect
Dukungan Terraform Dapat membuat dan memperbarui lingkungan Cloud Composer 1. Dapat membuat dan memperbarui lingkungan Cloud Composer 2.
CMEK Didukung Didukung
Kontrol akses server web Didukung Didukung
Memulai ulang server web Didukung Didukung
Plugin server web Didukung di lingkungan Airflow 1 dengan serialisasi DAG yang dinonaktifkan. Didukung
Menginstal plugin kustom Didukung Didukung
Operasi pemeliharaan Semua tugas dapat terpengaruh. Tugas yang memerlukan waktu kurang dari 55 menit untuk dijalankan tidak akan terpengaruh.
Pemuatan DAG asinkron Didukung di Airflow 1 Tidak didukung
Serialisasi DAG Selalu aktifkan di Airflow 2. Dapat dinonaktifkan di Airflow 1. Selalu aktifkan di Airflow 2.
Dukungan untuk Tag Jaringan Ya Ya
Node cluster dengan GPU Ya Tidak
Menyimpan Snapshot Didukung untuk versi Airflow 2.x dan 1.10.15 Didukung
Memuat Snapshot Tidak didukung Didukung
Snapshot Terjadwal Tidak didukung Didukung
Bucket lingkungan kustom Tidak didukung Didukung

Gambar Cloud Composer

Untuk menjalankan Apache Airflow, Cloud Composer mem-build image Docker yang menggabungkan rilis Airflow dengan biner umum dan library Python lainnya.

Gambar Cloud Composer mencakup modifikasi Airflow yang khusus untuk Cloud Composer dan tidak sesuai untuk codebase Airflow upstream. Paket yang telah diinstal sebelumnya beserta perubahan Airflow khusus Cloud Composer disebut secara keseluruhan sebagai versi Cloud Composer.

Google secara berkala merilis gambar Cloud Composer baru yang mencakup rilis Airflow baru dan peningkatan Cloud Composer.

Dukungan Cloud Composer 1 versi

Versi Cloud Composer 1 baru dirilis hingga akhir Maret 2023. Semua versi Cloud Composer 1 yang dirilis mengikuti kebijakan penghentian versi dan didukung menurut kebijakan tersebut.

Beberapa fitur Cloud Composer baru mungkin hanya didukung di Cloud Composer 2. Anda dapat memeriksa fitur yang hanya didukung di Cloud Composer 2 di tabel yang mencantumkan perbedaan utama antarversi.

Penghentian dan dukungan versi Cloud Composer

Google mendukung versi Cloud Composer selama jangka waktu tertentu setelah rilis versi. Selama periode ini, lingkungan Cloud Composer yang menggunakan versi ini akan sepenuhnya didukung.

Dukungan versi Cloud Composer ditentukan sebagai berikut:

  • 0-12 bulan sejak tanggal rilis: Lingkungan Cloud Composer yang menjalankan versi ini sepenuhnya didukung.
  • 12-18 bulan sejak tanggal rilis: Lingkungan Cloud Composer yang menjalankan versi ini tidak didukung, kecuali untuk memberi tahu pelanggan tentang masalah keamanan.

  • 18+ bulan sejak tanggal rilis: lingkungan Cloud Composer yang menjalankan versi ini tidak didukung dan sepenuhnya dikelola pengguna.

Dukungan versi Airflow

Airflow mengikuti skema pembuatan versi software semantik. Setiap versi Airflow memiliki versi major, minor, dan patch.

Untuk mengetahui daftar versi Airflow yang didukung di setiap versi Cloud Composer, lihat daftar versi Cloud Composer.

Dukungan versi Airflow 2

  • Dalam setiap rilis, Cloud Composer mendukung dua versi minor Airflow 2.

    Misalnya, Cloud Composer 1.17.0 mendukung Airflow 2.0.* dan Airflow 2.1.*.

  • Untuk setiap versi minor Airflow 2, Cloud Composer mendukung satu versi patch.

    Misalnya, untuk Airflow 2.1.*, Cloud Composer mendukung Airflow 2.1.2.

  • Saat versi patch baru Airflow 2 tersedia di Cloud Composer, rilis terkait memiliki dua versi patch Airflow 2 yang tersedia untuk Airflow versi minor yang sama. Versi patch sebelumnya akan dihapus di salah satu rilis berikutnya.

    Misalnya, Cloud Composer 1.17.4 mendukung Airflow 2.1.2 dan Airflow 2.1.4.

  • Cloud Composer dapat melewati beberapa versi patch Airflow antarrilis Cloud Composer. Selain itu, jika ada masalah fungsi, kualitas, atau performa pada versi patch Airflow tertentu, Cloud Composer juga dapat melewati versi ini.

    Misalnya, Airflow 2.1.3 dilewati dan Airflow 2.1.4 tersedia.

  • Rilis Cloud Composer yang menjalankan versi Airflow stabil dapat menyertakan update Airflow yang di-backport dari versi Airflow yang lebih baru.

Dukungan versi Airflow 1

Hanya Cloud Composer 1 yang mendukung Airflow 1.10.15, yang merupakan versi rilis terbaru dari Airflow 1.

Skema versi Cloud Composer

Skema pembuatan versi image Cloud Composer mengambil versi Cloud Composer dan Airflow:

composer-a.b.c-airflow-x.y.z

Dari mana

  • composer-a.b.c adalah versi penyesuaian yang dikelola Cloud Composer
  • airflow-x.y.z adalah rilis Airflow

Alias versi

Cloud Composer 2 mendukung alias versi berikut:

Alias Versi Cloud Composer Versi Airflow
composer-2-airflow-2 Cloud Composer 2 versi terbaru Versi terbaru Airflow 2
composer-2-airflow-x.y Cloud Composer 2 versi terbaru Versi terbaru Airflow dalam x.y versi utama dan minor
composer-2-airflow-x.y.z Cloud Composer 2 versi terbaru Versi Airflow yang ditentukan
composer-2.b.c-airflow-x.y Versi Cloud Composer yang ditentukan 2 Versi terbaru Airflow tersedia dalam x.y versi utama dan minor

Cloud Composer 1 mendukung alias versi berikut:

Alias Versi Cloud Composer Versi Airflow
composer-1-airflow-2 Cloud Composer versi terbaru 1 Versi terbaru Airflow 2
composer-1-airflow-1 Cloud Composer versi terbaru 1 Versi terbaru Airflow 1
composer-1-airflow-x.y Cloud Composer versi terbaru 1 Versi terbaru Airflow dalam x.y versi utama dan minor
composer-1-airflow-x.y.z Cloud Composer versi terbaru 1 Versi Airflow yang ditentukan
composer-1.b.c-airflow-x.y Versi Cloud Composer yang ditentukan 1 Versi terbaru Airflow tersedia dalam x.y versi utama dan minor.

Alias versi berikut mengarah ke Cloud Composer 2. Anda tetap dapat menggunakannya, tetapi pertimbangkan untuk beralih ke alias untuk versi Cloud Composer Anda.

  • composer-latest-airflow-x.y sama dengan composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z sama dengan composer-2-airflow-x.y.z.

Argumen versi di Google Cloud CLI

Saat membuat atau mengupgrade lingkungan Cloud Composer menggunakan Google Cloud CLI, Anda dapat menentukan versi Cloud Composer dan Airflow:

  • Argumen --image-version menentukan versi Cloud Composer dan Airflow:

    • Format composer-a.b.c-airflow-x.y.z membuat lingkungan dengan versi Cloud Composer dan Airflow yang ditentukan.
    • Alias versi terlebih dahulu ditetapkan ke format composer-a.b.c-airflow-x.y.z, lalu membuat lingkungan dengan versi Cloud Composer dan Airflow yang ditentukan.
  • --airflow-version menentukan versi Airflow dalam dua format:

    • Format x.y.z ditujukan untuk versi terbaru Cloud Composer 2 dan versi Airflow yang ditentukan. Format ini sama dengan alias versi composer-2-airflow-x.y.z.

    • Format x.y adalah untuk versi terbaru Cloud Composer 2 dan versi terbaru Airflow yang tersedia dalam x.y versi utama dan minor. Format ini sama dengan alias versi composer-2-airflow-x.y.

Langkah selanjutnya