Ringkasan pembuatan versi Cloud Composer

Halaman ini menjelaskan pembuatan versi Cloud Composer dan mencantumkan perbedaan antara versi Cloud Composer utama.

Versi utama Cloud Composer

Cloud Composer memiliki versi utama berikut:

  • Cloud Composer 1. Memiliki penskalaan lingkungan manual, infrastruktur di-deploy ke project dan jaringan Anda.
  • Cloud Composer 2. Dalam versi ini, cluster lingkungan akan diskalakan secara otomatis untuk memenuhi permintaan resource.
  • Cloud Composer 3. Versi ini telah menyederhanakan penyiapan jaringan dan menyembunyikan komponen infrastruktur, termasuk cluster lingkungan dan dependensi lingkungan pada layanan lain.

Perbandingan versi Cloud Composer

Tabel berikut mencantumkan perbedaan utama antara Cloud Composer 1, Cloud Composer 2, dan Cloud Composer 3.

Fitur Cloud Composer 1 Cloud Composer 2 Cloud Composer 3
Versi image composer-1.b.c-airflow-x.y.z composer-2.b.c-airflow-x.y.z composer-3-airflow-x.y.z-build.t
Versi Airflow Airflow 1.10.* dan Airflow 2 Airflow 2 Airflow 2
Versi Python 3.8.12 3.11.5 dan 3.8.12 di versi sebelumnya 3.11.5
Cluster lingkungan Cluster Google Kubernetes Engine native VPC atau berbasis Rute dalam mode standar Cluster Google Kubernetes Engine native VPC mode Autopilot Cluster lingkungan tidak di-deploy ke project Anda.
Penskalaan horizontal Dapat menyesuaikan jumlah node di cluster lingkungan. Tindakan ini akan mengubah jumlah pekerja Airflow.
Dapat menyesuaikan jumlah penjadwal Airflow.		 Menskalakan jumlah pekerja Airflow secara otomatis, berdasarkan permintaan. Dapat menetapkan dan mengubah batas atas dan bawah untuk jumlah pekerja.
Dapat menyesuaikan jumlah penjadwal dan pemicu Airflow		 Menskalakan jumlah pekerja Airflow secara otomatis, berdasarkan permintaan. Dapat menetapkan dan mengubah batas atas dan bawah untuk jumlah pekerja.
Dapat menyesuaikan jumlah penjadwal, pemicu, dan pemroses DAG Airflow
Penskalaan vertikal Dapat menetapkan jenis mesin untuk node cluster, server web Airflow, dan database saat membuat lingkungan. Dapat mengubah jenis mesin untuk server web dan database Airflow. Dapat menetapkan dan mengubah konfigurasi beban kerja: parameter CPU, memori, dan penyimpanan untuk pekerja, penjadwal, server web, dan ukuran lingkungan Airflow. Dapat menetapkan dan mengubah konfigurasi beban kerja: parameter CPU, memori, dan penyimpanan untuk pekerja, penjadwal, server web, pemroses DAG, dan ukuran lingkungan Airflow.
Model penetapan harga Model penetapan harga Cloud Composer 1 Model penetapan harga Cloud Composer 2 Model penetapan harga Cloud Composer 3
Kontrol akses Peran Cloud Composer 1 Peran Cloud Composer. Menggunakan Workload Identity Federation untuk GKE dan memerlukan izin tambahan untuk akun Agen Layanan Cloud Composer. Peran Cloud Composer. Menggunakan Workload Identity Federation for GKE. Izin tambahan tidak diperlukan
Akses melalui Workforce Identity Federation Tidak didukung Didukung Didukung
Lingkungan yang Sangat Tangguh Tidak didukung Didukung Tidak tersedia di Pratinjau Publik
Jaringan IP pribadi Peering VPC Private Service Connect Penyiapan jaringan yang disederhanakan. Dapat diubah antara IP Publik dan Pribadi di lingkungan yang ada.
Kontrol Layanan VPC Didukung Didukung Tidak tersedia di Pratinjau Publik
Eksekutor Airflow Celery Executor Celery Executor CeleryKubernetes Executor
Pemicu alur data (operator yang dapat ditangguhkan) Tidak didukung Didukung Didukung
CMEK Didukung Didukung Tidak tersedia di Pratinjau Publik
Kontrol akses server web Didukung Didukung Didukung
Memulai ulang server web Didukung Didukung Didukung
Plugin server web Didukung di lingkungan Airflow 1 dengan serialisasi DAG yang dinonaktifkan. Didukung Didukung, plugin dapat dinonaktifkan dan diaktifkan sesuai permintaan.
Menginstal plugin kustom Didukung Didukung Didukung
Operasi pemeliharaan Semua tugas dapat terpengaruh. Tugas yang memerlukan waktu kurang dari 55 menit untuk dieksekusi tidak akan terpengaruh. Tugas yang memerlukan waktu kurang dari 55 menit untuk dieksekusi tidak akan terpengaruh.
Menyimpan Snapshot Didukung untuk versi Airflow 2.x dan 1.10.15 Didukung Didukung
Memuat Snapshot Tidak didukung Didukung Didukung
Snapshot Terjadwal Tidak didukung Didukung Tidak tersedia di Pratinjau Publik
Bucket lingkungan kustom Tidak didukung Didukung Didukung
Menyimpan log tugas Airflow hanya di Cloud Logging Tidak didukung Didukung Didukung
Integrasi silsilah data Tidak didukung Didukung Didukung

Image Cloud Composer

Untuk menjalankan Apache Airflow, Cloud Composer mem-build image Docker yang memaketkan rilis Airflow dengan library biner umum dan Python lainnya.

Image Cloud Composer menyertakan modifikasi Airflow yang khusus untuk Cloud Composer dan tidak sesuai untuk codebase Airflow upstream. Setiap image Cloud Composer berisi paket yang telah diinstal sebelumnya bersama dengan perubahan Airflow khusus Cloud Composer.

Google secara berkala merilis image Cloud Composer baru:

  • Di Cloud Composer 3, image menyertakan build baru dari versi Airflow yang didukung. Anda dapat memilih versi Airflow dan build yang ingin digunakan. Lingkungan Anda akan otomatis mendapatkan peningkatan Cloud Composer.

  • Di Cloud Composer 2 dan Cloud Composer 1, image mencakup peningkatan Cloud Composer dan build baru dari versi Airflow yang didukung. Untuk mendapatkan peningkatan Cloud Composer, Anda harus mengupgrade lingkungan ke Cloud Composer versi yang lebih baru.

Dukungan dan penghentian penggunaan versi

Komposer 3

Google mendukung versi Airflow selama jangka waktu tertentu setelah rilis awal:

  • Jika versi minor Airflow adalah versi terbaru yang tersedia di Cloud Composer 3, semua build Airflow dengan versi minor ini didukung sepenuhnya. Tanggal akhir dukungan yang tepat ditentukan saat versi minor baru Airflow tersedia di Cloud Composer 3.

  • Saat versi minor baru Airflow tersedia di Cloud Composer 3, semua build dengan versi minor Airflow sebelumnya akan didukung selama 12 bulan, mulai dari tanggal tersebut. Jika ada beberapa build yang berisi versi minor Airflow yang sama, semuanya memiliki akhir tanggal dukungan penuh yang sama.

  • Setelah versi minor tidak lagi didukung sepenuhnya, lingkungan yang menjalankan versi ini juga tidak didukung dan sepenuhnya dikelola pengguna. Anda masih dapat mengupgrade lingkungan tersebut ke versi Airflow yang sepenuhnya didukung.

Anda dapat membuat lingkungan dengan semua build Airflow yang didukung sepenuhnya.

Anda masih dapat menggunakan lingkungan dengan build Airflow yang tidak lagi didukung. Lingkungan tersebut masih berfungsi, Anda dapat terus menggunakannya, dan Anda masih dapat mengupgradenya ke versi yang sepenuhnya didukung.

Composer 2

Google mendukung versi Cloud Composer 2 selama jangka waktu tertentu setelah rilis versi. Selama periode ini, lingkungan Cloud Composer 2 yang menggunakan versi ini didukung sepenuhnya.

Dukungan versi Cloud Composer 2 ditentukan sebagai berikut:

  • 0-12 bulan sejak tanggal rilis: Lingkungan Cloud Composer 2 yang menjalankan versi ini didukung sepenuhnya.

  • 12+ bulan sejak tanggal rilis: Lingkungan Cloud Composer 2 yang menjalankan versi ini tidak didukung.

Anda dapat menggunakan versi Cloud Composer setelah tanggal versi tersebut tidak lagi didukung. Misalnya, jika lingkungan Anda didasarkan pada versi Cloud Composer yang telah melewati periode dukungan, lingkungan tersebut masih berfungsi dan Anda dapat terus menggunakannya. Dalam hal ini, sebaiknya Anda mengupgrade lingkungan ke versi yang didukung.

Composer 1

Versi Cloud Composer 1 baru dirilis hingga akhir Maret 2023. Semua versi Cloud Composer 1 yang dirilis mengikuti kebijakan penghentian versi yang sama dengan Cloud Composer 2 dan didukung sesuai dengan kebijakan tersebut.

Pada 25 Maret 2024, Cloud Composer 1 memasuki mode pasca-pemeliharaan. Google tidak akan merilis update lebih lanjut ke Cloud Composer 1, termasuk Airflow versi baru, perbaikan bug, dan update keamanan. Sebaiknya migrasikan ke Cloud Composer 2.

Dukungan versi Airflow

Airflow mengikuti skema pembuatan versi software semantik. Setiap versi Airflow memiliki versi utama, minor, dan patch.

Komposer 3

Di Cloud Composer 3, versi dan build Airflow baru akan tersedia seiring berjalannya waktu.

Lingkungan Anda dapat berfungsi dengan semua versi dan build Airflow sebelumnya, dan menerima update ke komponen infrastrukturnya secara otomatis. Setiap versi dan build didukung seperti yang dijelaskan dalam Penghentian dan dukungan versi, dan Anda dapat memilih untuk mengupgrade versi Airflow ke versi atau build yang lebih baru.

Composer 2

Untuk mengetahui daftar versi Airflow yang didukung di setiap versi Cloud Composer, lihat daftar versi Cloud Composer.

  • Dalam setiap rilis, Cloud Composer 2 mendukung dua versi minor Airflow 2.

    Misalnya, Cloud Composer 2.4.0 mendukung Airflow 2.4.* dan Airflow 2.5.*.

  • Untuk setiap versi minor Airflow 2, Cloud Composer mendukung satu versi patch.

    Misalnya, untuk Airflow 2.4.*, Cloud Composer mendukung Airflow 2.4.3.

  • Saat versi patch baru Airflow 2 tersedia di Cloud Composer, rilis yang sesuai memiliki dua versi patch Airflow 2 yang tersedia untuk versi minor Airflow yang sama. Versi patch sebelumnya kemudian dihapus dalam salah satu rilis berikutnya.

    Misalnya, Cloud Composer 2.3.4 mendukung Airflow 2.5.1 dan Airflow 2.5.3.

  • Cloud Composer dapat melewati beberapa versi patch Airflow di antara rilis Cloud Composer. Selain itu, jika ada masalah fungsi, kualitas, atau performa dengan versi patch Airflow tertentu, Cloud Composer juga dapat melewati versi ini.

    Misalnya, Airflow 2.1.3 dilewati dan Airflow 2.1.4 tersedia.

  • Rilis Cloud Composer yang menjalankan versi Airflow stabil dapat menyertakan update Airflow yang di-backport dari versi Airflow yang lebih baru.

Composer 1

Versi Airflow terbaru yang didukung di Cloud Composer 1 adalah Airflow 2.4.3.

Hanya Cloud Composer 1 yang mendukung Airflow 1.10.15, yang merupakan versi terbaru dari Airflow 1.

Skema versi Cloud Composer

Komposer 3

Skema pembuatan versi Cloud Composer 3 menangkap versi dan build Airflow:

composer-3-airflow-x.y.z-build.t

Dengan keterangan:

  • composer-3 adalah versi Cloud Composer.
  • airflow-x.y.z.build.t adalah versi dan build Airflow. Setiap rilis berikutnya dari versi Airflow yang sama di Cloud Composer 3 memiliki nomor build yang lebih tinggi. Nomor build ditentukan oleh Cloud Composer, bukan oleh project open source Airflow.

Composer 2

Skema pembuatan versi image Cloud Composer 2 menangkap versi Cloud Composer dan Airflow:

composer-2.b.c-airflow-x.y.z

Dengan keterangan:

  • composer-2.b.c adalah versi penyesuaian yang dikelola Cloud Composer
  • airflow-x.y.z adalah rilis Airflow

Composer 1

Skema pembuatan versi image Cloud Composer 1 menangkap versi Cloud Composer dan Airflow:

composer-1.b.c-airflow-x.y.z

Dengan keterangan:

  • composer-1.b.c adalah versi penyesuaian yang dikelola Cloud Composer
  • airflow-x.y.z adalah rilis Airflow

Alias versi

Alias versi berfungsi dengan cara berikut:

  • Cloud Composer me-resolve alias versi ke format lengkap saat membuat lingkungan Anda:

    • Semua alias versi menjadi composer-3-airflow-x.y.z-build.t di Cloud Composer 3.
    • Semua alias versi menjadi composer-a.b.c-airflow-x.y.z di Cloud Composer 2 dan Cloud Composer 1.

  • Di Cloud Composer 3, menggunakan alias versi, seperti composer-3-airflow-x.y, tidak otomatis mengupgrade versi dan build Airflow di lingkungan Anda. Lingkungan tetap menggunakan build dan versi Airflow yang sama hingga Anda mengupgradenya. Lingkungan tersebut masih menerima upgrade infrastruktur otomatis, seperti biasa.

  • Di Cloud Composer 2 dan Cloud Composer 1, menggunakan alias versi, seperti composer-a-airflow-x.y.z tidak menyediakan upgrade otomatis untuk lingkungan. Lingkungan tetap menggunakan versi Cloud Composer dan Airflow yang sama hingga Anda mengupgradenya.

Alias versi Cloud Composer 3

Cloud Composer 3 mendukung alias versi berikut:

Alias Versi Airflow
composer-3-airflow-2 Versi dan build terbaru Airflow 2
composer-3-airflow-x.y Versi dan build Airflow terbaru dalam x.y versi utama dan minor
composer-3-airflow-x.y.z Build terbaru dari versi Airflow yang ditentukan

Alias versi Cloud Composer 2

Cloud Composer 2 mendukung alias versi berikut:

Alias Versi Cloud Composer Versi Airflow
composer-2-airflow-2 Cloud Composer 2 versi terbaru Airflow 2 versi terbaru
composer-2-airflow-x.y Cloud Composer 2 versi terbaru Versi terbaru Airflow dalam versi utama dan minor x.y
composer-2-airflow-x.y.z Cloud Composer 2 versi terbaru Versi Airflow yang ditentukan
composer-2.b.c-airflow-x.y Versi Cloud Composer 2 yang ditentukan Versi terbaru Airflow tersedia dalam versi utama dan minor x.y

Alias versi Cloud Composer 1

Cloud Composer 1 mendukung alias versi berikut:

Alias Versi Cloud Composer Versi Airflow
composer-1-airflow-2 Versi terbaru Cloud Composer 1 Airflow 2 versi terbaru
composer-1-airflow-1 Versi terbaru Cloud Composer 1 Airflow 1 versi terbaru
composer-1-airflow-x.y Versi terbaru Cloud Composer 1 Versi terbaru Airflow dalam versi utama dan minor x.y
composer-1-airflow-x.y.z Versi terbaru Cloud Composer 1 Versi Airflow yang ditentukan
composer-1.b.c-airflow-x.y Versi Cloud Composer 1 yang ditentukan Versi terbaru Airflow tersedia dalam versi utama dan minor x.y.

Alias versi berikut mengarah ke Cloud Composer 2. Anda tetap dapat menggunakannya, tetapi sebaiknya beralih ke alias untuk versi Cloud Composer Anda.

  • composer-latest-airflow-x.y sama dengan composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z sama dengan composer-2-airflow-x.y.z.

Argumen versi di Google Cloud CLI

Saat create atau mengupgrade lingkungan Cloud Composer menggunakan Google Cloud CLI, Anda dapat menentukan versi Cloud Composer dan Airflow:

Komposer 3

  • Argumen --image-version menentukan versi dan build Airflow dalam format composer-3-airflow-x.y.z-build.t. Anda dapat menggunakan alias versi, yang di-resolve oleh Google Cloud CLI ke dalam format lengkap.

  • --airflow-version menentukan versi Airflow dalam format berikut:

    • Format x.y.z adalah untuk build terbaru dari versi Airflow yang ditentukan. Format ini sama dengan alias versi composer-3-airflow-x.y.z.

    • Format x.y ditujukan untuk build Airflow terbaru yang tersedia dalam versi utama dan minor x.y. Format ini sama dengan alias versi composer-3-airflow-x.y.

    • x.y.z-build.t adalah versi dan build Airflow yang ditentukan. Format ini sama dengan composer-3-airflow-x.y.z-build.t.

Composer 2

  • Argumen --image-version menentukan versi Cloud Composer 2 dan Airflow:

    • Format composer-a.b.c-airflow-x.y.z membuat lingkungan dengan versi Cloud Composer dan Airflow yang ditentukan.
    • Alias versi pertama-tama me-resolve ke format composer-a.b.c-airflow-x.y.z, lalu membuat lingkungan dengan versi Cloud Composer 2 dan Airflow yang ditentukan.

  • --airflow-version menentukan versi Airflow dalam format berikut:

    • Format x.y.z ditujukan untuk Cloud Composer 2 versi terbaru dan versi Airflow yang ditentukan. Format ini sama dengan alias versi composer-2-airflow-x.y.z.

    • Format x.y ditujukan untuk Cloud Composer 2 versi terbaru dan Airflow versi terbaru yang tersedia dalam versi utama dan minor x.y. Format ini sama dengan alias versi composer-2-airflow-x.y.

Composer 1

  • Argumen --image-version menentukan versi Cloud Composer 1 dan Airflow:

    • Format composer-a.b.c-airflow-x.y.z membuat lingkungan dengan versi Cloud Composer dan Airflow yang ditentukan.
    • Alias versi pertama-tama di-resolve ke format composer-a.b.c-airflow-x.y.z, lalu membuat lingkungan dengan versi Cloud Composer 1 dan Airflow yang ditentukan.

  • --airflow-version menentukan versi Airflow dalam format berikut:

    • Format x.y.z ditujukan untuk Cloud Composer 1 versi terbaru dan versi Airflow yang ditentukan. Format ini sama dengan alias versi composer-1-airflow-x.y.z.

    • Format x.y ditujukan untuk Cloud Composer 1 versi terbaru dan Airflow versi terbaru yang tersedia dalam versi utama dan minor x.y. Format ini sama dengan alias versi composer-1-airflow-x.y.

Langkah selanjutnya