Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Halaman ini menjelaskan arsitektur lingkungan Cloud Composer.
Konfigurasi arsitektur lingkungan
Lingkungan Cloud Composer 2 dapat memiliki konfigurasi arsitektur berikut:
Project pelanggan dan tenant
Saat Anda membuat lingkungan, Cloud Composer mendistribusikan resource lingkungan antara tenant dan project pelanggan:
- Project pelanggan adalah project Google Cloud tempat Anda membuat lingkungan. Anda dapat membuat lebih dari satu lingkungan dalam satu project konsumen.
Project tenant adalah project tenant yang dikelola Google. Project tenant menyediakan kontrol akses terpadu dan lapisan keamanan data tambahan ke lingkungan Anda. Setiap lingkungan Cloud Composer memiliki project tenantnya sendiri.
Komponen lingkungan
Lingkungan Cloud Composer terdiri dari komponen lingkungan.
Komponen lingkungan adalah elemen infrastruktur Airflow terkelola yang berjalan di Google Cloud, sebagai bagian dari lingkungan Anda. Komponen lingkungan berjalan di tenant atau di project pelanggan lingkungan Anda.
Cluster lingkungan
Cluster lingkungan adalah cluster Google Kubernetes Engine mode Autopilot native VPC dari lingkungan Anda:
Secara default, Cloud Composer mengaktifkan upgrade otomatis node dan perbaikan otomatis node untuk melindungi cluster lingkungan Anda dari kerentanan keamanan. Operasi ini terjadi selama periode pemeliharaan yang Anda tentukan untuk lingkungan Anda.
Bucket lingkungan
Bucket lingkungan adalah bucket Cloud Storage yang menyimpan DAG, plugin, dependensi data, dan log Airflow. Bucket lingkungan berada di project pelanggan.
Saat Anda mengupload file DAG ke folder /dags di bucket lingkungan, Cloud Composer akan menyinkronkan DAG ke komponen Airflow di lingkungan Anda.
Server web Airflow
Server web Airflow menjalankan UI Airflow di lingkungan Anda.
Cloud Composer memberikan akses ke antarmuka berdasarkan identitas pengguna dan binding kebijakan IAM yang ditentukan untuk pengguna.
Database Airflow
Database Airflow adalah instance Cloud SQL yang berjalan di project tenant lingkungan Anda. Database ini menghosting database metadata Airflow.
Untuk melindungi informasi alur kerja dan koneksi sensitif, Cloud Composer hanya mengizinkan akses database ke akun layanan lingkungan Anda.
Komponen aliran udara lainnya
Komponen Airflow lainnya yang berjalan di lingkungan Anda adalah:
Penjadwal Airflow mengurai file definisi DAG, menjadwalkan DAG berjalan berdasarkan interval jadwal, dan mengantrekan tugas untuk dieksekusi oleh pekerja Airflow. Di Cloud Composer 2, pemroses DAG Airflow berjalan sebagai bagian dari komponen penjadwal.
Pemicu Airflow memantau semua tugas yang ditangguhkan di lingkungan Anda secara asinkron. Jika menetapkan jumlah pemicu di lingkungan di atas nol, Anda dapat menggunakan operator yang dapat ditangguhkan di DAG.
Pekerja Airflow menjalankan tugas yang dijadwalkan oleh penjadwal Airflow. Jumlah minimum dan maksimum pekerja di lingkungan Anda berubah secara dinamis bergantung pada jumlah tugas dalam antrean.
Arsitektur lingkungan IP publik
Dalam arsitektur lingkungan IP Publik untuk Cloud Composer 2:
- Project tenant menghosting instance Cloud SQL dan penyimpanan Cloud SQL.
- Project pelanggan menghosting semua komponen lingkungan lainnya.
- Penjadwal dan pekerja Airflow di project pelanggan berkomunikasi dengan database Airflow melalui instance proxy Cloud SQL yang terletak di project pelanggan.
Arsitektur lingkungan IP pribadi
Secara default, Cloud Composer 2 menggunakan Private Service Connect, sehingga lingkungan IP Pribadi Anda berkomunikasi secara internal tanpa menggunakan peering VPC. Anda juga dapat menggunakan peering VPC, bukan Private Service Connect, di lingkungan Anda. Ini adalah opsi non-default.
Dalam arsitektur lingkungan IP Pribadi:
- Project tenant menghosting instance Cloud SQL dan penyimpanan Cloud SQL.
- Project pelanggan menghosting semua komponen lingkungan lainnya.
- Penjadwal dan pekerja Airflow terhubung ke database Airflow melalui endpoint PSC yang dikonfigurasi.
Arsitektur IP Pribadi yang sangat tangguh
Lingkungan Cloud Composer yang sangat tangguh adalah lingkungan Cloud Composer 2 yang menggunakan redundansi bawaan dan mekanisme failover yang mengurangi kerentanan lingkungan terhadap kegagalan zona dan pemadaman layanan titik tunggal kegagalan.
Dalam jenis lingkungan IP Pribadi ini:
- Instance Cloud SQL di lingkungan Anda dikonfigurasi untuk ketersediaan tinggi (adalah instance regional). Dalam instance regional, konfigurasi terdiri dari instance utama dan instance standby.
- Lingkungan Anda menjalankan dua penjadwal Airflow, dua server web, dan jika pemicu digunakan, minimal dua (total hingga sepuluh) pemicu. Pasangan komponen ini berjalan di dua zona terpisah.
- Jumlah minimum pekerja ditetapkan ke dua, dan cluster lingkungan Anda mendistribusikan instance pekerja di antara zona. Jika terjadi pemadaman layanan zona, instance pekerja yang terpengaruh akan dijadwalkan ulang di zona lain.
Integrasi dengan Cloud Logging dan Cloud Monitoring
Cloud Composer terintegrasi dengan Cloud Logging dan Cloud Monitoring project Google Cloud Anda, sehingga Anda memiliki tempat terpusat untuk melihat log Airflow dan DAG.
Cloud Monitoring mengumpulkan dan menyerap metrik, peristiwa, dan metadata dari Cloud Composer untuk menghasilkan insight melalui dasbor dan diagram.
Karena sifat streaming Cloud Logging, Anda dapat langsung melihat log yang dikeluarkan oleh komponen Airflow, bukan menunggu log Airflow muncul di bucket Cloud Storage lingkungan Anda.
Untuk membatasi jumlah log di project Google Cloud, Anda dapat menghentikan semua penyerapan log. Jangan nonaktifkan Logging.