Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Halaman ini menjelaskan arsitektur lingkungan Cloud Composer.
Konfigurasi arsitektur lingkungan
Lingkungan Cloud Composer 3 memiliki satu konfigurasi yang tidak bergantung pada jenis jaringan:
Project pelanggan dan tenant
Saat Anda membuat lingkungan, Cloud Composer mendistribusikan antara tenant dan project pelanggan:
- Project pelanggan adalah project Google Cloud tempat Anda membuat lingkungan fleksibel App Engine. Anda dapat membuat lebih dari satu lingkungan dalam satu pelanggan proyek.
Project Tenant adalah project tenant yang dikelola Google. Proyek tenant menyediakan kontrol akses terpadu dan lapisan tambahan keamanan data bagi lingkungan Anda. Setiap Cloud Composer memiliki project tenant sendiri.
Komponen lingkungan
Lingkungan Cloud Composer terdiri dari komponen lingkungan.
Komponen lingkungan adalah elemen infrastruktur Airflow terkelola yang berjalan di Google Cloud, sebagai bagian dari lingkungan Anda. Lingkungan komponen berjalan baik di tenant atau di project pelanggan lingkungan Anda.
Bucket lingkungan
Bucket Environment adalah bucket Cloud Storage yang menyimpan DAG, plugin, dependensi data, dan log Airflow. Lingkungan bucket ini terletak di project pelanggan.
Saat Anda mengupload file DAG ke folder /dags di
bucket lingkungan, Cloud Composer menyinkronkan DAG ke komponen Airflow lingkungan Anda.
Server web Airflow
Server web Airflow menjalankan UI Airflow lingkungan Anda.
Cloud Composer menyediakan akses ke antarmuka berdasarkan identitas dan binding kebijakan IAM yang ditentukan untuk pengguna.
Database Airflow
Database Airflow adalah instance Cloud SQL yang berjalan di project tenant lingkungan Anda. Objek ini menghosting Airflow {i>database <i}metadata.
Untuk melindungi informasi alur kerja dan koneksi yang sensitif, Cloud Composer hanya mengizinkan akses database ke akun layanan lingkungan Anda.
Komponen aliran udara lainnya
Komponen Airflow lainnya yang berjalan di lingkungan Anda adalah:
Penjadwal Airflow mengurai file definisi DAG, menjadwalkan pengoperasian DAG berdasarkan interval jadwal, dan mengantrekan tugas untuk dieksekusi Pekerja aliran udara.
Pemicu Airflow memantau semua tugas yang ditangguhkan secara asinkron di lingkungan fleksibel App Engine. Jika Anda menetapkan jumlah pemicu di lingkungan Anda di atas nol, maka Anda dapat menggunakan operator yang dapat ditangguhkan di DAG.
Prosesor DAG Airflow memproses file DAG dan mengubahnya menjadi objek DAG. Di Cloud Composer 3, prosesor DAG berjalan sebagai lingkungan terpisah komponen.
Pekerja Airflow menjalankan tugas yang dijadwalkan oleh Airflow penjadwal. Jumlah minimum dan maksimum pekerja di lingkungan Anda berubah secara dinamis tergantung pada jumlah tugas dalam antrean.
Arsitektur lingkungan Cloud Composer 3
Di lingkungan Cloud Composer 3:
- Project tenant menghosting instance Cloud SQL dengan Airflow di skrip untuk menyiapkan database.
- Semua resource Airflow dijalankan di project tenant.
- Project pelanggan menghosting bucket lingkungan.
- Lampiran jaringan VPC kustom pada project pelanggan dapat digunakan untuk pasang lingkungan ke jaringan VPC kustom. Anda dapat menggunakan lampiran yang sudah ada atau Cloud Composer dapat membuatnya secara otomatis sesuai permintaan. Anda juga dapat melepaskan lingkungan dari jaringan VPC.
- Konsol Google Cloud, Monitoring, dan Logging in di project pelanggan memberikan cara untuk mengelola lokal, DAG dan DAG yang dijalankan, serta untuk mengakses metrik dan log. Anda juga dapat menggunakan UI Airflow, Google Cloud CLI, Cloud Composer API dan Terraform untuk tujuan yang sama.
Integrasi dengan Cloud Logging dan Cloud Monitoring
Cloud Composer terintegrasi dengan Cloud Logging dan Cloud Monitoring project Google Cloud Anda, sehingga Anda memiliki tempat terpusat untuk melihat log Airflow dan DAG.
Cloud Monitoring mengumpulkan dan menyerap metrik, peristiwa, dan metadata dari Cloud Composer ke menghasilkan insight melalui dasbor dan diagram.
Karena sifat streaming Cloud Logging, Anda dapat langsung melihat log yang dikeluarkan oleh komponen Airflow, tanpa perlu menunggu log Airflow muncul di bucket Cloud Storage lingkungan Anda.
Untuk membatasi jumlah log di project Google Cloud Anda, Anda dapat menghentikan semua penyerapan log. Larangan nonaktifkan Logging.