Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Menjalankan aplikasi yang penting bagi bisnis di Cloud Composer mengharuskan banyak pihak untuk memiliki tanggung jawab yang berbeda-beda. Meskipun bukan daftar yang lengkap, dokumen ini mencantumkan tanggung jawab untuk pihak Google dan Pelanggan.
Tanggung Jawab Google
Melakukan hardening dan mem-patch komponen lingkungan Cloud Composer dan infrastruktur dasar, termasuk cluster Google Kubernetes Engine, database Cloud SQL (yang menghosting database Airflow), Pub/Sub, Artifact Registry, dan elemen lingkungan lainnya. Secara khusus, hal ini mencakup upgrade otomatis infrastruktur dasar, termasuk cluster GKE dan instance Cloud SQL suatu lingkungan.
Melindungi akses ke lingkungan Cloud Composer dengan menggabungkan kontrol akses yang disediakan oleh IAM, mengenkripsi data dalam penyimpanan secara default, memberikan enkripsi penyimpanan yang dikelola pelanggan tambahan, mengenkripsi data dalam pengiriman.
Menyediakan integrasi Google Cloud untuk Identity and Access Management, Cloud Audit Logs, dan Cloud Key Management Service.
Membatasi dan melakukan logging akses administratif Google ke cluster pelanggan untuk tujuan dukungan kontraktual dengan Transparansi Akses dan Persetujuan Akses.
Memublikasikan informasi tentang perubahan yang tidak kompatibel dengan versi lama antara versi Cloud Composer dan Airflow di Catatan Rilis Cloud Composer.
Memastikan dokumentasi Cloud Composer selalu terbaru:
Memberikan deskripsi semua fungsi yang disediakan oleh Cloud Composer.
Memberikan petunjuk pemecahan masalah yang membantu menjaga lingkungan agar tetap sehat.
Memublikasikan informasi tentang masalah umum dengan solusi (jika ada).
Menyelesaikan insiden keamanan penting yang terkait dengan lingkungan Cloud Composer dan image Airflow yang disediakan oleh Cloud Composer (kecuali paket Python yang diinstal pelanggan) dengan mengirimkan versi lingkungan baru untuk mengatasi insiden tersebut.
Bergantung pada Paket Dukungan pelanggan, pemecahan masalah kesehatan lingkungan Cloud Composer.
Mempertahankan dan memperluas fungsi penyedia Cloud Composer Terraform.
Bekerja sama dengan komunitas Apache Airflow untuk mengelola dan mengembangkan operator Google Airflow.
Pemecahan masalah dan, jika memungkinkan, memperbaiki masalah dalam fungsi inti Airflow.
Tanggung Jawab Pelanggan
Melakukan upgrade ke versi Cloud Composer dan Airflow baru untuk mempertahankan dukungan bagi produk dan menyelesaikan masalah keamanan setelah layanan Cloud Composer memublikasikan versi Cloud Composer yang mengatasi masalah tersebut.
Mempertahankan kode DAG agar tetap kompatibel dengan versi Airflow yang digunakan.
Menjaga konfigurasi cluster GKE lingkungan tetap utuh, terutama termasuk fitur upgrade otomatisnya.
Mempertahankan izin yang tepat di IAM untuk akun layanan lingkungan. Khususnya, mempertahankan izin yang diperlukan oleh Agen Cloud Composer dan akun layanan lingkungan. Mempertahankan izin yang diperlukan untuk kunci CMEK yang digunakan untuk enkripsi lingkungan Cloud Composer dan memutarnya sesuai kebutuhan Anda.
Mempertahankan izin pengguna akhir yang tepat di konfigurasi Kontrol Akses UI IAM dan Airflow.
Mempertahankan ukuran database Airflow di bawah 16 GB menggunakan DAG pemeliharaan.
Menyelesaikan semua masalah penguraian DAG sebelum meningkatkan kasus dukungan ke Cloud Customer Care.
Menyesuaikan parameter lingkungan Cloud Composer (seperti CPU dan memori untuk komponen Airflow) dan konfigurasi Airflow untuk memenuhi ekspektasi performa dan pemuatan lingkungan Cloud Composer menggunakan panduan pengoptimalan Cloud Composer dan panduan penskalaan lingkungan.
Menghindari penghapusan izin yang diperlukan oleh Agen Cloud Composer dan akun layanan lingkungan (menghapus izin ini dapat menyebabkan kegagalan operasi pengelolaan atau kegagalan DAG dan tugas).
Memastikan semua layanan dan API yang diperlukan oleh Cloud Composer selalu aktif. Kuota dependensi ini harus dikonfigurasi di level yang diperlukan untuk Cloud Composer.
Mempertahankan repositori Artifact Registry yang menghosting image container yang digunakan oleh lingkungan Cloud Composer.
Mengikuti rekomendasi dan praktik terbaik untuk menerapkan DAG.
Mendiagnosis DAG dan kegagalan tugas menggunakan petunjuk untuk pemecahan masalah penjadwal, pemecahan masalah DAG, dan pemecahan masalah pemicu.
Menghindari penginstalan atau menjalankan komponen tambahan di cluster GKE lingkungan yang mengganggu komponen Cloud Composer dan membuat komponen tersebut tidak berfungsi dengan benar.