Cloud Composer 1 | Cloud Composer 2
Menjalankan aplikasi yang penting bagi bisnis di Cloud Composer memerlukan beberapa pihak untuk memikul tanggung jawab yang berbeda. Meskipun bukan daftar lengkap, dokumen ini berisi daftar tanggung jawab untuk sisi Google dan Pelanggan.
Tanggung Jawab Google
Hardening dan patching komponen dan infrastruktur dasar lingkungan Cloud Composer, termasuk cluster Google Kubernetes Engine, database Cloud SQL (yang menghosting database Airflow), Pub/Sub, Artifact Registry, dan elemen lingkungan lainnya. Secara khusus, hal ini termasuk upgrade otomatis infrastruktur dasar, termasuk cluster GKE dan instance Cloud SQL lingkungan.
Melindungi akses ke lingkungan Cloud Composer melalui penerapan kontrol akses yang disediakan oleh IAM, mengenkripsi data dalam penyimpanan secara default, memberikan enkripsi penyimpanan yang dikelola pelanggan tambahan, mengenkripsi data dalam pengiriman.
Menyediakan integrasi Google Cloud untuk Identity and Access Management, Cloud Audit Logs, dan Cloud Key Management Service.
Membatasi dan mencatat akses administratif Google ke cluster pelanggan untuk tujuan dukungan kontraktual dengan Transparansi Akses dan Persetujuan Akses.
Memublikasikan informasi tentang perubahan yang tidak kompatibel dengan versi sebelumnya antara versi Cloud Composer dan Airflow di Catatan Rilis Cloud Composer.
Memastikan dokumentasi Cloud Composer selalu terbaru:
Memberikan deskripsi semua fungsi yang disediakan oleh Cloud Composer.
Memberikan petunjuk pemecahan masalah yang membantu menjaga lingkungan dalam kondisi yang sehat.
Memublikasikan informasi tentang masalah umum beserta solusinya (jika ada).
Menyelesaikan insiden keamanan penting terkait lingkungan Cloud Composer dan image Airflow yang disediakan oleh Cloud Composer (kecuali paket Python yang diinstal pelanggan) dengan mengirimkan versi lingkungan baru untuk mengatasi insiden tersebut.
Bergantung pada Paket Dukungan pelanggan, pemecahan masalah kondisi lingkungan Cloud Composer.
Mengelola dan memperluas fungsi penyedia Terraform Cloud Composer.
Bekerja sama dengan komunitas Apache Airflow untuk memelihara dan mengembangkan operator Google Airflow.
Pemecahan masalah dan, jika memungkinkan, memperbaiki masalah pada fungsi inti Airflow.
Tanggung Jawab Pelanggan
Melakukan upgrade ke Cloud Composer dan versi Airflow yang baru untuk mempertahankan dukungan bagi produk dan menyelesaikan masalah keamanan setelah layanan Cloud Composer memublikasikan versi Cloud Composer yang mengatasi masalah tersebut.
Mempertahankan kode DAG agar tetap kompatibel dengan versi Airflow yang digunakan.
Menjaga konfigurasi cluster GKE lingkungan tetap utuh, terutama termasuk fitur upgrade otomatisnya.
Mempertahankan izin yang tepat di IAM untuk akun layanan lingkungan. Khususnya, mempertahankan izin yang diperlukan oleh Agen Cloud Composer dan akun layanan lingkungan. Mengelola izin yang diperlukan untuk kunci CMEK yang digunakan untuk enkripsi lingkungan Cloud Composer dan memutarnya sesuai kebutuhan Anda.
Mempertahankan izin pengguna akhir yang tepat dalam konfigurasi Kontrol Akses UI IAM dan Airflow.
Mempertahankan ukuran database Airflow di bawah 16 GB dengan menggunakan DAG pemeliharaan.
Menyelesaikan semua masalah penguraian DAG sebelum mengajukan kasus dukungan ke Cloud Customer Care.
Menyesuaikan parameter lingkungan Cloud Composer (seperti CPU dan memori untuk komponen Airflow) dan konfigurasi Airflow untuk memenuhi ekspektasi performa dan beban lingkungan Cloud Composer menggunakan panduan pengoptimalan Cloud Composer dan panduan penskalaan lingkungan.
Menghindari penghapusan izin yang diperlukan oleh Agen Cloud Composer dan akun layanan lingkungan (menghapus izin ini dapat menyebabkan kegagalan operasi pengelolaan atau kegagalan DAG dan tugas).
Memastikan semua layanan dan API yang diperlukan oleh Cloud Composer selalu aktif. Dependensi ini harus memiliki kuota yang dikonfigurasi pada tingkat yang diperlukan untuk Cloud Composer.
Mempertahankan repositori Artifact Registry yang menghosting image container yang digunakan oleh lingkungan Cloud Composer.
Mengikuti rekomendasi dan praktik terbaik untuk menerapkan DAG.
Mendiagnosis kegagalan DAG dan tugas menggunakan petunjuk untuk pemecahan masalah penjadwal, pemecahan masalah DAG, dan pemecahan masalah pemicu.
Menghindari penginstalan atau menjalankan komponen tambahan di cluster GKE lingkungan yang dapat mengganggu komponen Cloud Composer dan menyebabkan komponen tersebut tidak berfungsi dengan benar.