Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Menjalankan aplikasi yang penting bagi bisnis di Cloud Composer memerlukan banyak pihak untuk mengemban tanggung jawab yang berbeda-beda. Meskipun bukan daftar lengkap, dokumen ini mencantumkan tanggung jawab bagi Google dan Pelanggan.
Tanggung Jawab Google
Memperkuat dan mem-patch komponen lingkungan Cloud Composer dan infrastruktur pokoknya, termasuk cluster Google Kubernetes Engine, database Cloud SQL (yang menghosting database Airflow), Pub/Sub, Artifact Registry, dan elemen lingkungan lainnya. Secara khusus, hal ini mencakup upgrade otomatis infrastruktur dasar, termasuk cluster GKE dan instance Cloud SQL dari suatu lingkungan.
Melindungi akses ke lingkungan Cloud Composer melalui penyertaan kontrol akses yang disediakan oleh IAM, mengenkripsi data dalam penyimpanan secara default, menyediakan enkripsi penyimpanan tambahan yang dikelola pelanggan, mengenkripsi data saat transit.
Menyediakan integrasi Google Cloud untuk Identity and Access Management, Cloud Audit Logs, dan Cloud Key Management Service.
Membatasi dan mencatat akses administratif Google ke cluster pelanggan untuk tujuan dukungan kontrak dengan Transparansi Akses dan Persetujuan Akses.
Memublikasikan informasi tentang perubahan yang tidak kompatibel dengan versi sebelumnya antara versi Cloud Composer dan Airflow di Catatan Rilis Cloud Composer.
Memperbarui dokumentasi Cloud Composer:
Memberikan deskripsi semua fungsi yang disediakan oleh Cloud Composer.
Memberikan petunjuk pemecahan masalah yang membantu menjaga lingkungan dalam kondisi yang baik.
Memublikasikan informasi tentang masalah umum dengan solusi (jika ada).
Menyelesaikan insiden keamanan penting yang terkait dengan lingkungan Cloud Composer dan image Airflow yang disediakan oleh Cloud Composer (tidak termasuk paket Python yang diinstal pelanggan) dengan mengirimkan versi lingkungan baru yang mengatasi insiden tersebut.
Bergantung pada Paket Dukungan pelanggan, pemecahan masalah masalah kesehatan lingkungan Cloud Composer.
Mempertahankan dan memperluas fungsi penyedia Terraform Cloud Composer.
Bekerja sama dengan komunitas Apache Airflow untuk memelihara dan mengembangkan operator Google Airflow.
Memecahkan masalah dan, jika memungkinkan, memperbaiki masalah dalam fungsi inti Airflow.
Tanggung jawab pelanggan
Mengupgrade ke versi Cloud Composer dan Airflow baru untuk mempertahankan dukungan produk dan menyelesaikan masalah keamanan setelah layanan Cloud Composer memublikasikan versi Cloud Composer yang mengatasi masalah tersebut.
Mempertahankan kode DAG agar tetap kompatibel dengan versi Airflow yang digunakan.
Memastikan konfigurasi cluster GKE lingkungan tetap utuh, terutama termasuk fitur upgrade otomatisnya.
Mempertahankan izin yang sesuai di IAM untuk akun layanan lingkungan. Secara khusus, mempertahankan izin yang diperlukan oleh Agen Cloud Composer dan akun layanan lingkungan. Mempertahankan izin yang diperlukan untuk kunci CMEK yang digunakan untuk enkripsi lingkungan Cloud Composer dan merotasi kunci tersebut sesuai kebutuhan Anda.
Mempertahankan izin yang tepat di IAM untuk bucket lingkungan dan repositori Artifact Registry tempat image komponen Cloud Composer disimpan.
Mempertahankan izin IAM yang sesuai untuk akun layanan yang melakukan penginstalan paket PyPI. Untuk informasi selengkapnya, lihat Kontrol akses.
Mempertahankan izin pengguna akhir yang sesuai dalam konfigurasi IAM dan Kontrol Akses UI Airflow.
Mempertahankan ukuran database Airflow di bawah 16 GB melalui penggunaan DAG pemeliharaan.
Menyelesaikan semua masalah penguraian DAG sebelum mengajukan kasus dukungan ke Layanan Pelanggan Cloud.
Memberi nama DAG dengan cara yang tepat (misalnya, tanpa menggunakan karakter yang tidak terlihat seperti SPASI atau TAB dalam nama DAG) sehingga metrik dapat dilaporkan dengan benar untuk DAG.
Upgrade kode DAG agar tidak menggunakan operator yang tidak digunakan lagi dan bermigrasi ke alternatif terbarunya. Operator yang tidak digunakan lagi mungkin dihapus dari penyedia Airflow, yang dapat memengaruhi rencana Anda untuk mengupgrade ke versi Cloud Composer atau Airflow yang lebih baru. Operator yang tidak digunakan lagi juga tidak dipertahankan dan harus digunakan 'apa adanya'.
Mengonfigurasi izin IAM yang sesuai saat menggunakan backend secret seperti Secret Manager sehingga akun layanan lingkungan memiliki akses ke secret tersebut.
Menyesuaikan parameter lingkungan Cloud Composer (seperti CPU dan memori untuk komponen Airflow) dan konfigurasi Airflow untuk memenuhi performa dan ekspektasi beban lingkungan Cloud Composer menggunakan panduan pengoptimalan Cloud Composer dan panduan penskalaan lingkungan.
Menghindari penghapusan izin yang diperlukan oleh Agen Cloud Composer dan akun layanan lingkungan (menghapus izin ini dapat menyebabkan operasi pengelolaan gagal atau kegagalan DAG dan tugas).
Memastikan semua layanan dan API yang diperlukan oleh Cloud Composer selalu diaktifkan. Dependensi ini harus memiliki kuota yang dikonfigurasi pada tingkat yang diperlukan untuk Cloud Composer.
Mengelola repositori Artifact Registry yang menghosting image container yang digunakan oleh lingkungan Cloud Composer.
Mengikuti rekomendasi dan praktik terbaik untuk menerapkan DAG.
Mendiagnosis kegagalan DAG dan tugas menggunakan petunjuk untuk pemecahan masalah penjadwal, pemecahan masalah DAG, dan pemecahan masalah pemicu.
Menghindari penginstalan atau pengoperasian komponen tambahan di cluster GKE lingkungan yang mengganggu komponen Cloud Composer dan mencegahnya berfungsi dengan benar.