Model tanggung jawab bersama Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Menjalankan aplikasi yang penting bagi bisnis di Cloud Composer memerlukan banyak pihak untuk mengemban tanggung jawab yang berbeda-beda. Meskipun bukan daftar lengkap, dokumen ini mencantumkan tanggung jawab bagi Google dan Pelanggan.

Tanggung Jawab Google

  • Penguatan dan patching komponen lingkungan Cloud Composer dan infrastruktur yang mendasarinya, termasuk cluster Google Kubernetes Engine, database Cloud SQL (yang menghosting database Airflow), Pub/Sub, Artifact Registry, dan elemen lingkungan lainnya. Secara khusus, hal ini mencakup upgrade otomatis infrastruktur dasar, termasuk cluster GKE dan instance Cloud SQL lingkungan.

  • Melindungi akses ke lingkungan Cloud Composer dengan menggabungkan kontrol akses yang disediakan oleh IAM, mengenkripsi data dalam penyimpanan secara default, menyediakan enkripsi penyimpanan tambahan yang dikelola pelanggan, mengenkripsi data saat transit.

  • Menyediakan Google Cloud integrasi untuk Identity and Access Management, Cloud Audit Logs, dan Cloud Key Management Service.

  • Membatasi dan mencatat akses administratif Google ke cluster pelanggan untuk tujuan dukungan kontrak dengan Transparansi Akses dan Persetujuan Akses.

  • Memublikasikan informasi tentang perubahan yang tidak kompatibel mundur antara versi Cloud Composer dan Airflow di Catatan Rilis Cloud Composer.

  • Memperbarui dokumentasi Cloud Composer:

    • Memberikan deskripsi semua fungsi yang disediakan oleh Cloud Composer.

    • Memberikan petunjuk pemecahan masalah yang membantu menjaga lingkungan dalam kondisi baik.

    • Memublikasikan informasi tentang masalah umum beserta solusinya (jika ada).

  • Menyelesaikan insiden keamanan penting yang terkait dengan lingkungan Cloud Composer dan image Airflow yang disediakan oleh Cloud Composer (tidak termasuk paket Python yang diinstal pelanggan) dengan menyediakan versi lingkungan baru yang menangani insiden tersebut.

  • Bergantung pada Paket Dukungan pelanggan, pemecahan masalah masalah kesehatan lingkungan Cloud Composer.

  • Memelihara dan memperluas fungsi penyedia Terraform Cloud Composer.

  • Bekerja sama dengan komunitas Apache Airflow untuk memelihara dan mengembangkan operator Google Airflow.

  • Memecahkan masalah dan, jika memungkinkan, memperbaiki masalah dalam fungsi inti Airflow.

Tanggung jawab pelanggan

  • Mengupgrade ke versi Cloud Composer dan Airflow baru untuk terus mendapatkan dukungan produk dan menyelesaikan masalah keamanan setelah layanan Cloud Composer memublikasikan versi Cloud Composer yang mengatasi masalah tersebut.

  • Memelihara kode DAG agar tetap kompatibel dengan versi Airflow yang digunakan.

  • Mempertahankan konfigurasi cluster GKE lingkungan, terutama fitur upgrade otomatisnya.

  • Mempertahankan izin yang tepat di IAM untuk akun layanan lingkungan. Khususnya, mempertahankan izin yang diperlukan oleh Agen Cloud Composer dan akun layanan lingkungan. Mempertahankan izin yang diperlukan untuk kunci CMEK yang digunakan untuk enkripsi lingkungan Cloud Composer dan merotasinya sesuai kebutuhan Anda.

  • Mempertahankan izin yang tepat di IAM untuk bucket lingkungan dan repositori Artifact Registry tempat image komponen Cloud Composer disimpan .

  • Mempertahankan izin IAM yang tepat untuk akun layanan yang melakukan penginstalan paket PyPI. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses.

  • Mempertahankan izin pengguna akhir yang tepat di IAM dan konfigurasi Kontrol Akses UI Airflow.

  • Menjaga ukuran database Airflow di bawah 16 GB dengan menggunakan DAG pemeliharaan.

  • Menyelesaikan semua masalah parsing DAG sebelum mengajukan kasus dukungan ke Layanan Pelanggan Cloud.

  • Memberi nama DAG dengan benar (misalnya, tanpa menggunakan karakter tidak terlihat seperti SPACE atau TAB dalam nama DAG) sehingga metrik dapat dilaporkan dengan benar untuk DAG.

  • Upgrade kode DAG agar tidak menggunakan operator yang tidak digunakan lagi dan bermigrasi ke alternatifnya yang terbaru. Operator yang tidak digunakan lagi mungkin dihapus dari penyedia Airflow, yang dapat memengaruhi rencana Anda untuk mengupgrade ke versi Cloud Composer atau Airflow yang lebih baru. Operator yang tidak digunakan lagi juga tidak dikelola dan harus digunakan 'apa adanya'.

  • Mengonfigurasi izin IAM yang tepat saat menggunakan backend rahasia seperti Secret Manager sehingga akun layanan lingkungan memiliki akses ke backend tersebut.

  • Menyesuaikan parameter lingkungan Cloud Composer (seperti CPU dan memori untuk komponen Airflow) dan konfigurasi Airflow untuk memenuhi ekspektasi performa dan beban lingkungan Cloud Composer menggunakan Panduan pengoptimalan Cloud Composer dan panduan penskalaan lingkungan.

  • Hindari penghapusan izin yang diperlukan oleh Agen Cloud Composer dan akun layanan lingkungan (penghapusan izin ini dapat menyebabkan kegagalan operasi pengelolaan atau kegagalan DAG dan tugas).

  • Memastikan semua layanan dan API yang diperlukan oleh Cloud Composer selalu diaktifkan. Dependensi ini harus memiliki kuota yang dikonfigurasi di tingkat yang diperlukan untuk Cloud Composer.

  • Mempertahankan repositori Artifact Registry yang menghosting image container yang digunakan oleh lingkungan Cloud Composer.

  • Mengikuti rekomendasi dan praktik terbaik untuk menerapkan DAG.

  • Mendiagnosis kegagalan DAG dan tugas menggunakan petunjuk untuk pemecahan masalah penjadwal, pemecahan masalah DAG, dan pemecahan masalah pemicu.

  • Hindari menginstal atau menjalankan komponen tambahan di cluster GKE lingkungan yang mengganggu komponen Cloud Composer dan mencegahnya berfungsi dengan benar.

Langkah berikutnya