Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Ejecutar una aplicación fundamental para la empresa en Cloud Composer requiere que varias partes tengan responsabilidades diferentes. Si bien no es una lista exhaustiva, en este documento se enumeran las responsabilidades tanto de Google como del Cliente.
Responsabilidades de Google
Endurecer y aplicar parches los componentes y la infraestructura subyacente del entorno de Cloud Composer, incluido el clúster de Google Kubernetes Engine, la base de datos de Cloud SQL (que aloja la base de datos de Airflow), Pub/Sub, Artifact Registry y otros elementos del entorno En particular, esto incluye la actualización automática de la infraestructura subyacente, incluidos el clúster de GKE y la instancia de Cloud SQL de un entorno.
Proteger el acceso a los entornos de Cloud Composer a través de la incorporación del control de acceso que proporciona IAM, la encriptación de datos en reposo de forma predeterminada, la encriptación adicional de almacenamiento administrado por el cliente y la encriptación de los datos en tránsito
Proporciona integraciones de Google Cloud para Identity and Access Management, registros de auditoría de Cloud y Cloud Key Management Service.
Restringir y registrar el acceso de administrador de Google a los clústeres de los clientes para fines de asistencia contractual con la Transparencia de acceso y la Aprobación de acceso
Publicar información sobre cambios incompatibles con versiones anteriores entre las versiones de Cloud Composer y Airflow en las Notas de la versión de Cloud Composer
Mantén la documentación de Cloud Composer actualizada:
Proporcionar una descripción de todas las funcionalidades que proporciona Cloud Composer
Proporcionar instrucciones para solucionar problemas que ayudan a mantener los entornos en buen estado
Publicar información sobre problemas conocidos con soluciones alternativas (si existen)
Resolver incidentes de seguridad críticos relacionados con los entornos de Cloud Composer y las imágenes de Airflow que proporciona Cloud Composer (excepto los paquetes de Python instalados por el cliente) mediante la entrega de nuevas versiones del entorno que aborden los incidentes
Según el plan de asistencia del cliente, la solución de problemas de estado del entorno de Cloud Composer
Mantener y expandir la funcionalidad del proveedor de Terraform de Cloud Composer.
La cooperación con la comunidad de Apache Airflow para mantener y desarrollar los operadores de Google Airflow.
Solucionar problemas y, de ser posible, solucionar problemas en las funciones principales de Airflow
Responsabilidades de los clientes
Actualizar a las versiones nuevas de Cloud Composer y Airflow para mantener la compatibilidad con el producto y resolver los problemas de seguridad una vez que el servicio de Cloud Composer publique una versión de Cloud Composer que aborde los problemas
Mantener el código de los DAG para que sea compatible con la versión usada de Airflow
Mantener intacta la configuración del clúster de GKE del entorno, en particular, incluida su función de actualización automática
Mantener los permisos adecuados en IAM para la cuenta de servicio del entorno. En particular, mantener los permisos que requiere Cloud Composer Agent y la cuenta de servicio del entorno. Mantener el permiso necesario para la clave CMEK que se usa en la encriptación del entorno de Cloud Composer y rotarla según tus necesidades
Mantener los permisos del usuario final adecuados en la configuración del control de acceso de la IU de IAM y Airflow
Mantiene el tamaño de la base de datos de Airflow por debajo de 16 GB mediante el DAG de mantenimiento.
Resuelve todos los problemas de análisis del DAG antes de enviar casos de asistencia al Atención al cliente de Cloud.
Ajustar los parámetros del entorno de Cloud Composer (como la CPU y la memoria para los componentes de Airflow) y la configuración de Airflow para cumplir con las expectativas de rendimiento y carga de los entornos de Cloud Composer mediante la guía de optimización de Cloud Composer y la guía de escalamiento del entorno
Evitar quitar los permisos que requieren el agente de Cloud Composer y las cuentas de servicio del entorno (quitar estos permisos puede provocar operaciones de administración fallidas o fallas del DAG y de las tareas).
Mantener todos los servicios y las API que requiere Cloud Composer siempre están habilitados. Estas dependencias deben tener cuotas configuradas en los niveles necesarios para Cloud Composer.
Conservar los repositorios de Artifact Registry que alojan las imágenes de contenedor que usan los entornos de Cloud Composer
Sigue las recomendaciones y prácticas recomendadas para implementar DAG.
Diagnosticar fallas de DAG y de tareas mediante instrucciones para la solución de problemas del programador, la solución de problemas de DAG y la solución de problemas del activador
Evitar instalar o ejecutar componentes adicionales en el clúster de GKE del entorno que interfieran en los componentes de Cloud Composer y evitar que funcionen de forma correcta