Cloud Composer 1 | Cloud Composer 2
La ejecución de una aplicación esencial para la empresa en Cloud Composer requiere que varias partes tengan responsabilidades diferentes. Si bien no es una lista exhaustiva, en este documento se enumeran las responsabilidades de Google y del cliente.
Responsabilidades de Google
Endurecer y aplicar parches a los componentes del entorno de Cloud Composer y la infraestructura subyacente, incluido el clúster de Google Kubernetes Engine, la base de datos de Cloud SQL (que aloja la base de datos de Airflow), Pub/Sub, Artifact Registry y otros elementos del entorno. En particular, esto incluye la actualización automática de la infraestructura subyacente, incluido el clúster de GKE y la instancia de Cloud SQL de un entorno.
Proteger el acceso a los entornos de Cloud Composer mediante la incorporación del control de acceso que proporciona IAM, la encriptación de datos en reposo de forma predeterminada, la provisión de encriptación de almacenamiento administrada por el cliente adicional y la encriptación de datos en tránsito para proteger el acceso
Proporciona integraciones de Google Cloud para Identity and Access Management, Registros de auditoría de Cloud y Cloud Key Management Service.
Restringir y registrar el acceso de administrador de Google a los clústeres de los clientes para fines de asistencia contractual con la Transparencia de acceso y la Aprobación de acceso
Publicación de información sobre cambios incompatibles con versiones anteriores entre las versiones de Cloud Composer y Airflow en las Notas de la versión de Cloud Composer
Mantén actualizada la documentación de Cloud Composer:
Proporcionar una descripción de todas las funcionalidades que proporciona Cloud Composer
Proporcionar instrucciones para solucionar problemas que ayuden a mantener los entornos en buen estado.
Publicación de información sobre problemas conocidos con soluciones alternativas (si existen)
Resuelve incidentes de seguridad críticos relacionados con los entornos de Cloud Composer y las imágenes de Airflow que proporciona Cloud Composer (excepto los paquetes de Python instalados por el cliente) mediante la entrega de versiones nuevas del entorno que abordan los incidentes.
Según el plan de asistencia del cliente, la solución de problemas de estado del entorno de Cloud Composer
Mantener y expandir la funcionalidad del proveedor de Terraform de Cloud Composer
Cooperar con la comunidad de Apache Airflow para mantener y desarrollar los operadores de Google Airflow.
Solucionar problemas y, si es posible, solucionarlos en las funciones principales de Airflow.
Responsabilidades de los clientes
Actualizar a versiones nuevas de Cloud Composer y Airflow para mantener la compatibilidad con el producto y resolver problemas de seguridad una vez que el servicio de Cloud Composer publique una versión de Cloud Composer que aborde los problemas
Mantener el código de los DAG para mantener la compatibilidad con la versión utilizada de Airflow.
Mantener intacta la configuración del clúster de GKE del entorno, en particular la función de actualización automática
Mantener los permisos adecuados en IAM para la cuenta de servicio del entorno En particular, mantener los permisos requeridos por el agente de Cloud Composer y la cuenta de servicio del entorno Mantener el permiso necesario para la clave CMEK que se usa en la encriptación del entorno de Cloud Composer y rotarla según tus necesidades
Mantener los permisos adecuados del usuario final en la configuración de control de acceso de IAM y de la IU de Airflow
Mantener un tamaño de la base de datos de Airflow por debajo de 16 GB mediante el DAG de mantenimiento
Solucionar todos los problemas de análisis del DAG antes de enviar casos de asistencia a Atención al cliente de Cloud
Ajustar los parámetros del entorno de Cloud Composer (como la CPU y la memoria de los componentes de Airflow) y la configuración de Airflow para cumplir con las expectativas de rendimiento y carga de los entornos de Cloud Composer mediante la guía de optimización de Cloud Composer y la guía de escalamiento del entorno
Evitar quitar los permisos que requieren el agente de Cloud Composer y las cuentas de servicio del entorno (quitar estos permisos puede generar operaciones de administración fallidas o fallas de DAG y tareas).
Mantener siempre habilitados todos los servicios y las APIs que requiere Cloud Composer Estas dependencias deben tener cuotas configuradas en los niveles necesarios para Cloud Composer.
Conservar los repositorios de Artifact Registry que alojan imágenes de contenedor que usan los entornos de Cloud Composer
Seguir las recomendaciones y las prácticas recomendadas para implementar DAG
Diagnóstico de fallas de DAG y de tareas con las instrucciones para solucionar problemas del programador, solución de problemas de DAG y solución de problemas del activador.
Evitar instalar o ejecutar componentes adicionales en el clúster de GKE del entorno que interfieren en los componentes de Cloud Composer y que impiden que funcionen de forma correcta