Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
La ejecución de una aplicación fundamental para la empresa en Cloud Composer requiere que varias partes tengan diferentes responsabilidades. Si bien no es una lista exhaustiva se enumeran las responsabilidades tanto de Google como del Cliente lados.
Responsabilidades de Google
Endurecimiento y aplicar parches en Cloud Composer de los componentes de tu entorno y la infraestructura subyacente, incluida clúster de Google Kubernetes Engine, base de datos de Cloud SQL (que aloja el servidor base de datos), Pub/Sub, Artifact Registry y otros entornos o de terceros. Esto incluye la actualización automática infraestructura, incluidos el clúster de GKE y Instancia de Cloud SQL de un entorno.
Proteger el acceso a los entornos de Cloud Composer mediante la incorporación del control de acceso que proporciona IAM, encriptar los datos en reposo de forma predeterminada, proporcionar encriptación de almacenamiento adicional administrada por el cliente y encriptar los datos en tránsito
Proporcionar integraciones de Google Cloud para Identity and Access Management, Cloud Audit Logs y Cloud Key Management Service
Restringir y registrar el acceso de administrador de Google a los clústeres de los clientes para obtener asistencia contractual con la Transparencia de acceso y la Aprobación de acceso
Publicar información sobre cambios incompatibles con versiones anteriores entre Cloud Composer y Airflow en Notas de la versión de Cloud Composer.
Mantén la documentación de Cloud Composer actualizada:
Proporcionar una descripción de todas las funcionalidades proporcionadas por Cloud Composer
Proporcionar instrucciones para solucionar problemas que ayudan a mantener los entornos un buen estado.
Publicar información sobre los problemas conocidos con soluciones alternativas (si existen)
Resolver incidentes de seguridad críticos relacionados con los entornos de Cloud Composer y las imágenes de Airflow que proporciona Cloud Composer (sin incluir los paquetes de Python instalados por el cliente) mediante la entrega de versiones de entorno nuevas que aborden los incidentes
Según el plan de asistencia del cliente, solución de problemas de estado del entorno de Cloud Composer
Mantener y ampliar la funcionalidad de la Proveedor de Terraform de Cloud Composer.
Cooperar con la comunidad de Apache Airflow para mantener y desarrollar los operadores de Google Airflow
Solucionar problemas y, si es posible, corregir problemas en las funciones principales de Airflow
Responsabilidades de los clientes
Actualizar a versiones nuevas de Cloud Composer y Airflow para mantener la compatibilidad con el producto y resolver problemas de seguridad una vez que el servicio de Cloud Composer publique una versión que aborde los problemas
Mantener el código de los DAG para que sea compatible con la versión usada de Airflow
Mantener intacta la configuración del clúster de GKE del entorno, en particular, su función de actualización automática.
Mantener los permisos adecuados en IAM para la cuenta de servicio del entorno En particular, mantener los permisos que requiere la Cloud Composer Agent y la cuenta de servicio del entorno. Mantener el permiso requerido para la clave CMEK que se usa para la encriptación del entorno de Cloud Composer y rotarla según tus necesidades
Mantener los permisos adecuados en IAM para el entorno y el repositorio de Artifact Registry en el que se almacenan las imágenes de componentes de Composer.
Mantén los permisos del usuario final adecuados en IAM y Airflow Configuración del control de acceso de la IU.
Mantén el tamaño de la base de datos de Airflow por debajo de 16 GB mediante el uso el DAG de mantenimiento.
Resolver todos los problemas de análisis de DAG antes de enviar casos de asistencia al cliente a Atención al cliente de Cloud
Ajustar los parámetros del entorno de Cloud Composer (como la CPU y la memoria para los componentes de Airflow) y las configuraciones de Airflow para cumplir con las expectativas de rendimiento y carga de los entornos de Cloud Composer con la guía de optimización de Cloud Composer y la guía de escalamiento de entornos
Evita quitar los permisos que requiere Cloud Composer Agent y de las cuentas de servicio del entorno (quitar estos permisos puede provocar a operaciones de administración con errores o a errores de DAG y de tareas).
Conservar todos los servicios y las APIs que requiere Cloud Composer siempre habilitada. Estas dependencias deben tener cuotas configuradas en los niveles requeridos para Cloud Composer.
Conservar los repositorios de Artifact Registry que alojan las imágenes de contenedor que usa Entornos de Cloud Composer.
Sigue las recomendaciones y prácticas recomendadas para para implementar DAG.
Diagnosticar fallas de DAG y de tareas con instrucciones para solución de problemas relacionados con el programador Solución de problemas de DAG y solución de problemas relacionados con el activador.
Evita instalar o ejecutar componentes adicionales en el clúster de GKE del entorno que interfieran con los componentes de Cloud Composer y los impidan funcionar correctamente.