Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Ejecutar una aplicación esencial para la empresa en Cloud Composer que múltiples partes tengan responsabilidades diferentes. Si bien no es una lista exhaustiva, en este documento se enumeran las responsabilidades de Google y del cliente.
Responsabilidades de Google
Endurecimiento y aplicar parches en Cloud Composer de los componentes de tu entorno y la infraestructura subyacente, incluida clúster de Google Kubernetes Engine, base de datos de Cloud SQL (que aloja el servidor base de datos), Pub/Sub, Artifact Registry y otros entornos o de terceros. En particular, esto incluye la actualización automática de la infraestructura subyacente, incluido el clúster de GKE y la instancia de Cloud SQL de un entorno.
Proteger el acceso a los entornos de Cloud Composer mediante la incorporación del control de acceso que proporciona IAM, encriptar los datos en reposo de forma predeterminada, proporcionar encriptación de almacenamiento adicional administrada por el cliente y encriptar los datos en tránsito
Proporciona integraciones de Google Cloud para Identity and Access Management y Registros de auditoría de Cloud y Cloud Key Management Service.
Restringir y registrar el acceso de administrador de Google a los clústeres de los clientes para obtener asistencia contractual con la Transparencia de acceso y la Aprobación de acceso
Publicar información sobre los cambios incompatibles con versiones anteriores entre las versiones de Cloud Composer y Airflow en las notas de la versión de Cloud Composer
Mantén la documentación de Cloud Composer actualizada:
Proporcionar una descripción de todas las funcionalidades proporcionadas por Cloud Composer
Proporcionar instrucciones para solucionar problemas que ayudan a mantener los entornos un buen estado.
Publicar información sobre los problemas conocidos con soluciones alternativas (si existen)
Resuelve incidentes de seguridad críticos relacionados con Cloud Composer y las imágenes de Airflow que proporciona Cloud Composer (excepto los paquetes de Python instalados por el cliente) si se proporcionan del entorno de prueba que aborden los incidentes.
Según el plan de asistencia del cliente, solución de problemas de estado del entorno de Cloud Composer
Mantener y expandir la funcionalidad del proveedor de Terraform de Cloud Composer
Cómo cooperar con la comunidad de Apache Airflow para mantener y desarrollar Operadores de Google Airflow.
Solucionar problemas y, de ser posible, corregir problemas en Airflow Core funcionalidades.
Responsabilidades de los clientes
Actualizar a las versiones nuevas de Cloud Composer y Airflow para mantenerlo asistencia para el producto y resolver problemas de seguridad una vez El servicio de Cloud Composer publica un versión que aborda los problemas.
Mantener el código de los DAG para que sea compatible con la versión de Airflow que se usa
Mantener intacta la configuración del clúster de GKE del entorno, en particular, incluida la función de actualización automática.
Mantener los permisos adecuados en IAM para el entorno cuenta de servicio. En particular, mantener los permisos que requiere la Cloud Composer Agent y la cuenta de servicio del entorno. Mantener el permiso requerido para la clave CMEK que se usa para la encriptación del entorno de Cloud Composer y rotarla según tus necesidades
Mantener los permisos adecuados en IAM para el bucket del ambiente y el repositorio de Artifact Registry en el que se almacenan las imágenes de componentes de Composer.
Mantener los permisos adecuados del usuario final en la configuración de IAM y el control de acceso de la IU de Airflow
Mantén el tamaño de la base de datos de Airflow por debajo de 16 GB mediante el uso el DAG de mantenimiento.
Resolver todos los problemas de análisis del DAG antes de elevar casos de asistencia a Atención al cliente de Cloud.
Ajustar los parámetros del entorno de Cloud Composer (como la CPU y la memoria para los componentes de Airflow) y las configuraciones de Airflow para cumplir con las expectativas de rendimiento y carga de los entornos de Cloud Composer con la guía de optimización de Cloud Composer y la guía de escalamiento de entornos
Evita quitar los permisos que requiere Cloud Composer Agent y de las cuentas de servicio del entorno (quitar estos permisos puede provocar a operaciones de administración con errores o a errores de DAG y de tareas).
Mantener siempre habilitados todos los servicios y las APIs que requiere Cloud Composer Estas dependencias deben tener cuotas configuradas en niveles necesaria para Cloud Composer.
Mantener los repositorios de Artifact Registry que alojan imágenes de contenedor que usan los entornos de Cloud Composer
Sigue las recomendaciones y prácticas recomendadas para implementar DAG.
Diagnostica fallas de DAG y tareas con instrucciones para la solución de problemas del programador, la solución de problemas de DAG y la solución de problemas del activador.
Evitar instalar o ejecutar componentes adicionales en la interfaz Clúster de GKE que interfiere en Cloud Composer componentes y evitar que funcionen correctamente.