Modelo de responsabilidad compartida de Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Para ejecutar una aplicación crucial para la empresa en Cloud Composer, es necesario que varias partes asuman diferentes responsabilidades. Aunque no es una lista exhaustiva, en este documento se enumeran las responsabilidades de Google y del Cliente.

Responsabilidades de Google

  • Refuerzo de la seguridad y aplicación de parches a los componentes y la infraestructura subyacente del entorno de Cloud Composer, incluidos el clúster de Google Kubernetes Engine, la base de datos de Cloud SQL (que aloja la base de datos de Airflow), Pub/Sub, Artifact Registry y otros elementos del entorno. En concreto, esto incluye la actualización automática de la infraestructura subyacente, como el clúster de GKE y la instancia de Cloud SQL de un entorno.

  • Protección del acceso a entornos de Cloud Composer mediante la incorporación del control de acceso proporcionado por IAM, el encriptado de datos en reposo de forma predeterminada, el encriptado de almacenamiento adicional gestionado por el cliente y el encriptado de datos en tránsito.

  • Proporciona Google Cloud integraciones para Gestión de Identidades y Accesos, Registros de auditoría de Cloud y Cloud Key Management Service.

  • Restringir y registrar el acceso administrativo de Google a los clústeres de los clientes con fines de asistencia contractual mediante Transparencia de acceso y Aprobaciones de acceso.

  • Publicar información sobre los cambios incompatibles con versiones anteriores entre Cloud Composer y Airflow en las notas de las versiones de Cloud Composer.

  • Mantener actualizada la documentación de Cloud Composer:

    • Proporcionar una descripción de todas las funciones que ofrece Cloud Composer.

    • Proporcionar instrucciones para solucionar problemas que ayuden a mantener los entornos en buen estado.

    • Publicar información sobre problemas conocidos con soluciones alternativas (si las hay).

  • Resolver incidentes de seguridad críticos relacionados con entornos de Cloud Composer e imágenes de Airflow proporcionadas por Cloud Composer (excepto los paquetes de Python instalados por el cliente) mediante el lanzamiento de nuevas versiones del entorno que solucionen los incidentes.

  • En función del plan de asistencia del cliente, se solucionarán los problemas de estado del entorno de Cloud Composer.

  • Mantener y ampliar las funciones del proveedor de Terraform de Cloud Composer.

  • Colaborar con la comunidad de Apache Airflow para mantener y desarrollar los operadores de Google Airflow.

  • Solucionar y, si es posible, corregir problemas en las funciones principales de Airflow.

Responsabilidades de los clientes

  • Actualizar a las nuevas versiones de Cloud Composer y Airflow para mantener la compatibilidad con el producto y resolver los problemas de seguridad una vez que el servicio de Cloud Composer publique una versión de Cloud Composer que solucione los problemas.

  • Mantener el código de los DAGs para que sea compatible con la versión de Airflow utilizada.

  • Manteniendo intacta la configuración del clúster de GKE del entorno, especialmente su función de actualización automática.

  • Mantener los permisos adecuados en Gestión de identidades y accesos para la cuenta de servicio del entorno. En concreto, los permisos que requieren el agente de Cloud Composer y la cuenta de servicio del entorno. Mantener el permiso necesario para la clave CMEK utilizada para el cifrado del entorno de Cloud Composer y rotarla según tus necesidades.

  • Mantener los permisos adecuados en IAM para el bucket del entorno y el repositorio de Artifact Registry donde se almacenan las imágenes de los componentes de Cloud Composer .

  • Mantener los permisos de gestión de identidades y accesos adecuados para una cuenta de servicio que realice instalaciones de paquetes PyPI. Para obtener más información, consulta Control de acceso.

  • Mantener los permisos de usuario final adecuados en la gestión de identidades y accesos y en la configuración del control de acceso de la interfaz de usuario de Airflow.

  • Mantener el tamaño de la base de datos de Airflow por debajo de 16 GB mediante el DAG de mantenimiento.

  • Resolver todos los problemas de análisis de DAG antes de crear casos de asistencia para el equipo de atención al cliente de Cloud.

  • Asigna nombres a los DAGs de forma adecuada (por ejemplo, sin usar caracteres invisibles, como ESPACIO o TABULACIÓN, en los nombres de los DAGs) para que las métricas se puedan registrar correctamente en los DAGs.

  • Actualiza el código de los DAGs para que no usen operadores obsoletos y migra a sus alternativas actualizadas. Es posible que los operadores obsoletos se eliminen de los proveedores de Airflow, lo que podría afectar a tus planes de actualizar a una versión posterior de Cloud Composer o Airflow. Los operadores obsoletos tampoco se mantienen y deben usarse tal cual.

  • Configurar los permisos de gestión de identidades y accesos adecuados al usar back-ends de secretos como Secret Manager para que la cuenta de servicio del entorno tenga acceso a ellos.

  • Ajustar los parámetros del entorno de Cloud Composer (como la CPU y la memoria de los componentes de Airflow) y las configuraciones de Airflow para cumplir las expectativas de rendimiento y carga de los entornos de Cloud Composer mediante la guía de optimización de Cloud Composer y la guía de escalado de entornos.

  • Evita quitar los permisos que requieren las cuentas de servicio del agente de Cloud Composer y del entorno (si quitas estos permisos, se pueden producir errores en las operaciones de gestión o en los DAG y las tareas).

  • Mantener todos los servicios y APIs que requiere Cloud Composer siempre habilitados. Estas dependencias deben tener cuotas configuradas en los niveles necesarios para Cloud Composer.

  • Mantener los repositorios de Artifact Registry que alojan imágenes de contenedor usadas por entornos de Cloud Composer.

  • Sigue las recomendaciones y las prácticas recomendadas para implementar DAGs.

  • Diagnosticar fallos de DAGs y tareas siguiendo las instrucciones para solucionar problemas del programador, solucionar problemas de DAGs y solucionar problemas del activador.

  • Evita instalar o ejecutar componentes adicionales en el clúster de GKE del entorno que interfieran con los componentes de Cloud Composer e impidan que funcionen correctamente.

Siguientes pasos