Modelo de responsabilidad compartida de Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

La ejecución de una aplicación fundamental para la empresa en Cloud Composer requiere que varias partes tengan diferentes responsabilidades. Si bien no es una lista exhaustiva, en este documento se enumeran las responsabilidades de Google y del Cliente.

Responsabilidades de Google

  • Protección y aplicación de parches a los componentes y la infraestructura subyacente del entorno de Cloud Composer, incluidos el clúster de Google Kubernetes Engine, la base de datos de Cloud SQL (que aloja la base de datos de Airflow), Pub/Sub, Artifact Registry y otros elementos del entorno En particular, esto incluye la actualización automática de la infraestructura subyacente, incluido el clúster de GKE y la instancia de Cloud SQL de un entorno.

  • Protección del acceso a los entornos de Cloud Composer a través de la incorporación del control de acceso proporcionado por IAM, encriptación de datos en reposo de forma predeterminada, encriptación de almacenamiento adicional administrada por el cliente y encriptación de datos en tránsito.

  • Proporcionar Google Cloud integraciones para Identity and Access Management, Registros de auditoría de Cloud y Cloud Key Management Service

  • Restringir y registrar el acceso de administrador de Google a los clústeres de los clientes para obtener asistencia contractual con la Transparencia de acceso y la Aprobación de acceso

  • Publicamos información sobre los cambios incompatibles con versiones anteriores entre las versiones de Cloud Composer y Airflow en las Notas de la versión de Cloud Composer.

  • Mantener actualizada la documentación de Cloud Composer:

    • Proporcionar una descripción de todas las funcionalidades que ofrece Cloud Composer

    • Proporcionar instrucciones para solucionar problemas que ayudan a mantener los entornos en buen estado

    • Publicar información sobre problemas conocidos con soluciones alternativas (si existen)

  • Resolver incidentes de seguridad críticos relacionados con los entornos de Cloud Composer y las imágenes de Airflow proporcionadas por Cloud Composer (sin incluir los paquetes de Python instalados por el cliente) a través de la entrega de nuevas versiones del entorno que aborden los incidentes.

  • Solución de problemas relacionados con el estado del entorno de Cloud Composer, según el plan de asistencia al cliente

  • Mantener y expandir la funcionalidad del proveedor de Terraform de Cloud Composer

  • Cooperar con la comunidad de Apache Airflow para mantener y desarrollar operadores de Google Airflow

  • Solucionar problemas y, si es posible, corregir problemas en las funcionalidades principales de Airflow

Responsabilidades de los clientes

  • Actualizar a versiones nuevas de Cloud Composer y Airflow para mantener la compatibilidad con el producto y resolver problemas de seguridad una vez que el servicio de Cloud Composer publique una versión de Cloud Composer que aborde los problemas

  • Mantener el código de los DAGs para que siga siendo compatible con la versión de Airflow que se usa

  • Mantener intacta la configuración del clúster de GKE del entorno, en particular, su función de actualización automática

  • Mantener los permisos adecuados en IAM para la cuenta de servicio del entorno En particular, mantener los permisos que requieren el agente de Cloud Composer y la cuenta de servicio del entorno. Mantener el permiso requerido para la clave de CMEK que se usa para la encriptación del entorno de Cloud Composer y rotarla según tus necesidades

  • Mantener los permisos adecuados en IAM para el bucket del entorno y el repositorio de Artifact Registry en el que se almacenan las imágenes de los componentes de Cloud Composer

  • Mantener los permisos de IAM adecuados para una cuenta de servicio que realiza instalaciones de paquetes de PyPI Para obtener más información, consulta Control de acceso.

  • Mantener los permisos adecuados del usuario final en IAM y la configuración del control de acceso a la IU de Airflow

  • Mantén el tamaño de la base de datos de Airflow por debajo de los 16 GB con el DAG de mantenimiento.

  • Resolver todos los problemas de análisis del DAG antes de presentar casos de ayuda a Atención al cliente de Cloud

  • Asigna nombres a los DAG de forma adecuada (por ejemplo, sin usar caracteres invisibles, como ESPACIO o TAB, en los nombres de los DAG) para que las métricas se puedan informar correctamente para los DAG.

  • Actualiza el código de los DAG para que no use operadores obsoletos y migra a sus alternativas actualizadas. Es posible que los operadores en desuso se quiten de los proveedores de Airflow, lo que podría afectar tus planes para actualizar a una versión posterior de Cloud Composer o Airflow. Los operadores desaprobados tampoco se mantienen y deben usarse "tal cual".

  • Configurar los permisos de IAM adecuados cuando se usan back-ends de secretos, como Secret Manager, de modo que la cuenta de servicio del entorno tenga acceso a ellos

  • Ajustar los parámetros del entorno de Cloud Composer (como la CPU y la memoria para los componentes de Airflow) y las configuraciones de Airflow para cumplir con las expectativas de rendimiento y carga de los entornos de Cloud Composer con la guía de optimización de Cloud Composer y la guía de escalamiento de entornos

  • Evita quitar los permisos que requieren las cuentas de servicio del agente de Cloud Composer y del entorno (quitar estos permisos puede provocar errores en las operaciones de administración o en las tareas y los DAG).

  • Mantén todos los servicios y las APIs que requiere Cloud Composer siempre habilitados. Estas dependencias deben tener cuotas configuradas en los niveles requeridos para Cloud Composer.

  • Mantener los repositorios de Artifact Registry que alojan imágenes de contenedor utilizadas por los entornos de Cloud Composer

  • Sigue las recomendaciones y las prácticas recomendadas para implementar DAGs.

  • Diagnosticar fallas de DAG y tareas con instrucciones para la solución de problemas del programador, la solución de problemas del DAG y la solución de problemas del activador

  • Evita instalar o ejecutar componentes adicionales en el clúster de GKE del entorno que interfieran con los componentes de Cloud Composer y les impidan funcionar correctamente.

¿Qué sigue?