Problemas conocidos de Cloud Composer

En esta página, se enumeran los problemas conocidos de Cloud Composer. Algunas correcciones de estos problemas están en curso y estarán disponibles en versiones futuras. Algunos problemas afectan a versiones anteriores y se pueden solucionar mediante la actualización de tu entorno.

Los rangos de direcciones que no son RFC 1918 son compatibles de forma parcial con los Pods y los servicios.

Cloud Composer depende de GKE a fin de proporcionar compatibilidad con direcciones que no son RFC 1918 para Pods y servicios. En este momento, solo Cloud Composer admite la siguiente lista de rangos que no son RFC 1918:

  • 100.64.0.0/10
  • 192.0.0.0/24
  • 192.0.2.0/24
  • 192.88.99.0/24
  • 198.18.0.0/15
  • 198.51.100.0/24
  • 203.0.113.0/24
  • 240.0.0.0/4

La IU de Airflow no muestra los registros de tareas cuando la serialización de DAG está activada en Composer 1.10.2 y Composer 1.10.3

Habilitar la serialización de DAG en entornos mediante las versiones 1.10.2 y 1.10.3 evita que los registros se muestren en el servidor web de Airflow. Actualiza a la versión 1.0.4 (o posterior) para solucionar este problema.

No se admite Workload Identity de GKE

No puedes activar Workload Identity para los clústeres de GKE de Cloud Composer. Como resultado, es posible que veas el resultado WORKLOAD_IDENTITY_DISABLED en Security Command Center.

No se admiten las políticas de seguridad en Pods de GKE

No puedes activar las políticas de seguridad de pods de GKE para los clústeres de GKE de Cloud Composer. Como resultado, es posible que veas el resultado POD_SECURITY_POLICY_DISABLED en Security Command Center.

Las etiquetas del entorno que se agregan durante una actualización no se propagan completamente a las dependencias de Cloud Composer

Las etiquetas actualizadas no se aplican a los depósitos de Cloud Storage, a los temas de Pub/Sub ni a la VM de Compute Engine. Para solucionar este problema, estas etiquetas se pueden aplicar de forma manual a los recursos mencionados antes.

Actualizaciones de GKE en el contexto del problema CVE-2020-14386

Estamos trabajando para abordar la vulnerabilidad de todos los entornos de Cloud Composer. Como parte de la corrección, todos los clústeres de GKE de Cloud Composer existentes se actualizarán a una versión más reciente.

Los clientes que deciden abordar la vulnerabilidad de inmediato, deben seguir estas instrucciones para actualizar el clúster de GKE de Composer, con las siguientes consideraciones:

Paso 1. Si ejecutas una versión de Cloud Composer anterior a 1.7.2, deberás actualizar a una versión más reciente de Cloud Composer. Si ya cuentas con la versión 1.7.2 o superior, ve al siguiente punto.

Paso 2. Actualiza el clúster de GKE (instancia principal y nodos) a la última versión del parche 1.15 que contiene la corrección para esta vulnerabilidad.

Los registros de tareas de Airflow no están disponibles en el servidor web de Airflow después de actualizar de Airflow 1.9.0 a Airflow 1.10.x.

Airflow 1.10.x introdujo cambios incompatibles con las versiones anteriores a la convención de nombres para los archivos de registro. La información de zona ahora se agrega a los nombres de registro para las tareas de Airflow.

Airflow 1.9.0 almacena y espera que los nombres de registro tengan el siguiente formato: BUCKET/logs/DAG/2020-03-30T10:29:06/1.log. Airflow 1.10.x almacena y espera que los nombres de registro tengan el siguiente formato: BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log

Como resultado, si actualizas de Airflow 1.9.0 a Airflow 1.10.x y deseas leer el registro de una tarea ejecutada con Airflow 1.9.0, el servidor web de Airflow mostrará el siguiente mensaje de error: Unable to read remote log from BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log

Solución alternativa: Cambia el nombre de los registros que generó Airflow 1.9.0 en el depósito de Cloud Storage con el siguiente formato: BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log

La IU de RBAC de Airflow no es compatible

Cloud Composer no es compatible con la IU de RBAC de Airflow. No se admite la configuración de rbac=TRUE en la sección webserver de la configuración de Airflow y puede causar problemas de estabilidad en tel entorno de Cloud Composer.

No se pueden crear entornos de Cloud Composer con las restricciones de la política de la organización constraints/compute.disableSerialPortLogging enforced

La creación del entorno de Cloud Composer fallará si constraints/compute.disableSerialPortLogging se aplica en el proyecto de destino.

Diagnóstico

Para determinar si este problema te afectará, sigue este procedimiento:

Visita el menú de GKE en Cloud Console. Visita el menú de GKE.

Luego, selecciona el clúster recién creado. Verifica el siguiente error:

Not all instances running in IGM after 123.45s.
Expect <number of desired instances in IGM>. Current errors:

Constraint constraints/compute.disableSerialPortLogging violated for
project <target project number>.

Soluciones alternativas:

  1. Inhabilita la política de la organización en el proyecto en el que se creará el entorno de Cloud Composer.

    La política de la organización siempre se puede inhabilitar a nivel del proyecto, incluso si los recursos superiores (organización o carpeta) la tienen habilitada. Consulta la página Personaliza políticas de restricciones booleanas para obtener más detalles.

  2. Usa filtros de exclusión

    Usar un filtro de exclusión para los registros del puerto en serie implica el mismo objetivo que inhabilitar la política de la organización, ya que habrá registros de la consola en serie en Logging. Para obtener más detalles, consulta la página Filtros de exclusión.