Cloud Composer 1 está en el modo posterior al mantenimiento. Google no lanzará más actualizaciones de Cloud Composer 1, incluidas nuevas versiones de Airflow, correcciones de errores y actualizaciones de seguridad. Te recomendamos planificar la migración a Cloud Composer 2.

Se usó la API de Cloud Translation para traducir esta página.

Errores conocidos

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página, se enumeran los problemas conocidos de Cloud Composer. Para obtener información sobre las correcciones de errores, consulta las notas de la versión.

La primera ejecución del DAG para un archivo DAG subido arroja varias tareas con errores

Cuando subes un archivo DAG, a veces las primeras tareas del primer DAG que se ejecutan para él fallan debido al error Unable to read remote log.... Este problema ocurre porque el archivo de DAG se sincroniza entre el bucket de tu entorno, los trabajadores de Airflow y los programadores de Airflow de tu entorno. Si el programador obtiene el archivo DAG y lo programa para que lo ejecute un trabajador, y si el trabajador aún no tiene el archivo DAG, la ejecución de la tarea falla.

Para mitigar este problema, los entornos con Airflow 2 están configurados para realizar dos reintentos para una tarea con errores de forma predeterminada. Si una tarea falla, se vuelve a intentar dos veces con intervalos de 5 minutos.

Cloud Composer no debería verse afectado por la vulnerabilidad de Apache Log4j 2 (CVE-2021-44228)

En respuesta a la vulnerabilidad de Apache Log4j 2 (CVE-2021-44228), Cloud Composer realizó una investigación detallada y creemos que no es vulnerable a este exploit.

A veces, la IU de Airflow puede no volver a cargar un complemento una vez que se cambia.

Si un complemento consta de muchos archivos que importan otros módulos, es posible que la IU de Airflow no pueda reconocer el hecho de que se debe volver a cargar un complemento. En ese caso, reinicia el servidor web de Airflow de tu entorno.

Error 504 cuando se accede a la IU de Airflow

Puedes obtener el error 504 Gateway Timeout cuando accedes a la IU de Airflow. Este error puede tener varias causas:

Problema de comunicación transitorio. En este caso, intenta acceder a la IU de Airflow más adelante. También puedes reiniciar el servidor web de Airflow.
(Solo Cloud Composer 3) Problema de conectividad. Si la IU de Airflow no está disponible de forma permanente y se generan errores de tiempo de espera o 504, asegúrate de que tu entorno pueda acceder a *.composer.googleusercontent.com.
(Solo Cloud Composer 2) Problema de conectividad. Si la IU de Airflow no está disponible de forma permanente y se generan errores de tiempo de espera o 504, asegúrate de que tu entorno pueda acceder a *.composer.cloud.google.com. Si usas el Acceso privado de Google y envías tráfico a través de IPs virtuales private.googleapis.com, o bien los Controles del servicio de VPC y envías tráfico a través de IPs virtuales restricted.googleapis.com, asegúrate de que tu DNS de Cloud también esté configurado para nombres de dominio *.composer.cloud.google.com.
El servidor web de Airflow no responde. Si el error 504 persiste, pero aún puedes acceder a la IU de Airflow en ciertos momentos, es posible que el servidor web de Airflow no responda porque está sobrecargado. Intenta aumentar los parámetros de escalamiento y rendimiento del servidor web.

Error 502 cuando se accede a la IU de Airflow

El error 502 Internal server exception indica que la IU de Airflow no puede entregar solicitudes entrantes. Este error puede tener varias causas:

Problema de comunicación transitorio. Intenta acceder a la IU de Airflow más tarde.
No se pudo iniciar el servidor web. Para iniciarse, el servidor web requiere que los archivos de configuración se sincronicen primero. Revisa los registros del servidor web en busca de entradas de registro que se vean similares a GCS sync exited with 1: gcloud storage cp gs://<bucket-name>/airflow.cfg /home/airflow/gcs/airflow.cfg.tmp o GCS sync exited with 1: gcloud storage cp gs://<bucket-name>/env_var.json.cfg /home/airflow/gcs/env_var.json.tmp. Si ves estos errores, verifica si los archivos mencionados en los mensajes de error aún están presentes en el bucket del entorno.

En caso de que se quiten por accidente (por ejemplo, porque se configuró una política de retención), puedes restablecerlas:
1. Establece una nueva variable de entorno en tu entorno. Puedes usar cualquier nombre y valor de variable.
2. Anula una opción de configuración de Airflow. Puedes usar una opción de configuración de Airflow que no existe.

Si colocas el cursor sobre la instancia de la tarea en la vista de árbol, se genera un TypeError no detectado.

En Airflow 2, es posible que la vista de árbol en la IU de Airflow no funcione correctamente cuando se usa una zona horaria que no sea la predeterminada. Como solución alternativa a este problema, configura la zona horaria de forma explícita en la IU de Airflow.

Carpetas vacías en Scheduler y Workers

Cloud Composer no quita de forma activa las carpetas vacías de los trabajadores y programadores de Airflow. Estas entidades se pueden crear como resultado del proceso de sincronización del bucket del entorno cuando estas carpetas existían en el bucket y, finalmente, se quitaron.

Recomendación: Ajusta tus DAG para que estén preparados para omitir esas carpetas vacías.

Estas entidades se quitan, en última instancia, de los almacenamientos locales de los programadores y trabajadores de Airflow cuando se reinician estos componentes (por ejemplo, como resultado de operaciones de escalamiento descendente o de mantenimiento en el clúster de tu entorno).

Compatibilidad con Kerberos

Cloud Composer no admite la configuración de Kerberos de Airflow.

Compatibilidad con clases de procesamiento en Cloud Composer 2 y Cloud Composer 3

Cloud Composer 3 y Cloud Composer 2 solo admiten la clase de procesamiento de propósito general. Esto significa que no es posible ejecutar Pods que soliciten otras clases de procesamiento (como Balanced o Scale-Out).

La clase de uso general permite ejecutar Pods que soliciten hasta 110 GB de memoria y hasta 30 CPU (como se describe en Solicitudes máximas de la clase de procesamiento).

Si deseas usar una arquitectura basada en ARM o necesitas más CPU y memoria, debes usar una clase de procesamiento diferente, que no es compatible con los clústeres de Cloud Composer 3 y Cloud Composer 2.

Recomendación: Usa GKEStartPodOperator para ejecutar pods de Kubernetes en un clúster diferente que admita la clase de procesamiento seleccionada. Si ejecutas Pods personalizados que requieren una clase de procesamiento diferente, también deben ejecutarse en un clúster que no sea de Cloud Composer.

No es posible reducir el almacenamiento de Cloud SQL.

Cloud Composer usa Cloud SQL para ejecutar la base de datos de Airflow. Con el tiempo, el almacenamiento en disco de la instancia de Cloud SQL podría aumentar porque el disco se ajusta para adaptarse a los datos almacenados por las operaciones de Cloud SQL cuando crece la base de datos de Airflow.

No es posible reducir el tamaño del disco de Cloud SQL.

Como solución alternativa, si deseas usar el tamaño de disco más pequeño de Cloud SQL, puedes volver a crear entornos de Cloud Composer con instantáneas.

La métrica Uso de disco de la base de datos no se reduce después de quitar registros de Cloud SQL

Las bases de datos relacionales, como Postgres o MySQL, no quitan físicamente las filas cuando se borran o actualizan. En su lugar, las marca como "tuplas inactivas" para mantener la coherencia de los datos y evitar bloquear las transacciones simultáneas.

Tanto MySQL como Postgres implementan mecanismos para recuperar espacio después de borrar registros.

Si bien es posible forzar a la base de datos a recuperar el espacio en el disco sin usar, esta es una operación que consume muchos recursos y, además, bloquea la base de datos, lo que hace que Cloud Composer no esté disponible. Por lo tanto, se recomienda usar los mecanismos de compilación para recuperar el espacio sin usar.

Acceso bloqueado: error de autorización

Si este problema afecta a un usuario, el diálogo Access blocked: Authorization Error contiene el mensaje Error 400: admin_policy_enforced.

Si la opción Controles de API > Apps de terceros no configuradas > No permitir que los usuarios accedan a ninguna app de terceros está habilitada en Google Workspace y no se permite de forma explícita la app de Apache Airflow en Cloud Composer, los usuarios no pueden acceder a la IU de Airflow, a menos que permitan la aplicación de forma explícita.

Para permitir el acceso, sigue los pasos que se indican en Cómo permitir el acceso a la IU de Airflow en Google Workspace.

Este problema puede deberse a los siguientes motivos:

Si se usan las vinculaciones de acceso adaptado al contexto de Chrome Enterprise Premium con niveles de acceso que dependen de atributos del dispositivo y no se exime a Apache Airflow en la app de Cloud Composer, no es posible acceder a la IU de Airflow debido a un bucle de acceso. Para permitir el acceso, sigue los pasos que se indican en Permite el acceso a la IU de Airflow en las vinculaciones de acceso adaptado al contexto.
Si las reglas de entrada están configuradas en un perímetro de Controles del servicio de VPC que protege el proyecto, y la regla de entrada que permite el acceso al servicio de Cloud Composer usa el tipo de identidad ANY_SERVICE_ACCOUNT o ANY_USER_ACCOUNT, los usuarios no pueden acceder a la IU de Airflow, lo que genera un bucle de acceso. Para obtener más información sobre cómo abordar esta situación, consulta Cómo permitir el acceso a la IU de Airflow en las reglas de entrada de los Controles del servicio de VPC.

Los componentes de Airflow tienen problemas para comunicarse con otras partes de la configuración de Cloud Composer.

En casos muy excepcionales, la lentitud de la comunicación con el servidor de metadatos de Compute Engine podría provocar que los componentes de Airflow no funcionen de manera óptima. Por ejemplo, es posible que se reinicie el programador de Airflow, que se deban volver a intentar las tareas de Airflow o que el tiempo de inicio de la tarea sea más largo.

Síntomas:

Los siguientes errores aparecen en los registros de los componentes de Airflow (como los programadores, los trabajadores o el servidor web de Airflow):

Authentication failed using Compute Engine authentication due to unavailable metadata server

Compute Engine Metadata server unavailable on attempt 1 of 3. Reason: timed out
...
Compute Engine Metadata server unavailable on attempt 2 of 3. Reason: timed out
...
Compute Engine Metadata server unavailable on attempt 3 of 3. Reason: timed out

Solution:

Establece la siguiente variable de entorno: GCE_METADATA_TIMEOUT=30.

En Cloud Composer 2 y Cloud Composer 3, el servidor web de Airflow está diseñado para ser un componente de solo lectura y Cloud Composer no sincroniza la carpeta data/ con este componente.

A veces, es posible que desees compartir archivos comunes entre todos los componentes de Airflow, incluido el servidor web de Airflow.

Solution:

Une los archivos que se compartirán con el servidor web en un módulo de PYPI y, luego, instálalo como un paquete de PYPI normal. Después de instalar el módulo PYPI en el entorno, los archivos se agregan a las imágenes de los componentes de Airflow y están disponibles para ellos.
Agrega archivos a la carpeta plugins/. Esta carpeta se sincroniza con el servidor web de Airflow.

Tiempos de análisis de DAG no continuos y diagramas de tamaño de bolsa de DAG en la supervisión

Los tiempos de análisis de DAG no continuos y los diagramas de tamaño de bolsa de DAG en el panel de supervisión indican problemas con tiempos de análisis de DAG largos (más de 5 minutos).

Tiempos de análisis de DAG de Airflow y gráficos de tamaño de bolsa de DAG que muestran una serie de intervalos no continuos — **Figura 1:** Gráficos de tiempos de análisis de DAG no continuos y tamaño de bolsa de DAG (haz clic para ampliar)

Solución: Te recomendamos que mantengas el tiempo total de análisis del DAG por debajo de 5 minutos. Para reducir el tiempo de análisis de DAG, sigue los lineamientos de escritura de DAG.

Los registros de tareas aparecen con retrasos

Síntoma:

En Cloud Composer 3, los registros de tareas de Airflow no aparecen de inmediato y se retrasan unos minutos.

Causa:

Si tu entorno ejecuta una gran cantidad de tareas al mismo tiempo, los registros de tareas pueden retrasarse porque el tamaño de la infraestructura del entorno no es suficiente para procesar todos los registros lo suficientemente rápido.

Soluciones:

Considera aumentar el tamaño de la infraestructura del entorno para mejorar el rendimiento.
Distribuye las ejecuciones de DAG a lo largo del tiempo para que las tareas no se ejecuten al mismo tiempo.

Se aumentaron los tiempos de inicio de KubernetesPodOperator y KubernetesExecutor.

Los pods creados con KubernetesPodOperator y las tareas ejecutadas con KubernetesExecutor experimentan tiempos de inicio más largos. El equipo de Cloud Composer está trabajando en una solución y anunciará cuando se resuelva el problema.

Soluciones alternativas:

Inicia Pods con más CPU.
Si es posible, optimiza las imágenes (menos capas y tamaño más pequeño).

El entorno está en el estado ERROR después de que se borró o desactivó la cuenta de facturación del proyecto, o se inhabilitó la API de Cloud Composer.

Los entornos de Cloud Composer afectados por estos problemas no se pueden recuperar:

Después de que se borró o desactivó la cuenta de facturación del proyecto, incluso si se vinculó otra cuenta más adelante.
Después de que la API de Cloud Composer se inhabilitó en el proyecto, incluso si se habilitó más adelante.

Puedes hacer lo siguiente para solucionar el problema:

Aún puedes acceder a los datos almacenados en los buckets de tu entorno, pero ya no se pueden usar los entornos. Puedes crear un nuevo entorno de Cloud Composer y, luego, transferir tus DAG y datos.
Si quieres realizar alguna de las operaciones que hacen que tus entornos no se puedan recuperar, asegúrate de crear una copia de seguridad de tus datos, por ejemplo, creando una instantánea de un entorno. De esta manera, puedes crear otro entorno y transferir sus datos cargando esta instantánea.