Ver DAGs, ejecuciones de DAG y tareas

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página se explica cómo obtener información sobre los DAGs de tu entorno.

Formas de ver información sobre los DAGs

Cloud Composer ofrece varias formas de obtener información detallada sobre los DAGs de tu entorno:

  • La interfaz de usuario de DAG es una sección de la interfaz de la consola de Google Cloud Cloud Composer dedicada a ver y monitorizar DAGs, ejecuciones de DAGs y tareas individuales.
  • La interfaz de usuario de Airflow es la interfaz web integrada de Airflow.
  • La CLI de Airflow es la interfaz de línea de comandos de Airflow. Para obtener información sobre los DAGs, ejecuta comandos de la CLI de Airflow con gcloud.

Acerca de la interfaz de usuario de DAGs de Cloud Composer

La interfaz de usuario de DAG es una sección de la interfaz de la consola de Google Cloud Cloud Composer dedicada a ver y monitorizar DAGs, ejecuciones de DAGs y tareas individuales.

En la interfaz de usuario de DAG, puedes hacer lo siguiente:

  • Consulta una lista de los DAGs de tu entorno, incluidos los intervalos de programación, los estados de los DAGs y las descripciones.

  • Pausar, reanudar y activar DAGs.

  • Consulta los detalles de las ejecuciones de DAGs, incluidas las que se han completado, las que están activas y las que han fallado, así como el tiempo transcurrido desde la última ejecución completada. En cada DAG, puedes ver el historial de ejecuciones de DAG y de instancias de tareas asociadas a ese DAG concreto, incluidos los registros de las tareas ejecutadas.

  • Filtrar los detalles de las ejecuciones de DAGs. Por ejemplo, puedes elegir un intervalo de tiempo y crear consultas para seleccionar la información que necesites.

  • Consulta información detallada sobre tareas y DAGs concretos. Esto incluye diagramas de grafos acíclicos dirigidos visualizados, información sobre las tareas de un grafos acíclicos dirigidos, código fuente de grafos acíclicos dirigidos e información adicional sobre grafos acíclicos dirigidos.

Antes de empezar

  • Asegúrate de que tu cuenta tenga un rol que pueda acceder a la interfaz de usuario de DAG y ver los detalles de DAG. Para obtener más información, consulta Control de acceso.

  • La interfaz de usuario de DAG requiere que la serialización de DAG esté habilitada.

  • La interfaz de usuario de los DAGs es compatible con Cloud Composer 1.17.8 y versiones posteriores.

Ver la lista de DAGs de tu entorno

Consola

En la pestaña DAGs (DAGs) de tu entorno se muestra la lista de DAGs junto con los detalles de ejecución de cada DAG.

Para ver la lista de DAGs, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Entornos.

    Ir a Entornos

  2. En la columna Lista de DAGs, sigue el enlace DAGs de tu entorno.

Puede usar filtros para ver los detalles solo de determinados DAGs o de determinadas condiciones. Por ejemplo:

  1. Selecciona el campo Filtros.
  2. En la lista desplegable, selecciona la propiedad ID de DAG.
  3. Especifica el identificador del DAG. Los resultados solo muestran detalles del DAG seleccionado.
  4. (Opcional) Para incluir más DAGs, añade operadores OR seguidos de los IDs de los DAGs.
  5. (Opcional) Para filtrar por otras condiciones, añada otras propiedades en el campo Filtros. Por ejemplo, puedes filtrar los DAGs con ejecuciones fallidas especificando Failed runs:>0.

Interfaz de usuario de Airflow

Para ver la lista de DAGs en la interfaz web de Airflow, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Entornos.

    Ir a Entornos

  2. En la columna Servidor web de Airflow, siga el enlace Airflow de su entorno.

  3. Inicia sesión con la cuenta de Google que tenga los permisos adecuados.

  4. En la interfaz web de Airflow, en la página DAGs (DAGs), se muestra una lista de los DAGs de tu entorno.

gcloud

En Airflow 1.10.*, ejecuta el comando list_dags de la CLI de Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

En Airflow 2, ejecuta el comando dags listde la CLI de Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Sustituye:

  • ENVIRONMENT_NAME con el nombre del entorno.
  • LOCATION con la región en la que se encuentra el entorno.

Ver el historial de ejecuciones y tareas de DAG

Consola

La pestaña Ejecuciones de la página Detalles de DAG muestra el historial de las ejecuciones de un DAG concreto.

Para ver el historial de ejecuciones de DAGs, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Entornos.

    Ir a Entornos

  2. En la columna Lista de DAGs, sigue el enlace DAGs de tu entorno.

  3. Selecciona un DAG.

  4. En la página Detalles del DAG, vaya a la pestaña Ejecuciones.

  5. Selecciona una ejecución de DAG de la lista para ver sus detalles, como el estado de las instancias de tarea de esa ejecución, el número de intentos y la duración de la ejecución. Puedes seleccionar tareas concretas para ver los registros de instancias de tareas.

Interfaz de usuario de Airflow

Para ver la lista de DAGs en la interfaz web de Airflow, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Entornos.

    Ir a Entornos

  2. En la columna Servidor web de Airflow, siga el enlace Airflow de su entorno.

  3. Inicia sesión con la cuenta de Google que tenga los permisos adecuados.

  4. En la interfaz web de Airflow, en el menú, selecciona Examinar > Ejecuciones de DAG. En la página Ejecuciones de DAG se muestran las ejecuciones de DAG de tu entorno. Puedes seguir el enlace de la columna ID de ejecución para obtener más información sobre las tareas.

gcloud

En Airflow 1.10.*, ejecuta el comando list_dag_runs de la CLI de Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

En Airflow 2, ejecuta el comando dags list-runsde la CLI de Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Sustituye:

  • ENVIRONMENT_NAME con el nombre del entorno.
  • LOCATION con la región en la que se encuentra el entorno.
  • DAG_ID con el nombre del DAG.

Puedes obtener información adicional sobre las instancias de tareas ejecutando los comandos de la CLI de Airflow tasks state y tasks states-for-dag-run.

Para obtener más información, consulta Acceder a la CLI de Airflow y la referencia de la CLI de Airflow para Airflow 1 y Airflow 2.

Ver diagramas de DAGs

Consola

La pestaña Diagrama de la página Detalles del DAG muestra la visualización de un DAG con dependencias de tareas.

Para ver el diagrama de un DAG, haz lo siguiente:

  1. En la Google Cloud consola, ve a la página Entornos.

    Ir a Entornos

  2. En la columna Lista de DAGs, sigue el enlace DAGs de tu entorno.

  3. Selecciona un DAG.

  4. En la página Detalles del DAG, ve a la pestaña Diagrama.

  5. (Opcional) Para ver información adicional sobre las tareas, selecciona tareas concretas en el diagrama.

Interfaz de usuario de Airflow

Para ver el diagrama de un DAG en la interfaz web de Airflow, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Entornos.

    Ir a Entornos

  2. En la columna Servidor web de Airflow, siga el enlace Airflow de su entorno.

  3. Inicia sesión con la cuenta de Google que tenga los permisos adecuados.

  4. En la interfaz web de Airflow, en la página DAGs (DAGs), se muestra una lista de los DAGs de tu entorno.

  5. En el DAG, en la columna Enlaces, sigue el enlace Vista de gráfico.

Ver el código fuente de un DAG y más información sobre los DAGs

Consola

Puedes ver el código fuente de tus DAGs e información adicional, como los identificadores de los DAGs y los enlaces a los archivos de definición de los DAGs en el bucket del entorno.

  1. En la Google Cloud consola, ve a la página Entornos.

    Ir a Entornos

  2. En la columna Lista de DAGs, sigue el enlace DAGs de tu entorno.

  3. Selecciona un DAG.

  4. Para ver el código fuente del DAG, ve a la pestaña Diagrama.

  5. Para ver más información sobre el DAG, ve a la pestaña Fuente.

Interfaz de usuario de Airflow

Para ver el diagrama de un DAG en la interfaz web de Airflow, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Entornos.

    Ir a Entornos

  2. En la columna Servidor web de Airflow, siga el enlace Airflow de su entorno.

  3. Inicia sesión con la cuenta de Google que tenga los permisos adecuados.

  4. En la interfaz web de Airflow, en la página DAGs (DAGs), haz clic en el nombre de tu DAG.

  5. En la página con los detalles del DAG, vaya a las pestañas disponibles para ver más información sobre el DAG.

Siguientes pasos