Visualiza DAG, ejecuciones de DAG y tareas

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

En esta página, se explica cómo obtener información sobre los DAG en tu entorno.

Formas de ver información sobre los DAG

Cloud Composer proporciona varias formas de obtener información detallada sobre los DAG de tu entorno:

  • La IU del DAG es una sección de la interfaz de la consola de Google Cloud para Cloud Composer dedicado a visualizar y supervisar DAG, ejecuciones de DAG, y las tareas individuales.
  • La IU de Airflow es la interfaz web integrada de Airflow.
  • La CLI de Airflow es la interfaz de línea de comandos de Airflow. Tú puedes obtener información sobre los DAG ejecutando comandos de la CLI de Airflow con gcloud.

Acerca de la IU del DAG de Cloud Composer

La IU del DAG es una sección de la interfaz de la consola de Google Cloud para Cloud Composer dedicado a visualizar y supervisar DAG, ejecuciones de DAG, y las tareas individuales.

En la IU del DAG, puedes hacer lo siguiente:

  • Visualiza una lista de DAG en tu entorno, incluidos los intervalos de programación, DAG estados y descripciones.

  • Pausa, reanuda y activa los DAG.

  • Ver los detalles de ejecución del DAG, incluidas las ejecuciones correctas, activas y fallidas, y el tiempo desde la última ejecución completada. Para cada DAG, puedes ver su historial. instancias de tareas y ejecuciones asociadas con este DAG en particular, incluidos los registros para las tareas ejecutadas.

  • Filtra los detalles de ejecución del DAG. Por ejemplo, puedes elegir un intervalo de tiempo y crear consultas para seleccionar la información que necesitas.

  • Consulta información detallada sobre DAG y tareas individuales. Esto incluye los diagramas de DAG, la información sobre las tareas dentro de un DAG, el código fuente y la información adicional sobre los DAG.

Antes de comenzar

  • Asegúrate de que tu cuenta tenga un rol que pueda acceder a la IU del DAG y verlo más detalles. Para obtener más información, consulta Guía de control de acceso.

  • La IU del DAG es compatible con Cloud Composer 2.0.1 y versiones posteriores. versions.

    Visualiza la lista de DAG de tu entorno

    Console

    En la pestaña DAG de tu entorno, se muestra la lista de DAG junto con el DAG de ejecución de cada DAG.

    Para ver la lista de DAG, haz lo siguiente:

    1. En la consola de Google Cloud, ve a la página Entornos.

      Ir a Entornos

    2. En la columna Lista de DAG, sigue el vínculo DAG de tu entorno.

    Puedes usar filtros para ver los detalles solo de ciertos DAG ciertas condiciones. Por ejemplo:

    1. Selecciona el campo Filtros.
    2. En la lista desplegable, selecciona la propiedad ID de DAG.
    3. Especifica el identificador del DAG. En los resultados, solo se muestran detalles de el DAG seleccionado.
    4. (Opcional) Para incluir más DAG, agrega operadores OR seguidos de IDs de DAG.
    5. (Opcional) Para filtrar según otras condiciones, agrega otras propiedades en el campo Filtros. Por ejemplo, puedes filtrar los DAG se ejecuta especificando Failed runs:>0.

    IU de Airflow

    Sigue estos pasos para ver la lista de DAG en la interfaz web de Airflow:

    1. En la consola de Google Cloud, ve a la página Entornos.

      Ir a Entornos

    2. En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.

    3. Accede con la Cuenta de Google que tiene los permisos correspondientes.

    4. En la interfaz web de Airflow, en la página DAG, hay una lista de DAG para se muestra tu entorno.

    gcloud

    Ejecuta el comando dags list de la CLI de Airflow:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    Reemplaza lo siguiente:

    • ENVIRONMENT_NAME por el nombre del entorno.
    • LOCATION por la región en la que se encuentra el entorno

    Visualiza el historial de ejecuciones y tareas de DAG

    Console

    En la pestaña Ejecuciones de la página Detalles del DAG, se muestra el historial de ejecuciones del DAG. para un DAG individual.

    Para ver el historial de ejecuciones del DAG, haz lo siguiente:

    1. En la consola de Google Cloud, ve a la página Entornos.

      Ir a Entornos

    2. En la columna Lista de DAG, sigue el vínculo DAG de tu entorno.

    3. Selecciona un DAG.

    4. En la página Detalles de DAG, ve a la pestaña Ejecuciones.

    5. Selecciona una ejecución de DAG de la lista para ver sus detalles, como el estado de las instancias de la tarea para esta ejecución del DAG, la cantidad de intentos y el la duración de la ejecución. Puedes seleccionar tareas individuales para ver de instancias de la tarea.

    IU de Airflow

    Sigue estos pasos para ver la lista de DAG en la interfaz web de Airflow:

    1. En la consola de Google Cloud, ve a la página Entornos.

      Ir a Entornos

    2. En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.

    3. Accede con la Cuenta de Google que tiene los permisos correspondientes.

    4. En el menú de la interfaz web de Airflow, selecciona Explora > Ejecuciones de DAG. La página Ejecuciones de DAG muestra de ejecución de DAG para tu entorno. Puedes seguir el vínculo en el ID de ejecución. para obtener información adicional sobre las tareas.

    gcloud

    Ejecuta el comando dags list-runs de la CLI de Airflow:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    Reemplaza lo siguiente:

    • ENVIRONMENT_NAME por el nombre del entorno.
    • LOCATION por la región en la que se encuentra el entorno
    • DAG_ID por el nombre del DAG.

    Para obtener información adicional sobre las instancias de tareas, ejecuta los comandos de la CLI de Airflow tasks state y tasks states-for-dag-run.

    Para obtener más información, consulta Accede a la CLI de Airflow y la Referencia de la CLI de Airflow.

    Ver diagramas del DAG

    Console

    En la pestaña Diagrama de la página Detalles del DAG, se muestra la visualización de un DAG con dependencias de tareas.

    Sigue estos pasos para ver el diagrama de un DAG:

    1. En la consola de Google Cloud, ve a la página Entornos.

      Ir a Entornos

    2. En la columna Lista de DAG, sigue el vínculo DAG de tu entorno.

    3. Selecciona un DAG.

    4. En la página Detalles de DAG, ve a la pestaña Diagrama.

    5. Para ver información adicional sobre las tareas, selecciona tareas individuales en el diagrama (opcional).

    IU de Airflow

    Sigue estos pasos para ver el diagrama de un DAG en la interfaz web de Airflow:

    1. En la consola de Google Cloud, ve a la página Entornos.

      Ir a Entornos

    2. En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.

    3. Accede con la Cuenta de Google que tiene los permisos correspondientes.

    4. En la interfaz web de Airflow, en la página DAG, hay una lista de DAG para se muestra tu entorno.

    5. Para tu DAG, en la columna Vínculos, sigue el vínculo Vista de gráfico.

    Visualiza el código fuente y la información adicional sobre los DAG

    Console

    Puedes ver el código fuente de tus DAG y la información adicional, como Los identificadores de DAG y los vínculos a los archivos de definición de DAG en la bucket.

    1. En la consola de Google Cloud, ve a la página Entornos.

      Ir a Entornos

    2. En la columna Lista de DAG, sigue el vínculo DAG de tu entorno.

    3. Selecciona un DAG.

    4. Para ver el código fuente del DAG, ve a la pestaña Diagram.

    5. Para obtener información adicional sobre el DAG, ve a la pestaña Fuente.

    IU de Airflow

    Sigue estos pasos para ver el diagrama de un DAG en la interfaz web de Airflow:

    1. En la consola de Google Cloud, ve a la página Entornos.

      Ir a Entornos

    2. En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.

    3. Accede con la Cuenta de Google que tiene los permisos correspondientes.

    4. En la interfaz web de Airflow, en la página DAG, haz clic en el nombre del tu DAG.

    5. En la página con los detalles del DAG, navega a las pestañas disponibles para ver información adicional sobre el DAG.

    ¿Qué sigue?