Consulta DAG, ejecuciones de DAG y tareas

Cloud Composer 1 | Cloud Composer 2

En esta página, se explica cómo obtener información sobre los DAG en tu entorno.

Formas de ver la información sobre los DAG

Cloud Composer ofrece varias formas de obtener información detallada sobre los DAG en su entorno:

• La IU del DAG es una sección de la interfaz de Google Cloud Console para Cloud Composer dedicada a la visualización y supervisión de los DAG, las ejecuciones de DAG y las tareas individuales.
• La IU de Airflow es la interfaz web integrada de Airflow.
• La CLI de Airflow es la interfaz de línea de comandos de Airflow. Puedes obtener información sobre los DAG si ejecutas los comandos de la CLI de Airflow con gcloud.

Acerca de la IU de DAG de Cloud Composer

Vista previa ,DAG UI

Esta función está cubierta por las Condiciones de las Ofertas Pre-DG de las Condiciones del Servicio de Google Cloud. Es posible que las funciones de fase previa a la disponibilidad general tengan asistencia limitada y que los cambios en estas funciones no sean compatibles con otras versiones de fase previa a la disponibilidad general. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

La IU del DAG es una sección de la interfaz de Google Cloud Console para Cloud Composer dedicada a la visualización y supervisión de los DAG, las ejecuciones de DAG y las tareas individuales.

En la IU del DAG, puede hacer lo siguiente:

• Ve una lista de DAG en tu entorno, incluidos los intervalos de programación, los estados del DAG y las descripciones.

• DAG de activador:

• Consulta los detalles de la ejecución del DAG, incluidas las ejecuciones exitosas, activas y fallidas, el tiempo transcurrido desde la última ejecución completada. Para cada DAG, puedes ver el historial de ejecuciones de DAG y las instancias de tareas asociadas con este DAG en particular, incluidos los registros de las tareas ejecutadas.

• Filtrar los detalles de la ejecución del DAG Por ejemplo, puedes elegir un intervalo y crear consultas para seleccionar la información que necesitas.

• Visualiza información detallada sobre DAG y tareas individuales. Esto incluye diagramas visualizados de DAG, información sobre las tareas dentro de un DAG, código fuente de DAG e información adicional sobre DAG.

Antes de comenzar

• En la vista previa, la IU de DAG no es compatible con los entornos con VPC SC.

• La IU de DAG requiere una serialización de DAG habilitada.

• La IU del DAG es compatible con Cloud Composer 1.17.8 y versiones posteriores.

Visualiza la lista de DAG para tu entorno

Console

La pestaña DAG de tu entorno muestra la lista de DAG junto con los detalles de ejecución del DAG para cada DAG.

Para ver la lista de DAG, siga estos pasos:

1. En Google Cloud Console, ve a la página Entornos.

   Ir a Entornos

2. Selecciona un entorno para ver sus detalles.

3. En la página Detalles del entorno, ve a la pestaña DAG.

Puedes usar filtros a fin de ver los detalles solo para ciertos DAG o para ciertas condiciones. Por ejemplo:

1. Seleccione el campo Filtros.
2. En la lista desplegable, selecciona la propiedad ID de DAG.
3. Especifique el identificador del DAG. Los resultados solo muestran detalles del DAG seleccionado.
4. (Opcional) Para incluir más DAG, agregue los operadores OR seguidos de los ID de DAG.
5. Para filtrar otras condiciones, agrega otras propiedades en el campo Filtros (opcional). Por ejemplo, puedes filtrar por DAG con ejecuciones fallidas si especificas Failed runs:>0.

IU de Airflow

Siga estos pasos para ver la lista de DAG en la interfaz web de Airflow:

1. En Google Cloud Console, ve a la página Entornos.

   Ir a Entornos

2. En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.

3. Accede con la Cuenta de Google que tiene los permisos correspondientes.

4. En la interfaz web de Airflow, en la página DAG, se muestra una lista de los DAG para tu entorno.

gcloud

En Airflow 1.10.*, ejecuta el comando list_dags de la CLI de Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

En Airflow 2, ejecuta el comando dags list de la CLI de Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región donde se encuentra el entorno

Consulte el historial de ejecuciones y tareas de DAG

Console

La pestaña Ejecuciones de la página Detalles del DAG muestra el historial de ejecuciones de DAG para un DAG individual.

Para ver el historial de ejecuciones de DAG, siga estos pasos:

1. En Google Cloud Console, ve a la página Entornos.

   Ir a Entornos

2. Selecciona un entorno para ver sus detalles.

3. En la página Detalles del entorno, ve a la pestaña DAG.

4. Selecciona un DAG.

5. En la página Detalles del DAG, ve a la pestaña Ejecuciones.

6. Selecciona una ejecución de DAG de la lista a fin de ver los detalles de la ejecución de DAG, como el estado de las instancias de tarea para esta ejecución de DAG, la cantidad de intentos y la duración de la ejecución. Puedes seleccionar tareas individuales para ver los registros de instancias de tareas.

IU de Airflow

Siga estos pasos para ver la lista de DAG en la interfaz web de Airflow:

1. En Google Cloud Console, ve a la página Entornos.

   Ir a Entornos

2. En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.

3. Accede con la Cuenta de Google que tiene los permisos correspondientes.

4. En la interfaz web de Airflow, en el menú, selecciona Explorar > Ejecuciones de DAG. En la página Ejecuciones de DAG (DAG Runs), se muestran las ejecuciones del DAG para tu entorno. Puedes acceder al vínculo de la columna Run ID para obtener información adicional sobre las tareas.

gcloud

En Airflow 1.10.*, ejecuta el comando list_dag_runs de la CLI de Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

En Airflow 2, ejecuta el comando dags list-runs de la CLI de Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región donde se encuentra el entorno
• DAG_ID por el nombre del DAG.

Para obtener información adicional sobre las instancias de tareas, ejecuta los comandos tasks state y tasks states-for-dag-run de la CLI de Airflow.

Para obtener más información, consulta Accede a la CLI de Airflow y a la referencia de la CLI de Airflow para Airflow 1 y Airflow 2.

Ver diagramas del DAG

Console

La pestaña Diagrama de la página Detalles del DAG muestra la visualización de un DAG con dependencias de tareas.

Para ver el diagrama de un DAG, siga estos pasos:

1. En Google Cloud Console, ve a la página Entornos.

   Ir a Entornos

2. Selecciona un entorno para ver sus detalles.

3. En la página Detalles del entorno, ve a la pestaña DAG.

4. Selecciona un DAG.

5. En la página Detalles del DAG, ve a la pestaña Diagrama.

6. (Opcional) Para ver información adicional sobre las tareas, selecciona tareas individuales en el diagrama.

IU de Airflow

Para ver el diagrama de un DAG en la interfaz web de Airflow, siga estos pasos:

1. En Google Cloud Console, ve a la página Entornos.

   Ir a Entornos

2. En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.

3. Accede con la Cuenta de Google que tiene los permisos correspondientes.

4. En la interfaz web de Airflow, en la página DAG, se muestra una lista de los DAG para tu entorno.

5. Para su DAG, en la columna Vínculos, siga el vínculo de Vista de gráfico.

Consulta el código fuente del DAG y la información adicional sobre los DAG

Console

Puedes ver el código fuente de tus DAG y la información adicional, como los identificadores del DAG y los vínculos a los archivos de definición de DAG en el bucket.

Nota: No es posible editar el código fuente de sus DAG en esta pestaña.

1. En Google Cloud Console, ve a la página Entornos.

   Ir a Entornos

2. Selecciona un entorno para ver sus detalles.

3. En la página Detalles del entorno, ve a la pestaña DAG.

4. Selecciona un DAG.

5. Para ver el código fuente del DAG, vaya a la pestaña Diagrama.

6. Para ver información adicional sobre el DAG, vaya a la pestaña Fuente.

IU de Airflow

Para ver el diagrama de un DAG en la interfaz web de Airflow, siga estos pasos:

1. En Google Cloud Console, ve a la página Entornos.

   Ir a Entornos

2. En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.

3. Accede con la Cuenta de Google que tiene los permisos correspondientes.

4. En la interfaz web de Airflow, en la página DAG, haga clic en el nombre de su DAG.

5. En la página con detalles del DAG, navegue a las pestañas disponibles para ver información adicional sobre el DAG.

¿Qué sigue?

• Cómo agregar y actualizar los DAG
• DAG de activador