Cloud Composer 1 | Cloud Composer 2
En esta página, se explica cómo obtener información sobre los DAG en tu entorno.
Formas de ver la información sobre los DAG
Cloud Composer proporciona varias formas de obtener información detallada sobre los DAG en su entorno:
- La IU de DAG es una sección de la interfaz de la consola de Google Cloud para Cloud Composer dedicada a visualizar y supervisar DAG, ejecuciones de DAG y tareas individuales.
- La IU de Airflow es la interfaz web integrada de Airflow.
- La CLI de Airflow es la interfaz de línea de comandos de Airflow. Puedes
obtener información sobre los DAG si ejecutas los comandos de la CLI de Airflow con
gcloud
.
Acerca de la IU del DAG de Cloud Composer
La IU del DAG es una sección de la interfaz de la consola de Google Cloud para Cloud Composer dedicada a visualizar y supervisar DAG, ejecuciones de DAG y tareas individuales.
En la IU del DAG, puedes hacer lo siguiente:
Visualiza una lista de los DAG de tu entorno, incluidos los intervalos de programación, los estados de los DAG y las descripciones.
Pausa, reanuda y activa DAG.
Visualiza los detalles de la ejecución del DAG, incluidas las ejecuciones correctas, activas y con errores, el tiempo transcurrido desde la última ejecución completa. Para cada DAG, puedes ver el historial de ejecuciones de DAG y las instancias de tareas asociadas con este DAG en particular, incluidos los registros de las tareas ejecutadas.
Filtre los detalles de la ejecución del DAG. Por ejemplo, puedes elegir un intervalo de tiempo y crear consultas para seleccionar la información que necesitas.
Ver información detallada sobre DAG y tareas individuales Esto incluye diagramas del DAG visualizados, información sobre las tareas dentro de un DAG, código fuente de DAG e información adicional sobre DAG.
Antes de comenzar
La IU del DAG requiere la serialización de DAG habilitada.
La IU del DAG es compatible con Cloud Composer 1.17.8 y versiones posteriores.
Ver la lista de DAG para su entorno
Consola
La pestaña DAG del entorno muestra la lista de DAG junto con los detalles de ejecución de DAG para cada DAG.
Para ver la lista de DAG, siga estos pasos:
En la consola de Google Cloud, ve a la página Entornos.
En la columna Lista de DAG, siga el vínculo DAG para su entorno.
Puedes usar los filtros a fin de ver los detalles solo para ciertos DAG o para ciertas condiciones. Por ejemplo:
- Selecciona el campo Filtros.
- En la lista desplegable, selecciona la propiedad ID de DAG.
- Especifica el identificador del DAG. Los resultados solo muestran los detalles del DAG seleccionado.
- Para incluir más DAG, agrega operadores
OR
seguidos de los ID del DAG (opcional). - (Opcional) Para filtrar otras condiciones, agrega otras propiedades en el campo Filtros. Por ejemplo, puedes filtrar por DAG con ejecuciones fallidas si especificas
Failed runs:>0
.
IU de Airflow
Para ver la lista de DAG en la interfaz web de Airflow, siga estos pasos:
En la consola de Google Cloud, ve a la página Entornos.
En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.
Accede con la Cuenta de Google que tiene los permisos correspondientes.
En la interfaz web de Airflow, en la página DAG, se muestra una lista de DAG para tu entorno.
gcloud
En Airflow 1.10.*, ejecuta el comando list_dags
de la CLI de Airflow:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dags
En Airflow 2, ejecuta el comando dags list
de la CLI de Airflow:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
Reemplaza lo siguiente:
ENVIRONMENT_NAME
por el nombre del entorno.LOCATION
por la región en la que se encuentra el entorno
Ver el historial de ejecuciones y tareas del DAG
Consola
La pestaña Ejecuciones en la página Detalles del DAG muestra el historial de ejecuciones de DAG para un DAG individual.
Siga estos pasos para ver el historial de ejecuciones de DAG:
En la consola de Google Cloud, ve a la página Entornos.
En la columna Lista de DAG, siga el vínculo DAG para su entorno.
Selecciona un DAG.
En la página Detalles del DAG, vaya a la pestaña Ejecuciones.
Selecciona una ejecución de DAG de la lista para ver sus detalles, como el estado de las instancias de tarea de esta, la cantidad de intentos y la duración de la ejecución. Puedes seleccionar tareas individuales para ver los registros de instancias de las tareas.
IU de Airflow
Para ver la lista de DAG en la interfaz web de Airflow, siga estos pasos:
En la consola de Google Cloud, ve a la página Entornos.
En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.
Accede con la Cuenta de Google que tiene los permisos correspondientes.
En la interfaz web de Airflow, en el menú, selecciona Browse > DAG Runs. En la página Ejecuciones de DAG, se muestran las ejecuciones de DAG de tu entorno. Puede seguir el vínculo de la columna ID de ejecución para obtener información adicional sobre las tareas.
gcloud
En Airflow 1.10.*, ejecuta el comando list_dag_runs
de la CLI de Airflow:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dag_runs -- DAG_ID
En Airflow 2, ejecuta el comando dags list-runs
de la CLI de Airflow:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
Reemplaza lo siguiente:
ENVIRONMENT_NAME
por el nombre del entorno.LOCATION
por la región en la que se encuentra el entornoDAG_ID
por el nombre del DAG.
Para obtener información adicional sobre las instancias de tarea, ejecute los comandos tasks state
y tasks states-for-dag-run
de la CLI de Airflow.
Si deseas obtener más información, consulta Accede a la CLI de Airflow y a la referencia de la CLI para Airflow 1 y Airflow 2.
Ver diagramas de DAG
Consola
La pestaña Diagrama de la página Detalles de DAG muestra la visualización de un DAG con dependencias de tareas.
Para ver el diagrama de un DAG, haz lo siguiente:
En la consola de Google Cloud, ve a la página Entornos.
En la columna Lista de DAG, siga el vínculo DAG para su entorno.
Selecciona un DAG.
En la página Detalles del DAG, vaya a la pestaña Diagrama.
(Opcional) Para ver información adicional sobre las tareas, seleccione tareas individuales en el diagrama.
IU de Airflow
Para ver el diagrama de un DAG en la interfaz web de Airflow, siga estos pasos:
En la consola de Google Cloud, ve a la página Entornos.
En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.
Accede con la Cuenta de Google que tiene los permisos correspondientes.
En la interfaz web de Airflow, en la página DAG, se muestra una lista de DAG para tu entorno.
Para su DAG, en la columna Vínculos, siga el vínculo Vista de gráfico.
Consulta el código fuente del DAG y la información adicional sobre los DAG
Consola
Puedes ver el código fuente de tus DAG y la información adicional, como identificadores de DAG y vínculos a archivos de definición de DAG en el bucket del entorno.
En la consola de Google Cloud, ve a la página Entornos.
En la columna Lista de DAG, siga el vínculo DAG para su entorno.
Selecciona un DAG.
Para ver el código fuente del DAG, vaya a la pestaña Diagram.
Para ver información adicional sobre el DAG, vaya a la pestaña Fuente.
IU de Airflow
Para ver el diagrama de un DAG en la interfaz web de Airflow, siga estos pasos:
En la consola de Google Cloud, ve a la página Entornos.
En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.
Accede con la Cuenta de Google que tiene los permisos correspondientes.
En la interfaz web de Airflow, en la página DAG, haga clic en el nombre de su DAG.
En la página con los detalles del DAG, navegue a las pestañas disponibles para ver información adicional sobre el DAG.