Programar DAGs de Airflow

En este documento se describe cómo programar grafos acíclicos dirigidos (DAGs) de Airflow desde Cloud Composer 3 en la página Programación de BigQuery, así como cómo activar DAGs manualmente y cómo ver el historial y los registros de las ejecuciones anteriores de DAGs.

Acerca de la gestión de DAGs de Airflow en BigQuery

La página Programación de BigQuery proporciona herramientas para programar DAGs de Airflow que se ejecutan en tus entornos de Cloud Composer 3.

Los DAGs de Airflow que programes en BigQuery se ejecutan en uno o varios entornos de Cloud Composer de tu proyecto. La página Programación de BigQuery combina información de todos los DAGs de Airflow de tu proyecto.

Durante una ejecución de un DAG, Airflow programa y ejecuta las tareas individuales que componen un DAG en una secuencia definida por el DAG. En la página Programación de BigQuery, puede ver los estados de las ejecuciones de DAG anteriores, consultar los registros detallados de todas las ejecuciones de DAG y de todas las tareas de esas ejecuciones, así como ver detalles sobre los DAGs.

Para obtener más información sobre los conceptos básicos de Airflow, como los DAGs, las ejecuciones de DAGs, las tareas o los operadores de Airflow, consulta la página Conceptos básicos de la documentación de Airflow.

Para obtener más información sobre los entornos de Cloud Composer, consulta la página Descripción general de Cloud Composer 3 de la documentación de Cloud Composer.

Antes de empezar

  1. Enable the Cloud Composer API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  2. Asegúrate de que tu Google Cloud proyecto tenga al menos un entorno de Cloud Composer 3 con al menos un archivo DAG ya subido:
    • Para empezar a usar los DAGs de Airflow, sigue las instrucciones de la guía Ejecutar un DAG de Apache Airflow en Cloud Composer 3. En esta guía, crearás un entorno de Cloud Composer 3 con la configuración predeterminada, subirás un DAG y comprobarás que Airflow lo ejecuta.
    • Para obtener instrucciones detalladas sobre cómo subir un DAG de Airflow a un entorno de Cloud Composer 3, consulta el artículo Añadir y actualizar DAGs.
    • Para obtener instrucciones detalladas sobre cómo crear un entorno de Cloud Composer 3, consulta Crear entornos de Cloud Composer.

Permisos obligatorios

Para obtener los permisos que necesitas para programar DAGs de Airflow, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos en el proyecto:

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para programar DAGs de Airflow. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Para programar DAGs de Airflow, se necesitan los siguientes permisos:

  • Para ver los DAGs de Airflow y sus detalles, sigue estos pasos: composers.dags.list, composer.environments.list
  • Para activar y pausar DAGs de Airflow, sigue estos pasos: composers.dags.list, composer.environments.list, composer.dags.execute

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Para obtener más información sobre la gestión de identidades y accesos de Cloud Composer 3, consulta el artículo sobre el control de acceso con gestión de identidades y accesos en la documentación de Cloud Composer.

Activar manualmente un DAG de Airflow

Cuando activas manualmente un DAG de Airflow, Airflow ejecuta el DAG una vez, independientemente de la programación especificada para el DAG.

Para activar manualmente un DAG de Airflow seleccionado, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Programación.

    Ve a la página Programación.

  2. Lleva a cabo una de las siguientes acciones:

    • Haga clic en el nombre del DAG seleccionado y, en la página Detalles del DAG, haga clic en Activar DAG.

    • En la fila que contiene el DAG seleccionado, haga clic en Ver acciones en la columna Acciones y, a continuación, en Activar DAG.

Ver los registros y los detalles de las ejecuciones de DAG de Airflow

Para ver los detalles de un DAG de Airflow seleccionado, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Programación.

    Ve a la página Programación.

  2. Haz clic en el nombre del DAG seleccionado.

  3. En la página Detalles del DAG, selecciona la pestaña Detalles.

  4. Para ver las ejecuciones anteriores de un DAG, selecciona la pestaña Ejecuciones.

    1. Opcional: La pestaña Ejecuciones muestra las ejecuciones de DAG de los últimos 10 días de forma predeterminada. Para filtrar las ejecuciones de DAG por otro periodo, en el menú desplegable 10 días, selecciona un periodo y, a continuación, haz clic en Aceptar.

    2. Opcional: Para mostrar columnas adicionales con detalles de las ejecuciones de DAG en la lista de todas las ejecuciones de DAG, haz clic en Opciones de visualización de columnas y, a continuación, selecciona las columnas y haz clic en Aceptar.

    3. Para ver los detalles y los registros de una ejecución de DAG seleccionada, selecciona una ejecución de DAG.

  5. Para ver una visualización del DAG con las dependencias de las tareas, selecciona la pestaña Diagrama.

    1. Para ver los detalles de una tarea, selecciónala en el diagrama.

  6. Para ver el código fuente del DAG, selecciona la pestaña Código.

  7. Opcional: Para actualizar los datos que se muestran, haz clic en Actualizar.

Ver todos los DAGs de Airflow

Para ver los DAGs de Airflow de todos los entornos de Cloud Composer 3 de tuGoogle Cloud proyecto, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Programación.

    Ve a la página Programación.

  2. Opcional: Para mostrar columnas adicionales con detalles del DAG, haz clic en Opciones de visualización de columnas y, a continuación, selecciona las columnas y haz clic en Aceptar.

Pausar un DAG de Airflow

Para pausar un DAG de Airflow seleccionado, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Programación.

    Ve a la página Programación.

  2. Lleva a cabo una de las siguientes acciones:

    • Haga clic en el nombre del DAG seleccionado y, a continuación, en la página Detalles del DAG, haga clic en Pausar DAG.

    • En la fila que contiene el DAG seleccionado, haga clic en Ver acciones en la columna Acciones y, a continuación, en Pausar DAG.

Solución de problemas

Para obtener instrucciones sobre cómo solucionar problemas de DAGs de Airflow, consulta el artículo Solucionar problemas de DAGs de Airflow de la documentación de Cloud Composer.

Siguientes pasos