Organiza DAG de Airflow

Para solicitar asistencia o enviar comentarios sobre esta función, envía un correo electrónico a bigquery-orchestration-tab-feedback@google.com.

En este documento, se describe cómo organizar grafos acíclicos dirigidos (DAG) de Airflow desde Cloud Composer 3 (Versión preliminar) en la página Organización de BigQuery, lo que incluye cómo activar los DAG de forma manual y cómo ver el historial y los registros de ejecuciones de DAG anteriores.

Información acerca de los DAG de Airflow en BigQuery

La página Orquestación en BigQuery proporciona herramientas para orquestar DAG de Airflow que se ejecutan en tus entornos de Cloud Composer 3.

Los DAG de Airflow que orquestas en BigQuery se ejecutan en uno o más entornos de Cloud Composer en tu proyecto. La página Orchestration en BigQuery combina la información de todos los DAG de Airflow de tu proyecto.

Durante una ejecución de DAG, Airflow programa y ejecuta tareas individuales que conforman un DAG en una secuencia definida por el DAG. En la página Orquestación de BigQuery, puedes ver los estados de ejecuciones de DAG anteriores, explorar registros detallados de todas las ejecuciones de DAG y todas las tareas de estas ejecuciones de DAG, y ver detalles sobre los DAG.

Para obtener más información sobre los conceptos básicos de Airflow, como los DAG de Airflow, las ejecuciones de DAG, las tareas o los operadores, consulta la página Conceptos básicos en la documentación de Airflow.

Para obtener más información sobre los entornos de Cloud Composer, consulta la página Descripción general de Cloud Composer 3 en la documentación de Cloud Composer.

Antes de comenzar

  1. Enable the Cloud Composer API.

    Enable the API

  2. Asegúrate de que tu proyecto de Google Cloud tenga al menos un entorno de Cloud Composer 3, con al menos un archivo DAG subido:

Permisos necesarios

Para obtener los permisos que necesitas para orquestar DAG de Airflow, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para orquestar DAG de Airflow. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para orquestar DAG de Airflow:

  • Para ver los DAG de Airflow y sus detalles, sigue estos pasos: composers.dags.list, composer.environments.list
  • Para activar y pausar DAG de Airflow, sigue estos pasos: composers.dags.list, composer.environments.list, composer.dags.execute

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para obtener más información sobre la IAM de Cloud Composer 3, consulta Control de acceso con IAM en la documentación de Cloud Composer.

Cómo activar un DAG de forma manual

Cuando activas un DAG de Airflow de forma manual, Airflow ejecuta el DAG una vez, independientemente del programa especificado para el DAG.

Para activar manualmente un DAG de Airflow seleccionado, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Orchestration.

    Ve a la página Organización

  2. Elija una de las siguientes opciones:

    • Haz clic en el nombre del DAG seleccionado y, luego, en la página Detalles del DAG, haz clic en Activar DAG.

    • En la fila que contiene el DAG seleccionado, haz clic en Ver acciones en la columna Acciones y, luego, en Activar DAG.

Consulta los registros y los detalles de la ejecución de DAG

Para ver los detalles de un DAG de Airflow seleccionado, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Orchestration.

    Ve a la página Organización

  2. Haz clic en el nombre del DAG seleccionado.

  3. En la página Detalles del DAG, selecciona la pestaña Detalles.

  4. Para ver las ejecuciones de DAG anteriores, selecciona la pestaña Ejecuciones.

    1. Opcional: La pestaña Runs muestra las ejecuciones de DAG de los últimos 10 días de forma predeterminada. Para filtrar las ejecuciones de DAG por un período diferente, en el menú desplegable 10 días, selecciona un período y, luego, haz clic en Aceptar.

    2. Opcional: Para mostrar columnas adicionales con detalles de la ejecución de DAG en la lista de todas las ejecuciones de DAG, haz clic en Opciones de visualización de columnas y, luego, selecciona las columnas y haz clic en Aceptar.

    3. Para ver los detalles y los registros de una ejecución de DAG seleccionada, selecciona una ejecución de DAG.

  5. Para ver una visualización del DAG con dependencias de tareas, selecciona la pestaña Diagrama.

    1. Para ver los detalles de una tarea, selecciónala en el diagrama.

  6. Para ver el código fuente del DAG, selecciona la pestaña Code.

  7. Opcional: Para actualizar los datos que se muestran, haz clic en Actualizar.

Cómo ver todos los DAG

Para ver los DAG de Airflow de todos los entornos de Cloud Composer 3 en tu proyecto de Google Cloud, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Orchestration.

    Ve a la página Organización

  2. Opcional: Para mostrar columnas adicionales con detalles del DAG, haz clic en Opciones de visualización de columnas, selecciona las columnas y haz clic en Aceptar.

Cómo pausar un DAG

Para pausar un DAG de Airflow seleccionado, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Orchestration.

    Ve a la página Organización

  2. Elija una de las siguientes opciones:

    • Haz clic en el nombre del DAG seleccionado y, luego, en la página Detalles del DAG, haz clic en Detener DAG.

    • En la fila que contiene el DAG seleccionado, haz clic en Ver acciones en la columna Acciones y, luego, en Detener DAG.

Soluciona problemas

Para obtener instrucciones para solucionar problemas de los DAG de Airflow, consulta Cómo solucionar problemas de los DAG de Airflow en la documentación de Cloud Composer.

¿Qué sigue?