Cloud Composer 1 | Cloud Composer 2
En esta guía, se muestra cómo escribir un grafo acíclico dirigido (DAG) de Apache Airflow que se ejecuta en un entorno de Cloud Composer.
Debido a que Apache Airflow no proporciona un aislamiento sólido de DAG y de tareas, te recomendamos que uses entornos de producción y prueba independientes para evitar interferencias en el DAG. Para obtener más información, consulta Probar DAG.
Estructura un DAG de Airflow
Un DAG de Airflow se define en un archivo de Python y se compone de los siguientes componentes:
- Definición de DAG
- Operadores de Airflow
- Relaciones entre operadores
En los siguientes fragmentos de código, se muestran ejemplos de cada componente fuera de contexto.
Una definición de DAG
En el siguiente ejemplo, se muestra una definición de DAG:
Airflow 2
Airflow 1
Operadores y tareas
Los operadores describen el trabajo que se debe realizar. Una tarea es una instancia específica de un operador.
Airflow 2
Airflow 1
Relaciones de tareas
Las relaciones de tareas describen el orden en el que se debe completar el trabajo.
Airflow 2
Airflow 1
Ejemplo de flujo de trabajo de DAG completo en Python
El siguiente flujo de trabajo es una plantilla de DAG de trabajo completa que consta de dos tareas: una tarea hello_python
y una goodbye_bash
:
Airflow 2
Airflow 1
Para obtener más información sobre cómo definir los DAG de Airflow, consulta el instructivo de Airflow y los conceptos de Airflow.
Operadores de Airflow
En los siguientes ejemplos, se muestran algunos operadores populares de Airflow. Para obtener una referencia autorizada de los operadores de Airflow, consulta la Referencia de operadores y hooks y el Índice de proveedores.
BashOperator
Usa BashOperator para ejecutar programas de línea de comandos.
Airflow 2
Airflow 1
Cloud Composer ejecuta los comandos proporcionados en una secuencia de comandos de Bash en un trabajador de Airflow. El trabajador es un contenedor de Docker basado en Debian que incluye varios paquetes.
PythonOperator
Usa PythonOperator para ejecutar código de Python arbitrario.
Cloud Composer ejecuta el código de Python en un contenedor que incluye paquetes para la versión de la imagen de Cloud Composer que se usa en tu entorno.
Para instalar paquetes adicionales de Python, consulta cómo instalar dependencias de Python.
Operadores de Google Cloud
Para ejecutar tareas que usan productos de Google Cloud, usa los operadores de Google Cloud Airflow. Por ejemplo, los operadores de BigQuery consultan y procesan datos en BigQuery.
Hay muchos más operadores de Airflow para Google Cloud y servicios individuales que proporciona Google Cloud. Consulta Operadores de Google Cloud para ver la lista completa.
Airflow 2
Airflow 1
EmailOperator
Usa el EmailOperator para enviar correos electrónicos desde un DAG. Para enviar correos electrónicos desde un entorno de Cloud Composer, debes configurar tu entorno para usar SendGrid.
Airflow 2
Airflow 1
Notificaciones sobre fallas del operador
Configura email_on_failure
como True
para enviar una notificación por correo electrónico cuando un operador del DAG falle. Para enviar notificaciones por correo electrónico desde un entorno de Cloud Composer, debes configurar tu entorno para usar SendGrid.
Airflow 2
Airflow 1
Lineamientos del flujo de trabajo de DAG
Coloca cualquier biblioteca de Python personalizada en el archivo ZIP de un DAG en un directorio anidado. No coloques bibliotecas en el nivel superior del directorio de DAG.
Cuando Airflow analiza la carpeta
dags/
, Airflow solo busca DAG en los módulos de Python que se encuentren en el nivel superior de la carpeta de DAG y en el nivel superior de un archivo ZIP que también se encuentre en la carpetadags/
de nivel superior. Si Airflow encuentra un módulo de Python en un archivo ZIP que no contenga las substringsairflow
yDAG
, Airflow deja de procesar el archivo ZIP. Airflow solo muestra los DAG encontrados hasta ese momento.Usa Airflow 2 en lugar de Airflow 1.
La comunidad de Airflow ya no publica nuevas versiones secundarias ni de parches para Airflow 1.
Para la tolerancia a errores, no definas varios objetos DAG en el mismo módulo de Python.
No uses SubDAG. En su lugar, agrupa las tareas dentro de los DAG.
Coloca los archivos que se necesitan en el tiempo de análisis del DAG en la carpeta
dags/
, no en la carpetadata/
.Prueba los DAG desarrollados o modificados como se recomienda en las instrucciones para probar los DAG.
Verifica que los DAG desarrollados no aumenten demasiado los tiempos de análisis de DAG.
Las tareas de Airflow pueden fallar por varios motivos. Para evitar fallas en ejecuciones de DAG completas, recomendamos habilitar los reintentos de tareas. Establecer la cantidad máxima de reintentos en
0
significa que no se realizarán reintentos.Te recomendamos que anules la opción
default_task_retries
con un valor para que la tarea se retire diferente de0
. Además, puedes establecer el parámetroretries
a nivel de la tarea.Si deseas usar GPU en tus tareas de Airflow, crea un clúster de GKE independiente basado en nodos que usan máquinas con GPU. Usa GKEStartPodOperator para ejecutar tus tareas.
Evita ejecutar tareas que consuman mucha memoria y CPU en el grupo de nodos del clúster, donde se ejecutan otros componentes de Airflow (programadores, trabajadores, servidores web). En su lugar, usa KubernetesPodOperator o GKEStartPodOperator.
Cuando implementes DAG en un entorno, sube solo los archivos que sean absolutamente necesarios para interpretar y ejecutar DAG en la carpeta
/dags
.Limita la cantidad de archivos DAG en la carpeta
/dags
.Airflow analiza de forma continua los DAG en la carpeta
/dags
. El análisis es un proceso que se repite en bucle a través de la carpeta de DAG y la cantidad de archivos que se deben cargar (con sus dependencias) afecta el rendimiento del análisis del DAG y la programación de tareas. Es mucho más eficiente usar 100 archivos con 100 DAG cada uno que 10,000 archivos con 1 DAG cada uno, por lo que se recomienda ese tipo de optimización. Esta optimización es un equilibrio entre el tiempo de análisis y la eficiencia de la creación y administración del DAG.También puedes considerar, por ejemplo, que, para implementar 10,000 archivos DAG, podrías crear 100 archivos ZIP que contengan 100 archivos DAG.
Además de las sugerencias anteriores, si tienes más de 10,000 archivos DAG, generar DAG de manera programática podría ser una buena opción. Por ejemplo, puedes implementar un solo archivo DAG de Python que genere cierta cantidad de objetos DAG (por ejemplo, 20, 100 objetos DAG).
Evita usar operadores obsoletos de Airflow
Los operadores que se enumeran en la siguiente tabla están obsoletos. Evita usarlas en tus DAG. En su lugar, utiliza las alternativas actualizadas proporcionadas.
Operador obsoleto | Operador que usarás |
---|---|
BigQueryExecuteQueryOperator | BigQueryInsertJobOperator |
BigQueryPatchDatasetOperator | BigQueryUpdateTableOperator |
DataflowCreateJavaJobOperator | BeamRunJavaPipelineOperator |
DataflowCreatePythonJobOperator | BeamRunPythonPipelineOperator |
DataprocScaleClusterOperator | DataprocUpdateClusterOperator |
DataprocSubmitPigJobOperator | DataprocSubmitJobOperator |
DataprocSubmitSparkSqlJobOperator | DataprocSubmitJobOperator |
DataprocSubmitSparkJobOperator | DataprocSubmitJobOperator |
DataprocSubmitHadoopJobOperator | DataprocSubmitJobOperator |
DataprocSubmitPySparkJobOperator | DataprocSubmitJobOperator |
MLEngineManageModelOperator | MLEngineCreateModelOperator y MLEngineGetModelOperator |
MLEngineManageVersionOperator | MLEngineCreateVersion, MLEngineSetDefaultVersion, MLEngineListVersions y MLEngineDeleteVersion |
GCSObjectsWtihPrefixExistenceSensor | GCSObjectsWithPrefixExistenceSensor |
Preguntas frecuentes sobre la escritura de DAG
¿Cómo minimizo la repetición de código si quiero ejecutar las mismas tareas o tareas similares en varios DAG?
Sugerimos definir bibliotecas y wrappers para minimizar la repetición de código.
¿Cómo vuelvo a usar el código entre los archivos DAG?
Coloca tus funciones de utilidad en una biblioteca local de Python y, luego, importa las funciones. Puedes hacer referencia a las funciones en cualquier DAG ubicado en la carpeta dags/
del bucket de tu entorno.
¿Cómo minimizo el riesgo de que surjan definiciones diferentes?
Por ejemplo, tienes dos equipos que desean agregar datos sin procesar a las métricas de ingresos. Los equipos escriben dos tareas con pequeñas diferencias entre sí que logran lo mismo. Se deben definir bibliotecas para trabajar con los datos de ingresos, de modo que los implementadores de DAG aclaren la definición de ingresos que se agrega.
¿Cómo configuro las dependencias entre los DAG?
Esto dependerá de cómo deseas definir la dependencia.
Si tienes dos DAG (DAG A y DAG B) y deseas que el DAG B se active después del DAG A, puedes colocar un TriggerDagRunOperator
al final del DAG A.
Si el DAG B solo depende de un artefacto generado por el DAG A, como un mensaje de Pub/Sub, es posible que un sensor funcione mejor.
Si el DAG B se integra perfectamente al DAG A, es posible que puedas combinar los dos DAG en uno.
¿Cómo transfiero los ID de ejecución únicos a un DAG y sus tareas?
Por ejemplo, deseas transmitir nombres de clústeres de Dataproc y rutas de archivos.
Puedes generar un ID único aleatorio si muestras str(uuid.uuid4())
en un PythonOperator
. Esto coloca el ID en XComs
para que puedas hacer referencia al ID en otros operadores a través de campos con plantillas.
Antes de generar un uuid
, considera si un ID específico de DagRun sería más valioso. También puedes hacer referencia a estos ID en sustituciones de Jinja con macros.
¿Cómo puedo separar las tareas en un DAG?
Cada tarea debe ser una unidad de trabajo idempotente. Por lo tanto, debes evitar encapsular un flujo de trabajo de varios pasos en una sola tarea, como un programa complejo que se ejecute en un PythonOperator
.
¿Debo definir varias tareas en un solo DAG para agregar datos de varias fuentes?
Por ejemplo, tienes varias tablas con datos sin procesar y quieres crear agregados diarios para cada una. Las tareas no dependen una de otra. ¿Debes crear una tarea y un DAG para cada tabla o crear un DAG general?
Si estás de acuerdo con que cada tarea comparta las mismas propiedades a nivel del DAG, como schedule_interval
, entonces tiene sentido definir varias tareas en un solo DAG. De lo contrario, para minimizar la repetición de código, se pueden generar varios DAG a partir de un único módulo de Python colocándolos en globals()
del módulo.
¿Cómo puedo limitar la cantidad de tareas simultáneas que se ejecutan en un DAG?
Por ejemplo, quieres evitar superar las cuotas o los límites de uso de la API o evitar ejecutar demasiados procesos simultáneos.
Puedes definir grupos de Airflow en la IU web de Airflow y asociar tareas con grupos existentes en tus DAG.
Preguntas frecuentes sobre el uso de operadores
¿Debo usar DockerOperator
?
No recomendamos usar
DockerOperator
,
a menos que se use para iniciar contenedores en una instalación remota de Docker (no
dentro del clúster de un entorno). En un entorno de Cloud Composer, el operador no tiene acceso a los daemons de Docker.
En su lugar, usa KubernetesPodOperator
o GKEStartPodOperator
. Estos operadores inician Pods de Kubernetes
en clústeres de Kubernetes o GKE, respectivamente. Ten en cuenta que no recomendamos iniciar Pods en un clúster de entorno, ya que esto puede generar competencia en los recursos.
¿Debo usar SubDagOperator
?
No recomendamos usar SubDagOperator
.
Usa alternativas como se sugiere en las instrucciones para agrupar tareas.
¿Debería ejecutar código de Python solo en PythonOperators
para separar completamente los operadores de Python?
Según tu objetivo, tienes algunas opciones.
Si tu única preocupación es mantener dependencias independientes de Python, puedes usar PythonVirtualenvOperator
.
Considera usar KubernetesPodOperator
. Este operador te permite definir Pods de Kubernetes y ejecutar los Pods en otros clústeres.
¿Cómo agrego paquetes binarios personalizados o que no son de PyPI?
Puedes instalar paquetes alojados en repositorios de paquetes privados.
También puedes usar KubernetesPodOperator
para ejecutar un Pod de Kubernetes con tu propia imagen compilada con paquetes personalizados.
¿Cómo transmito uniformemente los argumentos a un DAG y sus tareas?
Puedes utilizar la compatibilidad integrada de Airflow con las plantillas Jinja para pasar argumentos que se puedan usar en campos con plantillas.
¿Cuándo ocurre la sustitución de plantilla?
La sustitución de plantilla ocurre en los trabajadores de Airflow justo antes de que se llame a la función pre_execute
de un operador. En la práctica, esto significa que las plantillas no se sustituyen hasta justo antes de que se ejecute una tarea.
¿Cómo puedo saber qué argumentos del operador admiten la sustitución de plantillas?
Los argumentos del operador que admiten la sustitución de plantillas de Jinja2 se marcan de forma explícita como tales.
Busca el campo template_fields
en la definición de operador, que contiene una lista de nombres de argumentos que se someten a la sustitución de plantillas.
Por ejemplo, consulta BashOperator
, que admite plantillas para los argumentos bash_command
y env
.
¿Qué sigue?
- Soluciona problemas de los DAG
- Programador de solución de problemas
- Operadores de Google
- Operadores de Google Cloud
- Instructivo de Apache Airflow
- Interfaz pública de Airflow
- Operadores de Core Airflow en GitHub. Consulta la rama correspondiente a tu versión de Airflow.
- Operadores de paquetes de proveedores en GitHub. Consulta la rama correspondiente a tu versión de Airflow.