Usa operadores diferibles

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Nota: Esta página aún no se revisó para Cloud Composer 3 y muestra contenido para Cloud Composer 2.

En esta página, se explica cómo habilitar la compatibilidad con los operadores diferibles en tu y usar operadores diferibles de Google Cloud en tus DAG.

Acerca de los operadores diferidos en Cloud Composer

Si tienes al menos una instancia de activador (o al menos dos en entornos altamente resilientes), puedes usar operadores y activadores diferibles en tus DAG.

Para los operadores diferibles, Airflow divide la ejecución de las tareas en las siguientes etapas:

1. Inicia la operación. En esta etapa, la tarea ocupa un espacio de trabajador de Airflow. La tarea realiza una operación que delega el trabajo a un un servicio diferente.

   Por ejemplo, ejecutar un trabajo de BigQuery puede tardar segundos a varias horas. Después de crear el trabajo, la operación pasa el identificador de trabajo (ID de trabajo de BigQuery) a un Activador de Airflow.

2. El activador supervisa el trabajo hasta que finaliza. En esta etapa, la ranura del trabajador no está ocupada. El activador de Airflow tiene una arquitectura asincrónica y puede controlar cientos de trabajos de este tipo. Cuando el activador detecta que la tarea está completa, envía un evento que activa la última etapa.

3. En la última etapa, un trabajador de Airflow ejecuta una devolución de llamada. Por ejemplo, esta devolución de llamada puede marcar la tarea como correcta, ejecutar otra operación y configurar el trabajo para que el activador lo supervise nuevamente.

El activador no tiene estado y, por lo tanto, es resistente a las interrupciones o reinicios, . Debido a esto, las tareas de larga duración son resistentes a los reinicios de pods, a menos que el reinicio se produzca durante la última etapa, que se espera que sea breve.

Antes de comenzar

• Los operadores y sensores diferidos están disponibles en los entornos de Cloud Composer 2 y requieren lo siguiente:
  • Cloud Composer 2.0.31 y versiones posteriores
  • Airflow 2.2.5, 2.3.3 y versiones posteriores

Precaución: La compatibilidad del proveedor de Terraform con los activadores de Airflow está en versión preliminar. Usa el proveedor de Terraform google-beta cuando cambies el escalamiento y los parámetros de rendimiento de tu entorno, incluso si estos cambios no relacionadas con el activador. Por ejemplo, cuando se cambian los parámetros de los trabajadores de Airflow.

Habilita la compatibilidad con operadores diferidos

Un componente del entorno llamado activador de Airflow supervisa de manera asincrónica todas las tareas diferidas de tu entorno. Después de que se completa una operación diferida de una tarea de este tipo, el activador pasa la tarea a un trabajador de Airflow.

Necesitas al menos una instancia del activador en tu entorno (o al menos dos en entornos altamente resilientes) para usar el modo diferido en tus DAG. Puedes configurar los activadores cuando creas un entorno o ajustar la cantidad de activadores y parámetros de rendimiento de un entorno existente.

Operadores de Google Cloud que admiten el modo diferido

Solo se extendieron algunos operadores de Airflow para admitir el modelo aplazable. La siguiente lista es una referencia para los operadores del Paquete airflow.providers.google.operators.cloud compatibles con el modo diferible. La columna con la versión mínima requerida del paquete airflow.providers.google.operators.cloud representa la primera versión del paquete en la que ese operador admite el modo diferible.

Importante: Las siguientes tablas No muestres todos los operadores que admiten el modo diferible. Airflow y Cloud Composer admiten muchos otros operadores de airflow.providers.google.operators.cloud y otros paquetes de proveedores. Estos operadores no se describen en esta página. Para verificar si un operador en particular admite el modo diferido, consulta la documentación del paquete del proveedor que proporciona Airflow.

Nota: Los operadores de BigQuery en modo diferible fallan si los La ubicación no está establecida en EE.UU. Esto sucede debido a un error en una dependencia de Airflow, no en los operadores de BigQuery.

Operadores de Cloud Composer

Nombre del operador	Versión de apache-airflow-providers-google requerida
CloudComposerCreateEnvironmentOperator	6.4.0
CloudComposerDeleteEnvironmentOperator	6.4.0
CloudComposerUpdateEnvironmentOperator	6.4.0

Operadores de BigQuery

Nombre del operador	Versión de apache-airflow-providers-google requerida
BigQueryCheckOperator	8.4.0
BigQueryValueCheckOperator	8.4.0
BigQueryIntervalCheckOperator	8.4.0
BigQueryGetDataOperator	8.4.0
BigQueryInsertJobOperator	8.4.0

Operadores del Servicio de transferencia de datos de BigQuery

Nombre del operador	Versión de apache-airflow-providers-google requerida
BigQueryDataTransferServiceStartTransferRunsOperator	8.9.0

Operadores de Cloud Build

Nombre del operador	Versión de apache-airflow-providers-google requerida
CloudBuildCreateBuildOperator	8.7.0

Operadores de Cloud SQL

Nombre del operador	Versión de apache-airflow-providers-google requerida
CloudSQLExportInstanceOperator	10.3.0

Operadores de Dataflow

Nombre del operador	Versión de apache-airflow-providers-google requerida
DataflowTemplatedJobStartOperator	8.9.0
DataflowStartFlexTemplateOperator	8.9.0

Operadores de Cloud Data Fusion

Nombre del operador	Versión de apache-airflow-providers-google requerida
CloudDataFusionStartPipelineOperator	8.9.0

Operadores de Dataproc

Nombre del operador	Versión de apache-airflow-providers-google requerida
DataprocCreateClusterOperator	8.9.0
DataprocDeleteClusterOperator	8.9.0
DataprocJobBaseOperator	8.4.0
DataprocInstantiateWorkflowTemplateOperator	9.0.0
DataprocInstantiateInlineWorkflowTemplateOperator	10.1.0
DataprocSubmitJobOperator	8.4.0
DataprocUpdateClusterOperator	8.9.0
DataprocCreateBatchOperator	8.9.0

Operadores de Google Kubernetes Engine

Nombre del operador	Versión de apache-airflow-providers-google requerida
GKEDeleteClusterOperator	9.0.0
GKECreateClusterOperator	9.0.0

Operadores de AI Platform

Nombre del operador	Versión de apache-airflow-providers-google requerida
MLEngineStartTrainingJobOperator	8.9.0

Usa operadores diferibles en tus DAG

Una convención común para todos los operadores de Google Cloud es habilitar el modo diferible con el parámetro booleano deferrable. Si Google Cloud no tiene este parámetro, por lo que no se puede ejecutar en la función . Otros operadores pueden tener una convención diferente. Por ejemplo, algunos los operadores de la comunidad tienen una clase separada con el sufijo Async en el de la fuente de datos.

Importante: Las carpetas dags/ y /plugins del bucket de entorno son las siguientes: no se sincroniza con el activador. Puedes usar activadores que se instalan con paquetes de PyPI o que se incluyen en un paquete de proveedor preinstalado.

En el siguiente DAG de ejemplo, se usa el operador DataprocSubmitJobOperator en el modo diferible:

PYSPARK_JOB = {
    "reference": { "project_id": "PROJECT_ID" },
    "placement": { "cluster_name": "PYSPARK_CLUSTER_NAME" },
    "pyspark_job": {
        "main_python_file_uri": "gs://dataproc-examples/pyspark/hello-world/hello-world.py"
    },
}

DataprocSubmitJobOperator(
        task_id="dataproc-deferrable-example",
        job=PYSPARK_JOB,
        deferrable=True,
    )

Ver registros del activador

El activador genera registros que están disponibles junto con los registros de otros componentes del entorno. Para obtener más información sobre cómo ver tu entorno de registros, consulta Visualiza los registros.

Activador de supervisión

Para obtener más información sobre cómo supervisar el componente activador, consulta Métricas de Airflow.

Además de supervisar el activador, puedes verificar la cantidad tareas en las métricas Sin terminar del panel de Monitoring de la en un entorno de nube.

¿Qué sigue?

• Soluciona problemas del activador de Airflow
• Métricas del activador de Airflow
• Registros del activador de Airflow