¿Qué es Cloud Composer?

En esta página, se proporciona una descripción general de Cloud Composer, la solución de Google Cloud para crear y, también, implementar flujos de trabajo con Apache Airflow.

¿Por qué usar Cloud Composer?

Cloud Composer es un servicio de organización del flujo de trabajo completamente administrado, que te permite crear flujos de trabajo que se distribuyen en servicios en la nube y en centros de datos locales. Cloud Composer se creó con base en el popular proyecto de código abierto Apache Airflow y se opera mediante el lenguaje de programación Python. Es fácil de usar y no implica compromisos a largo plazo. Mediante el uso de Cloud Composer en lugar de una instancia local de Apache Airflow, los usuarios pueden beneficiarse de lo mejor de Airflow sin una sobrecarga de instalación o administración.

Flujos de trabajo, DAG y tareas

En las estadísticas de datos, un flujo de trabajo representa una serie de tareas para transferir, transformar, analizar o usar datos. En Airflow, los flujos de trabajo se crean con DAG o “grafos acíclicos dirigidos”.

Un DAG es una colección de tareas que deseas programar y ejecutar, organizadas de manera que reflejen sus relaciones y dependencias. Los DAG se crean en secuencias de comandos de Python, que definen la estructura del DAG (tareas y sus dependencias) mediante código.

Cada tarea en un DAG puede representar casi cualquier cosa; por ejemplo, una tarea puede realizar cualquiera de las siguientes funciones:

  • Prepara datos para la transferencia
  • Supervisa una API
  • Envía un correo electrónico
  • Ejecuta una canalización

Un DAG no debería preocuparse por la función de cada tarea constituyente, su propósito es garantizar que cada tarea se ejecute en el momento correcto, en el orden adecuado o con el manejo de problemas correcto.

Para obtener más información sobre los DAG y las tareas, consulta la documentación de Apache Airflow.

Entornos

Para ejecutar flujos de trabajo, primero debe crear un entorno. Airflow depende de muchos microservicios que se ejecuten, por lo que Cloud Composer aprovisiona componentes de Google Cloud para ejecutar tus flujos de trabajo. En conjunto, estos componentes se conocen como un entorno de Cloud Composer.

Los entornos son implementaciones autónomas de Airflow basadas en Google Kubernetes Engine y funcionan con otros servicios de Google Cloud mediante conectores integrados en Airflow. Puedes crear uno o más entornos en un solo proyecto de Google Cloud con cualquier región compatible. Puedes crear entornos de Cloud Composer en cualquier región compatible.

Para obtener información detallada sobre los componentes de un entorno, consulta Arquitectura del entorno de Cloud Composer.

¿Qué sigue?