Esta página se ha traducido con Cloud Translation API.
Switch to English

¿Qué es Cloud Composer?

En esta página, se proporciona una descripción general de Cloud Composer, la solución de Google Cloud para crear e implementar flujos de trabajo con Apache Airflow.

¿Por qué usar Cloud Composer?

Cloud Composer es un servicio de organización del flujo de trabajo completamente administrado, lo que te permite crear flujos de trabajo que abarcan varias nubes y centros de datos locales. Cloud Composer se basa en el popular proyecto de código abierto Apache Airflow y usa el lenguaje de programación Python, por lo que es fácil de usar y no exige ninguna dependencia. Mediante el uso de Cloud Composer en lugar de una instancia local de Apache Airflow, los usuarios pueden beneficiarse de lo mejor de Airflow sin una sobrecarga de instalación o administración.

Flujos de trabajo, DAG y tareas

En las estadísticas de datos, un flujo de trabajo representa una serie de tareas para transferir, transformar, analizar o usar datos. En Airflow, los flujos de trabajo se crean mediante los DAG o “grafos acíclicos dirigidos”.

Un DAG es una colección de tareas que deseas programar y ejecutar, organizadas, de manera que reflejen sus relaciones y dependencias. Los DAG se crean en secuencias de comandos de Python, que definen la estructura del DAG (tareas y sus dependencias) mediante el código.

Cada tarea en un DAG puede representar casi todo. Por ejemplo, una tarea puede realizar cualquiera de las siguientes funciones:

  • Prepara datos para la transferencia
  • Supervisa una API
  • Envía un correo electrónico
  • Ejecuta una canalización

Un DAG no debería preocuparse por la función de cada tarea constituyente, su propósito es garantizar que cada tarea se ejecute en el momento correcto, en el orden adecuado o con el control correcto de problemas.

Para obtener más información sobre los DAG y las tareas, consulta la documentación de Apache Airflow.

Entornos

Para ejecutar flujos de trabajo, primero debes crear un entorno. Airflow depende de muchos microservicios que se ejecuten, por lo que Cloud Composer aprovisiona componentes de Google Cloud para ejecutar tus flujos de trabajo. En conjunto, estos componentes se conocen como un entorno de Cloud Composer.

Los entornos son implementaciones autónomas de Airflow basadas en Google Kubernetes Engine y funcionan con otros servicios de Google Cloud mediante conectores integrados en Airflow. Puedes crear uno o más entornos en un solo proyecto de Google Cloud. Puedes crear entornos de Cloud Composer en cualquier región compatible.

Para obtener información detallada sobre los componentes de un entorno, consulta Arquitectura del entorno de Cloud Composer.

¿Qué sigue?