Ir a
Cloud Composer

Cloud Composer

Un servicio de organización de flujos de trabajo totalmente administrado y basado en Apache Airflow.

Los clientes nuevos obtienen $300 en créditos gratuitos para gastar en Composer o en otros productos de Google Cloud durante los primeros 90 días.

  • Crea, programa y supervisa canalizaciones que abarcan entornos híbridos y de múltiples nubes.

  • Se basa en el proyecto de código abierto de Apache Airflow y se opera mediante Python.

  • Evita los compromisos y es fácil de usar.

  • Nueva compatibilidad con Apache Airflow 3 (en versión preliminar)

Beneficios

Organización de flujos de trabajo completamente administrada

La naturaleza administrada de Cloud Composer y la compatibilidad con Apache Airflow te permiten enfocarte en la creación, programación y supervisión de flujos de trabajo, en lugar de hacerlo en el aprovisionamiento de recursos.

Integración a otros productos de Google Cloud

La integración de extremo a extremo a productos de Google Cloud como BigQuery, Dataflow, Dataproc, Datastore, Cloud Storage, Pub/Sub y AI Platform brinda a los usuarios la libertad de organizar sus canalizaciones por completo.

Compatibilidad con nubes híbridas y múltiples

Crea, programa y supervisa flujos de trabajo mediante una única herramienta de organización, ya sea que la canalización se encuentre a nivel local, en múltiples nubes o resida en Google Cloud por completo.

Características clave

Características clave

Nubes híbridas y múltiples

Facilita la transición a la nube o el mantenimiento de un entorno de datos híbrido mediante la organización de flujos de trabajo que funcionen tanto de forma local como en la nube pública. Crea flujos de trabajo que conecten los datos, el procesamiento y los servicios entre diversas nubes para obtener un entorno de datos unificado.

Código abierto

Cloud Composer se basa en Apache Airflow, lo que brinda a los usuarios portabilidad y evita que dependan de un solo proveedor. Este proyecto de código abierto, al que Google hace aportes, evita que los clientes dependan de un proveedor y ofrece integración con una gran cantidad de plataformas, que crecerán a la par de la comunidad de Airflow.

Organización sencilla

Las canalizaciones de Cloud Composer se configuran como grafos acíclicos dirigidos (DAG) mediante Python, por lo que cualquier usuario lo encontrará sencillo. La implementación con un solo clic proporciona acceso instantáneo a una extensa biblioteca de conectores y diversas representaciones gráficas del flujo de trabajo en acción, lo que facilita la solución de problemas. La sincronización automática de tus grafos acíclicos dirigidos garantiza que los trabajos se mantengan dentro de lo programado.

Mejorar la forma en que se crean, administran y supervisan los flujos de trabajo de datos

Las mejoras clave incluyen el control de versiones de DAG para la auditabilidad y reversiones confiables, además de reabastecimientos administrados por el programador para un reprocesamiento más simple de datos históricos. Una nueva API y SDK de ejecución de tareas allanan el camino para la compatibilidad con varios lenguajes y entornos de tareas aislados en el futuro. Los usuarios se benefician de una IU más rápida y moderna basada en React con navegación mejorada. La programación planificada basada en eventos apunta a canalizaciones más reactivas y casi en tiempo real. El Edge Executor optimiza la ejecución de tareas remotas, y una CLI dividida (airflow/airflowctl) ofrece una experiencia de línea de comandos más clara para el desarrollo y las operaciones.

Documentación

Documentación

Google Cloud Basics

Descripción general de Cloud Composer

Obtén una descripción general del entorno de Cloud Composer y de los productos de Google Cloud que se usan en una implementación de Apache Airflow.
Architecture

Usa una canalización de CI/CD para tu flujo de trabajo de procesamiento de datos

Descubre cómo configurar una canalización de integración continua/implementación continua (CI/CD) para procesar datos con productos administrados en Google Cloud.
Pattern

Entorno de IP privada de Cloud Composer

Obtén información para usar un entorno de IP privada de Cloud Composer.
Tutorial

Escribe DAG (flujos de trabajo)

Obtén información sobre cómo escribir un grafo acíclico dirigido (DAG) por Apache Airflow que se ejecuta en un entorno de Cloud Composer.
Tutorial

Google Cloud Skills Boost: Data Engineering on Google Cloud

En esta clase de cuatro días dictada por un instructor, se proporciona a los participantes una introducción práctica al diseño y la compilación de canalizaciones de datos en Google Cloud.

¿No encuentras lo que buscas?

Casos de uso

Casos de uso

Caso de uso
Explora casos de uso para Cloud Composer
  • Organización de canalizaciones de datos (ETL/ELT): Automatización de flujos de trabajo de datos complejos, incluidos trabajos de extracción, transformación y carga (ETL/ELT), y administración de dependencias entre tareas.
  • MLOps y flujos de trabajo de aprendizaje automático: Organización del ciclo de vida de extremo a extremo del AA, desde la preparación de datos y el entrenamiento o la evaluación de modelos hasta la implementación y la supervisión.
  • Automatización de la inteligencia empresarial (IE): Programación de extracciones de datos para herramientas de IE, automatización de la generación de informes y actualización de paneles.
  • Automatización de la infraestructura y DevOps: Automatización de tareas de infraestructura en la nube como el aprovisionamiento y el retiro de clústeres, el envío de trabajos y la administración de procesos de lanzamiento de CI/CD.
  • Integración de datos híbrida y de múltiples nubes: Coordinación de flujos de datos en diversas fuentes, incluidos otros proveedores de servicios en la nube y centros de datos locales, para crear conjuntos de datos unificados.
Genera una solución
¿Qué problema intentas resolver?
What you'll get:
Guía paso a paso
Arquitectura de referencia
Soluciones previamente compiladas disponibles
Este servicio se creó con Vertex AI. Debes ser mayor de 18 años para usarlo. No ingreses información sensible, confidencial ni personal.

Todas las características

Todas las funciones

Múltiples nubes
Crea flujos de trabajo que conectan los datos, el procesamiento y los servicios en múltiples nubes para obtener un entorno de datos unificado.
Código abierto
Cloud Composer se basa en Apache Airflow, lo que brinda a los usuarios portabilidad y evita que dependan de un solo proveedor.
Híbrido
Facilita la transición a la nube o el mantenimiento de un entorno de datos híbrido mediante la organización de flujos de trabajo que funcionen tanto de forma local como en la nube pública.
Integración
Integración incorporada en BigQuery, Dataflow, Dataproc, Datastore, Cloud Storage, Pub/Sub, AI Platform y más, lo que brinda la posibilidad de organizar por completo las cargas de trabajo de Google Cloud.
Lenguaje de programación Python
Aprovecha las habilidades de Python existentes para crear y programar flujos de trabajo de forma dinámica dentro de Cloud Composer.
Confiabilidad
Aumenta la confiabilidad de tus flujos de trabajo a través de grafos fáciles de usar para supervisar y solucionar la causa raíz de un problema.
Completamente administrado
Dado que Cloud Composer es un servicio administrado, te permite enfocarte en crear, programar y supervisar tus flujos de trabajo en lugar de aprovisionar recursos.
Herramientas de redes y seguridad

Durante la creación del entorno, Cloud Composer proporciona las siguientes opciones de configuración: IP privada, VPC compartida, Control del servicio de VPC, compatibilidad con la encriptación de CMEK y mucho más.

Precios

Precios

Los precios de Cloud Composer se determinan según el consumo. Es decir, pagas por lo que usas en términos de CPU virtual por hora, GB por mes y GB transferidos por mes. Contamos con diversas unidades de precios, ya que Cloud Composer usa distintos productos de Google Cloud como componentes básicos.

El precio es uniforme en todos los niveles de consumo y uso sostenido. Para obtener más información, consulta la página de precios.

Da el siguiente paso

Comienza a desarrollar en Google Cloud con el crédito gratis de $300 y los más de 20 productos del nivel Siempre gratuito.

Cloud Composer
Google Cloud