Esta página se ha traducido con Cloud Translation API.
Switch to English

Funciones de Cloud Composer

En esta página, se proporciona una descripción general de las funciones y capacidades de Cloud Composer.

Cloud Composer es un servicio administrado de Apache Airflow que te ayuda a crear, programar, supervisar y administrar flujos de trabajo.

Entornos de Airflow

Un entorno de Cloud Composer es un wrapper en Apache Airflow. Cloud Composer crea los siguientes componentes para cada entorno:

  • Clúster de GKE: El programador, los trabajadores y la cola de Redis de Airflow se ejecutan como cargas de trabajo de GKE en un solo clúster y son responsables de procesar y ejecutar los DAG. El clúster también aloja otros componentes de Cloud Composer, como Composer Agent y Airflow Monitoring, que ayudan a administrar el entorno de Cloud Composer, recopilar registros a fin de almacenar en Cloud Logging y recopilar métricas para subir a Cloud Monitoring.
  • Servidor web: el servidor web ejecuta la interfaz web de Apache Airflow y Identity-Aware Proxy la protege. Para obtener más información, consulta la Interfaz web de Airflow.
  • Base de datos: la base de datos contiene los metadatos de Apache Airflow.
  • Depósito de Cloud Storage: Cloud Composer asocia un depósito de Cloud Storage con el entorno. El depósito asociado almacena los DAG, los registros, los complementos personalizados y los datos del entorno. Para obtener más información sobre el depósito de almacenamiento de Cloud Composer, consulta Datos almacenados en Cloud Storage.

Administración de Airflow

Para acceder y administrar tus entornos de Airflow, puedes usar las siguientes herramientas nativas de Airflow:

  • Interfaz web: puedes acceder a la interfaz web de Airflow desde Google Cloud Console o mediante una URL directa con los permisos correspondientes. Para obtener más información, consulta la Interfaz web de Airflow.
  • Herramientas de línea de comandos: después de instalar el SDK de Cloud, puedes ejecutar comandos gcloud composer environments para emitir comandos de línea de comandos de Airflow en entornos de Cloud Composer. Para obtener más información, consulta la Interfaz de línea de comandos de Airflow.

Además de las herramientas nativas, las API de REST y RPC de Cloud Composer proporcionan acceso programático a tus entornos de Airflow. Para obtener más información, consulta API y referencias.

Configuración de Airflow

En general, la configuración que proporciona Cloud Composer para Apache Airflow es la misma que la configuración para una implementación de Airflow alojada localmente. Algunos parámetros de configuración de Airflow están preconfigurados en Cloud Composer, y no puedes cambiar las propiedades de configuración. Especificas otros parámetros de configuración cuando creas o actualizas tu entorno. Para obtener más información, consulta Configuración de Airflow bloqueada.

DAG de Airflow (flujos de trabajo)

Un DAG de Apache Airflow es un flujo de trabajo: un conjunto de tareas con dependencias de tareas adicionales. Cloud Composer usa Cloud Storage para almacenar DAG. Para agregar o quitar un DAG de tu entorno de Cloud Composer, agrega o quita los DAG del depósito de Cloud Storage asociado con el entorno. Una vez que transfieres los DAG al bucket de almacenamiento, los DAG se agregan automáticamente y se programan en tu entorno.

Además de programar los DAG, puedes activar los DAG de forma manual o en respuesta a eventos, como los cambios que ocurren en el bucket asociado de Cloud Storage. Para obtener más información, consulta cómo activar los DAG.

Complementos

Puedes instalar complementos personalizados, como operadores internos y personalizados de Apache Airflow, hooks, sensores o interfaces en tu entorno de Cloud Composer. Para obtener más información, consulta como instalar complementos personalizados.

Dependencias de Python

Puedes instalar dependencias de Python desde el Índice de paquetes de Python en tu entorno o desde un repositorio de paquetes privado. Para obtener más información, consulta cómo instalar dependencias de Python.

Si las dependencias no están en el índice del paquete, también puedes usar la función complementos.

Control de acceso

Puedes administrar la seguridad a nivel de proyecto de Google Cloud y asignar funciones de administración de identidades y accesos (IAM) que impiden a usuarios individuales modificar o crear entornos. Si alguien no tiene acceso a tu proyecto o no tiene una función apropiada de IAM de Cloud Composer, esa persona no podrá acceder a ninguno de tus entornos. Para obtener más información, consulta el Control de acceso de Cloud Composer.

Registros y supervisión

Puedes ver los registros de Airflow asociados con tareas de DAG individuales en la interfaz web de Airflow y la carpeta logs en el depósito asociado de Cloud Storage.

Los registros de transmisión están disponibles para Cloud Composer. Puedes acceder a los registros de transmisión en el visor de registros en Google Cloud Console y a través del paquete de operaciones de Google Cloud. Para obtener información sobre cómo usar el paquete de operaciones de Google Cloud, consulta cómo supervisar los entornos de Cloud Composer.

Cloud Composer también proporciona registros de auditoría, como los registros de auditoría de la actividad de administrador, para tus proyectos de Google Cloud. Para obtener más información, consulta cómo ver los registros de auditoría.

Herramientas de redes y seguridad

De forma predeterminada, Cloud Composer implementa un clúster de GKE basado en rutas que usa la red de VPC predeterminada para las comunicaciones de la máquina. Para mayor seguridad y flexibilidad de redes, Cloud Composer también admite las siguientes funciones.

VPC compartida

La VPC compartida permite la administración de recursos compartidos de red desde un proyecto host central para aplicar políticas de red coherentes en todos los proyectos.

Cuando Cloud Composer participa en una VPC compartida, el entorno de Cloud Composer se encuentra en un proyecto de servicio y puede invocar servicios alojados en otros proyectos de Google Cloud. Los recursos dentro de tus proyectos de servicio se comunican de forma segura a través de los límites del proyecto mediante direcciones IP internas. Para conocer los requisitos del proyecto de red y de host, consulta cómo configurar una VPC compartida.

Entorno de Cloud Composer nativo de la VPC

Con la VPC nativa, las direcciones IP de pod y servicio en el clúster de GKE se pueden enrutar de forma nativa dentro de la red de Google Cloud, incluso a través del intercambio de tráfico entre redes de VPC.

En esta configuración, Cloud Composer implementa un clúster de GKE nativos de VPC con alias de direcciones IP en tu entorno. Cuando usas clústeres nativos de la VPC, GKE elige automáticamente un rango secundario. Para requisitos específicos de redes, también puedes configurar los rangos secundarios en tus pods y servicios de GKE durante la configuración del entorno de Cloud Composer.

Entorno de IP privada de Cloud Composer

Con la IP privada, los flujos de trabajo de Cloud Composer están completamente aislados de Internet pública.

En esta configuración, Cloud Composer implementa un clúster de GKE nativo de VPC con alias de direcciones IP en el proyecto de cliente. El clúster de GKE para tu entorno está configurado como un clúster privado y la instancia de Cloud SQL está configurada para una IP privada. Cloud Composer también crea una conexión de intercambio de tráfico entre la red de VPC de tu proyecto de cliente y la red de VPC de tu proyecto de usuario.