Funciones de Cloud Composer

En esta página, se proporciona una descripción general de las funciones y capacidades de Cloud Composer.

Cloud Composer es un servicio administrado de Apache Airflow que te ayuda a crear, programar, supervisar y administrar flujos de trabajo.

Entornos de Airflow

Un entorno de Cloud Composer es un wrapper en Apache Airflow. Cloud Composer crea los siguientes componentes para cada entorno:

  • Servidor web: el servidor web ejecuta la interfaz web de Apache Airflow y Identity-Aware Proxy la protege. Para obtener más información, consulta la Interfaz web de Airflow.
  • Base de datos: la base de datos contiene los metadatos de Apache Airflow.
  • Depósito de Cloud Storage: Cloud Composer asocia un depósito de Cloud Storage con el entorno. El depósito asociado almacena los DAG, los registros, los complementos personalizados y los datos del entorno. Para obtener más información sobre el depósito de almacenamiento de Cloud Composer, consulta Datos almacenados en Cloud Storage.

Administración de Airflow

Para acceder y administrar tus entornos de Airflow, puedes usar las siguientes herramientas nativas de Airflow:

  • Interfaz web: puedes acceder a la interfaz web de Airflow desde Google Cloud Console o mediante una URL directa con los permisos correspondientes. Para obtener más información, consulta la Interfaz web de Airflow.
  • Herramientas de línea de comandos: después de instalar el SDK de Cloud, puedes ejecutar comandos gcloud composer environments para emitir comandos de línea de comandos de Airflow en entornos de Cloud Composer. Para obtener más información, consulta la Interfaz de línea de comandos de Airflow.

Además de las herramientas nativas, las API de REST y RPC de Cloud Composer proporcionan acceso programático a tus entornos de Airflow. Para obtener más información, consulta API y referencias.

Configuración de Airflow

En general, la configuración que proporciona Cloud Composer para Apache Airflow es la misma que la configuración para una implementación de Airflow alojada localmente. Algunos parámetros de configuración de Airflow están preconfigurados en Cloud Composer, y no puedes cambiar las propiedades de configuración. Especificas otros parámetros de configuración cuando creas o actualizas tu entorno. Para obtener más información, consulta Configuración de Airflow bloqueada.

DAG de Airflow (flujos de trabajo)

Un DAG de Apache Airflow es un flujo de trabajo: un conjunto de tareas con dependencias de tareas adicionales. Cloud Composer usa Cloud Storage para almacenar DAG. Para agregar o quitar un DAG de tu entorno de Cloud Composer, agrega o quita los DAG del depósito de Cloud Storage asociado con el entorno. Una vez que transfieres los DAG al depósito de almacenamiento, los DAG se agregan automáticamente y se programan en tu entorno.

Además de programar los DAG, puedes activar los DAG de forma manual o en respuesta a eventos, como los cambios que ocurren en el depósito asociado de Cloud Storage. Para obtener más información, consulta cómo activar los DAG.

Complementos

Puedes instalar complementos personalizados, como operadores internos y personalizados de Apache Airflow, hooks, sensores o interfaces en tu entorno de Cloud Composer. Para obtener más información, consulta como instalar complementos personalizados.

Dependencias de Python

Puedes instalar dependencias de Python desde el Índice de paquetes de Python en tu entorno o desde un repositorio de paquetes privado. Para obtener más información, consulta cómo instalar dependencias de Python.

Si las dependencias no están en el índice del paquete, también puedes usar la función complementos.

Control de acceso

Administra la seguridad a nivel de proyecto de Google Cloud y puedes asignar funciones de Cloud Identity and Access Management (IAM) que evitan que los usuarios modifiquen o creen entornos. Si alguien no tiene acceso a tu proyecto o no tiene una función apropiada de IAM de Cloud Composer, esa persona no podrá acceder a ninguno de tus entornos. Para obtener más información, consulta el Control de acceso de Cloud Composer.

Registro y supervisión

Puedes ver los registros de Airflow asociados con tareas de DAG individuales en la interfaz web de Airflow y la carpeta logs en el depósito asociado de Cloud Storage.

Los registros de transmisión están disponibles para Cloud Composer. Puedes acceder a los registros de transmisión en el visor de registros en Google Cloud Console y a través del paquete de operaciones de Google Cloud. Para obtener información sobre cómo usar el paquete de operaciones de Google Cloud, consulta cómo supervisar los entornos de Cloud Composer.

Cloud Composer también proporciona registros de auditoría, como los registros de auditoría de la actividad de administrador, para tus proyectos de Google Cloud. Para obtener más información, consulta cómo ver los registros de auditoría.

Herramientas de redes y seguridad

Durante la creación del entorno, Cloud Composer ofrece las siguientes opciones de configuración:

Funciones aún no disponibles

Controles del servicio de VPC

Los controles del servicio de VPC habilitan la configuración del perímetro de servicio alrededor de recursos de VPC y servicios administrados por Google para controlar el movimiento de datos en el perímetro.

Actualmente, los controles del servicio de VPC no son compatibles con Cloud Composer.