Cloud Composer 1 está en el modo posterior al mantenimiento. Google no lanzará más actualizaciones de Cloud Composer 1, incluidas nuevas versiones de Airflow, correcciones de errores y actualizaciones de seguridad. Te recomendamos planificar la migración a Cloud Composer 2.

Se usó la API de Cloud Translation para traducir esta página.

Configurar los Controles del servicio de VPC

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Los Controles del servicio de VPC permiten que las organizaciones definan un perímetro alrededor de los recursos deGoogle Cloud para mitigar los riesgos de robo de datos.

Los entornos de Cloud Composer se pueden implementar dentro de un perímetro de servicio. Cuando configuras tu entorno con los Controles del servicio de VPC, puedes mantener la privacidad de los datos sensibles mientras aprovechas las capacidades de organización de flujos de trabajo completamente administradas de Cloud Composer.

La compatibilidad con los Controles del servicio de VPC para Cloud Composer significa lo siguiente:

Ahora se puede seleccionar Cloud Composer como un servicio protegido dentro del perímetro de los Controles del servicio de VPC.
Todos los recursos subyacentes que usa Cloud Composer se configuran para admitir la arquitectura de los Controles del servicio de VPC y seguir sus reglas.

Implementar entornos de Cloud Composer con los Controles del servicio de VPC te proporciona lo siguiente:

Reducción del riesgo de robo de datos
Protección contra la exposición de datos debido a controles de acceso mal configurados
Reducción del riesgo de que usuarios maliciosos copien datos a recursosGoogle Cloud no autorizados, o ante atacantes externos que acceden a recursosGoogle Cloud desde Internet.

Acerca de los Controles del servicio de VPC en Cloud Composer

Todas las restricciones de red de los Controles del servicio de VPC también se aplicarán a tus entornos de Cloud Composer. Consulta la documentación de los Controles del servicio de VPC para obtener más información.

Si un entorno de Cloud Composer está protegido por un perímetro, se restringe el acceso a los repositorios públicos de PyPI. Consulta Instala paquetes de PyPI en los Controles del servicio de VPC para obtener más información.
Si tu entorno usa redes de IP privadas, todo el tráfico interno se enruta a tu red de VPC, excepto el tráfico a las APIs, los servicios y los dominios de Google que están disponibles para los entornos de IP privadas a través del Acceso privado a Google.
Según cómo configures tu red de VPC, un entorno de IP privada puede obtener acceso a Internet a través de tu red de VPC.
En el modo de Controles del servicio de VPC, el perímetro protege el acceso al servidor web y se bloquea el acceso desde fuera del perímetro. Para permitir el acceso desde fuera del perímetro de servicio, configura los niveles de acceso o las reglas de entrada y salida según sea necesario. Además, puedes restringir el acceso al servidor web a rangos de IP específicos.

Información acerca de la conectividad a los servicios y las APIs de Google en los Controles del servicio de VPC

Cloud Composer 3 enruta el tráfico a los servicios de Google a través de restricted.googleapis.com, lo que permite el acceso a las APIs, los servicios y los dominios de Google compatibles con este rango.

Para obtener más información y la lista de servicios y dominios disponibles a través de restricted.googleapis.com, consulta Configuración de red en la documentación de la nube privada virtual.

Cloud Composer 3 bloquea las llamadas a las APIs, los servicios y los dominios de Google que no están en la lista de APIs y servicios obligatorios. Si quieres llamar a una API desde un DAG, asegúrate de hacer lo siguiente:

Agrega el servicio a los servicios restringidos
Agrega el servicio a los servicios accesibles de VPC

Por ejemplo, si usas un operador de VertexAI, agrega aiplatform.googleapis.com a los servicios restringidos y a los servicios accesibles de VPC.

Para obtener más información, consulta Cómo administrar perímetros de servicio en la documentación de Controles del servicio de VPC.

Crea un perímetro de servicio

Consulta Crea un perímetro de servicio a fin de obtener información para crear y configurar perímetros de servicio. Asegúrate de seleccionar Cloud Composer como uno de los servicios protegidos dentro del perímetro.

Crea entornos en un perímetro

Se requieren los siguientes pasos para implementar Cloud Composer dentro de un perímetro:

Habilita la API de Access Context Manager y la API de Cloud Composer para tu proyecto. Consulta Habilita API para obtener referencia.
Asegúrate de que tu perímetro de servicio tenga los siguientes servicios de Google accesibles para la VPC. De lo contrario, es posible que no se cree tu entorno:
- API de Cloud Composer (composer.googleapis.com)
- API de Artifact Registry (artifactregistry.googleapis.com)
- API de Compute Engine (compute.googleapis.com)
- API de Kubernetes Engine (container.googleapis.com)
- API de Container File System (containerfilesystem.googleapis.com)
- API de Cloud DNS (dns.googleapis.com)
- API de Service Account Credentials (iamcredentials.googleapis.com)
- API de Cloud Logging (logging.googleapis.com)
- API de Cloud Monitoring (monitoring.googleapis.com)
- API de Cloud Pub/Sub (pubsub.googleapis.com)
- API de Administrador de Cloud SQL (sqladmin.googleapis.com)
- La API de Cloud Storage (storage.googleapis.com)
Crea un entorno nuevo de Cloud Composer:
1. Usa Google Cloud CLI para crear tu entorno.
2. Habilita la IP privada con el argumento --enable-private-environment.
3. Especifica los parámetros de acceso para el servidor web con argumentos --web-server-allow-all, --web-server-allow-ip o --web-server-deny-all. Para obtener más información sobre el uso de estos argumentos, consulta Crea entornos. Para mejorar la protección, solo permite el acceso al servidor web desde rangos de IP específicos.
4. No permitas la instalación de paquetes desde repositorios públicos de Internet con el argumento --enable-private-builds-only.
  
  Ejemplo:
```
gcloud composer environments create example-environment \
  --location us-central1 \
  --enable-private-environment \
  --web-server-allow-all \
  --enable-private-builds-only
```
De forma predeterminada, solo se permite el acceso a la IU y la API de Airflow desde el perímetro de seguridad. Si deseas que esté disponible fuera del perímetro de seguridad, configura los niveles de acceso o las reglas de entrada y salida.

Agrega un entorno existente al perímetro

Puedes agregar el proyecto que contiene tu entorno a un perímetro si tus entornos usan IP privadas y está inhabilitada la instalación de paquetes de PyPI desde repositorios públicos.

Para actualizar un entorno existente de Cloud Composer 3 a esta configuración, sigue estos pasos:

Asegúrate de haber creado o configurado el perímetro como se describe en la sección anterior.
Usa Google Cloud CLI para actualizar tu entorno.
Habilita la IP privada con el argumento --enable-private-environment.
No permitas la instalación de paquetes desde repositorios públicos de Internet con el argumento --enable-private-builds-only.
Si es necesario, configura el acceso al servidor web de Airflow. Para mejorar la protección, solo permite el acceso al servidor web desde rangos de IP específicos.

Ejemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment \
  --enable-private-builds-only

Instala paquetes de PyPI en los Controles del servicio de VPC

En la configuración predeterminada de los Controles del servicio de VPC, Cloud Composer solo admite la instalación de paquetes de PyPI desde repositorios privados a los que se puede acceder desde el espacio de direcciones IP internas de la red de VPC.

De forma predeterminada, todos los entornos de Cloud Composer dentro de un perímetro de los Controles del servicio de VPC no tienen acceso a los repositorios públicos de PyPI.

Instala desde un repositorio privado

La configuración recomendada es configurar un repositorio privado de PyPI:

Propágalo con los paquetes aprobados que usa tu organización y, luego, configura Cloud Composer para instalar dependencias de Python desde un repositorio privado.

Instala desde un repositorio público

Para instalar paquetes de PyPI desde un repositorio externo, sigue estos pasos:

Crea un repositorio remoto de Artifact Registry.
Otorgar a este repositorio acceso a las fuentes upstream
Configura Airflow para instalar paquetes desde un repositorio de Artifact Registry.

Registros de Controles del servicio de VPC

Cuando soluciones problemas relacionados con la creación de entornos, puedes analizar los registros de auditoría que generan los Controles del servicio de VPC.

Además de otros mensajes de registro, puedes consultar los registros para obtener información sobre las cuentas de servicio cloud-airflow-prod@system.gserviceaccount.com y service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com que configuran componentes de tus entornos.

El servicio de Cloud Composer usa la cuenta de servicio cloud-airflow-prod@system.gserviceaccount.com para administrar los componentes del proyecto del inquilino de tus entornos.

La cuenta de servicio service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com, también conocida como cuenta de servicio del agente de servicio de Composer, administra los componentes del entorno en los proyectos de servicio y host.