Configurar los Controles del servicio de VPC

Cloud Composer 1 | Cloud Composer 2

Los Controles del servicio de VPC permiten que las organizaciones definan un perímetro alrededor de los recursos de Google Cloud para mitigar riesgos de robo de datos.

Los entornos de Cloud Composer se pueden implementar dentro de un perímetro de servicio. Cuando configuras tu entorno con los Controles del servicio de VPC, puedes mantener la privacidad de los datos sensibles mientras aprovechas las capacidades de organización de flujos de trabajo completamente administradas de Cloud Composer.

La compatibilidad con los Controles del servicio de VPC para Cloud Composer significa lo siguiente:

• Ahora se puede seleccionar Cloud Composer como un servicio protegido dentro del perímetro de los Controles del servicio de VPC.
• Todos los recursos subyacentes que usa Cloud Composer se configuran para admitir la arquitectura de los Controles del servicio de VPC y seguir sus reglas.

Implementar entornos de Cloud Composer con los Controles del servicio de VPC te proporciona lo siguiente:

• Reducción del riesgo de robo de datos
• Protección contra la exposición de datos debido a controles de acceso mal configurados
• Reducción del riesgo de que usuarios maliciosos copien datos a recursos no autorizados de Google Cloud, o ante atacantes externos que acceden a recursos de Google Cloud desde Internet.

Nota: Si Cloud Composer está protegido por un perímetro, no puede comunicarse directamente con los recursos alojados fuera del perímetro. Esto también evita el acceso directo a repositorios públicos de PyPi que pueden ser necesarios para ciertos módulos de Python. Consulta la sección Instala paquetes de PyPI a continuación para obtener más detalles.

Servidor web de Airflow en modo de Controles del servicio de VPC

En el modo de los Controles del servicio de VPC, Cloud Composer ejecuta dos instancias del servidor web de Airflow. La carga de Identity-Aware Proxy balancea el tráfico de usuarios entre estas instancias. Los servidores web de Airflow se ejecutan en modo “de solo lectura”, lo que significa lo siguiente:

• La serialización del DAG está habilitada. Como resultado, el servidor web de Airflow no analiza los archivos de definición del DAG.

• Los complementos no se sincronizan con el servidor web, por lo que no puedes modificar ni extender la funcionalidad del servidor web con complementos.

• El servidor web de Airflow usa una imagen de contenedor ya compilada por el servicio de Cloud Composer. Si instalas imágenes de PyPI en tu entorno, estas no se instalan en la imagen del contenedor del servidor web.

Importante: Se puede acceder al extremo del servidor web desde fuera del perímetro, sin importar la configuración del nivel de acceso. Recomendamos proteger el acceso al servidor web de Airflow con las Listas de control de acceso (LCA) a la red. Puedes especificar los rangos de IP que pueden acceder al servidor web de Airflow para un entorno nuevo o existente.

Crea un perímetro de servicio

Consulta Crea un perímetro de servicio a fin de obtener información para crear y configurar perímetros de servicio. Asegúrate de seleccionar Cloud Composer como uno de los servicios protegidos dentro del perímetro.

Crea entornos en un perímetro

Hay pasos adicionales necesarios para implementar Cloud Composer dentro de un perímetro. Cuando creas tu entorno de Cloud Composer, sigue estos pasos:

1. Habilita la API de Access Context Manager y la API de Cloud Composer para tu proyecto. Consulta Habilita API para obtener referencia.

2. Asegúrate de que el perímetro de servicio tenga los siguientes servicios de VPC accesibles; de lo contrario, es posible que tu entorno no pueda crearse:

   • La API de Cloud Composer (composer.googleapis.com)
   • API de Compute Engine (compute.googleapis.com)
   • La API de Kubernetes Engine (container.googleapis.com)
   • API de Container Registry (containerregistry.googleapis.com)
   • API de Artifact Registry (artifactregistry.googleapis.com)
   • La API de Cloud Storage (storage.googleapis.com)
   • API de Administrador de Cloud SQL (sqladmin.googleapis.com)
   • API de Cloud Build (cloudbuild.googleapis.com)
   • La API de Cloud Logging (logging.googleapis.com)
   • La API de Cloud Monitoring (monitoring.googleapis.com)
   • API de Cloud Pub/Sub (pubsub.googleapis.com)
   • API de Cloud Resource Manager (cloudresourcemanager.googleapis.com)
   • La API de Service Directory (servicedirectory.googleapis.com)
   • La API de Cloud Key Management Service (cloudkms.googleapis.com), si usas Cloud KMS o claves CMEK
   • API de Secret Manager (secretmanager.googleapis.com), si usas Secret Manager como backend de Secret
   Advertencia: En todas las versiones de Cloud Composer 1, si incluyes la API de Cloud Identity-Aware Proxy (iap.googleapis.com) o la API de TCP de Identity-Aware Proxy (iaptunnel.googleapis.com) en tu perímetro, no se pueden crear entornos de Cloud Composer. Para solucionar este problema, consulta La creación del entorno falla en proyectos con los Controles del servicio de VPC habilitados.

3. Usa la versión composer-1.10.4 o una posterior.

4. Asegúrate de que la serialización del DAG esté habilitada. Si tu entorno usa la versión 1.15.0 y posteriores de Cloud Composer, la serialización está habilitada de forma predeterminada.

5. Crea un nuevo entorno de Cloud Composer con la IP privada habilitada. Ten en cuenta que esta configuración debe establecerse durante la creación del entorno.

6. Cuando crees tu entorno, recuerda configurar el acceso al servidor web de Airflow. Para obtener la máxima protección, solo permite el acceso al servidor web desde rangos de IP específicos. Para obtener más detalles, consulta Configura el acceso a la red del servidor web.

Configura entornos existentes con los Controles del servicio de VPC

Puedes agregar el proyecto que contiene tu entorno al perímetro si se cumplen las siguientes condiciones:

• Creaste el perímetro como se describe en la sección anterior.

• Tus entornos son entornos de IP privada.

• Tus entornos tienen habilitada la serialización del DAG.

Instala paquetes de PyPI

En la configuración predeterminada de los Controles del servicio de VPC, Cloud Composer solo admite la instalación de paquetes de PyPI desde repositorios privados a los que se puede acceder desde el espacio de direcciones IP privadas de la red de VPC. La configuración recomendada para este proceso es configurar un repositorio privado de PyPI, propagarlo con los paquetes aprobados que usa tu organización y, luego, Configurar Cloud Composer para instalar dependencias de Python desde un repositorio privado.

También es posible instalar paquetes de PyPI desde repositorios fuera del espacio de IP privada. Lleva a cabo los pasos siguientes:

1. Configura Cloud NAT para permitir que Cloud Composer se ejecute en el espacio de IP privada y se conecte con repositorios externos de PyPI.
2. Configura tus reglas de firewall para permitir conexiones salientes desde el clúster de Composer al repositorio.

Cuando uses esta configuración, asegúrate de comprender los riesgos de usar repositorios externos. Asegúrate de confiar en el contenido y la integridad de los repositorios externos, ya que estas conexiones podrían usarse como vectores de robo de datos.

Nota: La cuenta de servicio que se usa para el plano de datos de Cloud Composer debe tener las siguientes funciones de permisos: Composer.Worker y iam.serviceAccountUser.

Configura la conectividad con los servicios y las APIs de Google

En una configuración de Controles del servicio de VPC, para controlar el tráfico de red, configura el acceso a los servicios y las APIs de Google a través de restricted.googleapis.com. Este dominio bloquea el acceso a las APIs y los servicios de Google que no son compatibles con los Controles del servicio de VPC.

Los entornos de Cloud Composer usan los siguientes dominios:

• *.googleapis.com se usa para acceder a otros servicios de Google.

• *.pkg.dev se usa para obtener imágenes de entornos, como cuando se crea o se actualiza un entorno.

• *.gcr.io GKE requiere conectividad al dominio de Container Registry, independientemente de la versión de Cloud Composer.

Nota: Si no configuras reglas de DNS para los servicios y las APIs de Google, se resuelven con la opción de dominio para los dominios predeterminados.

Configura la conectividad con el extremo restricted.googleapis.com.

Dominio	Nombre de DNS	Registro CNAME	Registro A
*.googleapis.com	googleapis.com.	Nombre de DNS: *.googleapis.com. Tipo de registro de recursos: CNAME Nombre canónico: googleapis.com.	Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.pkg.dev	pkg.dev.	Nombre de DNS: *.pkg.dev. Tipo de registro de recursos: CNAME Nombre canónico: pkg.dev.	Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.gcr.io	gcr.io.	Nombre de DNS: *.gcr.io. Tipo de registro de recursos: CNAME Nombre canónico: gcr.io.	Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Para crear una regla DNS, sigue estos pasos:

1. Crea una zona del DNS nueva y usa el nombre de DNS como el nombre de DNS de esta zona.

   Ejemplo: pkg.dev.

2. Agrega un conjunto de registros para el registro CNAME.

   Ejemplo:

   • Nombre de DNS: *.pkg.dev.
   • Tipo de registro del recurso: CNAME
   • Nombre canónico: pkg.dev.

3. Usa lo siguiente para agregar un conjunto de registros con Registro A:

   Ejemplo:

   • Tipo de registro del recurso: A
   • Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Para obtener más información, consulta Configura la conectividad privada a los servicios y las APIs de Google.

Configura reglas de firewall

Si el proyecto tiene reglas de firewall no predeterminadas, como las que anulan las reglas de firewall implícitas o modifica las reglas prepropagadas en la red predeterminada, verifica que las siguientes reglas de firewall estén configuradas.

Por ejemplo, es posible que Cloud Composer no pueda crear un entorno si tienes una regla de firewall que rechaza todo el tráfico de salida. Para evitar problemas, define reglas allow selectivas que sigan la lista y tengan mayor prioridad que la regla deny global.

Importante: Según cómo estén configuradas las reglas de firewall en tu proyecto, la siguiente lista de reglas puede ser redundante. Por ejemplo, si tus reglas de firewall bloquean solo la entrada, no necesitas las reglas de salida de la lista.

Configura tu red de VPC para permitir el tráfico desde tu entorno:

• Consulta Usa reglas de firewall para aprender a verificar, agregar y actualizar reglas en tu red de VPC.
• Usa la Herramienta de conectividad para validar la conectividad entre rangos de IP.
• Puedes usar etiquetas de red para limitar aún más el acceso. Puedes establecer estas etiquetas cuando creas un entorno.

Descripción	Dirección	Acción	Origen o destino	Protocolos	Puertos
DNS Configura como se describe en Compatibilidad de los Controles del servicio de VPC con Cloud DNS	-	-	-	-	-
Servicios y APIs de Google	Salida	Permitir	Direcciones IPv4 de restricted.googleapis.com que usas para los servicios y las APIs de Google.	TCP	443
Nodos del clúster del entorno	Salida	Permitir	Rango de direcciones IP principal de la subred del entorno	TCP, UDP	todos
Pods del clúster del entorno	Salida	Permitir	Rango de direcciones IP secundario para Pods en la subred del entorno	TCP, UDP	todos
Plano de control del clúster del entorno	Salida	Permitir	Rango de IP del plano de control de GKE	TCP, UDP	todos
Servidor web	Salida	Permitir	Rango de IP de la red del servidor web	TCP	3306 o 3307

Precaución: El servicio de GKE crea automáticamente una serie de reglas de firewall de entrada y salida para que el clúster de tu entorno funcione de forma correcta (como las reglas de entrada y salida para las verificaciones de estado de Google Cloud). Consulta la página Reglas de firewall de GKE para obtener más información. No borres ni bloquees las reglas de firewall creadas por los servicios de GKE.

Para obtener los rangos de IP:

• Los rangos de direcciones del pod, el servicio y el plano de control están disponibles en la página Clústeres del clúster de tu entorno:

  1. En la consola de Google Cloud, ve a la página Entornos.

     Ir a Entornos

  2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

  3. Ve a la pestaña Configuración del entorno.

  4. Sigue el vínculo Ver detalles del clúster.

• Puedes ver el rango de IP del servidor web del entorno en la pestaña Configuración del entorno.

• Puedes ver el ID de red del entorno en la pestaña Configuración del entorno. Para obtener los rangos de IP de una subred, ve a la página Redes de VPC y haz clic en el nombre de la red para ver los detalles:

  Ir a Redes de VPC

Registros de los Controles del servicio de VPC

Cuando solucionas problemas de creación del entorno, puedes analizar los registros de auditoría generados por los Controles del servicio de VPC.

Además de otros mensajes de registro, puedes verificar los registros para obtener información sobre las cuentas de servicio [e-mail] y [e-mail] que configuran componentes de los entornos.

El servicio de Cloud Composer usa la cuenta de servicio [e-mail] para administrar los componentes de los proyectos de usuario de tus entornos.

La cuenta de servicio [e-mail], también conocida como Composer Service Agent Service Account, administra los componentes del entorno en proyectos host y de servicio.

Limitaciones

• Todas las restricciones de red de los Controles del servicio de VPC también se aplicarán a tus entornos de Cloud Composer. Consulta la documentación de los Controles del servicio de VPC para obtener más información.

• La visualización de una plantilla renderizada con funciones en la IU web con serialización de DAG habilitada es compatible con entornos que ejecutan la versión 1.12.0 o posteriores de Cloud Composer y la versión 1.10.9 o posteriores de Airflow.

• No se puede establecer la marca async_dagbag_loader en True mientras la serialización de DAG está habilitada.

• La habilitación de la serialización de DAG inhabilita todos los complementos del servidor web de Airflow, ya que podrían poner en riesgo la seguridad de la red de VPC, en la que se implementa Cloud Composer. Esto no afecta el comportamiento de los complementos de trabajador o programador, incluidos los sensores, operadores, etc. de Airflow.

• Cuando Cloud Composer se ejecuta dentro de un perímetro, se restringe el acceso a los repositorios públicos de PyPI. Consulta Instala dependencias de Python para obtener información sobre cómo instalar módulos de PyPi en modo de IP privada.