Configurar Controles de Servicio de VPC

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Controles de Servicio de VPC permite a las organizaciones definir un perímetro alrededor de los recursos deGoogle Cloud para mitigar el riesgo de filtración externa de datos.

Los entornos de Cloud Composer se pueden desplegar en un perímetro de servicio. Si configuras tu entorno con Controles de Servicio de VPC, puedes mantener la confidencialidad de los datos sensibles y, al mismo tiempo, beneficiarte de las funciones de orquestación de flujos de trabajo totalmente gestionadas de Cloud Composer.

La compatibilidad de Controles de Servicio de VPC con Cloud Composer implica lo siguiente:

• Ahora se puede seleccionar Cloud Composer como servicio seguro dentro de un perímetro de Controles de Servicio de VPC.
• Todos los recursos subyacentes que usa Cloud Composer están configurados para admitir la arquitectura de Controles de Servicio de VPC y seguir sus reglas.

Al implementar entornos de Cloud Composer con Controles de Servicio de VPC, obtienes lo siguiente:

• Se reduce el riesgo de filtración externa de datos.
• Protección frente a la exposición de datos debido a controles de acceso mal configurados.
• Se reduce el riesgo de que usuarios malintencionados copien datos en recursos no autorizados o de que atacantes externos accedan a recursos desde Internet.Google Cloud Google Cloud

Acerca de los Controles de Servicio de VPC en Cloud Composer

• Todas las restricciones de red de Controles de Servicio de VPC también se aplican a tus entornos de Cloud Composer. Para obtener más información, consulta la documentación de Controles de Servicio de VPC.

• Se puede mostrar una plantilla renderizada con funciones en la interfaz de usuario web con la serialización de DAG habilitada en entornos que ejecuten Cloud Composer 1.12.0 o versiones posteriores y Airflow 1.10.9 o versiones posteriores.

• No se admite definir la marca async_dagbag_loader en True mientras la serialización de DAG esté habilitada.

• Si habilitas la serialización de DAGs, se inhabilitarán todos los complementos del servidor web de Airflow, ya que podrían poner en riesgo la seguridad de la red VPC en la que se ha implementado Cloud Composer. Esto no afecta al comportamiento de los complementos del programador o del trabajador, incluidos los operadores y sensores de Airflow.

• Si un entorno de Cloud Composer está protegido por un perímetro, el acceso a los repositorios públicos de PyPI estará restringido. Para obtener más información, consulta el artículo sobre cómo instalar paquetes de PyPI en Controles de Servicio de VPC.

• Si tu entorno usa redes de IP privadas, todo el tráfico interno se dirige a tu red de VPC, excepto el tráfico a las APIs, los servicios y los dominios de Google que estén disponibles para los entornos de IP privada a través del acceso privado de Google.

• En función de cómo configures tu red de VPC, un entorno de IP privada puede obtener acceso a Internet a través de tu red de VPC.

• En el modo Controles de Servicio de VPC, Cloud Composer ejecuta dos instancias del servidor web de Airflow. Identity-Aware Proxy balancea la carga del tráfico de usuarios entre estas instancias. Los servidores web de Airflow se ejecutan en modo de solo lectura, lo que significa que:

  • La opción Serialización de DAGs está habilitada. Por lo tanto, el servidor web de Airflow no analiza los archivos DAG.

  • Los complementos no se sincronizan con el servidor web, por lo que no puede modificar ni ampliar las funciones del servidor web con complementos.

  • El servidor web de Airflow usa una imagen de contenedor creada previamente por el servicio Cloud Composer. Si instalas imágenes de PyPI en tu entorno, estas imágenes no se instalarán en la imagen de contenedor del servidor web.

  Precaución: En Cloud Composer 1, se puede acceder al endpoint del servidor web desde fuera del perímetro, independientemente de la configuración del nivel de acceso. Te recomendamos que protejas el acceso al servidor web de Airflow restringiendo el acceso al servidor web a intervalos de IP específicos.

Crear entornos en un perímetro

Para desplegar Cloud Composer dentro de un perímetro, debes seguir estos pasos:

1. Habilita las APIs Access Context Manager y Cloud Composer en tu proyecto. Consulta la sección Habilitar APIs.

2. Asegúrate de que tu perímetro de servicio tenga los siguientes servicios accesibles de VPC. De lo contrario, es posible que no se cree tu entorno:

   • API de Cloud Composer (composer.googleapis.com)
   • API de Compute Engine (compute.googleapis.com)
   • API de Kubernetes Engine (container.googleapis.com)
   • API de Container Registry (containerregistry.googleapis.com)
   • API de Artifact Registry (artifactregistry.googleapis.com)
   • API de Cloud Storage (storage.googleapis.com)
   • API Admin de Cloud SQL (sqladmin.googleapis.com)
   • API de Cloud Logging (logging.googleapis.com)
   • API de Cloud Monitoring (monitoring.googleapis.com)
   • API de Cloud Pub/Sub (pubsub.googleapis.com)
   • API Cloud Resource Manager (cloudresourcemanager.googleapis.com)
   • API Service Directory (servicedirectory.googleapis.com)
   • API de Cloud Key Management Service (cloudkms.googleapis.com), si usas claves de Cloud KMS o CMEK.
   • API Secret Manager (secretmanager.googleapis.com), si usas Secret Manager como backend de secretos.
   Advertencia: En todas las versiones de Cloud Composer 1, si incluyes la API Cloud Identity-Aware Proxy (iap.googleapis.com) o la API Identity-Aware Proxy TCP (iaptunnel.googleapis.com) en tu perímetro, no se podrán crear entornos de Cloud Composer. Para solucionar este problema, consulta No se puede crear el entorno en proyectos con Controles de Servicio de VPC habilitado.

3. Crea un entorno de Cloud Composer con la opción IP privada habilitada. Ten en cuenta que esta opción debe configurarse durante la creación del entorno.

   • Usa la versión composer-1.10.4 o una posterior.

   • Asegúrate de que la serialización de DAGs esté habilitada. Si tu entorno usa la versión 1.15.0 de Cloud Composer o una posterior, la serialización está habilitada de forma predeterminada.

   • Cuando crees tu entorno, recuerda configurar el acceso al servidor web de Airflow. Para mejorar la protección, permite el acceso al servidor web solo desde intervalos de IP específicos. Para obtener más información, consulta Configurar el acceso a la red del servidor web.

Añadir un entorno a un perímetro

• Ya has creado o configurado el perímetro como se describe en la sección anterior.
• Tu entorno usa IPs privadas.
• Tus entornos tienen habilitada la serialización de DAGs.

Instalar paquetes de PyPI en Controles de Servicio de VPC

En la configuración predeterminada de Controles de Servicio de VPC, Cloud Composer solo admite la instalación de paquetes de PyPI desde repositorios privados a los que se puede acceder desde el espacio de direcciones IP internas de la red de VPC.

Instalar desde un repositorio privado

La configuración recomendada es configurar un repositorio privado de PyPI:

1. Rellénalo con los paquetes verificados que usa tu organización y, a continuación, configura Cloud Composer para instalar dependencias de Python desde un repositorio privado.

2. Concede permisos adicionales para instalar paquetes de repositorios privados a la cuenta de servicio de tu entorno, tal como se describe en Control de acceso.

Instalar desde un repositorio público

Precaución: Cuando utilices esta configuración, asegúrate de que conoces los riesgos de usar repositorios externos. Asegúrate de que confías en el contenido y la integridad de los repositorios externos, ya que estas conexiones se pueden usar como vector de exfiltración.

Repositorio remoto

Este es el método recomendado para instalar paquetes desde un repositorio público.

Para instalar paquetes de PyPI desde repositorios que no estén en el espacio de IP privada, sigue estos pasos:

1. Crea un repositorio remoto de Artifact Registry.
2. Concede a este repositorio acceso a las fuentes upstream.
3. Configura Airflow para instalar paquetes desde un repositorio de Artifact Registry.
4. Concede permisos adicionales para instalar paquetes de repositorios de Artifact Registry en la cuenta de servicio de tu entorno, tal como se describe en Control de acceso.

Conexiones externas

Para instalar paquetes de PyPI desde repositorios que no estén en el espacio de IP privada, sigue estos pasos:

1. Configura Cloud NAT para permitir que Cloud Composer, que se ejecuta en el espacio de IP privada, se conecte con repositorios PyPI externos.

2. Configura tus reglas de cortafuegos para permitir las conexiones salientes del clúster de Composer al repositorio.

Configurar la conectividad con las APIs y los servicios de Google

En una configuración de Controles de Servicio de VPC, para controlar el tráfico de red, configure el acceso a las APIs y los servicios de Google a través de restricted.googleapis.com. Este dominio bloquea el acceso a las APIs y los servicios de Google que no admiten Controles de Servicio de VPC.

Los entornos de Cloud Composer usan los siguientes dominios:

• *.googleapis.com se usa para acceder a otros servicios de Google.

• *.pkg.dev se usa para obtener imágenes de entorno, como al crear o actualizar un entorno.

• *.gcr.io GKE requiere conectividad con el dominio de Container Registry, independientemente de la versión de Cloud Composer.

Nota: Si no configuras reglas de DNS para las APIs y los servicios de Google, se resolverán mediante la opción de dominio para los dominios predeterminados.

Configura la conectividad con el endpoint restricted.googleapis.com:

Dominio	Nombre de DNS	Registro CNAME	Registro A
*.googleapis.com	googleapis.com.	Nombre de DNS: *.googleapis.com. Tipo de registro de recursos: CNAME Nombre canónico: googleapis.com.	Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.pkg.dev	pkg.dev.	Nombre de DNS: *.pkg.dev. Tipo de registro de recursos: CNAME Nombre canónico: pkg.dev.	Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.gcr.io	gcr.io.	Nombre de DNS: *.gcr.io. Tipo de registro de recursos: CNAME Nombre canónico: gcr.io.	Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Para crear una regla de DNS, sigue estos pasos:

1. Crea una zona DNS y usa Nombre de DNS como nombre de DNS de esta zona.

   Ejemplo: pkg.dev.

2. Añade un conjunto de registros para Registro CNAME.

   Ejemplo:

   • Nombre de DNS: *.pkg.dev.
   • Tipo de registro de recursos: CNAME
   • Nombre canónico: pkg.dev.

3. Añade un conjunto de registros con un registro A:

   Ejemplo:

   • Tipo de registro de recursos: A
   • Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Para obtener más información, consulta el artículo sobre cómo configurar la conectividad privada en servicios y APIs de Google.

Configurar reglas de cortafuegos

Si tu proyecto tiene reglas de cortafuegos que no son las predeterminadas, como reglas que anulan las reglas de cortafuegos implícitas o que modifican las reglas predefinidas de la red predeterminada, verifica que las siguientes reglas de cortafuegos estén configuradas.

Por ejemplo, Cloud Composer podría no crear un entorno si tienes una regla de firewall que deniega todo el tráfico de salida. Para evitar problemas, define reglas allow selectivas que sigan la lista y tengan una prioridad mayor que la regla deny global.

Importante: En función de cómo se configuren las reglas de cortafuegos en tu proyecto, la siguiente lista de reglas podría ser redundante. Por ejemplo, si tus reglas de cortafuegos solo bloquean el tráfico de entrada, no necesitas las reglas de salida que se indican.

Configura tu red de VPC para permitir el tráfico de tu entorno:

• Consulta Usar reglas de cortafuegos para saber cómo comprobar, añadir y actualizar reglas de tu red de VPC.
• Usa la herramienta de conectividad para validar la conectividad entre intervalos de IP.
• Puede usar etiquetas de red para limitar aún más el acceso. Puede definir estas etiquetas al crear un entorno.

Descripción	Dirección	Acción	Origen o destino	Protocolos	Puertos
DNS Configurar como se describe en Compatibilidad con Controles de Servicio de VPC para Cloud DNS	-	-	-	-	-
APIs y servicios de Google	Salida	Permitir	Direcciones IPv4 de restricted.googleapis.com que uses para las APIs y los servicios de Google.	TCP	443
Nodos del clúster del entorno	Salida	Permitir	Intervalo de direcciones IP principales de la subred del entorno	TCP, UDP	todos
Pods de clúster del entorno	Salida	Permitir	Intervalo de direcciones IP secundario para los pods de la subred del entorno	TCP, UDP	todos
Plano de control del clúster del entorno	Salida	Permitir	Intervalo de IPs del plano de control de GKE	TCP, UDP	todos
Servidor web	Salida	Permitir	Intervalo de IP de red del servidor web	TCP	3306, 3307

Precaución: El servicio de GKE crea automáticamente una serie de reglas de cortafuegos de entrada y salida para que el clúster de tu entorno funcione correctamente (por ejemplo, las reglas de entrada y salida de Google Cloud comprobaciones de estado). Consulta la página Reglas de cortafuegos de GKE para obtener más información y no elimines ni bloquees las reglas de cortafuegos creadas por los servicios de GKE. Puede que veas que tu entorno se comunica con el intervalo de IPs 34.126.0.0/18, que es un intervalo de IPs de acceso privado de Google. Este tráfico pertenece al servicio de GKE que usa el clúster del entorno.

Para obtener los intervalos de IPs del clúster del entorno, sigue estos pasos:

• Los intervalos de direcciones de pods, servicios y planos de control están disponibles en la página Clústeres del clúster de tu entorno:

  1. En la Google Cloud consola, ve a la página Entornos.

     Ir a Entornos

  2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página Detalles del entorno.

  3. Ve a la pestaña Configuración del entorno.

  4. Sigue el enlace Ver los detalles del clúster.

• Puede ver el intervalo de IPs del servidor web del entorno en la pestaña Configuración del entorno.

• Puedes ver el ID de red del entorno en la pestaña Configuración del entorno. Para obtener los intervalos de IP de una subred, ve a la página Redes de VPC y haz clic en el nombre de la red para ver los detalles:

  Ir a redes de VPC

Registros de Controles de Servicio de VPC

Cuando solucionas problemas de creación de entornos, puedes analizar los registros de auditoría generados por Controles de Servicio de VPC.

Además de otros mensajes de registro, puedes consultar los registros para obtener información sobre [e-mail] y [e-mail] cuentas de servicio que configuran componentes de tus entornos.

El servicio Cloud Composer usa la cuenta de servicio [e-mail] para gestionar los componentes del proyecto de arrendatario de tus entornos.

La cuenta de servicio [e-mail], también conocida como cuenta de servicio del agente de servicio de Composer, gestiona los componentes del entorno en los proyectos de servicio y host.

Siguientes pasos

• Crear entornos
• Instalar paquetes de PyPI