Descripción general de las redes de Dataproc Metastore

En este documento, se proporciona una descripción general de la configuración de red que puedes usar para configurar un servicio de Dataproc Metastore.

Referencia rápida de temas sobre redes

Configuración de red Notas
Configuración de red predeterminada
Redes de VPC De forma predeterminada, los servicios de Dataproc Metastore usan redes de VPC para conectarse a Google Cloud.

Después de crear la red de VPC, Dataproc Metastore también configura automáticamente el intercambio de tráfico entre redes de VPC para tu servicio.
Subredes de VPC De manera opcional, puedes crear servicios de Dataproc Metastore con una subred de VPC mediante Private Service Connect. Esta es una alternativa al uso de redes de VPC.
Configuración de red adicional
Redes de VPC compartidas De manera opcional, puedes crear servicios de Dataproc Metastore en una red de VPC compartida.
Redes locales Puedes conectarte a un servicio de Dataproc Metastore con un entorno local a través de Cloud VPN o Cloud Interconnect.
Controles del servicio de VPC De manera opcional, puedes crear servicios de Dataproc Metastore con los Controles del servicio de VPC.
Reglas de firewall En entornos no predeterminados o privados con una huella de seguridad establecida, es posible que debas crear tus propias reglas de firewall.

Configuración de red predeterminada

En la siguiente sección, se describe la configuración de red predeterminada que usa Dataproc Metastore: redes de VPC y el intercambio de tráfico entre redes de VPC.

Redes de VPC

De forma predeterminada, los servicios de Dataproc Metastore usan redes de VPC para conectarse a Google Cloud. Una red de VPC es una versión virtual de una red física que se implementa en la red de producción de Google. Cuando creas un Dataproc Metastore, el servicio crea automáticamente la red de VPC por ti.

Si no cambias ningún parámetro de configuración cuando creas tu servicio, Dataproc Metastore usa la red de VPC default. Con este parámetro de configuración, la red de VPC que usas con tu servicio de Dataproc Metastore puede pertenecer al mismo proyecto de Google Cloud o a uno diferente. Este parámetro de configuración también te permite exponer tu servicio en una sola red de VPC o permitir que se acceda a él desde varias redes de VPC (mediante el uso de subredes).

Dataproc Metastore requiere lo siguiente por región para cada red de VPC:

Intercambio de tráfico entre redes de VPC

Después de crear la red de VPC, Dataproc Metastore también configura automáticamente el intercambio de tráfico entre redes de VPC para tu servicio. La VPC proporciona a tu servicio acceso a los protocolos de extremo de Dataproc Metastore. Después de crear tu servicio, podrás ver el intercambio de tráfico entre redes de VPC subyacente en la página Intercambio de tráfico entre redes de VPC en la consola de Google Cloud.

El intercambio de tráfico entre redes de VPC no es transitivo. Esto significa que solo las redes de intercambio de tráfico directo pueden comunicarse entre sí. Por ejemplo, considera la siguiente situación:

Tienes las siguientes redes: las redes de VPC N1, N2 y N3.

  • La red de VPC N1 está vinculada con N2 y N3.
  • Las redes de VPC N2 y N3 no están conectadas directamente.

¿Qué significa esto?

Esto significa que, a través del intercambio de tráfico entre redes de VPC, la red de VPC N2 no se puede comunicar con la red de VPC N3. Esto afecta a las conexiones de Dataproc Metastore de las siguientes maneras:

  • Las máquinas virtuales que se encuentran en redes vinculadas con la red de tu proyecto de Dataproc Metastore no pueden acceder a Dataproc Metastore.
  • Solo los hosts de la red de VPC pueden acceder a un servicio de Dataproc Metastore.

Consideraciones de seguridad del intercambio de tráfico entre redes de VPC

  • El tráfico a través del intercambio de tráfico entre redes de VPC se proporciona con un cierto nivel de encriptación. Para obtener más información, consulta Autenticación y encriptación de redes virtuales de Google Cloud.

  • Crear una red de VPC para cada servicio con una dirección IP interna proporciona un mejor aislamiento de red que colocar todos los servicios en la red de VPC default.

Subredes de VPC

Private Service Connect (PSC) te permite configurar una conexión privada a los metadatos de Dataproc Metastore en redes de VPC. Con PSC, puedes crear un servicio sin intercambio de tráfico entre VPC. Esto te permite usar tus propias direcciones IP internas para acceder a Dataproc Metastore, sin salir de tus redes de VPC ni usar direcciones IP externas.

Para configurar Private Service Connect cuando crees un servicio, consulta Private Service Connect con Dataproc Metastore.

Direcciones IP

Para conectarse a una red y ayudar a proteger tus metadatos, los servicios de Dataproc Metastore solo usan direcciones IP internas. Esto significa que las direcciones IP públicas no están expuestas ni están disponibles para fines de red.

Cuando se usa una dirección IP interna, Dataproc Metastore solo puede conectarse a máquinas virtuales (VM) que existen en redes de nube privada virtual (VPC) especificadas o a un entorno local.

Las conexiones a un servicio de Dataproc Metastore que usan una dirección IP interna usan los rangos de direcciones RFC 1918. El uso de estos rangos significa que Dataproc Metastore asigna un rango /17 y un rango /20 del espacio de direcciones para cada región. Por ejemplo, colocar servicios de Dataproc Metastore en dos regiones requiere que el rango de direcciones IP asignado contenga lo siguiente:

  • Al menos dos bloques de direcciones sin usar de tamaño /17
  • Al menos dos bloques de direcciones sin usar de tamaño /20

Si no se encuentran bloques de direcciones RFC 1918, Dataproc Metastore encontrará bloques de direcciones que no sean RFC 1918 adecuados. Ten en cuenta que la asignación de bloques que no son RFC 1918 no tiene en cuenta si esas direcciones están en uso en tu red de VPC o de forma local.

Configuración de red adicional

Si necesitas una configuración de red diferente, puedes usar las siguientes opciones con tu servicio de Dataproc Metastore.

Red compartida de VPC

Puedes crear servicios de Dataproc Metastore en una red de VPC compartida. Una VPC compartida te permite conectar recursos de Dataproc Metastore de varios proyectos a una red de VPC común.

Para configurar una VPC compartida cuando crees un servicio, consulta Crea un servicio de Dataproc Metastore.

Herramientas de redes locales

Puedes conectarte a un servicio de Dataproc Metastore con un entorno local a través de Cloud VPN o Cloud Interconnect.

Controles del servicio de VPC

Los Controles del servicio de VPC mejoran tu capacidad de mitigar el riesgo de robo de datos. Con los Controles del servicio de VPC, puedes crear perímetros alrededor del servicio de Dataproc Metastore. Los Controles del servicio de VPC restringen el acceso desde el exterior a los recursos que están dentro del perímetro. Solo los clientes y los recursos que se encuentran dentro del perímetro pueden interactuar entre sí.

Para usar los Controles del servicio de VPC con Dataproc Metastore, consulta Controles del servicio de VPC con Dataproc Metastore. Revisa también las limitaciones de Dataproc Metastore cuando usas los Controles del servicio de VPC.

Reglas de firewall para Dataproc Metastore

En entornos no predeterminados o privados con una huella de seguridad establecida, es posible que debas crear tus propias reglas de firewall. Si lo haces, no crees una regla de firewall que bloquee el rango de direcciones IP o el puerto de tus servicios de Dataproc Metastore.

Cuando creas un servicio de Dataproc Metastore, puedes aceptar la red predeterminada para el servicio. La red predeterminada garantiza un acceso completo a la red de IP interna para tus VM.

Para obtener información más general sobre las reglas de firewall, consulta Reglas de firewall de VPC y Usa reglas de firewall de VPC.

Crea una regla de firewall para una red personalizada

Cuando usas una red personalizada, asegúrate de que la regla de firewall permita el tráfico que proviene del extremo de Dataproc Metastore y se dirige a él. Para permitir explícitamente el tráfico de Dataproc Metastore, ejecuta los siguientes comandos de gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Para DPMS_NET_PREFIX, aplica una máscara de subred /17 a la IP de tu servicio de Dataproc Metastore. Puedes encontrar la información de la dirección IP de Dataproc Metastore en la configuración de endpointUri en la página Detalles del servicio.

Consideraciones

Las redes tienen una regla de permiso de salida implícita que, por lo general, permite el acceso de tu red a Dataproc Metastore. Si creas reglas de denegación de salida que anulan la regla de permiso de salida implícita, debes crear una regla de permiso de salida con una prioridad más alta para permitir la salida a la IP de Dataproc Metastore.

Algunas funciones, como Kerberos, requieren que Dataproc Metastore inicie conexiones con hosts en la red de tu proyecto. Todas las redes tienen una regla de entrada denegada implícita que bloquea estas conexiones y evita que funcionen esas funciones. Debes crear una regla de firewall que permita la entrada de TCP y UDP en todos los puertos del bloque de IP /17 que contiene la IP de Dataproc Metastore.

Enrutamiento personalizado

Las rutas personalizadas son para subredes que usan direcciones IP públicas de uso privado (PUPI). Las rutas personalizadas permiten que tu red de VPC se conecte a una red de intercambio de tráfico. Las rutas personalizadas solo se pueden recibir cuando tu red de VPC las importa y la red de intercambio de tráfico las exporta de forma explícita. Las rutas personalizadas pueden ser estáticas o dinámicas.

Compartir rutas personalizadas con redes de VPC con intercambio de tráfico permite que las redes “aprendan” rutas directamente desde sus redes con intercambio de tráfico. Esto significa que, cuando se actualiza una ruta personalizada en una red con intercambio de tráfico, la red de VPC la aprende y la implementa automáticamente sin que debas intervenir.

Para obtener más información sobre el enrutamiento personalizado, consulta Configuración de red.

Ejemplo de configuración de red de Dataproc Metastore

En el siguiente ejemplo, Google asigna los rangos de direcciones 10.100.0.0/17 y 10.200.0.0/20 en la red de VPC del cliente para los servicios de Google y usa los rangos de direcciones en una red de VPC con intercambio de tráfico.

INSERTAR TEXTO ALTERNATIVO AQUÍ
Figura 1. Configuración de la red de VPC de Dataproc Metastore

Descripción del ejemplo de red:

  • Del lado de los servicios de Google del intercambio de tráfico entre VPC, Google crea un proyecto para el cliente. El proyecto está aislado, lo que significa que no se comparte con ningún otro cliente y que al cliente solo se le facturan los recursos con los que se aprovisionó.
  • Cuando se crea el primer servicio de Dataproc Metastore en una región, Dataproc Metastore asigna un rango /17 y un rango /20 en la red del cliente para todo el uso futuro de los servicios de Dataproc Metastore en esa región y red. Dataproc Metastore subdivide aún más estos rangos para crear subredes y rangos de direcciones en el proyecto del productor de servicios.
  • Los servicios de VM en la red del cliente pueden acceder a los recursos del servicio de Metastore de Dataproc en cualquier región si el servicio de Google Cloud lo admite. Es posible que algunos servicios de Google Cloud no admitan la comunicación entre regiones.
  • Se siguen aplicando costos de salida para el tráfico entre regiones, en el que una instancia de VM se comunica con recursos en una región diferente.
  • Google asigna la dirección IP 10.100.0.100 al servicio de Dataproc Metastore. En la red de VPC del cliente, las solicitudes con un destino de 10.100.0.100 se enrutan a través del intercambio de tráfico de VPC a la red del productor de servicios. Después de llegar a la red de servicio, esta red contiene rutas que dirigen la solicitud al recurso correcto.
  • El tráfico entre redes de VPC fluye de forma interna dentro de la red de Google, no a través de la Internet pública.

¿Qué sigue?