Descripción general de las herramientas de redes de Dataproc Metastore

En este documento, se proporciona una descripción general de la configuración de red que puedes usar para configurar un servicio de Dataproc Metastore.

Referencia rápida para temas de redes

Configuración de red Notas
Configuración de red predeterminada
Redes de VPC De forma predeterminada, los servicios de Dataproc Metastore usan redes de VPC para conectarse a Google Cloud.

Después de crear la red de VPC, Dataproc Metastore también configura automáticamente el intercambio de tráfico entre redes de VPC para tu servicio.
Subredes de VPC De manera opcional, puedes optar por crear Dataproc Metastore con una subred de VPC con Private Service Connect. Esta es una alternativa al uso de redes de VPC.
Configuración de red adicional
Redes de VPC compartidas De manera opcional, puedes crear servicios de Dataproc Metastore en una red de VPC compartida.
Redes locales Puedes conectarte a un servicio de Dataproc Metastore con en un entorno local con Cloud VPN o Cloud Interconnect.
Controles del servicio de VPC De manera opcional, puedes optar por crear Dataproc Metastore servicios con Controles del servicio de VPC.
Reglas de firewall En entornos privados o no predeterminados con un enfoque de seguridad tendrás que crear tus propias reglas de firewall.

Configuración de red predeterminada

En la siguiente sección, se describe la configuración de red predeterminada que usa Dataproc Metastore: redes de VPC y el intercambio de tráfico entre redes de VPC.

Redes de VPC

De forma predeterminada, los servicios de Dataproc Metastore usan redes de VPC para conectarse a Google Cloud. Una red de VPC es una versión virtual de una red física que se implementa en la red de producción de Google. Cuando creas un Dataproc Metastore, el servicio crea automáticamente la red de VPC por ti.

Si no cambias la configuración cuando creas el servicio, Dataproc Metastore usa la red de VPC default. Con este parámetro de configuración, la red de VPC que usas con tu servicio de Dataproc Metastore puede pertenecer al mismo proyecto de Google Cloud o a uno diferente. Este parámetro de configuración también te permite exponer tu servicio en una sola red de VPC Hacer que tu servicio sea accesible desde varias redes de VPC (mediante el uso de subredes).

Dataproc Metastore requiere lo siguiente por región para cada red de VPC:

Intercambio de tráfico entre redes de VPC

Después de crear la red de VPC, Dataproc Metastore también configura automáticamente el intercambio de tráfico entre redes de VPC para tu servicio. La VPC proporciona a tu servicio acceso a los protocolos de extremo de Dataproc Metastore. Después de crear tu servicio, podrás ver el intercambio de tráfico entre redes de VPC subyacente en la página Intercambio de tráfico entre redes de VPC en la consola de Google Cloud.

El intercambio de tráfico entre redes de VPC no es transitivo. Esto significa que solo las redes de intercambio de tráfico directo pueden comunicarse entre sí. Por ejemplo, considera la siguiente situación:

Tienes las siguientes redes: las redes de VPC N1, N2 y N3.

  • La red de VPC N1 está vinculada con N2 y N3.
  • Las redes de VPC N2 y N3 no están conectadas directamente.

¿Qué significa esto?

Significa que, a través del intercambio de tráfico entre redes de VPC, la red de VPC N2 con la red de VPC N3. Esto afecta a las conexiones de Dataproc Metastore de las siguientes maneras:

  • Las máquinas virtuales que se encuentran en redes vinculadas con la red de tu proyecto de Dataproc Metastore no pueden acceder a Dataproc Metastore.
  • Solo los hosts de la red de VPC pueden acceder a un servicio de Dataproc Metastore.

Consideraciones de seguridad del intercambio de tráfico entre redes de VPC

  • El tráfico a través del intercambio de tráfico entre redes de VPC se proporciona con un cierto nivel de encriptación. Para obtener más información, consulta Autenticación y encriptación de redes virtuales de Google Cloud.

  • Crear una red de VPC para cada servicio con una dirección IP interna proporciona un mejor aislamiento de red que colocar todos los servicios en la red de VPC default.

Subredes de VPC

Private Service Connect (PSC) te permite configurar una conexión privada para Metadatos de Dataproc Metastore en las redes de VPC. Con PSC, puede crear un servicio sin intercambio de tráfico entre VPC. Esto te permite usar tu propia dirección IP interna externas para acceder a Dataproc Metastore, sin salir de tu VPC redes o usar direcciones IP externas.

Para configurar Private Service Connect cuando creas un servicio, consulta Private Service Connect con Dataproc Metastore.

Direcciones IP

Para conectarse a una red y ayudar a proteger tus metadatos, los servicios de Dataproc Metastore solo usan direcciones IP internas. Esta significa que las direcciones IP públicas no están expuestas o están disponibles para las redes comerciales.

Cuando se usa una dirección IP interna, Dataproc Metastore solo puede conectarse a máquinas virtuales (VM) que existen en redes de nube privada virtual (VPC) especificadas o a un entorno local.

Conexiones a un servicio de Dataproc Metastore mediante una IP interna dirección usa rangos de direcciones RFC 1918. El uso de estos rangos significa que Dataproc Metastore asigna un rango /17 y un rango /20 del espacio de direcciones para cada región. Por ejemplo, colocar servicios de Dataproc Metastore en dos regiones requiere que el rango de direcciones IP asignado contenga lo siguiente:

  • Al menos dos bloques de direcciones sin usar de tamaño /17.
  • Al menos dos bloques de direcciones sin usar de tamaño /20

Si no se encuentran bloques de direcciones RFC 1918, Dataproc Metastore encontrará bloques de direcciones que no sean RFC 1918 adecuados. Ten en cuenta que la asignación de bloques que no son RFC 1918 no tiene en cuenta si esas direcciones están en uso en tu red de VPC o de forma local.

Configuración de red adicional

Si necesitas una configuración de red diferente, puedes usar las siguientes opciones con tu servicio de Dataproc Metastore.

Red compartida de VPC

Puedes crear servicios de Dataproc Metastore en un Red de VPC compartida. Una VPC compartida te permite conectar recursos de Dataproc Metastore de varios proyectos a una red de VPC común.

Para configurar una VPC compartida cuando crees un servicio, consulta Crea un servicio de Dataproc Metastore.

Redes locales

Puedes conectarte a un servicio de Dataproc Metastore con un entorno local a través de Cloud VPN o Cloud Interconnect.

Controles del servicio de VPC

Los Controles del servicio de VPC mejoran tu capacidad de mitigar el riesgo de robo de datos. Con los Controles del servicio de VPC, puedes crear perímetros Servicio de Dataproc Metastore. Los Controles del servicio de VPC restringen recursos dentro del perímetro desde el exterior. Solo los clientes y los recursos que se encuentran dentro del perímetro pueden interactuar entre sí.

Para usar los Controles del servicio de VPC con Dataproc Metastore, consulta Controles del servicio de VPC con Dataproc Metastore. Revisa también las limitaciones de Dataproc Metastore cuando usas los Controles del servicio de VPC.

Reglas de firewall para Dataproc Metastore

En entornos no predeterminados o privados con una huella de seguridad establecida, es posible que debas crear tus propias reglas de firewall. Si lo haces, No crees una regla de firewall que bloquee el rango de direcciones IP o puerto de tus servicios de Dataproc Metastore.

Cuando creas un servicio de Dataproc Metastore, puedes aceptar la red predeterminada para el servicio. La red predeterminada garantiza un acceso completo a la red de IP interna para tus VM.

Para obtener información general sobre las reglas de firewall, consulta Reglas de firewall de VPC. y Usar reglas de firewall de VPC.

Crea una regla de firewall para una red personalizada

Cuando uses una red personalizada, asegúrate de que la regla de firewall permita el tráfico desde y hacia el extremo de Dataproc Metastore. Para permitir explícitamente el tráfico de Dataproc Metastore, ejecuta los siguientes comandos de gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Para DPMS_NET_PREFIX, aplica una máscara de subred /17 a tu IP del servicio de Dataproc Metastore. Puedes encontrar La información de la dirección IP de Dataproc Metastore en el Configuración de endpointUri en la página Detalle del servicio

Consideraciones

Las redes tienen una regla de permiso de salida implícita que, por lo general, permite el acceso desde tu red a Dataproc Metastore. Si creas una denegación de salida que anulen la regla de permiso de salida implícita, deberás crear una regla de salida con una prioridad más alta para permitir la salida IP de Dataproc Metastore.

Algunas funciones, como Kerberos, requieren que Dataproc Metastore realice las siguientes tareas: iniciar conexiones a los hosts en la red de tu proyecto. Todas las redes tienen una regla de entrada denegada implícita que bloquea estas conexiones y evita que funcionen esas funciones. Debes crear una regla de firewall que permita la entrada de TCP y UDP en todos los puertos del bloque de IP /17 que contiene la IP de Dataproc Metastore.

Enrutamiento personalizado

Las rutas personalizadas son para subredes que usan direcciones IP públicas de uso privado (PUPI). Las rutas personalizadas permiten que tu red de VPC se conecte a una red de intercambio de tráfico. Las rutas personalizadas solo se pueden recibir cuando tu red de VPC las importa y la red de intercambio de tráfico las exporta de forma explícita. Las rutas personalizadas pueden ser estáticas o dinámicas.

Compartir rutas personalizadas con redes de VPC con intercambio de tráfico permite que las redes “aprendan” rutas directamente desde sus redes con intercambio de tráfico. Esto significa que, cuando se actualiza una ruta personalizada en una red con intercambio de tráfico, la red de VPC la aprende y la implementa automáticamente sin que debas intervenir.

Para obtener más información sobre el enrutamiento personalizado, consulta Configuración de red.

Ejemplo de configuración de red de Dataproc Metastore

En el siguiente ejemplo, Google asigna 10.100.0.0/17 y 10.200.0.0/20 rangos de direcciones en la red de VPC del cliente para los servicios de Google y usa los rangos de direcciones en una VPC con intercambio de tráfico en cada red.

INSERT ALT TEXT HERE
Figura 1. Configuración de la red de VPC de Dataproc Metastore

Descripción del ejemplo de herramientas de redes:

  • Del lado de los servicios de Google del intercambio de tráfico entre VPC, Google crea un proyecto para el cliente. El proyecto está aislado, es decir, no otros clientes lo comparten y al cliente solo se le facturan los recursos que aprovisiona el cliente.
  • Cuando se crea el primer servicio de Dataproc Metastore en una región, Dataproc Metastore asigna un rango /17 y un rango /20 en la red del cliente para todo el uso futuro de los servicios de Dataproc Metastore en esa región y red. Dataproc Metastore subdivide aún más estos rangos para crear subredes y rangos de direcciones en el proyecto del productor de servicios.
  • Los servicios de VM en la red del cliente pueden acceder a los recursos del servicio de Metastore de Dataproc en cualquier región si el servicio de Google Cloud lo admite. Algunos servicios de Google Cloud pueden no admitir la comunicación entre regiones.
  • Se siguen aplicando costos de salida para el tráfico entre regiones, en el que una instancia de VM se comunica con recursos en una región diferente.
  • Google le asigna la dirección IP al servicio de Dataproc Metastore 10.100.0.100 En la red de VPC del cliente, las solicitudes con un destino de 10.100.0.100 se enrutan a través de la VPC intercambio de tráfico a la red del productor de servicios. Después de acceder al servicio servicio, esta contiene rutas que dirigen la solicitud a la recurso correcto.
  • El tráfico entre redes de VPC fluye de manera interna a través de la red de Google, no a través de la Internet pública.

¿Qué sigue?