Descripción general de las herramientas de redes de Dataproc Metastore

Este documento ofrece una descripción general de la configuración de red que puedes usar para establecer un servicio de Dataproc Metastore.

Referencia rápida para temas de redes

Configuración de red Notas
Configuración de red predeterminada
Redes de VPC De forma predeterminada, los servicios de Dataproc Metastore usan redes de VPC para conectarte a Google Cloud.

Después de que se crea la red de VPC, Dataproc Metastore también configura automáticamente el intercambio de tráfico entre redes de VPC de tu servicio.
Subredes de VPC De manera opcional, puedes optar por crear Dataproc Metastore con una subred de VPC con Private Service Connect. Esta es una alternativa al uso de redes de VPC.
Configuración de red adicional
Redes de VPC compartidas De manera opcional, puedes optar por crear Dataproc Metastore servicios en una red de VPC compartida.
Herramientas de redes locales Puedes conectarte a un servicio de Dataproc Metastore con en un entorno local con Cloud VPN o Cloud Interconnect.
Controles del servicio de VPC De manera opcional, puedes optar por crear Dataproc Metastore servicios con Controles del servicio de VPC.
Reglas de firewall En entornos privados o no predeterminados con un enfoque de seguridad tendrás que crear tus propias reglas de firewall.

Configuración de red predeterminada

En la siguiente sección, se describe la configuración de red predeterminada que que usa Dataproc Metastore: redes de VPC y Intercambio de tráfico entre redes de VPC.

Redes de VPC

De forma predeterminada, los servicios de Dataproc Metastore usan VPC Redes para conectarse a Google Cloud. Una red de VPC es una versión virtual de una red física que se implementa dentro de la red de producción de Google. Cuando creas un Dataproc Metastore, el servicio crea la red de VPC por ti.

Si no cambias la configuración cuando creas el servicio, Dataproc Metastore usa la red de VPC default. Con este parámetro de configuración, la red de VPC que usas con Dataproc Metastore puede pertenecer al mismo proyecto de Google Cloud o a un proyecto diferente. Este parámetro de configuración también te permite exponer tu servicio en una sola red de VPC o Hacer que tu servicio sea accesible desde varias redes de VPC (mediante el uso de subredes).

Dataproc Metastore requiere lo siguiente por región para cada Red de VPC:

Intercambio de tráfico entre redes de VPC

Después de que se crea la red de VPC, Dataproc Metastore también configura automáticamente el intercambio de tráfico entre redes de VPC para tu servicio. VPC le brinda a tu servicio acceso a Dataproc Metastore protocolos de extremos. Después del creas tu servicio, puedes ver su intercambio de tráfico entre redes de VPC subyacente en la página Intercambio de tráfico entre redes de VPC en Google Cloud la consola de Cloud.

El intercambio de tráfico entre redes de VPC no es transitivo. Esto significa que solo los intercambios de tráfico redes pueden comunicarse entre sí. Por ejemplo, considera lo siguiente situación:

Tienes las siguientes redes, red de VPC N1, N2 y N3.

  • La red de VPC N1 está vinculada con N2 y N3.
  • Las redes de VPC N2 y N3 no están conectadas directamente.

¿Qué significa esto?

Significa que, a través del intercambio de tráfico entre redes de VPC, la red de VPC N2 con la red de VPC N3. Esto afecta las conexiones de Dataproc Metastore de las siguientes maneras:

  • Las máquinas virtuales que se encuentran en redes con intercambio de tráfico con tu No se puede acceder a la red del proyecto de Dataproc Metastore Dataproc Metastore.
  • Solo los hosts en la red de VPC pueden acceder a Dataproc Metastore servicio.

Consideraciones de seguridad del intercambio de tráfico entre redes de VPC

  • El tráfico a través del intercambio de tráfico entre redes de VPC se proporciona con un cierto nivel de encriptación. Para obtener más información, consulta Red virtual de Google Cloud encriptación y autenticación.

  • Crea una red de VPC para cada servicio con una IP interna proporciona un mejor aislamiento de red que ubicar todos los servicios en la Red de VPC de default.

Subredes de VPC

Private Service Connect (PSC) te permite configurar una conexión privada para Metadatos de Dataproc Metastore en las redes de VPC. Con PSC, puede crear un servicio sin intercambio de tráfico entre VPC. Esto te permite usar tu propia dirección IP interna externas para acceder a Dataproc Metastore, sin salir de tu VPC redes o usar direcciones IP externas.

Para configurar Private Service Connect cuando creas un servicio, consulta Private Service Connect con Dataproc Metastore.

Direcciones IP

Para conectarte a una red y ayudar a proteger tus metadatos, sigue estos pasos: Los servicios de Dataproc Metastore solo usan direcciones IP internas. Esta significa que las direcciones IP públicas no están expuestas o están disponibles para las redes comerciales.

Con una dirección IP interna, Dataproc Metastore solo puede conectarse a las máquinas virtuales (VMs) que existen en la nube privada virtual especificada redes (VPC) o un entorno local.

Conexiones a un servicio de Dataproc Metastore mediante una IP interna dirección usa rangos de direcciones RFC 1918. Usar estos rangos significa que Dataproc Metastore asigna un rango /17 y un rango /20 de el espacio de direcciones de cada región. Por ejemplo, colocar Los servicios de Dataproc Metastore en dos regiones requieren que rango de direcciones IP asignadas contiene lo siguiente:

  • Al menos dos bloques de direcciones sin usar de tamaño /17.
  • Al menos dos bloques de direcciones sin usar con un tamaño de /20.

Si no se encuentran bloques de direcciones RFC 1918, Dataproc Metastore encuentra bloques de direcciones que no sean RFC 1918 adecuados en su lugar. Ten en cuenta que la asignación de que no son RFC 1918 no considera si esas direcciones en uso en tu red de VPC o de forma local.

Configuración de red adicional

Si necesitas una configuración de red diferente, puedes usar las siguientes opciones con tu servicio de Dataproc Metastore.

Red compartida de VPC

Puedes crear servicios de Dataproc Metastore en un Red de VPC compartida. Una VPC compartida te permite conectarte Recursos de Dataproc Metastore de varios proyectos a un red de VPC (VPC).

Para configurar una VPC compartida durante la creación de un servicio, consulta Crea un servicio de Dataproc Metastore.

Redes locales

Puedes conectarte a un servicio de Dataproc Metastore con una red local entorno mediante Cloud VPN o Cloud Interconnect.

Controles del servicio de VPC

Los Controles del servicio de VPC mejoran tu capacidad para mitigar el riesgo de datos. los robos de datos. Con los Controles del servicio de VPC, puedes crear perímetros Servicio de Dataproc Metastore. Los Controles del servicio de VPC restringen recursos dentro del perímetro desde el exterior. Solo clientes y recursos dentro del perímetro pueden interactuar entre sí.

Para usar los Controles del servicio de VPC con Dataproc Metastore, consulta Controles del servicio de VPC con Dataproc Metastore. También revisar Limitaciones de Dataproc Metastore cuando se usa el servicio de VPC Controles.

Reglas de firewall para Dataproc Metastore

En entornos no predeterminados o privados con una huella de seguridad establecida, es posible que debas crear tus propias reglas de firewall. Si lo haces, No crees una regla de firewall que bloquee el rango de direcciones IP o puerto de tus servicios de Dataproc Metastore.

Cuando creas un servicio de Dataproc Metastore, puedes aceptar la red predeterminada para el servicio. La red predeterminada garantiza un acceso completo a la red de IP interna para tus VM.

Para obtener información general sobre las reglas de firewall, consulta Reglas de firewall de VPC. y Usar reglas de firewall de VPC.

Crea una regla de firewall para una red personalizada

Cuando uses una red personalizada, asegúrate de que la regla de firewall permita el tráfico desde y hacia el extremo de Dataproc Metastore. Para permite explícitamente el tráfico de Dataproc Metastore, ejecuta el siguiente comando: Comandos gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Para DPMS_NET_PREFIX, aplica una máscara de subred /17 a tu IP del servicio de Dataproc Metastore. Puedes encontrar La información de la dirección IP de Dataproc Metastore en el La configuración de endpointUri en la página Detalle del servicio

Consideraciones

Las redes tienen una regla de permiso de salida implícita que, por lo general, permite el acceso desde tu red a Dataproc Metastore. Si creas una denegación de salida que anulen la regla de permiso de salida implícita, deberás crear una regla de salida con una prioridad más alta para permitir la salida IP de Dataproc Metastore.

Algunas funciones, como Kerberos, requieren que Dataproc Metastore realice las siguientes tareas: iniciar conexiones a los hosts en la red de tu proyecto. Todas las redes tienen un regla de denegación de entrada implícita que bloquea esas conexiones e impide que esas funciones operen. Debes crear una regla de firewall que permita la entrada de TCP y UDP en todos los puertos del bloque de IP /17 que contiene la IP de Dataproc Metastore.

Enrutamiento personalizado

Las rutas personalizadas son para subredes que usan IP públicas de uso privado IP internas (PUPI). Las rutas personalizadas permiten que tu red de VPC se conecte a una red de intercambio de tráfico. Las rutas personalizadas solo se pueden recibir cuando tu red de VPC las importa y al de intercambio de tráfico los exporta explícitamente. Las rutas personalizadas pueden ser estáticas dinámico.

Compartir rutas personalizadas con redes de VPC con intercambio de tráfico permite que las redes “aprendan” rutas directamente desde sus redes con intercambio de tráfico. Esto significa que cuando una ruta personalizada de una red con intercambio de tráfico, tu red de VPC aprende implementa la ruta personalizada sin que debas realizar ninguna acción adicional.

Para obtener más información sobre el enrutamiento personalizado, consulta configuración de red.

Ejemplo de herramientas de redes de Dataproc Metastore

En el siguiente ejemplo, Google asigna 10.100.0.0/17 y 10.200.0.0/20 rangos de direcciones en la red de VPC del cliente para los servicios de Google y usa los rangos de direcciones en una VPC con intercambio de tráfico en cada red.

INSERTAR TEXTO ALTERNATIVO AQUÍ
Figura 1. Configuración de la red de VPC de Dataproc Metastore

Descripción del ejemplo de herramientas de redes:

  • Del lado de los servicios de Google del intercambio de tráfico entre VPC, Google crea un proyecto para el cliente. El proyecto está aislado, es decir, no otros clientes lo comparten y al cliente se le facturan solo los recursos que aprovisiona el cliente.
  • Cuando crees el primer servicio de Dataproc Metastore en una , Dataproc Metastore asigna un rango /17 y un Rango de /20 en la red del cliente para todos los valores futuros el uso de los servicios de Dataproc Metastore en cada red. Dataproc Metastore subdivide aún más estos rangos para crear subredes y rangos de direcciones en el proyecto del productor de servicios.
  • Los servicios de VM de la red del cliente pueden acceder recursos de servicio de Dataproc Metastore en cualquier región si el servicio de Google Cloud lo admite. Algunos servicios de Google Cloud pueden no admitir la comunicación entre regiones.
  • Costos de salida para el tráfico interregional, en la que una instancia de VM se comunica con recursos de una región diferente aplicar.
  • Google le asigna la dirección IP al servicio de Dataproc Metastore 10.100.0.100 En la red de VPC del cliente, las solicitudes con un destino de 10.100.0.100 se enrutan a través de la VPC intercambio de tráfico a la red del productor de servicios. Después de acceder al servicio servicio, esta contiene rutas que dirigen la solicitud a la recurso correcto.
  • El tráfico entre redes de VPC fluye de manera interna a través de la red de Google, no a través de la Internet pública.

¿Qué sigue?