En este documento, se proporciona una descripción general de la configuración de herramientas de redes que puedes usar para configurar un servicio de Dataproc Metastore.
Referencia rápida de temas de herramientas de redes
| Configuración de red | Notas |
|---|---|
| Configuración de red predeterminada | |
| Redes de VPC | De forma predeterminada, los servicios de Dataproc Metastore usan redes de VPC para
conectarse a Google Cloud. Después de crear la red de VPC, Dataproc Metastore también configura automáticamente el intercambio de tráfico entre redes de VPC para tu servicio. |
| Subredes de VPC | De forma opcional, puedes crear servicios de Dataproc Metastore con una subred de VPC mediante Private Service Connect. Esta es una alternativa al uso de redes de VPC. |
| Configuración de red adicional | |
| Redes de VPC compartidas | De manera opcional, puedes crear servicios de Dataproc Metastore en una red de VPC compartida. |
| Redes locales | Puedes conectarte a un servicio de Dataproc Metastore con un entorno local mediante Cloud VPN o Cloud Interconnect. |
| Controles del servicio de VPC | De manera opcional, puedes crear servicios de Dataproc Metastore con los Controles del servicio de VPC. |
| Reglas de firewall | En entornos no predeterminados o privados con una huella de seguridad establecida, es posible que debas crear tus propias reglas de firewall. |
Configuración de red predeterminada
En la siguiente sección, se describe la configuración de red predeterminada que usa Dataproc Metastore: redes de VPC y, también, intercambio de tráfico entre redes de VPC.
Redes de VPC
De forma predeterminada, los servicios de Dataproc Metastore usan redes de VPC para conectarse a Google Cloud. Una red de VPC es una versión virtual de una red física que se implementa dentro de la red de producción de Google. Cuando creas un Dataproc Metastore, el servicio crea automáticamente la red de VPC.
Si no cambias la configuración cuando creas el servicio, Dataproc Metastore usa la red de VPC default.
Con esta configuración, la red de VPC que usas con tu servicio de Dataproc Metastore puede pertenecer al mismo proyecto de Google Cloud o a uno diferente.
Esta configuración también te permite exponer tu servicio en una sola red de VPC o hacer que sea accesible desde varias redes de VPC (mediante el uso de subredes).
Dataproc Metastore requiere lo siguiente por región para cada red de VPC:
- 1 cuota de intercambio de tráfico
/17y/20CIDR
Intercambio de tráfico entre redes de VPC
Después de crear la red de VPC, Dataproc Metastore también configura automáticamente el intercambio de tráfico entre redes de VPC para tu servicio. VPC proporciona a tu servicio acceso a los protocolos de extremos de Dataproc Metastore. Después de crear el servicio, podrás ver el intercambio de tráfico entre redes de VPC subyacente en la página Intercambio de tráfico entre redes de VPC en Google Cloud Console.
El intercambio de tráfico entre redes de VPC no es transitivo. Esto significa que solo las redes con intercambio de tráfico directo pueden comunicarse entre sí. Por ejemplo, considera la siguiente situación:
Tienes las siguientes redes, la red de VPC N1, N2 y N3.
- La red de VPC N1 está vinculada con las N2 y N3.
- Las redes de VPC N2 y N3 no están conectadas directamente.
¿Qué significa esto?
Significa que, a través del intercambio de tráfico entre redes de VPC, la red de VPC N2 no se puede comunicar con la red de VPC N3. Esto afecta a las conexiones de Dataproc Metastore de las siguientes maneras:
- Las máquinas virtuales que están en redes con intercambio de tráfico con la red del proyecto de Dataproc Metastore no pueden acceder a Dataproc Metastore.
- Solo los hosts en la red de VPC pueden acceder a un servicio de Dataproc Metastore.
Consideraciones de seguridad para el intercambio de tráfico entre redes de VPC
El tráfico mediante el intercambio de tráfico entre redes de VPC se proporciona con un cierto nivel de encriptación. Para obtener más información, consulta Autenticación y encriptación de redes virtuales de Google Cloud.
Crear una red de VPC para cada servicio con una dirección IP interna proporciona un mejor aislamiento de red que colocar todos los servicios en la red de VPC
default.
Subredes de VPC
Private Service Connect (PSC) te permite configurar una conexión privada a los metadatos de Dataproc Metastore en las redes de VPC. Con PSC, puedes crear un servicio sin intercambio de tráfico de VPC. Esto te permite usar tus propias direcciones IP internas para acceder a Dataproc Metastore, sin salir de tus redes de VPC ni usar direcciones IP externas.
Para configurar Private Service Connect cuando creas un servicio, consulta Private Service Connect con Dataproc Metastore.
Direcciones IP
Para conectarse a una red y proteger tus metadatos, los servicios de Dataproc Metastore solo usan direcciones IP internas. Esto significa que las direcciones IP públicas no están expuestas ni están disponibles para fines de red.
Mediante el uso de una dirección IP interna, Dataproc Metastore solo puede conectarse a las máquinas virtuales (VMs) que existen en redes de nube privada virtual (VPC) especificadas o en un entorno local.
Las conexiones a un servicio de Dataproc Metastore mediante una dirección IP interna
usan rangos de direcciones RFC 1918. El uso de estos rangos significa que Dataproc Metastore asigna un rango /17 y un rango /20 desde el espacio de direcciones para cada región. Por ejemplo, colocar servicios de Dataproc Metastore en dos regiones requiere que el rango de direcciones IP asignado contenga lo siguiente:
- Al menos dos bloques de direcciones sin usar de tamaño
/17 - Al menos dos bloques de direcciones sin usar con un tamaño de
/20
Si no se encuentran bloques de direcciones RFC 1918, Dataproc Metastore busca bloques de direcciones adecuados que no sean RFC 1918. Ten en cuenta que la asignación de bloques que no son de RFC 1918 no tiene en cuenta si esas direcciones se están usando o no en tu red de VPC o de forma local.
Configuración de red adicional
Si necesitas una configuración de red diferente, puedes usar las siguientes opciones con tu servicio de Dataproc Metastore.
Red compartida de VPC
Puedes crear los servicios de Dataproc Metastore en una red de VPC compartida. Una VPC compartida te permite conectar recursos de Dataproc Metastore desde varios proyectos a una red de VPC (VPC) común.
Para configurar una VPC compartida cuando creas un servicio, consulta Crea un servicio de Dataproc Metastore.
Redes locales
Puedes conectarte a un servicio de Dataproc Metastore con un entorno local mediante Cloud VPN o Cloud Interconnect.
Controles del servicio de VPC
Los Controles del servicio de VPC mejoran tu capacidad de mitigar el riesgo de robo de datos. Con los Controles del servicio de VPC, puedes crear perímetros alrededor del servicio de Dataproc Metastore. Los Controles del servicio de VPC restringen el acceso desde el exterior a los recursos que están dentro del perímetro. Solo los clientes y los recursos que están dentro del perímetro pueden interactuar entre sí.
Para usar los Controles del servicio de VPC con Dataproc Metastore, consulta Controles del servicio de VPC con Dataproc Metastore. Revisa también las limitaciones de Dataproc Metastore cuando uses los Controles del servicio de VPC.
Reglas de firewall para Dataproc Metastore
En entornos no predeterminados o privados con una huella de seguridad establecida, es posible que debas crear tus propias reglas de firewall. Si lo haces, no crees una regla de firewall que bloquee el rango de direcciones IP o el puerto de tus servicios de Dataproc Metastore.
Cuando creas un servicio de Dataproc Metastore, puedes aceptar la red predeterminada para el servicio. La red predeterminada garantiza un acceso completo a la red de IP interna para tus VM.
Para obtener más información general sobre las reglas de firewall, consulta Reglas de firewall de VPC y Usa reglas de firewall de VPC.
Crea una regla de firewall para una red personalizada
Cuando uses una red personalizada, asegúrate de que la regla de firewall permita el tráfico que proviene del extremo de Dataproc Metastore y que se dirige hacia él. Para permitir de forma explícita el tráfico de Dataproc Metastore, ejecuta los siguientes comandos de gcloud:
gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT
gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK
Para DPMS_NET_PREFIX, aplica una máscara de subred /17 a la IP del servicio de Dataproc Metastore. Puedes encontrar la información de la dirección IP de Dataproc Metastore en la configuración endpointUri en la página Detalles del servicio.
Consideraciones
Las redes tienen una regla de permiso de salida implícita que, por lo general, permite el acceso desde tu red a Dataproc Metastore. Si creas reglas de denegación de salida que anulan la regla de permiso de salida implícita, debes crear una regla de permiso de salida con una prioridad más alta para permitir la salida a la IP de Dataproc Metastore.
Algunas funciones, como Kerberos, requieren Dataproc Metastore para iniciar conexiones a hosts en tu red de proyecto. Todas las redes tienen una regla implícita de denegación de entrada que bloquea estas conexiones y evita que esas características funcionen.
Debes crear una regla de firewall que permita la entrada de TCP y UDP en todos los puertos del bloque de IP /17 que contiene la IP de Dataproc Metastore.
Enrutamiento personalizado
Las rutas personalizadas son para las subredes que usan direcciones IP públicas de uso privado (PUPI). Las rutas personalizadas permiten que tu red de VPC se conecte a una red de intercambio de tráfico. Las rutas personalizadas solo se pueden recibir cuando la red de VPC las importa y la red de intercambio de tráfico las exporta de forma explícita. Las rutas personalizadas pueden ser estáticas o dinámicas.
Compartir rutas personalizadas con redes de VPC con intercambio de tráfico permite que las redes “aprendan” rutas directamente desde sus redes con intercambio de tráfico. Esto significa que, cuando se actualiza una ruta personalizada en una red con intercambio de tráfico, la red de VPC la aprende y la implementa de forma automática sin que debas realizar ninguna acción adicional.
Para obtener más información sobre el enrutamiento personalizado, consulta Configuración de red.
Ejemplo de Herramientas de redes de Dataproc Metastore
En el siguiente ejemplo, Google asigna los rangos de direcciones 10.100.0.0/17 y 10.200.0.0/20 en la red de VPC del cliente a los servicios de Google y usa los rangos de direcciones en una red de VPC con intercambio de tráfico.
Descripción del ejemplo de herramientas de redes:
- Del lado de los servicios de Google del intercambio de tráfico de VPC, Google crea un proyecto para el cliente. El proyecto está aislado, lo que significa que ningún otro cliente lo comparte y al cliente solo se le facturan los recursos que aprovisiona.
- Cuando se crea el primer servicio de Dataproc Metastore en una región, Dataproc Metastore asigna un rango de
/17y un rango de/20en la red del cliente para todo el uso futuro de los servicios de Dataproc Metastore en esa región y red. Dataproc Metastore subdivide aún más estos rangos para crear subredes y rangos de direcciones en el proyecto del productor de servicios. - Los servicios de VM en la red del cliente pueden acceder a los recursos del servicio de Dataproc Metastore en cualquier región si el servicio de Google Cloud lo admite. Es posible que algunos servicios de Google Cloud no admitan la comunicación entre regiones.
- Se aplican costos de salida para el tráfico interregional, en el que una instancia de VM se comunica con recursos en una región diferente.
- Google asigna la dirección IP
10.100.0.100al servicio de Dataproc Metastore. En la red de VPC del cliente, las solicitudes con un destino de10.100.0.100se enrutan a través del intercambio de tráfico de VPC a la red del productor de servicios. Después de llegar a la red de servicio, esta contiene rutas que dirigen la solicitud al recurso correcto. - El tráfico entre las redes de VPC fluye de manera interna dentro de la red de Google, no a través de la Internet pública.
¿Qué sigue?
- Controles del servicio de VPC con Dataproc Metastore
- IAM y control de acceso de Dataproc Metastore
- Private Service Connect con Dataproc Metastore