Private Service Connect con Dataproc Metastore

Con Private Service Connect, puedes crear un servicio de Dataproc Metastore que no use el intercambio de tráfico de VPC. En esta página, se explica qué es Private Service Connect y cómo utilizarlo como una opción de red alternativa para Dataproc Metastore.

Cómo funciona Dataproc Metastore con VPC

Dataproc Metastore protege su acceso a los metadatos mediante la exposición de solo extremos de IP privados. También restringe la conectividad a las VM en tu red de VPC mediante el intercambio de tráfico de VPC.

Dataproc Metastore requiere los siguientes parámetros de configuración por región para cada red de VPC:

Como resultado, configurar el intercambio de tráfico entre VPC y las reservas de direcciones IP puede ser difícil en redes de VPC saturadas. Del mismo modo, es posible que una red de VPC no tenga suficiente cuota de intercambio de tráfico para admitir solicitudes de intercambio de tráfico adicionales. Ambas limitaciones pueden impedir que crees un servicio nuevo de Dataproc Metastore.

Para eludir estos problemas, puedes usar Dataproc Metastore con Private Service Connect.

Cómo funciona Dataproc Metastore con Private Service Connect

Private Service Connect proporciona una conexión privada a los metadatos de Dataproc Metastore a través de redes de VPC.

Para usar Private Service Connect con Dataproc Metastore, se requieren las siguientes configuraciones:

  • Una sola reserva de dirección en la subred.
  • Una regla de reenvío orientada al adjunto de servicio que expone el extremo de Dataproc Metastore. La reserva de direcciones y la regla de reenvío se crean como parte de la llamada de creación del servicio de Dataproc Metastore.

Consideraciones

  • Los servicios de Dataproc Metastore que usan Private Service Connect solo admiten el acceso desde las redes de VPC de las subredes especificadas durante la creación del servicio.

  • Dataproc Metastore reserva direcciones y crea reglas de reenvío en cada una de las subredes especificadas. Cada subred tiene un URI de extremo de Thrift que puedes usar para acceder al extremo de metadatos de Dataproc Metastore.

Limitaciones

  • Los servicios de Dataproc Metastore que usan el protocolo de extremos de gRPC no son compatibles con Private Service Connect.
  • La conectividad inversa no es compatible con Private Service Connect. Esto significa que no puedes usar una configuración de Kerberos con Private Service Connect.
  • No puedes agregar o quitar subredes de forma dinámica desde un servicio de Dataproc Metastore que se configuró con Private Service Connect. En su lugar, debes volver a crear un servicio si deseas agregar o quitar subredes.
  • No puedes actualizar un servicio de Dataproc Metastore que use Private Service Connect para usar VPC o viceversa.

Crea un servicio de Dataproc Metastore con Private Service Connect

En las siguientes instrucciones, se muestra cómo configurar Private Service Connect durante la creación del servicio.

Console

  1. En la consola de Google Cloud, abre la página de Dataproc Metastore:

    Ir a Dataproc Metastore

  2. En la parte superior de la página de Dataproc Metastore, haz clic en Crear.

    Se abrirá la página Crear servicio.

  3. Configura tu servicio según sea necesario.

  4. En Configuración de red, haz clic en Haz que los servicios sean accesibles en varias subredes de VPC.

  5. Selecciona las Subredes. Puedes especificar hasta 5 subredes.

  6. Haz clic en Listo.

  7. Haz clic en Enviar.

Verifica la configuración de red del servicio:

  1. En la consola de Google Cloud, abre la página de Dataproc Metastore:

    Ir a Dataproc Metastore

  2. En la página Dataproc Metastore, haz clic en el nombre del servicio que deseas ver.

    Se abrirá la página Detalles del servicio de ese servicio.

  3. En la pestaña Configuración, verifica que los detalles muestren varios URI de subredes de VPC.

gcloud

  1. Ejecuta el siguiente comando de gcloud metastore services create para crear un servicio con Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    o

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifica que la creación se haya realizado correctamente.

REST

Sigue las instrucciones de la API para crear un servicio mediante el Explorador de API.

En los parámetros de solicitud create, usa el archivo Network Config para configurar Private Service Connect. Puedes especificar de 1 a 5 subredes.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

¿Qué sigue?