Private Service Connect con Dataproc Metastore

Con Private Service Connect, puedes crear un Servicio de Dataproc Metastore que no usa VPC intercambio de tráfico entre redes de VPC. En esta página, se explica qué es Private Service Connect y cómo usarla como opción de redes alternativa para Dataproc Metastore.

Cómo funciona Dataproc Metastore con VPC

Dataproc Metastore protege su acceso a metadatos con solo exponer datos extremos de IP. También restringe la conectividad a las VMs en tu red de VPC con el intercambio de tráfico entre VPC.

Dataproc Metastore requiere la siguiente configuración por región para cada red de VPC:

Como resultado, configurar el intercambio de tráfico entre VPC y las reservas de direcciones IP puede ser difícil en redes de VPC saturadas. De manera similar, una VPC puede que la red no tenga suficiente cuota de intercambio de tráfico para admitir solicitudes. Ambas limitaciones pueden impedir que crees nuevos Servicio de Dataproc Metastore.

Para evitar estos problemas, puedes usar Dataproc Metastore con Private Service Connect.

Cómo funciona Dataproc Metastore con Private Service Connect

Private Service Connect proporciona una conexión privada a Metadatos de Dataproc Metastore en las redes de VPC.

Para usar Private Service Connect con Dataproc Metastore, se requieren los siguientes parámetros de configuración:

  • Una única reserva de dirección en la subred.
  • Una regla de reenvío dirigida al adjunto de servicio que expone Dataproc Metastore extremo. La reserva de dirección y la regla de reenvío se crean como parte la llamada de creación del servicio de Dataproc Metastore.

Consideraciones

  • Servicios de Dataproc Metastore que usan Private Service Connect solo admiten el acceso desde redes de VPC de las subredes especificadas durante el servicio de la creación de cuentas de servicio.

  • Dataproc Metastore reserva direcciones y crea en cada una de las subredes especificadas. Cada subred tiene un Thrift. URI del extremo que puedes usar para acceder a Dataproc Metastore extremo de metadatos.

Limitaciones

  • Servicios de Dataproc Metastore que usan el protocolo de extremos de gRPC No son compatibles con Private Service Connect.
  • Private Service Connect no admite la conectividad inversa. Esto significa que no puedes usar una configuración de Kerberos con Private Service Connect.
  • No puedes agregar o quitar subredes de forma dinámica de un Dataproc Metastore que se configura con Private Service Connect. En cambio, debe volver a crear un servicio si desea agregar o quitar subredes.
  • No puedes actualizar un servicio de Dataproc Metastore que usa Private Service Connect para usar una VPC o viceversa.

Crea un servicio de Dataproc Metastore con Private Service Connect

En las siguientes instrucciones, se muestra cómo configurar Private Service Connect durante la creación del servicio.

Console

  1. En la consola de Google Cloud, abre la página de Dataproc Metastore:

    Ir a Dataproc Metastore

  2. En la parte superior de la página Dataproc Metastore, haz clic en Crear.

    Se abrirá la página Crear servicio.

  3. Configura tu servicio según sea necesario.

  4. En Configuración de red, haz clic en Hacer que los servicios sean accesibles en varias subredes de VPC.

  5. Selecciona las Subredes. Puedes especificar hasta 5 subredes.

  6. Haz clic en Listo.

  7. Haz clic en Enviar.

Verifica la configuración de red del servicio:

  1. En la consola de Google Cloud, abre la página de Dataproc Metastore:

    Ir a Dataproc Metastore

  2. En la página Dataproc Metastore, haz clic en el nombre del servicio de la servicio quieres ver.

    La página Detalles del servicio de ese servicio se abre.

  3. En la pestaña Configuración, verifica que los detalles muestren varias VPC URI de subred.

gcloud

  1. Ejecuta el siguiente comando gcloud metastore services create para Crea un servicio con Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    o

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifica que la creación se haya realizado correctamente.

REST

Sigue las instrucciones de la API para crear un servicio mediante el Explorador de API.

En los parámetros de solicitud create, usa el archivo Network Config para configurar Private Service Connect. Puedes especificar de 1 a 5 subredes.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

¿Qué sigue?