Private Service Connect con Dataproc Metastore

En esta página, se explica qué es Private Service Connect y cómo usarlo para las herramientas de redes como alternativa al intercambio de tráfico de VPC.

Servicio de Dataproc Metastore sin intercambio de tráfico de VPC

Dataproc Metastore protege su acceso a los metadatos mediante la exposición de solo extremos de IP privada. También restringe la conectividad a las VM en la red de VPC del cliente proporcionada a través del intercambio de tráfico de VPC.

Dataproc Metastore requiere lo siguiente por región para cada red de VPC:

Configurar el intercambio de tráfico de VPC y la reserva de direcciones IP representa un desafío para las redes de VPC saturadas. Del mismo modo, es posible que una red de VPC no tenga suficiente cuota de intercambio de tráfico para admitir solicitudes de intercambio de tráfico adicionales. Ambas limitaciones evitan la creación de nuevos servicios de Dataproc Metastore.

Puedes crear un servicio de Dataproc Metastore sin el intercambio de tráfico entre VPC y las reservas de bloque de direcciones con Private Service Connect para exponer el extremo de Dataproc Metastore. Private Service Connect permite una conexión privada a los metadatos de Dataproc Metastore en las redes de VPC.

Con Private Service Connect, Dataproc Metastore requiere una sola reserva de dirección en la subred y una regla de reenvío orientada al adjunto de servicio que expone el extremo de Dataproc Metastore. La reserva de dirección y la regla de reenvío se crean como parte de la llamada de creación del servicio de Dataproc Metastore.

Crea un servicio de Dataproc Metastore con Private Service Connect

En las siguientes instrucciones, se muestra cómo configurar Private Service Connect durante la creación del servicio.

Console

  1. En la consola de Google Cloud, abre la página de Dataproc Metastore:

    Abre Dataproc Metastore en la consola de Google Cloud.

  2. En la parte superior de la página Dataproc Metastore haz clic en el botón Crear. Se abrirá la página Crear servicio.

  3. Configura tu servicio como desees.

  4. En Configuración de red, haz clic en Hacer que los servicios sean accesibles en varias subredes de VPC.

  5. Selecciona las Subredes. Puedes especificar hasta 5 subredes.

  6. Haz clic en Listo.

  7. Haz clic en Enviar.

Verifica la configuración de red del servicio:

  1. En la consola de Google Cloud, abre la página de Dataproc Metastore:

    Abre Dataproc Metastore en la consola de Google Cloud.

  2. En la página Dataproc Metastore, haz clic en el nombre del servicio que quieres ver. Se abrirá la página Detalles del servicio de ese servicio.

  3. En la pestaña Configuración, verifica que los detalles muestren varios URI de subred de VPC.

gcloud

  1. Ejecuta el siguiente comando de gcloud metastore services create para crear un servicio con Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    o

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifica que la creación se haya realizado correctamente.

REST

Sigue las instrucciones de la API para crear un servicio mediante el Explorador de API.

En los parámetros de solicitud create, usa el campo Network Config para configurar Private Service Connect:

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Puedes especificar de 1 a 5 subredes.

Dataproc Metastore reserva direcciones y crea reglas de reenvío en cada una de las subredes especificadas. Cada subred tiene un URI de extremo de Thrift que puedes usar para acceder al extremo de metadatos de Dataproc Metastore desde.

Adjunta un clúster de Dataproc

Puedes conectar un clúster de Dataproc que use el servicio de Dataproc Metastore con Private Service Connect como su almacén de metadatos de Hive mediante el URI del extremo del servicio y el directorio del almacén.

Si deseas obtener más información para conectar un clúster de Dataproc, consulta Conecta un clúster de Dataproc con ENDPOINT_URI y WAREHOUSE_DIR.

Advertencias de Private Service Connect para Dataproc Metastore

  • Los extremos del servicio de Dataproc Metastore que usan Private Service Connect solo admiten el acceso desde subredes en la misma región que el servicio.
  • No es posible usar conectividad inversa. Esto significa que la configuración de Kerberos con Private Service Connect no es compatible.
  • La creación de un servicio de Dataproc Metastore con el protocolo de extremo de gRPC no es compatible con la configuración de red.
  • No puedes agregar ni quitar subredes de un servicio de Dataproc Metastore de forma dinámica. Debes volver a crear un servicio si deseas agregar o quitar subredes.
  • No puedes actualizar un servicio de Dataproc Metastore desde la configuración de Private Service Connect a la configuración de intercambio de tráfico, ni viceversa.
  • Las versiones auxiliares no son compatibles con la configuración de Private Service Connect.

¿Qué sigue?