Private Service Connect con Dataproc Metastore

En esta página, se explica qué es Private Service Connect y cómo usarlo para las herramientas de redes como alternativa al intercambio de tráfico de VPC.

Servicio de Dataproc Metastore sin intercambio de tráfico de VPC

Dataproc Metastore protege su acceso a los metadatos mediante la exposición de extremos de IP privados. También restringe la conectividad a las VM en la red de VPC del cliente proporcionada a través del intercambio de tráfico de VPC.

Dataproc Metastore requiere lo siguiente por región para cada red de VPC:

Configurar el intercambio de tráfico de VPC y la reserva de direcciones IP representa un desafío para las redes de VPC concurridas. Del mismo modo, es posible que una red de VPC no tenga suficiente cuota de intercambio de tráfico para recibir solicitudes de intercambio de tráfico adicionales. Ambas limitaciones evitan la creación de nuevos servicios de Dataproc Metastore.

Puedes crear un servicio de Dataproc Metastore sin intercambio de tráfico de VPC y reservas de direcciones mediante el uso de Private Service Connect para exponer el extremo de Dataproc Metastore. Private Service Connect permite una conexión privada a los metadatos de Dataproc Metastore en las redes de VPC.

Con Private Service Connect, Dataproc Metastore requiere una sola reserva de dirección en la subred y una regla de reenvío que se oriente al adjunto de servicio que expone el extremo de Dataproc Metastore. La reserva de direcciones y la regla de reenvío se crean como parte de la llamada para crear el servicio de Dataproc Metastore.

Crear un servicio de Dataproc Metastore con Private Service Connect

En las siguientes instrucciones, se muestra cómo configurar Private Service Connect durante la creación del servicio.

Console

  1. En Cloud Console, abre la página Dataproc Metastore:

    Abre Dataproc Metastore en Cloud Console

  2. En la parte superior de la página Dataproc Metastore haz clic en el botón Crear. Se abrirá la página Crear servicio.

  3. Configura tu servicio como desees.

  4. En Configuración de red, haz clic en Permitir el acceso a los servicios en varias subredes de VPC.

  5. Seleccione Subredes. Puedes especificar hasta 5 subredes.

  6. Haga clic en Listo.

  7. Haga clic en Submit.

Verifica la configuración de red del servicio:

  1. En Cloud Console, abre la página Dataproc Metastore:

    Abre Dataproc Metastore en Cloud Console

  2. En la página Dataproc Metastore, haz clic en el nombre del servicio que quieres ver. Se abrirá la página Detalles del servicio de ese servicio.

  3. En la pestaña Configuración, verifica que los detalles muestren varios URI de subred de VPC.

gcloud

  1. Ejecuta el siguiente comando de gcloud beta metastore services create para crear un servicio con Private Service Connect:

    gcloud beta metastore services create SERVICE \
       --location=LOCATION \
       --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"
    
  2. Verifica que la creación se haya realizado correctamente.

REST

Sigue las instrucciones de la API para crear un servicio mediante el Explorador de API.

En los parámetros de la solicitud create, usa el campo Network Config para configurar Private Service Connect:

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }
   

Puedes especificar de 1 a 5 subredes.

Dataproc Metastore reserva direcciones y crea reglas de reenvío en cada una de las subredes especificadas. Cada subred tiene un URI de extremo que puedes usar para acceder al extremo de metadatos de Dataproc Metastore.

Adjuntar un clúster de Dataproc

Puedes conectar un clúster de Dataproc que use el servicio de Dataproc Metastore con Private Service Connect como su almacén de metadatos de Hive mediante el URI del extremo y el directorio del almacén de servicios.

Para obtener más información sobre cómo conectar un clúster de Dataproc, consulta Cómo adjuntar un clúster de Dataproc con la ENDPOINT_URI y el WAREHOUSE_DIR.

Advertencias de Private Service Connect para Dataproc Metastore

  • Los extremos del servicio de Dataproc Metastore que usan Private Service Connect solo admiten el acceso desde subredes en la misma región que el servicio.
  • No se puede revertir la conectividad. Esto significa que no se admite la configuración de Kerberos con configuración de Private Service Connect.
  • Crear un servicio de Dataproc Metastore con el protocolo de extremo de gRPC no admite la configuración de red.
  • No puedes agregar o quitar subredes de forma dinámica de un servicio de Dataproc Metastore. Debes volver a crear un servicio si deseas agregar o quitar subredes.
  • No puedes actualizar un servicio de Dataproc Metastore desde la configuración de Private Service Connect a la configuración de intercambio de tráfico, ni viceversa.
  • Las versiones auxiliares no son compatibles con la configuración de Private Service Connect.

¿Qué sigue?