Private Service Connect avec Dataproc Metastore

Private Service Connect vous permet de créer un service Dataproc Metastore qui n'utilise pas l'appairage de VPC. Cette page explique en quoi consiste Private Service Connect et comment l'utiliser comme option de mise en réseau alternative pour Dataproc Metastore.

Fonctionnement de Dataproc Metastore avec le VPC

Dataproc Metastore protège l'accès aux métadonnées en n'exposant que les points de terminaison IP privés. Elle limite également la connectivité aux VM de votre réseau VPC à l'aide de l'appairage de VPC.

Dataproc Metastore nécessite les configurations suivantes par région et par réseau VPC:

Par conséquent, la configuration de l'appairage de VPC et des réservations d'adresses IP peut s'avérer difficile sur les réseaux VPC encombrés. De même, un réseau VPC peut ne pas disposer d'un quota d'appairage suffisant pour prendre en charge des requêtes d'appairage supplémentaires. Ces deux limites peuvent vous empêcher de créer un service Dataproc Metastore.

Pour contourner ces problèmes, vous pouvez utiliser Dataproc Metastore avec Private Service Connect.

Fonctionnement de Dataproc Metastore avec Private Service Connect

Private Service Connect fournit une connexion privée aux métadonnées Dataproc Metastore sur les réseaux VPC.

Pour utiliser Private Service Connect avec Dataproc Metastore, les configurations suivantes sont requises:

  • Réservation d'adresse unique dans le sous-réseau.
  • Une règle de transfert ciblant le rattachement de service qui expose le point de terminaison Dataproc Metastore. La réservation d'adresse et la règle de transfert sont créées dans le cadre de l'appel de création du service Dataproc Metastore.

Remarques

  • Les services Dataproc Metastore qui utilisent Private Service Connect ne permettent d'accéder qu'aux réseaux VPC des sous-réseaux spécifiés lors de la création du service.

  • Dataproc Metastore réserve des adresses et crée des règles de transfert dans chacun des sous-réseaux spécifiés. Chaque sous-réseau possède un URI de point de terminaison Thrift à partir duquel vous pouvez accéder au point de terminaison des métadonnées de Dataproc Metastore.

Limites

  • Les services Dataproc Metastore qui utilisent le protocole de points de terminaison gRPC ne sont pas compatibles avec Private Service Connect.
  • La connectivité inversée n'est pas compatible avec Private Service Connect. Cela signifie que vous ne pouvez pas utiliser une configuration Kerberos avec Private Service Connect.
  • Vous ne pouvez pas ajouter ni supprimer de manière dynamique des sous-réseaux d'un service Dataproc Metastore configuré avec Private Service Connect. À la place, vous devez recréer un service si vous souhaitez ajouter ou supprimer des sous-réseaux.
  • Vous ne pouvez pas mettre à jour un service Dataproc Metastore qui utilise Private Service Connect pour utiliser VPC, ou l'inverse.

Créer un service Dataproc Metastore avec Private Service Connect

Les instructions suivantes montrent comment configurer Private Service Connect lors de la création du service.

Console

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore:

    Accéder à Dataproc Metastore

  2. En haut de la page Dataproc Metastore, cliquez sur Créer.

    La page Créer un service s'ouvre.

  3. Configurez votre service selon vos besoins.

  4. Sous Configuration du réseau, cliquez sur Rendre les services accessibles dans plusieurs sous-réseaux VPC.

  5. Sélectionnez les sous-réseaux. Vous pouvez spécifier jusqu'à cinq sous-réseaux.

  6. Cliquez sur OK.

  7. Cliquez sur Envoyer.

Vérifiez la configuration réseau du service:

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore:

    Accéder à Dataproc Metastore

  2. Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez afficher.

    La page Détails du service correspondant à ce service s'ouvre.

  3. Dans l'onglet Configuration, vérifiez que les détails affichent plusieurs URI de sous-réseau VPC.

gcloud

  1. Exécutez la commande gcloud metastore services create pour créer un service avec Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    ou

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Vérifiez que la création a réussi.

REST

Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

Dans les paramètres de requête create, utilisez le champ Network Config pour configurer Private Service Connect. Vous pouvez spécifier entre un et cinq sous-réseaux.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Étapes suivantes