Private Service Connect avec Dataproc Metastore

Avec Private Service Connect, vous pouvez créer un service Dataproc Metastore qui n'utilise pas l'appairage VPC. Cette page explique ce qu'est Private Service Connect et comment l'utiliser comme autre option de mise en réseau pour Dataproc Metastore.

Fonctionnement de Dataproc Metastore avec VPC

Dataproc Metastore protège l'accès aux métadonnées en n'exposant que les points de terminaison IP privés. Il limite également la connectivité aux VM de votre réseau VPC à l'aide de l'appairage de VPC.

Dataproc Metastore nécessite les configurations suivantes par région pour chaque réseau VPC:

Par conséquent, la configuration de l'appairage de VPC et de la réservation d'adresses IP peut être difficile sur les réseaux VPC populaires. De même, un réseau VPC peut ne pas disposer d'un quota d'appairage suffisant pour prendre en charge des requêtes d'appairage supplémentaires. Ces deux limites peuvent vous empêcher de créer un service Dataproc Metastore.

Pour contourner ces problèmes, vous pouvez utiliser Dataproc Metastore avec Private Service Connect.

Fonctionnement de Dataproc Metastore avec Private Service Connect

Private Service Connect fournit une connexion privée aux métadonnées Dataproc Metastore sur les réseaux VPC.

Pour utiliser Private Service Connect avec Dataproc Metastore, les configurations suivantes sont requises:

  • Réservation d'une seule adresse dans le sous-réseau.
  • Une règle de transfert ciblant le rattachement de service qui expose le point de terminaison Dataproc Metastore. La réservation d'adresse et la règle de transfert sont créées dans le cadre de l'appel de création du service Dataproc Metastore.

Remarques

  • Les services Dataproc Metastore qui utilisent Private Service Connect n'acceptent l'accès qu'à partir des réseaux VPC des sous-réseaux spécifiés lors de la création du service.

  • Dataproc Metastore réserve des adresses et crée des règles de transfert dans chacun des sous-réseaux spécifiés. Chaque sous-réseau possède un URI de point de terminaison Thrift à partir duquel vous pouvez accéder au point de terminaison des métadonnées de Dataproc Metastore.

Limites

  • Les services Dataproc Metastore qui utilisent le protocole de point de terminaison gRPC ne sont pas compatibles avec Private Service Connect.
  • La connectivité inverse n'est pas compatible avec Private Service Connect. Cela signifie que vous ne pouvez pas utiliser de configuration Kerberos avec Private Service Connect.
  • Vous ne pouvez pas ajouter de sous-réseaux de manière dynamique à un service Dataproc Metastore configuré avec Private Service Connect, ni en supprimer. Vous devez recréer un service si vous souhaitez ajouter ou supprimer des sous-réseaux.
  • Vous ne pouvez pas mettre à jour un service Dataproc Metastore qui utilise Private Service Connect pour utiliser le VPC, ni inversement.

Créer un service Dataproc Metastore avec Private Service Connect

Les instructions suivantes montrent comment configurer Private Service Connect lors de la création du service.

Console

  1. Dans la console Google Cloud, ouvrez la page "Dataproc Metastore" :

    Accéder à Dataproc Metastore

  2. En haut de la page Dataproc Metastore, cliquez sur Créer.

    La page Create service (Créer un service) s'ouvre.

  3. Configurez votre service selon vos besoins.

  4. Sous Configuration réseau, cliquez sur Rendre les services accessibles dans plusieurs sous-réseaux VPC.

  5. Sélectionnez Sous-réseaux. Vous pouvez spécifier jusqu'à cinq sous-réseaux.

  6. Cliquez sur OK.

  7. Cliquez sur Envoyer.

Vérifiez la configuration réseau du service:

  1. Dans la console Google Cloud, ouvrez la page "Dataproc Metastore" :

    Accéder à Dataproc Metastore

  2. Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez afficher.

    La page Informations sur le service s'ouvre pour ce service.

  3. Sous l'onglet Configuration, vérifiez que les détails indiquent plusieurs URI de sous-réseau VPC.

gcloud

  1. Exécutez la commande gcloud metastore services create pour créer un service avec Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    ou

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Vérifiez que la création a réussi.

REST

Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

Dans les paramètres de requête create, utilisez le champ Network Config pour configurer Private Service Connect. Vous pouvez spécifier de 1 à 5 sous-réseaux.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Étape suivante