Private Service Connect avec Dataproc Metastore

Cette page explique ce qu'est Private Service Connect et comment l'utiliser pour la mise en réseau au lieu de l'appairage de VPC.

Service Dataproc Metastore sans appairage de VPC

Dataproc Metastore protège l'accès aux métadonnées en n'exposant que les points de terminaison IP privés. Il limite également la connectivité aux VM du réseau VPC fourni par le client via l'appairage de VPC.

Dataproc Metastore nécessite les éléments suivants par région pour chaque réseau VPC:

La configuration de l'appairage de VPC et de la réservation d'adresses IP pose problème pour les réseaux VPC populaires. De même, un réseau VPC peut ne pas disposer d'un quota d'appairage suffisant pour prendre en charge des requêtes d'appairage supplémentaires. Ces deux limites empêchent la création de nouveaux services Dataproc Metastore.

Vous pouvez créer un service Dataproc Metastore sans appairage de VPC et réserver des blocs d'adresses en utilisant Private Service Connect pour exposer le point de terminaison Dataproc Metastore. Private Service Connect permet une connexion privée aux métadonnées Dataproc Metastore sur les réseaux VPC.

Avec Private Service Connect, Dataproc Metastore nécessite une réservation d'adresse unique dans le sous-réseau, et une règle de transfert ciblant le rattachement de service qui expose le point de terminaison Dataproc Metastore. La réservation d'adresse et la règle de transfert sont créées dans le cadre de l'appel de création du service Dataproc Metastore.

Créer un service Dataproc Metastore avec Private Service Connect

Les instructions suivantes montrent comment configurer Private Service Connect lors de la création du service.

Console

  1. Dans la console Google Cloud, ouvrez la page "Dataproc Metastore" :

    Ouvrir Dataproc Metastore dans la console Google Cloud

  2. En haut de la page Dataproc Metastore, cliquez sur le bouton Créer. La page Créer un service s'ouvre.

  3. Configurez votre service comme vous le souhaitez.

  4. Sous Configuration du réseau, cliquez sur Rendre les services accessibles dans plusieurs sous-réseaux VPC.

  5. Sélectionnez les Sous-réseaux. Vous pouvez spécifier jusqu'à cinq sous-réseaux.

  6. Cliquez sur OK.

  7. Cliquez sur Submit (Envoyer).

Vérifiez la configuration réseau du service:

  1. Dans la console Google Cloud, ouvrez la page "Dataproc Metastore" :

    Ouvrir Dataproc Metastore dans la console Google Cloud

  2. Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez afficher. La page Service detail (Informations sur le service) s'ouvre pour ce service.

  3. Dans l'onglet Configuration, vérifiez que les détails affichent plusieurs URI de sous-réseau VPC.

gcloud

  1. Exécutez la commande gcloud metastore services create pour créer un service avec Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    ou

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Vérifiez que la création a réussi.

REST

Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

Dans les paramètres de requête create, utilisez le champ Network Config pour configurer Private Service Connect:

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Vous pouvez spécifier entre 1 et 5 sous-réseaux.

Dataproc Metastore réserve des adresses et crée des règles de transfert dans chacun des sous-réseaux spécifiés. Chaque sous-réseau possède un URI de point de terminaison Thrift à partir duquel vous pouvez accéder au point de terminaison des métadonnées de Dataproc Metastore.

Associer un cluster Dataproc

Vous pouvez associer un cluster Dataproc qui utilise le service Dataproc Metastore avec Private Service Connect comme métastore Hive à l'aide de l'URI du point de terminaison du service et du répertoire d'entrepôt.

Pour savoir comment associer un cluster Dataproc, consultez Associer un cluster Dataproc à l'aide de ENDPOINT_URI et WAREHOUSE_DIR.

Mises en garde concernant Private Service Connect pour Dataproc Metastore

  • Les points de terminaison du service Dataproc Metastore qui utilisent Private Service Connect n'acceptent l'accès qu'à partir de sous-réseaux de la même région que le service.
  • La connectivité inverse n'est pas possible. Cela signifie que la configuration Kerberos avec Private Service Connect n'est pas prise en charge.
  • La création d'un service Dataproc Metastore avec le protocole de point de terminaison gRPC n'est pas compatible avec la configuration réseau.
  • Vous ne pouvez pas ajouter de sous-réseaux de manière dynamique à un service Dataproc Metastore, ni en enlever. Vous devez recréer un service si vous souhaitez ajouter ou supprimer des sous-réseaux.
  • Vous ne pouvez pas mettre à jour un service Dataproc Metastore depuis la configuration de Private Service Connect vers la configuration d'appairage, ou inversement.
  • Les versions auxiliaires ne sont pas compatibles avec la configuration Private Service Connect.

Étapes suivantes