Private Service Connect avec Dataproc Metastore

Private Service Connect vous permet de créer service Dataproc Metastore qui n'utilise pas de VPC d'appairage. Cette page explique en quoi consiste Private Service Connect. et comment l'utiliser comme une autre option de réseautage pour Dataproc Metastore.

Fonctionnement de Dataproc Metastore avec le VPC

Dataproc Metastore protège l'accès aux métadonnées en n'exposant que points de terminaison IP. Il limite également la connectivité aux VM de votre réseau VPC à l'aide de l'appairage de VPC.

Dataproc Metastore nécessite les configurations suivantes : par région pour chaque réseau VPC:

Par conséquent, la configuration de l'appairage de VPC et des réservations d'adresses IP peut s'avérer difficile sur des réseaux VPC encombrés. De même, un réseau VPC peut ne pas disposer d'un quota d'appairage suffisant pour prendre en charge des requêtes d'appairage supplémentaires. Ces deux limitations peuvent vous empêcher de créer Service Dataproc Metastore.

Pour contourner ces problèmes, vous pouvez utiliser Dataproc Metastore avec Private Service Connect.

Fonctionnement de Dataproc Metastore avec Private Service Connect

Private Service Connect fournit une connexion privée Métadonnées Dataproc Metastore sur les réseaux VPC.

Pour utiliser Private Service Connect avec Dataproc Metastore, les configurations suivantes sont requises:

  • Réservation d'adresse unique dans le sous-réseau.
  • Une règle de transfert ciblant le rattachement de service qui expose le Dataproc Metastore point de terminaison unique. La réservation d'adresse et la règle de transfert sont créées dans le cadre de l'appel de création du service Dataproc Metastore.

Remarques

  • Services Dataproc Metastore qui utilisent Private Service Connect n'acceptent que l'accès à partir des réseaux VPC des sous-réseaux spécifiés création.

  • Dataproc Metastore réserve des adresses et crée des règles de transfert dans chacun des sous-réseaux spécifiés. Chaque sous-réseau possède un URI de point de terminaison Thrift à partir duquel vous pouvez accéder au point de terminaison des métadonnées de Dataproc Metastore.

Limites

  • Services Dataproc Metastore utilisant le protocole des points de terminaison gRPC ne sont pas compatibles avec Private Service Connect.
  • La connectivité inversée n'est pas compatible avec Private Service Connect. Cela signifie que vous ne pouvez pas utiliser une configuration Kerberos avec Private Service Connect.
  • Vous ne pouvez pas ajouter ni supprimer dynamiquement des sous-réseaux d'un Dataproc Metastore configuré avec Private Service Connect. Au lieu de cela, vous doit recréer un service si vous souhaitez ajouter ou supprimer des sous-réseaux.
  • Vous ne pouvez pas mettre à jour un service Dataproc Metastore qui utilise Private Service Connect le VPC, ou inversement.

Créer un service Dataproc Metastore avec Private Service Connect

Les instructions suivantes montrent comment configurer Private Service Connect lors de la création du service.

Console

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore:

    Accéder à Dataproc Metastore

  2. En haut de la page Dataproc Metastore, cliquez sur Créer.

    La page Créer un service s'ouvre.

  3. Configurez votre service selon vos besoins.

  4. Sous Configuration du réseau, cliquez sur Rendre les services accessibles dans plusieurs sous-réseaux VPC.

  5. Sélectionnez les sous-réseaux. Vous pouvez spécifier jusqu'à cinq sous-réseaux.

  6. Cliquez sur OK.

  7. Cliquez sur Envoyer.

Vérifiez la configuration réseau du service:

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore:

    Accéder à Dataproc Metastore

  2. Sur la page Dataproc Metastore, cliquez sur le nom de service du que vous souhaitez consulter.

    La page Détails du service correspondant à ce service s'ouvre.

  3. Dans l'onglet Configuration, vérifiez que les détails indiquent plusieurs VPC les URI du sous-réseau.

gcloud

  1. Exécutez la commande gcloud metastore services create pour créer un service avec Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    ou

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Vérifiez que la création a réussi.

REST

Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

Dans les paramètres de requête create, utilisez le champ Network Config pour configurer Private Service Connect. Vous pouvez spécifier entre un et cinq sous-réseaux.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Étape suivante