Présentation de la mise en réseau de Dataproc Metastore

Ce document présente les paramètres réseau que vous pouvez utiliser pour configurer un service Dataproc Metastore.

Remarque :La plupart des concepts de mise en réseau de cette page ne s'appliquent qu'aux services Dataproc Metastore qui utilisent le protocole de point de terminaison Thrift. Si vous utilisez le protocole de point de terminaison gRPC, la seule configuration réseau que vous devez prendre en compte dans ce document est VPC Service Controls.

Aide-mémoire des rubriques concernant la mise en réseau

Paramètres de mise en réseau	Notes
Paramètres réseau par défaut
Réseaux VPC	Par défaut, les services Dataproc Metastore utilisent des réseaux VPC pour se connecter à Google Cloud. Une fois le réseau VPC créé, Dataproc Metastore configure également automatiquement l'appairage de réseaux VPC pour votre service.
Sous-réseaux VPC	Vous pouvez éventuellement choisir de créer des services Dataproc Metastore avec un sous-réseau VPC à l'aide de Private Service Connect. Il s'agit d'une alternative à l'utilisation de réseaux VPC.
Paramètres des réseaux supplémentaires
Réseaux VPC partagés	Vous pouvez éventuellement choisir de créer des services Dataproc Metastore dans un réseau VPC partagé.
Mise en réseau sur site	Vous pouvez vous connecter à un service Dataproc Metastore avec un environnement sur site à l'aide de Cloud VPN ou Cloud Interconnect.
VPC Service Controls	Vous pouvez éventuellement choisir de créer des services Dataproc Metastore avec VPC Service Controls.
Règles de pare-feu	Dans les environnements privés ou autres que ceux par défaut dotés d'une empreinte de sécurité établie, vous devrez peut-être créer vos propres règles de pare-feu.

Paramètres réseau par défaut

La section suivante décrit les paramètres réseau par défaut utilisés par Dataproc Metastore : réseaux VPC et appairage de réseaux VPC.

Réseaux VPC

Par défaut, les services Dataproc Metastore utilisent des réseaux VPC pour se connecter à Google Cloud. Un réseau VPC est une version virtuelle d'un réseau physique mise en œuvre au sein du réseau de production de Google. Lorsque vous créez un service Dataproc Metastore, le service crée automatiquement le réseau VPC pour vous.

Si vous ne modifiez aucun paramètre lors de la création du service, Dataproc Metastore utilise le réseau VPC default. Avec ce paramètre, le réseau VPC que vous utilisez avec votre service Dataproc Metastore peut appartenir au même projet Google Cloud ou à un projet différent. Ce paramètre vous permet également d'exposer votre service dans un seul réseau VPC ou de le rendre accessible à partir de plusieurs réseaux VPC (via l'utilisation de sous-réseaux).

Dataproc Metastore nécessite les éléments suivants par région pour chaque réseau VPC:

• 1 quota d'appairage
• /17 et /20 CIDR

Appairage de réseaux VPC

Une fois le réseau VPC créé, Dataproc Metastore configure aussi automatiquement l'appairage de réseaux VPC pour votre service. Le VPC fournit à votre service l'accès aux protocoles de point de terminaison de Dataproc Metastore. Après avoir créé votre service, vous pouvez voir l'appairage de réseaux VPC sous-jacent sur la page Appairage de réseaux VPC de la console Google Cloud.

L'appairage de réseaux VPC n'est pas transitif. Cela signifie que seuls les réseaux directement appairés peuvent communiquer entre eux. Prenons l'exemple suivant:

Voici les réseaux VPC N1, N2 et N3.

• Le réseau VPC N1 est associé à N2 et N3.
• Les réseaux VPC N2 et N3 ne sont pas directement connectés.

Qu'est-ce que cela signifie ?

Cela signifie que via l'appairage de réseaux VPC, le réseau VPC N2 ne peut pas communiquer avec le réseau VPC N3. Cela a plusieurs conséquences sur les connexions Dataproc Metastore:

• Les machines virtuelles situées dans des réseaux appairés au réseau de votre projet Dataproc Metastore ne peuvent pas atteindre Dataproc Metastore.
• Seuls les hôtes du réseau VPC peuvent accéder à un service Dataproc Metastore.

Considérations de sécurité pour l'appairage de réseaux VPC

• Un certain niveau de chiffrement est fourni pour le trafic circulant sur l'appairage de réseaux VPC. Pour en savoir plus, consultez la page Chiffrement et authentification des réseaux virtuels Google Cloud.

• La création d'un réseau VPC pour chaque service avec une adresse IP interne offre une meilleure isolation réseau que de placer tous les services sur le réseau VPC default.

Sous-réseaux VPC

Private Service Connect (PSC) vous permet de configurer une connexion privée aux métadonnées Dataproc Metastore sur les réseaux VPC. Avec PSC, vous pouvez créer un service sans appairage de VPC. Cela vous permet d'utiliser vos propres adresses IP internes pour accéder à Dataproc Metastore, sans quitter vos réseaux VPC ni utiliser d'adresses IP externes.

Pour configurer Private Service Connect lors de la création d'un service, consultez la page Private Service Connect avec Dataproc Metastore.

Adresses IP

Pour se connecter à un réseau et protéger vos métadonnées, les services Dataproc Metastore n'utilisent que des adresses IP internes. Cela signifie que les adresses IP publiques ne sont pas exposées ou sont disponibles à des fins de mise en réseau.

Grâce à une adresse IP interne, Dataproc Metastore ne peut se connecter qu'aux machines virtuelles (VM) qui existent sur des réseaux de cloud privé virtuel (VPC) spécifiés ou dans un environnement sur site.

Les connexions à un service Dataproc Metastore utilisant une adresse IP interne utilisent les plages d'adresses RFC 1918. L'utilisation de ces plages signifie que Dataproc Metastore alloue une plage /17 et une plage /20 à partir de l'espace d'adressage pour chaque région. Par exemple, pour placer des services Dataproc Metastore dans deux régions, la plage d'adresses IP allouée doit contenir les éléments suivants:

• Au moins deux blocs d'adresses inutilisés de taille /17
• Au moins deux blocs d'adresses inutilisés, de taille /20

Si aucun bloc d'adresses RFC 1918 n'est trouvé, Dataproc Metastore recherche plutôt des blocs d'adresses non-RFC 1918 appropriés. Notez que l'allocation de blocs non-RFC 1918 ne prend pas en compte l'utilisation ou non de ces adresses dans votre réseau VPC ou sur site.

Paramètres réseau supplémentaires

Si vous avez besoin de paramètres de mise en réseau différents, vous pouvez utiliser les options suivantes avec le service Dataproc Metastore.

Réseau VPC partagé

Vous pouvez créer des services Dataproc Metastore dans un réseau VPC partagé. Un VPC partagé vous permet de connecter des ressources Dataproc Metastore provenant de plusieurs projets à un réseau VPC (VPC) commun.

Pour configurer un VPC partagé lors de la création d'un service, consultez la page Créer un service Dataproc Metastore.

Mise en réseau sur site

Vous pouvez vous connecter à un service Dataproc Metastore avec un environnement sur site à l'aide de Cloud VPN ou Cloud Interconnect.

VPC Service Controls

VPC Service Controls renforce votre capacité à limiter le risque d'exfiltration des données. Avec VPC Service Controls, vous créez des périmètres autour du service Dataproc Metastore. VPC Service Controls limite l'accès depuis l'extérieur aux ressources situées dans le périmètre. Seuls les clients et les ressources situés dans le périmètre peuvent interagir les uns avec les autres.

Pour utiliser VPC Service Controls avec Dataproc Metastore, consultez la page VPC Service Controls avec Dataproc Metastore. Consultez également les limites de Dataproc Metastore lors de l'utilisation de VPC Service Controls.

Règles de pare-feu pour Dataproc Metastore

Dans les environnements autres que ceux par défaut ou dotés d'une empreinte de sécurité établie, vous devrez peut-être créer vos propres règles de pare-feu. Dans ce cas, ne créez pas de règle de pare-feu qui bloque la plage d'adresses IP ou le port de vos services Dataproc Metastore.

Lorsque vous créez un service Dataproc Metastore, vous pouvez accepter le réseau par défaut du service. Le réseau par défaut garantit un accès complet au réseau IP interne de vos VM.

Pour plus d'informations générales sur les règles de pare-feu, consultez les pages Règles de pare-feu VPC et Utiliser des règles de pare-feu VPC.

Créer une règle de pare-feu pour un réseau personnalisé

Lorsque vous utilisez un réseau personnalisé, assurez-vous que votre règle de pare-feu autorise le trafic entrant et sortant du point de terminaison Dataproc Metastore. Pour autoriser explicitement le trafic Dataproc Metastore, exécutez les commandes gcloud suivantes:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Pour DPMS_NET_PREFIX, appliquez un masque de sous-réseau /17 à votre adresse IP de service Dataproc Metastore. Vous trouverez les informations sur votre adresse IP Dataproc Metastore dans la configuration endpointUri de la page Détails du service.

Points à prendre en compte

Les réseaux disposent d'une règle implicite de sortie autorisée qui autorise normalement l'accès depuis votre réseau à Dataproc Metastore. Si vous créez des règles de refus de sortie qui ignorent la règle implicite de sortie autorisée, vous devez créer une règle d'autorisation du trafic sortant avec une priorité plus élevée pour autoriser la sortie vers l'adresse IP Dataproc Metastore.

Certaines fonctionnalités telles que Kerberos nécessitent Dataproc Metastore pour initier des connexions aux hôtes de votre réseau de projet. Tous les réseaux disposent d'une règle implicite d'entrée interdite qui bloque ces connexions et empêche ces fonctionnalités de fonctionner. Vous devez créer une règle de pare-feu qui autorise l'entrée TCP et UDP sur tous les ports du bloc d'adresses IP /17 contenant l'adresse IP Dataproc Metastore.

Routage personnalisé

Les routes personnalisées sont destinées aux sous-réseaux qui utilisent des adresses IP publiques utilisées en mode privé (PUPI). Les routes personnalisées permettent à votre réseau VPC de se connecter à un réseau appairé. Les routes personnalisées ne peuvent être reçues que lorsque votre réseau VPC les importe et que le réseau appairé les exporte explicitement. Les routes personnalisées peuvent être statiques ou dynamiques.

Le partage de routes personnalisées avec des réseaux VPC appairés permet aux réseaux "d'apprendre" des routes directement à partir de leurs réseaux appairés. Cela signifie que lorsqu'une route personnalisée dans un réseau appairé est mise à jour, votre réseau VPC la apprend et l'implémente automatiquement sans nécessiter aucune action supplémentaire de votre part.

Pour plus d'informations sur le routage personnalisé, consultez la section Configuration du réseau.

Exemple de mise en réseau Dataproc Metastore

Dans l'exemple suivant, Google alloue les plages d'adresses 10.100.0.0/17 et 10.200.0.0/20 dans le réseau VPC du client pour les services Google et utilise ces plages d'adresses dans un réseau VPC appairé.

Figure 1. Configuration du réseau VPC Dataproc Metastore

Description de l'exemple de mise en réseau:

• Du côté des services Google de l'appairage VPC, Google crée un projet pour le client. Le projet est isolé, ce qui signifie qu'aucun autre client ne le partage, et le client n'est facturé que pour les ressources qu'il fournit.
• Lors de la création du premier service Dataproc Metastore dans une région, Dataproc Metastore alloue une plage /17 et une plage /20 sur le réseau du client pour toutes les utilisations futures des services Dataproc Metastore dans cette région et ce réseau. Dataproc Metastore subdivise davantage ces plages pour créer des sous-réseaux et des plages d'adresses dans le projet producteur de services.
• Les services de VM du réseau du client peuvent accéder aux ressources du service Dataproc Metastore dans n'importe quelle région si le service Google Cloud le permet. Certains services Google Cloud peuvent ne pas être compatibles avec la communication interrégionale.
• Les coûts de sortie applicables au trafic interrégional, où une instance de VM communique avec des ressources situées dans une région différente, continuent de s'appliquer.
• Google attribue au service Dataproc Metastore l'adresse IP 10.100.0.100. Dans le réseau VPC client, les requêtes dont la destination est 10.100.0.100 sont acheminées via l'appairage VPC vers le réseau du producteur de services. Une fois le réseau de service atteint, celui-ci contient des routes qui dirigent la requête vers la ressource appropriée.
• Le trafic entre les réseaux VPC circule en interne au sein du réseau de Google, et non via l'Internet public.

Étapes suivantes

• VPC Service Controls avec Dataproc Metastore
• IAM et contrôle des accès Dataproc Metastore
• Private Service Connect avec Dataproc Metastore