Présentation de la mise en réseau de Dataproc Metastore

Ce document présente les paramètres réseau que vous pouvez utiliser pour configurer un service Dataproc Metastore.

Remarque :La plupart des concepts de mise en réseau de cette page ne s'appliquent qu'aux services Dataproc Metastore qui utilisent le protocole de point de terminaison Thrift. Si vous utilisez le protocole de point de terminaison gRPC, la seule configuration réseau que vous devez prendre en compte dans ce document est VPC Service Controls.

Aide-mémoire des rubriques concernant la mise en réseau

Paramètres de mise en réseau	Remarques
Paramètres réseau par défaut
Réseaux VPC	Par défaut, les services Dataproc Metastore utilisent des réseaux VPC pour se connecter à Google Cloud. Une fois le réseau VPC créé, Dataproc Metastore configure également automatiquement l'appairage de réseaux VPC pour votre service.
Sous-réseaux VPC	Vous pouvez choisir de créer des services Dataproc Metastore avec un sous-réseau VPC à l'aide de Private Service Connect. Il s'agit d'une alternative à l'utilisation de réseaux VPC.
Autres paramètres réseau
Réseaux VPC partagés	Vous pouvez choisir de créer des services Dataproc Metastore dans un réseau VPC partagé.
Mise en réseau sur site	Vous pouvez vous connecter à un service Dataproc Metastore avec un environnement sur site à l'aide de Cloud VPN ou de Cloud Interconnect.
VPC Service Controls	Vous pouvez choisir de créer des services Dataproc Metastore avec VPC Service Controls.
Règles de pare-feu	Dans les environnements autres que ceux par défaut ou dotés d'une empreinte de sécurité établie, vous devrez peut-être créer vos propres règles de pare-feu.

Paramètres réseau par défaut

La section suivante décrit les paramètres réseau par défaut utilisés par Dataproc Metastore : les réseaux VPC et l'appairage de réseaux VPC.

Réseaux VPC

Par défaut, les services Dataproc Metastore utilisent des réseaux VPC pour se connecter à Google Cloud. Un réseau VPC est une version virtuelle d'un réseau physique, mise en œuvre au sein du réseau de production de Google. Lorsque vous créez un Dataproc Metastore, le service crée automatiquement le réseau VPC.

Si vous ne modifiez aucun paramètre lorsque vous créez votre service, Dataproc Metastore utilise le réseau VPC default. Avec ce paramètre, le réseau VPC que vous utilisez avec votre service Dataproc Metastore peut appartenir au même projet Google Cloud ou à un autre. Ce paramètre vous permet également d'exposer votre service dans un seul réseau VPC ou de le rendre accessible à partir de plusieurs réseaux VPC (à l'aide de sous-réseaux).

Dataproc Metastore nécessite les éléments suivants par région pour chaque réseau VPC:

• 1 quota d'appairage
• CIDR /17 et /20

Appairage de réseaux VPC

Une fois le réseau VPC créé, Dataproc Metastore configure également automatiquement l'appairage de réseaux VPC pour votre service. Le VPC fournit à votre service un accès aux protocoles de point de terminaison Dataproc Metastore. Une fois votre service créé, vous pouvez voir son appairage de réseaux VPC sous-jacent sur la page Appairage de réseaux VPC de la console Google Cloud.

L'appairage de réseaux VPC n'est pas transitif. Cela signifie que seuls les réseaux directement appairés peuvent communiquer entre eux. Prenons l'exemple suivant:

Vous disposez des réseaux VPC suivants : N1, N2 et N3.

• Le réseau VPC N1 est associé à N2 et N3.
• Les réseaux VPC N2 et N3 ne sont pas directement connectés.

Qu'est-ce que cela signifie ?

Cela signifie que le réseau VPC N2 ne peut pas communiquer avec le réseau VPC N3 via l'appairage de réseaux VPC. Cela a un impact sur les connexions Dataproc Metastore comme suit:

• Les machines virtuelles qui se trouvent dans des réseaux appairés avec le réseau de votre projet Dataproc Metastore ne peuvent pas atteindre Dataproc Metastore.
• Seuls les hôtes du réseau VPC peuvent accéder à un service Dataproc Metastore.

Considérations de sécurité concernant l'appairage de réseaux VPC

• Un certain niveau de chiffrement est fourni pour le trafic circulant sur l'appairage de réseaux VPC. Pour en savoir plus, consultez la section Chiffrement et authentification du réseau virtuel Google Cloud.

• La création d'un réseau VPC pour chaque service avec une adresse IP interne offre une meilleure isolation du réseau plutôt que de placer tous les services dans le réseau VPC default.

Sous-réseaux VPC

Private Service Connect (PSC) vous permet de configurer une connexion privée aux métadonnées Dataproc Metastore sur les réseaux VPC. Avec PSC, vous pouvez créer un service sans appairage de VPC. Vous pouvez ainsi utiliser vos propres adresses IP internes pour accéder à Dataproc Metastore, sans quitter vos réseaux VPC ni utiliser d'adresses IP externes.

Pour configurer Private Service Connect lorsque vous créez un service, consultez la section Private Service Connect avec Dataproc Metastore.

Adresses IP

Pour se connecter à un réseau et protéger vos métadonnées, les services Dataproc Metastore n'utilisent que des adresses IP internes. Cela signifie que les adresses IP publiques ne sont pas exposées ou sont disponibles à des fins de mise en réseau.

En utilisant une adresse IP interne, Dataproc Metastore ne peut se connecter qu'aux machines virtuelles (VM) qui existent sur des réseaux cloud privé virtuel (VPC) spécifiés ou dans un environnement sur site.

Les connexions à un service Dataproc Metastore à l'aide d'une adresse IP interne utilisent les plages d'adresses RFC 1918. L'utilisation de ces plages signifie que Dataproc Metastore alloue une plage /17 et une plage /20 à partir de l'espace d'adressage pour chaque région. Par exemple, pour placer des services Dataproc Metastore dans deux régions, la plage d'adresses IP allouée doit contenir les éléments suivants:

• Au moins deux blocs d'adresses inutilisés de taille /17.
• Au moins deux blocs d'adresses inutilisés de taille /20.

Si les blocs d'adresses RFC 1918 sont introuvables, Dataproc Metastore trouve des blocs d'adresses non-RFC 1918 appropriés. Notez que l'allocation de blocs non-RFC 1918 ne prend pas en compte l'utilisation ou non de ces adresses dans votre réseau VPC ou sur site.

Autres paramètres réseau

Si vous avez besoin de paramètres réseau différents, vous pouvez utiliser les options suivantes avec votre service Dataproc Metastore.

Réseau VPC partagé

Vous pouvez créer des services Dataproc Metastore dans un réseau VPC partagé. Un VPC partagé vous permet de connecter des ressources Dataproc Metastore de plusieurs projets à un réseau VPC (VPC) commun.

Pour configurer un VPC partagé lors de la création d'un service, consultez Créer un service Dataproc Metastore.

Mise en réseau sur site

Vous pouvez vous connecter à un service Dataproc Metastore avec un environnement sur site à l'aide de Cloud VPN ou Cloud Interconnect.

VPC Service Controls

VPC Service Controls vous aide à limiter le risque d'exfiltration des données. Cette solution vous permet de créer des périmètres autour du service Dataproc Metastore. VPC Service Controls limite l'accès depuis l'extérieur aux ressources situées dans le périmètre. Seuls les clients et les ressources situés dans le périmètre peuvent interagir entre eux.

Pour utiliser VPC Service Controls avec Dataproc Metastore, consultez la page VPC Service Controls avec Dataproc Metastore. Consultez également les limites applicables à Dataproc Metastore lors de l'utilisation de VPC Service Controls.

Règles de pare-feu pour Dataproc Metastore

Dans les environnements autres que ceux par défaut ou dotés d'une empreinte de sécurité établie, vous devrez peut-être créer vos propres règles de pare-feu. Dans ce cas, ne créez pas de règle de pare-feu qui bloque la plage d'adresses IP ou le port de vos services Dataproc Metastore.

Lorsque vous créez un service Dataproc Metastore, vous pouvez accepter le réseau par défaut du service. Le réseau par défaut garantit un accès complet au réseau IP interne de vos VM.

Pour en savoir plus sur les règles de pare-feu, consultez les pages Règles de pare-feu VPC et Utiliser des règles de pare-feu VPC.

Créer une règle de pare-feu pour un réseau personnalisé

Lorsque vous utilisez un réseau personnalisé, assurez-vous que votre règle de pare-feu autorise le trafic provenant du et envoyé vers le point de terminaison Dataproc Metastore. Pour autoriser explicitement le trafic Dataproc Metastore, exécutez les commandes gcloud suivantes:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Pour DPMS_NET_PREFIX, appliquez un masque de sous-réseau /17 à votre adresse IP de service Dataproc Metastore. Vous trouverez les informations sur votre adresse IP Dataproc Metastore dans la configuration endpointUri de la page Informations sur le service.

Remarques

Les réseaux ont une règle implicite d'autorisation du trafic sortant qui autorise normalement l'accès de votre réseau à Dataproc Metastore. Si vous créez des règles de refus de sortie qui remplacent la règle implicite de sortie autorisée, vous devez créer une règle d'autorisation du trafic sortant de priorité supérieure pour autoriser la sortie vers l'adresse IP Dataproc Metastore.

Certaines fonctionnalités telles que Kerberos nécessitent Dataproc Metastore pour initier des connexions aux hôtes de votre réseau de projet. Tous les réseaux ont une règle implicite d'entrée interdite qui bloque ces connexions et empêche ces fonctionnalités de fonctionner. Vous devez créer une règle de pare-feu qui autorise l'entrée TCP et UDP sur tous les ports du bloc d'adresses IP /17 contenant l'adresse IP Dataproc Metastore.

Routage personnalisé

Les routes personnalisées sont destinées aux sous-réseaux qui utilisent des adresses IP publiques utilisées en mode privé (PUPI). Les routes personnalisées permettent à votre réseau VPC de se connecter à un réseau de pairs. Les routes personnalisées ne peuvent être reçues que lorsque votre réseau VPC les importe et que le réseau appairé les exporte explicitement. Les routes personnalisées peuvent être statiques ou dynamiques.

Le partage de routes personnalisées avec des réseaux VPC appairés permet aux réseaux d'apprendre des routes directement à partir de leurs réseaux appairés. Cela signifie que lorsqu'une route personnalisée dans un réseau appairé est mise à jour, votre réseau VPC apprend et implémente automatiquement la route personnalisée sans aucune action supplémentaire de votre part.

Pour en savoir plus sur le routage personnalisé, consultez la section Configuration réseau.

Exemple de mise en réseau Dataproc Metastore

Dans l'exemple suivant, Google alloue les plages d'adresses 10.100.0.0/17 et 10.200.0.0/20 dans le réseau VPC client pour les services Google, et utilise les plages d'adresses dans un réseau VPC appairé.

Figure 1. Configuration du réseau VPC Dataproc Metastore

Description de l'exemple de mise en réseau:

• Du côté des services Google de l'appairage VPC, Google crée un projet pour le client. Le projet est isolé, ce qui signifie qu'il n'est partagé avec aucun autre client, et le client est seulement facturé à la hauteur des ressources qu'il provisionne.
• Lors de la création du premier service Dataproc Metastore dans une région, Dataproc Metastore attribue une plage /17 et une plage /20 au réseau du client pour toute utilisation future des services Dataproc Metastore dans cette région et réseau. Dataproc Metastore subdivise davantage ces plages pour créer des sous-réseaux et des plages d'adresses dans le projet producteur de services.
• Les services de VM du réseau du client peuvent accéder aux ressources du service Dataproc Metastore dans n'importe quelle région si le service Google Cloud le permet. Certains services Google Cloud peuvent ne pas être compatibles avec la communication interrégionale.
• Les coûts de sortie pour le trafic interrégional, où une instance de VM communique avec des ressources situées dans une région différente, continuent de s'appliquer.
• Google attribue au service Dataproc Metastore l'adresse IP 10.100.0.100. Dans le réseau VPC client, les requêtes dont la destination est 10.100.0.100 sont acheminées via l'appairage VPC vers le réseau du producteur de services. Lorsque les requêtes ont atteint le réseau de service, celui-ci contient des routes qui les dirigent vers la ressource appropriée.
• Le trafic entre les réseaux VPC circule en interne au sein du réseau de Google et non via l'Internet public.

Étape suivante

• VPC Service Controls avec Dataproc Metastore
• IAM et contrôle des accès Dataproc Metastore
• Private Service Connect avec Dataproc Metastore