Présentation de la mise en réseau Dataproc Metastore

Ce document fournit un aperçu des paramètres de mise en réseau que vous pouvez utiliser pour définir pour configurer un service Dataproc Metastore.

Aide-mémoire des rubriques concernant la mise en réseau

Paramètres de mise en réseau Remarques
Paramètres réseau par défaut
Réseaux VPC Par défaut, les services Dataproc Metastore utilisent des réseaux VPC pour pour vous connecter à Google Cloud.

Une fois le réseau VPC créé, Dataproc Metastore configure automatiquement l'appairage de réseaux VPC pour votre service.
Sous-réseaux VPC Vous pouvez choisir de créer des services Dataproc Metastore avec un sous-réseau VPC à l'aide de Private Service Connect. Il s'agit d'une alternative à l'utilisation de réseaux VPC.
Autres paramètres réseau
Réseaux VPC partagés Vous pouvez choisir de créer Dataproc Metastore dans un réseau VPC partagé.
Mise en réseau sur site Vous pouvez vous connecter à un service Dataproc Metastore un environnement sur site à l'aide de Cloud VPN ou de Cloud Interconnect.
VPC Service Controls Vous pouvez choisir de créer Dataproc Metastore avec VPC Service Controls.
Règles de pare-feu Dans les environnements autres que ceux par défaut ou dotés d'une empreinte de sécurité établie, vous devrez peut-être créer vos propres règles de pare-feu.

Paramètres réseau par défaut

La section suivante décrit les paramètres réseau par défaut Dataproc Metastore utilise les réseaux VPC Appairage de réseaux VPC.

Réseaux VPC

Par défaut, les services Dataproc Metastore utilisent des réseaux VPC pour se connecter à Google Cloud. Un réseau VPC est une version virtuelle d'un réseau physique, mise en œuvre au sein du réseau de production de Google. Lorsque vous créez un Dataproc Metastore, le service et crée le réseau VPC pour vous.

Si vous ne modifiez aucun paramètre lorsque vous créez votre service, Dataproc Metastore utilise le réseau VPC default. Avec ce paramètre, le réseau VPC que vous utilisez avec votre Dataproc Metastore service peut appartenir au même projet Google Cloud ou à un projet différent. Ce paramètre vous permet également d'exposer votre service dans un seul réseau VPC ou de le rendre accessible à partir de plusieurs réseaux VPC (à l'aide de sous-réseaux).

Dataproc Metastore nécessite les éléments suivants par région pour chaque réseau VPC:

Appairage de réseaux VPC

Une fois le réseau VPC créé, Dataproc Metastore configure automatiquement l'appairage de réseaux VPC pour votre service. VPC fournit à votre service un accès aux protocoles de point de terminaison Dataproc Metastore. Après lorsque vous créez votre service, vous pouvez voir l'appairage de réseaux VPC sous-jacent la page Appairage de réseaux VPC du Google Cloud console.

L'appairage de réseaux VPC n'est pas transitif. Cela signifie que seuls les réseaux directement appairés peuvent communiquer entre eux. Prenons l'exemple des éléments suivants : scénario suivant:

Vous disposez des réseaux VPC suivants : N1, N2 et N3.

  • Le réseau VPC N1 est associé à N2 et N3.
  • Les réseaux VPC N2 et N3 ne sont pas directement connectés.

Qu'est-ce que cela signifie ?

Cela signifie que, via l'appairage de réseaux VPC, le réseau VPC N2 ne peut pas communiquer avec le réseau VPC N3. Cela a un impact sur les connexions Dataproc Metastore comme suit:

  • Les machines virtuelles qui se trouvent dans des réseaux appairés avec votre Le réseau du projet Dataproc Metastore est inaccessible Dataproc Metastore.
  • Seuls les hôtes du réseau VPC peuvent atteindre un Dataproc Metastore Google Cloud.

Appairage de réseaux VPC : considérations de sécurité

Sous-réseaux VPC

Private Service Connect (PSC) vous permet de configurer une connexion privée Métadonnées Dataproc Metastore sur les réseaux VPC. Avec PSC, vous vous pouvez créer un service sans appairage de VPC. Cela vous permet d'utiliser votre propre adresse IP pour accéder à Dataproc Metastore, sans quitter votre VPC ou à l'aide d'adresses IP externes.

Pour configurer Private Service Connect lorsque vous créez un service, consultez la section Private Service Connect avec Dataproc Metastore.

Adresses IP

Pour vous connecter à un réseau et protéger vos métadonnées, Les services Dataproc Metastore n'utilisent que des adresses IP internes. Cela signifie que les adresses IP publiques ne sont pas exposées ou sont disponibles à des fins de mise en réseau.

Avec une adresse IP interne, Dataproc Metastore ne peut Se connecter aux machines virtuelles (VM) qui existent sur le cloud privé virtuel spécifié (VPC) ou un environnement sur site.

Les connexions à un service Dataproc Metastore à l'aide d'une adresse IP interne utilisent les plages d'adresses RFC 1918. L'utilisation de ces plages signifie que Dataproc Metastore alloue une plage /17 et une plage /20 à partir des l'espace d'adressage de chaque région. Par exemple, placer Les services Dataproc Metastore dans deux régions exigent que la plage d'adresses IP allouée contient les éléments suivants:

  • Au moins deux blocs d'adresses inutilisés de taille /17.
  • Au moins deux blocs d'adresses inutilisés de taille /20.

Si les blocs d'adresses RFC 1918 sont introuvables, Dataproc Metastore trouve à la place des blocs d'adresses non-RFC 1918 appropriés. Notez que l'allocation de blocs non-RFC 1918 ne prend pas en compte l'utilisation ou non de ces adresses dans votre réseau VPC ou sur site.

Autres paramètres réseau

Si vous avez besoin de paramètres réseau différents, vous pouvez utiliser les options suivantes avec votre service Dataproc Metastore.

Réseau VPC partagé

Vous pouvez créer des services Dataproc Metastore dans un réseau VPC partagé. Un VPC partagé vous permet de vous connecter Les ressources Dataproc Metastore de plusieurs projets vers un même projet sur votre réseau VPC.

Pour configurer un VPC partagé lors de la création d'un service, consultez la page Créer un service Dataproc Metastore.

Mise en réseau sur site

Vous pouvez vous connecter à un service Dataproc Metastore avec un environnement sur site à l'aide de Cloud VPN ou Cloud Interconnect.

VPC Service Controls

VPC Service Controls vous aide à limiter le risque d'exfiltration des données. Cette solution vous permet de créer des périmètres autour du service Dataproc Metastore. VPC Service Controls limite l'accès depuis l'extérieur aux ressources situées dans le périmètre. Seuls les clients et les ressources situés dans le périmètre peuvent interagir entre eux.

Pour utiliser VPC Service Controls avec Dataproc Metastore, consultez la page VPC Service Controls avec Dataproc Metastore. Vérifier également pour Limites de Dataproc Metastore lors de l'utilisation de VPC Service Commandes.

Règles de pare-feu pour Dataproc Metastore

Dans les environnements autres que ceux par défaut ou dotés d'une empreinte de sécurité établie, vous devrez peut-être créer vos propres règles de pare-feu. Dans ce cas, ne créez pas de règle de pare-feu qui bloque la plage d'adresses IP ou le port de vos services Dataproc Metastore.

Lorsque vous créez un service Dataproc Metastore, vous pouvez accepter le réseau par défaut du service. Le réseau par défaut garantit un accès complet au réseau IP interne de vos VM.

Pour plus d'informations générales sur les règles de pare-feu, consultez la page Règles de pare-feu VPC. et Utiliser des règles de pare-feu VPC.

Créer une règle de pare-feu pour un réseau personnalisé

Lorsque vous utilisez un réseau personnalisé, assurez-vous que votre règle de pare-feu autorise le trafic depuis et vers le point de terminaison Dataproc Metastore. À n'autorisez explicitement le trafic Dataproc Metastore, exécutez la commande Commandes gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Pour DPMS_NET_PREFIX, appliquez un masque de sous-réseau /17 à votre adresse IP de service Dataproc Metastore. Vous trouverez Informations sur l'adresse IP de Dataproc Metastore dans le endpointUri sur la page Détails du service.

Remarques

Les réseaux disposent d'une règle implicite de sortie autorisée qui autorise normalement l'accès depuis votre réseau vers Dataproc Metastore. Si vous créez des règles de refus de sortie qui remplacent la règle implicite de sortie autorisée, vous devez créer une règle d'autorisation du trafic sortant de priorité supérieure pour autoriser la sortie vers l'adresse IP Dataproc Metastore.

Certaines fonctionnalités telles que Kerberos nécessitent Dataproc Metastore pour initier des connexions aux hôtes de votre réseau de projet. Tous les réseaux ont un règle implicite d'entrée interdite qui bloque ces connexions et empêchent ces fonctionnalités de fonctionner. Vous devez créer une règle de pare-feu qui autorise l'entrée TCP et UDP sur tous les ports du bloc d'adresses IP /17 contenant l'adresse IP Dataproc Metastore.

Routage personnalisé

Les routes personnalisées sont destinées aux sous-réseaux qui utilisent des adresses IP publiques utilisées en mode privé (PUPI). Les routes personnalisées permettent à votre réseau VPC de se connecter à un réseau appairé. Les routes personnalisées ne peuvent être reçues que lorsque votre réseau VPC les importe et réseau appairé les exporte explicitement. Les routes personnalisées peuvent être statiques ou dynamiques.

Le partage de routes personnalisées avec des réseaux VPC appairés permet aux réseaux d'apprendre routes directement depuis leurs réseaux appairés. Cela signifie que lorsqu'une route personnalisée dans un réseau appairé est mis à jour, votre réseau VPC apprend et implémente la route personnalisée sans aucune action supplémentaire de votre part.

Pour en savoir plus sur le routage personnalisé, consultez la section Configuration réseau.

Exemple de mise en réseau Dataproc Metastore

Dans l'exemple suivant, Google alloue les ressources 10.100.0.0/17 et 10.200.0.0/20 plages d'adresses dans le réseau VPC client pour services Google et utilise les plages d'adresses dans un VPC appairé réseau.

INSÉRER LE TEXTE ALTERNATIF ICI
Figure 1. Configuration du réseau VPC Dataproc Metastore

Description de l'exemple de mise en réseau:

  • Du côté des services Google de l'appairage VPC, Google crée un projet pour le client. Le projet est isolé, ce qui signifie qu'il n'est partagé avec aucun autre client, et le client est seulement facturé à la hauteur des ressources qu'il provisionne.
  • Lors de la création du premier service Dataproc Metastore dans une région, Dataproc Metastore attribue une plage /17 et une plage /20 au réseau du client pour toute utilisation future des services Dataproc Metastore dans cette région et réseau. Dataproc Metastore subdivise davantage ces plages pour créer des sous-réseaux et des plages d'adresses dans le projet producteur de services.
  • Les services de VM du réseau du client peuvent accéder aux ressources du service Dataproc Metastore dans n'importe quelle région si le service Google Cloud le permet. Certains services Google Cloud peuvent ne pas être compatibles avec la communication interrégionale.
  • les coûts de sortie pour le trafic interrégional ; où une instance de VM communique avec des ressources situées dans une autre région, s'appliquent.
  • Google attribue au service Dataproc Metastore l'adresse IP 10.100.0.100. Dans le réseau VPC client, les requêtes dont la destination est 10.100.0.100 sont acheminées via l'appairage VPC vers le réseau du producteur de services. Lorsque les requêtes ont atteint le réseau de service, celui-ci contient des routes qui les dirigent vers la ressource appropriée.
  • Le trafic entre les réseaux VPC circule en interne, via le réseau de Google, et non via l'Internet public.

Étape suivante