Dataproc Metastore-Netzwerkübersicht

Dieses Dokument bietet einen Überblick über die Netzwerkeinstellungen, mit denen Sie einen Dataproc Metastore-Dienst einrichten.

Hinweis: Die meisten Netzwerkkonzepte auf dieser Seite gelten nur für Dataproc Metastore-Dienste, die den Thrift-Endpunkt verwenden Protokoll. Wenn Sie das gRPC-Endpunktprotokoll, die einzige Netzwerkkonfiguration, die Sie in diesem Dokument ist VPC Service Controls.

Kurzreferenz zu Netzwerkthemen

Netzwerkeinstellungen	Hinweise
Standardeinstellungen für Werbenetzwerke
VPC-Netzwerke	Standardmäßig verwenden Dataproc Metastore-Dienste VPC-Netzwerke, um eine Verbindung zu Google Cloud herstellen. Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert das VPC-Netzwerk-Peering automatisch für Ihren Dienst.
VPC-Subnetze	Optional können Sie Dataproc Metastore-Dienste mit einem VPC-Subnetz erstellen, indem Sie Private Service Connect verwenden. Dies ist eine Alternative zur Verwendung von VPC-Netzwerken.
Zusätzliche Netzwerkeinstellungen
Freigegebene VPC-Netzwerke	Sie können optional Dataproc Metastore erstellen. in einem freigegebene VPC-Netzwerk.
On-Premise-Netzwerk	Sie können eine Verbindung zu einem Dataproc Metastore-Dienst herstellen mit einer lokalen Umgebung über Cloud VPN oder Cloud Interconnect.
VPC Service Controls	Optional können Sie Dataproc Metastore-Dienste mit VPC Service Controls erstellen.
Firewallregeln	In Umgebungen ohne Standardkonfiguration oder privaten Umgebungen mit einer festgelegten Sicherheitskonfiguration müssen Sie unter Umständen eigene Firewallregeln erstellen.

Standardnetzwerkeinstellungen

Im folgenden Abschnitt werden die Standard-Netzwerkeinstellungen beschrieben, die Dataproc Metastore nutzt: VPC-Netzwerke und VPC-Netzwerk-Peering

VPC-Netzwerke

Standardmäßig verwenden Dataproc Metastore-Dienste VPC Netzwerke zum Herstellen einer Verbindung zu Google Cloud. Ein VPC-Netzwerk ist eine virtuelle Version eines physischen Netzwerks, das innerhalb des Produktionsnetzwerks von Google implementiert wurde. Wenn Sie einen Dataproc Metastore erstellen, das VPC-Netzwerk für Sie erstellt.

Wenn Sie beim Erstellen des Dienstes keine Einstellungen ändern, verwendet Dataproc Metastore das VPC-Netzwerk default. Bei dieser Einstellung kann das VPC-Netzwerk, das Sie mit Ihrem Dataproc Metastore-Dienst verwenden, zum selben Google Cloud-Projekt oder zu einem anderen Projekt gehören. Mit dieser Einstellung können Sie Ihren Dienst auch in einem einzelnen VPC-Netzwerk freigeben oder über Subnetze von mehreren VPC-Netzwerken aus zugänglich machen.

Für Dataproc Metastore sind pro Region für jedes VPC-Netzwerk Folgendes erforderlich:

• 1 Peering-Kontingent
• /17 und /20 CIDR

VPC-Netzwerk-Peering

Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert Dataproc Metastore auch automatisch das VPC-Netzwerk-Peering für Ihren Dienst. VPC dem Dienst Zugriff auf Dataproc Metastore gewähren Endpunktprotokolle. Nachher können Sie das zugrunde liegende VPC-Netzwerk-Peering sehen, auf der Seite VPC-Netzwerk-Peering in der Google Cloud .

Das VPC-Netzwerk-Peering ist nicht transitiv. Das bedeutet, dass nur direkt verbundene Peering-Netzwerke miteinander kommunizieren können. Betrachten Sie beispielsweise das folgende Szenario:

Sie haben die folgenden Netzwerke: VPC-Netzwerk N1, N2 und N3.

• Das VPC-Netzwerk N1 ist mit N2 und N3 gekoppelt.
• VPC-Netzwerk N2 und VPC-Netzwerk N3 sind nicht direkt verbunden.

Was bedeutet das?

Das bedeutet, dass das VPC-Netzwerk N2 über das VPC-Netzwerk-Peering nicht mit dem VPC-Netzwerk N3 kommunizieren kann. Das hat folgende Auswirkungen auf Dataproc Metastore-Verbindungen:

• Virtuelle Maschinen in Netzwerken, die mit dem Netzwerk Ihres Dataproc Metastore-Projekts verbunden sind, können Dataproc Metastore nicht erreichen.
• Nur Hosts im VPC-Netzwerk können einen Dataproc Metastore-Dienst erreichen.

Überlegungen zur Sicherheit von VPC-Netzwerk-Peering

• Traffic, der über das VPC-Netzwerk-Peering geleitet wird, wird mit einem bestimmten Grad an Verschlüsselung bereitgestellt. Weitere Informationen finden Sie unter Virtuelles Google Cloud-Netzwerk Verschlüsselung und Authentifizierung.

• Für jeden Dienst ein VPC-Netzwerk mit einer internen IP-Adresse zu erstellen, gewährleistet eine bessere Netzwerkisolation, als alle Dienste im VPC-Netzwerk default zu erstellen.

VPC-Subnetze

Mit Private Service Connect (PSC) können Sie eine private Verbindung zu Dataproc Metastore-Metadaten über VPC-Netzwerke hinweg einrichten. Mit PSC können Sie einen Dienst ohne VPC-Peering erstellen. So können Sie Ihre eigenen internen IP-Adressen für den Zugriff auf Dataproc Metastore verwenden, ohne Ihre VPC-Netzwerke zu verlassen oder externe IP-Adressen zu verwenden.

Informationen zum Einrichten von Private Service Connect beim Erstellen eines Dienstes finden Sie unter Private Service Connect mit Dataproc Metastore.

IP-Adressen

So kannst du eine Verbindung zu einem Netzwerk herstellen und deine Metadaten schützen: Dataproc Metastore-Dienste verwenden nur interne IP-Adressen. Dieses bedeutet, dass öffentliche IP-Adressen nicht freigegeben oder für das Netzwerk verfügbar sind zu verstehen.

Durch die Verwendung einer internen IP-Adresse kann Dataproc Metastore nur Verbindung zu virtuellen Maschinen (VMs) herstellen, die in der angegebenen Virtual Private Cloud vorhanden sind (VPC-Netzwerken) oder eine lokale Umgebung.

Für Verbindungen zu einem Dataproc Metastore-Dienst, der eine interne IP-Adresse verwendet, werden Adressbereiche nach RFC 1918 verwendet. Wenn Sie diese Bereiche verwenden, weist Dataproc Metastore jeder Region einen /17-Bereich und einen /20-Bereich aus dem Adressbereich zu. Wenn Sie beispielsweise Dataproc Metastore-Dienste in zwei Regionen platzieren, muss der zugewiesene IP-Adressbereich Folgendes enthalten:

• Mindestens zwei nicht verwendete Adressblöcke der Größe /17.
• Mindestens zwei nicht verwendete Adressblöcke der Größe /20.

Wenn keine RFC 1918-Adressblöcke gefunden werden, findet der Dataproc Metastore stattdessen geeignete Nicht-RFC 1918-Adressblöcke. Beachten Sie, dass bei der Zuweisung von Blöcken, die nicht der RFC 1918 entsprechen, nicht berücksichtigt wird, ob diese Adressen in Ihrem VPC-Netzwerk oder in der lokalen Umgebung verwendet werden oder nicht.

Zusätzliche Netzwerkeinstellungen

Wenn Sie andere Netzwerkeinstellungen benötigen, können Sie die folgenden Optionen verwenden mit Ihrem Dataproc Metastore-Dienst.

Freigegebenes VPC-Netzwerk

Sie können Dataproc Metastore-Dienste in einer Freigegebene VPC-Netzwerk. Mit einer freigegebenen VPC können Sie Dataproc Metastore-Ressourcen aus mehreren Projekten mit einem gemeinsamen VPC-Netzwerk verbinden.

Informationen zum Einrichten einer freigegebenen VPC beim Erstellen eines Dienstes finden Sie unter Dataproc Metastore-Dienst erstellen.

Lokales Netzwerk

Sie können mithilfe von Cloud VPN oder Cloud Interconnect eine Verbindung zu einem Dataproc Metastore-Dienst mit einer lokalen Umgebung herstellen.

VPC Service Controls

Mit VPC Service Controls können Sie das Risiko der Datenexfiltration verringern. Mit VPC Service Controls erstellen Sie Perimeter um den Dataproc Metastore-Dienst. Mit VPC Service Controls wird der Zugriff auf Ressourcen im Perimeter von außerhalb eingeschränkt. Nur Kunden und Ressourcen innerhalb des Perimeters miteinander interagieren können.

Informationen zur Verwendung von VPC Service Controls mit Dataproc Metastore finden Sie unter VPC Service Controls mit Dataproc Metastore Weitere Informationen finden Sie unter Einschränkungen von Dataproc Metastore bei Verwendung von VPC Service Controls.

Firewallregeln für Dataproc Metastore

In Umgebungen ohne Standardkonfiguration oder privaten Umgebungen mit bereits festgelegten Sicherheitseinstellungen müssen Sie unter Umständen eigene Firewallregeln erstellen. Wenn ja, sollten Sie keine Firewallregel erstellen, die den IP-Adressbereich blockiert oder Port Ihrer Dataproc Metastore-Dienste.

Wenn Sie einen Dataproc Metastore-Dienst erstellen, gilt Folgendes: können Sie das Standardnetzwerk für den Dienst übernehmen. Das Standardnetzwerk stellt sicher, vollständigen internen IP-Netzwerkzugriff für Ihre VMs.

Allgemeinere Informationen zu Firewallregeln finden Sie unter VPC-Firewallregeln und VPC-Firewallregeln verwenden.

Firewallregel für ein benutzerdefiniertes Netzwerk erstellen

Wenn Sie ein benutzerdefiniertes Netzwerk verwenden, achten Sie darauf, dass Ihre Firewallregel Traffic zulässt die vom Dataproc Metastore-Endpunkt stammen und dorthin gehen. Bis Dataproc Metastore-Traffic explizit zulassen, führen Sie Folgendes aus: gcloud-Befehle:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Wenden Sie für DPMS_NET_PREFIX eine /17-Subnetzmaske auf die IP-Adresse des Dataproc Metastore-Dienstes an. Hier finden Sie Dataproc Metastore-IP-Adressinformationen in der endpointUri-Konfiguration auf der Seite Dienstdetails.

Hinweise

Netzwerke haben eine implizierte Regel zum Zulassen von ausgehendem Traffic, die normalerweise den Zugriff von Ihrem Netzwerk auf den Dataproc Metastore zulässt. Wenn Sie Regeln zum Ablehnen von ausgehendem Traffic erstellen, die die implizite Regel zum Zulassen von ausgehendem Traffic überschreiben, sollten Sie eine Regel zum Zulassen von ausgehendem Traffic mit einer höheren Priorität erstellen, um ausgehenden Traffic an die IP-Adresse des Dataproc Metastores zuzulassen.

Einige Features wie Kerberos erfordern, dass Dataproc Metastore Verbindungen zu Hosts in Ihrem Projektnetzwerk initiiert. Alle Netzwerke haben eine implizierte Regel zum Ablehnen von eingehendem Traffic, die diese Verbindungen blockiert und verhindert, dass diese Features funktionieren. Sie sollten eine Firewallregel erstellen, die eingehenden TCP- und UDP-Traffic an allen Ports aus dem IP-Block /17 zulässt, der die IP-Adresse des Dataproc Metastore enthält.

Benutzerdefiniertes Routing

Benutzerdefinierte Routen sind für Subnetze gedacht, die privat verwendete öffentliche IP-Adressen nutzen Adressen (PUPI). Mit benutzerdefinierten Routen kann Ihr VPC-Netzwerk eine Verbindung zu einem Peer-Netzwerk herstellen. Benutzerdefinierte Routen können nur empfangen werden, wenn sie von Ihrem VPC-Netzwerk importiert und vom Peering-Netzwerk explizit exportiert werden. Benutzerdefinierte Routen können entweder statisch oder Dynamisch.

Durch die Freigabe benutzerdefinierter Routen für Peering-VPC-Netzwerke können Netzwerke „lernen“ Routen direkt von ihren Peering-Netzwerken abrufen. Wenn also eine benutzerdefinierte Route in einem Peering-Netzwerk aktualisiert wird, lernt Ihr VPC-Netzwerk Die benutzerdefinierte Route wird implementiert, ohne dass zusätzliche Maßnahmen Ihrerseits erforderlich sind.

Weitere Informationen zum benutzerdefinierten Routing finden Sie unter Netzwerkkonfiguration.

Beispiel für Dataproc Metastore-Netzwerk

Im folgenden Beispiel weist Google 10.100.0.0/17 und 10.200.0.0/20 Adressbereiche im VPC-Netzwerk des Kunden für Google-Dienste und verwendet die Adressbereiche in einer Peering-VPC Netzwerk.

Abbildung 1. VPC-Netzwerkkonfiguration für Dataproc Metastore

Beschreibung des Netzwerkbeispiels:

• Auf der Google-Dienst-Seite des VPC-Peerings erstellt Google ein Projekt für den Kunden. Das Projekt ist isoliert, andere Kunden teilen sie und dem Kunden werden nur die Ressourcen in Rechnung gestellt. der Kundschaft vorgibt.
• Beim Erstellen des ersten Dataproc Metastore-Dienstes in einer Region weist Dataproc Metastore im Netzwerk des Kunden einen /17-Bereich und einen /20-Bereich für die gesamte zukünftige Nutzung von Dataproc Metastore-Diensten in dieser Region und in diesem Netzwerk zu. Dataproc Metastore unterteilt diese Bereiche weiter, um Subnetze und Adressbereiche im Projekt des Dienstanbieters zu erstellen.
• VM-Dienste im Kundennetzwerk haben Zugriff Dataproc Metastore-Dienstressourcen in einer beliebigen Region, wenn die Google Cloud-Dienst unterstützt dies. Einige Google Cloud-Dienste unterstützt möglicherweise keine regionenübergreifende Kommunikation.
• Die Kosten für ausgehenden Traffic für regionenübergreifenden Traffic, bei dem eine VM-Instanz mit Ressourcen in einer anderen Region kommuniziert, fallen weiterhin an.
• Google weist dem Dataproc Metastore-Dienst die IP-Adresse zu 10.100.0.100 Im VPC-Netzwerk des Kunden werden Anfragen mit einer Ziel von 10.100.0.100 werden über die VPC geleitet Peering zum Netzwerk des Diensterstellers. Das Dienstnetzwerk enthält Routen, über die die Anfrage anschließend an die richtige Ressource weitergeleitet wird.
• Der Traffic zwischen VPC-Netzwerken verläuft intern innerhalb und nicht über das öffentliche Internet.

Nächste Schritte

• VPC Service Controls mit Dataproc Metastore
• Dataproc Metastore-IAM und -Zugriffssteuerung
• Private Service Connect mit Dataproc Metastore