Dataproc Metastore-Netzwerk – Übersicht

In diesem Dokument finden Sie einen Überblick über die Netzwerkeinstellungen, mit denen Sie einen Dataproc Metastore-Dienst einrichten können.

Kurzreferenz zu Netzwerkthemen

Netzwerkeinstellungen Hinweise
Standardnetzwerkeinstellungen
VPC-Netzwerke Standardmäßig verwenden Dataproc Metastore-Dienste VPC-Netzwerke, um eine Verbindung zu Google Cloud herzustellen.

Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert Dataproc Metastore auch automatisch das VPC-Netzwerk-Peering für Ihren Dienst.
VPC-Subnetze Optional können Sie Dataproc Metastore-Dienste mit einem VPC-Subnetz erstellen, indem Sie Private Service Connect verwenden. Dies ist eine Alternative zur Verwendung von VPC-Netzwerken.
Zusätzliche Netzwerkeinstellungen
Freigegebene VPC-Netzwerke Optional können Sie Dataproc Metastore-Dienste in einem freigegebene VPC-Netzwerk erstellen.
On-Premise-Netzwerk Sie können mithilfe von Cloud VPN oder Cloud Interconnect eine Verbindung zu einem Dataproc Metastore-Dienst mit einer lokalen Umgebung herstellen.
VPC Service Controls Optional können Sie Dataproc Metastore-Dienste mit VPC Service Controls erstellen.
Firewallregeln In Umgebungen ohne Standardkonfiguration oder privaten Umgebungen mit einer festgelegten Sicherheitskonfiguration müssen Sie unter Umständen eigene Firewallregeln erstellen.

Standardnetzwerkeinstellungen

Im folgenden Abschnitt werden die Standardnetzwerkeinstellungen beschrieben, die von Dataproc Metastore verwendet werden: VPC-Netzwerke und VPC-Netzwerk-Peering.

VPC-Netzwerke

Standardmäßig verwenden Dataproc Metastore-Dienste VPC-Netzwerke, um eine Verbindung zu Google Cloud herzustellen. Ein VPC-Netzwerk ist eine virtuelle Version eines physischen Netzwerks, das innerhalb des Produktionsnetzwerks von Google implementiert wurde. Wenn Sie einen Dataproc Metastore erstellen, wird das VPC-Netzwerk automatisch für Sie erstellt.

Wenn Sie beim Erstellen des Dienstes keine Einstellungen ändern, verwendet Dataproc Metastore das VPC-Netzwerk default. Bei dieser Einstellung kann das VPC-Netzwerk, das Sie mit Ihrem Dataproc Metastore-Dienst verwenden, zum selben Google Cloud-Projekt oder zu einem anderen Projekt gehören. Mit dieser Einstellung können Sie Ihren Dienst auch in einem einzelnen VPC-Netzwerk freigeben oder über Subnetze von mehreren VPC-Netzwerken aus zugänglich machen.

Für Dataproc Metastore sind pro Region für jedes VPC-Netzwerk Folgendes erforderlich:

VPC-Netzwerk-Peering

Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert Dataproc Metastore auch automatisch das VPC-Netzwerk-Peering für Ihren Dienst. VPC bietet Ihrem Dienst Zugriff auf die Endpunktprotokolle von Dataproc Metastore. Nachdem Sie den Dienst erstellt haben, können Sie sich das zugrunde liegende VPC-Netzwerk-Peering auf der Seite VPC-Netzwerk-Peering in der Google Cloud Console ansehen.

Das VPC-Netzwerk-Peering ist nicht transitiv. Das bedeutet, dass nur direkt verbundene Peering-Netzwerke miteinander kommunizieren können. Betrachten Sie beispielsweise das folgende Szenario:

Sie haben die folgenden Netzwerke: VPC-Netzwerk N1, N2 und N3.

  • Das VPC-Netzwerk N1 ist mit N2 und N3 gekoppelt.
  • VPC-Netzwerk N2 und VPC-Netzwerk N3 sind nicht direkt verbunden.

Was bedeutet das?

Das bedeutet, dass das VPC-Netzwerk N2 über das VPC-Netzwerk-Peering nicht mit dem VPC-Netzwerk N3 kommunizieren kann. Das hat folgende Auswirkungen auf Dataproc Metastore-Verbindungen:

  • Virtuelle Maschinen in Netzwerken, die mit dem Netzwerk Ihres Dataproc Metastore-Projekts verbunden sind, können Dataproc Metastore nicht erreichen.
  • Nur Hosts im VPC-Netzwerk können einen Dataproc Metastore-Dienst erreichen.

Sicherheitsaspekte beim VPC-Netzwerk-Peering

  • Traffic, der über das VPC-Netzwerk-Peering geleitet wird, wird mit einem bestimmten Grad an Verschlüsselung bereitgestellt. Weitere Informationen finden Sie unter Virtuelle Netzwerkverschlüsselung und -authentifizierung in Google Cloud.

  • Für jeden Dienst ein VPC-Netzwerk mit einer internen IP-Adresse zu erstellen, gewährleistet eine bessere Netzwerkisolation, als alle Dienste im VPC-Netzwerk default zu erstellen.

VPC-Subnetze

Mit Private Service Connect (PSC) können Sie eine private Verbindung zu Dataproc Metastore-Metadaten über VPC-Netzwerke hinweg einrichten. Mit PSC können Sie einen Dienst ohne VPC-Peering erstellen. So können Sie Ihre eigenen internen IP-Adressen für den Zugriff auf Dataproc Metastore verwenden, ohne Ihre VPC-Netzwerke zu verlassen oder externe IP-Adressen zu verwenden.

Informationen zum Einrichten von Private Service Connect beim Erstellen eines Dienstes finden Sie unter Private Service Connect mit Dataproc Metastore.

IP-Adressen

Dataproc Metastore-Dienste verwenden nur interne IP-Adressen, um eine Verbindung zu einem Netzwerk herzustellen und Ihre Metadaten zu schützen. Das bedeutet, dass öffentliche IP-Adressen nicht für Netzwerkzwecke freigegeben oder verfügbar sind.

Wenn Sie eine interne IP-Adresse verwenden, kann Dataproc Metastore nur eine Verbindung zu virtuellen Maschinen (VMs) herstellen, die sich in bestimmten VPC-Netzwerken (Virtual Private Cloud) oder in einer lokalen Umgebung befinden.

Für Verbindungen zu einem Dataproc Metastore-Dienst, der eine interne IP-Adresse verwendet, werden Adressbereiche nach RFC 1918 verwendet. Bei Verwendung dieser Bereiche weist Dataproc Metastore jeder Region einen /17-Bereich und einen /20-Bereich aus dem Adressbereich zu. Wenn Sie beispielsweise Dataproc Metastore-Dienste in zwei Regionen platzieren, muss der zugewiesene IP-Adressbereich Folgendes enthalten:

  • Mindestens zwei nicht verwendete Adressblöcke der Größe /17.
  • Mindestens zwei nicht verwendete Adressblöcke der Größe /20.

Wenn keine RFC 1918-Adressblöcke gefunden werden, findet der Dataproc Metastore stattdessen geeignete Nicht-RFC 1918-Adressblöcke. Beachten Sie, dass bei der Zuweisung von Blöcken, die nicht der RFC 1918 entsprechen, nicht berücksichtigt wird, ob diese Adressen in Ihrem VPC-Netzwerk oder in der lokalen Umgebung verwendet werden oder nicht.

Zusätzliche Netzwerkeinstellungen

Wenn Sie andere Netzwerkeinstellungen benötigen, können Sie die folgenden Optionen mit Ihrem Dataproc Metastore-Dienst verwenden.

Freigegebenes VPC-Netzwerk

Sie können Dataproc Metastore-Dienste in einem freigegebene VPC-Netzwerk erstellen. Mit einer freigegebene VPC können Sie Dataproc Metastore-Ressourcen aus mehreren Projekten mit einem gemeinsamen VPC-Netzwerk verbinden.

Informationen zum Einrichten einer freigegebene VPC beim Erstellen eines Dienstes finden Sie unter Dataproc Metastore-Dienst erstellen.

Lokales Netzwerk

Sie können mithilfe von Cloud VPN oder Cloud Interconnect eine Verbindung zu einem Dataproc Metastore-Dienst mit einer lokalen Umgebung herstellen.

VPC Service Controls

Mit VPC Service Controls können Sie das Risiko der Datenexfiltration verringern. Mit VPC Service Controls erstellen Sie Perimeter um den Dataproc Metastore-Dienst. Mit VPC Service Controls wird der Zugriff auf Ressourcen im Perimeter von außerhalb eingeschränkt. Nur Clients und Ressourcen innerhalb des Perimeters können miteinander interagieren.

Informationen zur Verwendung von VPC Service Controls mit Dataproc Metastore finden Sie unter VPC Service Controls mit Dataproc Metastore. Weitere Informationen finden Sie unter Einschränkungen von Dataproc Metastore bei Verwendung von VPC Service Controls.

Firewallregeln für Dataproc Metastore

In Umgebungen ohne Standardkonfiguration oder privaten Umgebungen mit bereits festgelegten Sicherheitseinstellungen müssen Sie unter Umständen eigene Firewallregeln erstellen. Erstellen Sie in diesem Fall keine Firewallregel, die den IP-Adressbereich oder Port Ihrer Dataproc Metastore-Dienste blockiert.

Wenn Sie einen Dataproc Metastore-Dienst erstellen, können Sie das Standardnetzwerk für den Dienst übernehmen. Das Standardnetzwerk bietet Ihren VMs vollen Zugriff auf das interne IP‑Netzwerk.

Allgemeinere Informationen zu Firewallregeln finden Sie unter VPC-Firewallregeln und VPC-Firewallregeln verwenden.

Firewallregel für ein benutzerdefiniertes Netzwerk erstellen

Wenn Sie ein benutzerdefiniertes Netzwerk verwenden, muss Ihre Firewallregel Traffic vom und zum Dataproc Metastore-Endpunkt zulassen. Wenn Sie Dataproc Metastore-Traffic ausdrücklich zulassen möchten, führen Sie die folgenden gcloud-Befehle aus:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Wenden Sie für DPMS_NET_PREFIX eine /17-Subnetzmaske auf die IP-Adresse des Dataproc Metastore-Dienstes an. Die IP-Adresse von Dataproc Metastore finden Sie in der endpointUri-Konfiguration auf der Seite Dienstdetails.

Hinweise

Netzwerke haben eine implizierte Regel zum Zulassen von ausgehendem Traffic, die normalerweise den Zugriff von Ihrem Netzwerk auf den Dataproc Metastore zulässt. Wenn Sie Regeln zum Ablehnen von ausgehendem Traffic erstellen, die die implizite Regel zum Zulassen von ausgehendem Traffic überschreiben, sollten Sie eine Regel zum Zulassen von ausgehendem Traffic mit einer höheren Priorität erstellen, um ausgehenden Traffic an die IP-Adresse des Dataproc Metastores zuzulassen.

Einige Features wie Kerberos erfordern, dass Dataproc Metastore Verbindungen zu Hosts in Ihrem Projektnetzwerk initiiert. Alle Netzwerke haben eine implizierte Regel zum Ablehnen von eingehendem Traffic, die diese Verbindungen blockiert und verhindert, dass diese Features funktionieren. Sie sollten eine Firewallregel erstellen, die eingehenden TCP- und UDP-Traffic an allen Ports aus dem IP-Block /17 zulässt, der die IP-Adresse des Dataproc Metastore enthält.

Benutzerdefiniertes Routing

Benutzerdefinierte Routen sind für Subnetze gedacht, die privat verwendete öffentliche IP-Adressen (PUPI) verwenden. Mit benutzerdefinierten Routen kann Ihr VPC-Netzwerk eine Verbindung zu einem Peer-Netzwerk herstellen. Benutzerdefinierte Routen können nur empfangen werden, wenn sie von Ihrem VPC-Netzwerk importiert und vom Peering-Netzwerk explizit exportiert werden. Benutzerdefinierte Routen können entweder statisch oder dynamisch sein.

Durch das Freigeben benutzerdefinierter Routen für Peering-VPC-Netzwerke können Netzwerke Routen direkt von ihren Peering-Netzwerken „lernen“. Wenn also eine benutzerdefinierte Route in einem Peering-Netzwerk aktualisiert wird, lernt Ihr VPC-Netzwerk die benutzerdefinierte Route automatisch und implementiert sie, ohne dass Sie eingreifen müssen.

Weitere Informationen zum benutzerdefinierten Routing finden Sie unter Netzwerkkonfiguration.

Beispiel für die Netzwerkkonfiguration von Dataproc Metastore

Im folgenden Beispiel weist Google die Adressbereiche 10.100.0.0/17 und 10.200.0.0/20 im VPC-Netzwerk des Kunden den Google-Diensten zu und verwendet die Adressbereiche in einem Peering-VPC-Netzwerk.

ALT-TEXT HIER EINFÜGEN
Abbildung 1. VPC-Netzwerk für Dataproc Metastore

Beschreibung des Netzwerkbeispiels:

  • Auf der Google-Dienst-Seite des VPC-Peerings erstellt Google ein Projekt für den Kunden. Das Projekt ist isoliert, was bedeutet, dass es mit keinen anderen Kunden geteilt wird und dem Kunden nur die Ressourcen in Rechnung gestellt werden, die von ihm bereitgestellt werden.
  • Beim Erstellen des ersten Dataproc Metastore-Dienstes in einer Region weist Dataproc Metastore im Netzwerk des Kunden einen /17-Bereich und einen /20-Bereich für die gesamte zukünftige Nutzung von Dataproc Metastore-Diensten in dieser Region und in diesem Netzwerk zu. Dataproc Metastore unterteilt diese Bereiche weiter, um Subnetze und Adressbereiche im Projekt des Dienstanbieters zu erstellen.
  • VM-Dienste im Kundennetzwerk können auf Dataproc Metastore-Dienstressourcen in jeder Region zugreifen, wenn der Google Cloud-Dienst dies unterstützt. Einige Google Cloud-Dienste unterstützen möglicherweise keine regionenübergreifende Kommunikation.
  • Die Kosten für ausgehenden Traffic für regionenübergreifenden Traffic, bei dem eine VM-Instanz mit Ressourcen in einer anderen Region kommuniziert, fallen weiterhin an.
  • Google weist dem Dataproc Metastore-Dienst die IP-Adresse 10.100.0.100 zu. Im VPC-Netzwerk des Kunden werden Anfragen mit dem Ziel 10.100.0.100 über das VPC-Peering an das Netzwerk des Diensterstellers weitergeleitet. Das Dienstnetzwerk enthält Routen, über die die Anfrage anschließend an die richtige Ressource weitergeleitet wird.
  • Der Traffic zwischen VPC-Netzwerken verläuft intern im Google-Netzwerk, nicht über das öffentliche Internet.

Nächste Schritte