Dataproc Metastore-Netzwerk – Übersicht

Dieses Dokument bietet einen Überblick über die Netzwerkeinstellungen, mit denen Sie einen Dataproc Metastore-Dienst einrichten können.

Hinweis: Die meisten Netzwerkkonzepte auf dieser Seite gelten nur für Dataproc Metastore-Dienste, die das Thrift-Endpunktprotokoll verwenden. Wenn Sie das gRPC-Endpunktprotokoll verwenden, ist VPC Service Controls die einzige Netzwerkkonfiguration, die Sie in diesem Dokument berücksichtigen müssen.

Kurzreferenz für Netzwerkthemen

Netzwerkeinstellungen	Notes
Standardeinstellungen für Werbenetzwerke
VPC-Netzwerke	Standardmäßig verwenden Dataproc Metastore-Dienste VPC-Netzwerke, um eine Verbindung zu Google Cloud herzustellen. Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert Dataproc Metastore automatisch auch VPC-Netzwerk-Peering für Ihren Dienst.
VPC-Subnetzwerke	Optional können Sie Dataproc Metastore-Dienste über Private Service Connect mit einem VPC-Subnetzwerk erstellen. Dies ist eine Alternative zur Verwendung von VPC-Netzwerken.
Zusätzliche Werbenetzwerkeinstellungen
Freigegebene VPC-Netzwerke	Optional können Sie Dataproc Metastore-Dienste in einem freigegebene VPC-Netzwerk erstellen.
Lokales Netzwerk	Sie können über Cloud VPN oder Cloud Interconnect eine Verbindung zu einem Dataproc Metastore-Dienst in einer lokalen Umgebung herstellen.
VPC Service Controls	Optional können Sie Dataproc Metastore-Dienste mit VPC Service Controls erstellen.
Firewallregeln	In nicht standardmäßigen oder privaten Umgebungen mit einem bestehenden Sicherheitsniveau müssen Sie möglicherweise Ihre eigenen Firewallregeln erstellen.

Standard-Netzwerkeinstellungen

Im folgenden Abschnitt werden die Standardnetzwerkeinstellungen beschrieben, die Dataproc Metastore verwendet – VPC-Netzwerke und VPC-Netzwerk-Peering.

VPC-Netzwerke

Standardmäßig verwenden Dataproc Metastore-Dienste VPC-Netzwerke, um eine Verbindung zu Google Cloud herzustellen. Ein VPC-Netzwerk ist eine virtuelle Version eines physischen Netzwerks, das im Produktionsnetzwerk von Google implementiert ist. Wenn Sie einen Dataproc Metastore erstellen, erstellt der Dienst das VPC-Netzwerk automatisch für Sie.

Wenn Sie beim Erstellen des Dienstes keine Einstellungen ändern, verwendet Dataproc Metastore das VPC-Netzwerk default. Mit dieser Einstellung kann das VPC-Netzwerk, das Sie mit Ihrem Dataproc Metastore-Dienst verwenden, zum selben Google Cloud-Projekt oder zu einem anderen Projekt gehören. Mit dieser Einstellung können Sie den Dienst außerdem in einem einzelnen VPC-Netzwerk verfügbar machen oder den Dienst über Subnetzwerke von mehreren VPC-Netzwerken aus zugänglich machen.

Für Dataproc Metastore ist pro Region und VPC-Netzwerk Folgendes erforderlich:

• 1 Peering-Kontingent
• /17 und /20 CIDR

VPC-Netzwerk-Peering

Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert Dataproc Metastore automatisch auch VPC-Netzwerk-Peering für Ihren Dienst. Über VPC erhalten Sie Zugriff auf die Endpunktprotokolle von Dataproc Metastore. Nachdem Sie den Dienst erstellt haben, wird das zugrunde liegende VPC-Netzwerk-Peering in der Google Cloud Console auf der Seite VPC-Netzwerk-Peering angezeigt.

Das VPC-Netzwerk-Peering ist nicht transitiv. Das bedeutet, dass nur direkt verbundene Peering-Netzwerke miteinander kommunizieren können. Betrachten Sie beispielsweise das folgende Szenario:

Sie haben die folgenden Netzwerke: VPC-Netzwerk N1, N2 und N3.

• Das VPC-Netzwerk N1 ist mit N2 und N3 gekoppelt.
• Das VPC-Netzwerk N2 und N3 sind nicht direkt verbunden.

Was bedeutet das?

Dies bedeutet, dass das VPC-Netzwerk N2 über VPC-Netzwerk-Peering nicht mit dem VPC-Netzwerk N3 kommunizieren kann. Dies wirkt sich folgendermaßen auf Dataproc Metastore-Verbindungen aus:

• Virtuelle Maschinen, die sich in Netzwerken befinden, die über Peering mit dem Dataproc Metastore-Projektnetzwerk verbunden sind, können Dataproc Metastore nicht erreichen.
• Nur Hosts im VPC-Netzwerk können einen Dataproc Metastore-Dienst erreichen.

Sicherheitsaspekte beim VPC-Netzwerk-Peering

• Traffic über VPC-Netzwerk-Peering wird mit einer bestimmten Verschlüsselungsstufe bereitgestellt. Weitere Informationen finden Sie unter Virtuelle Netzwerkverschlüsselung und -authentifizierung in Google Cloud.

• Das Erstellen eines VPC-Netzwerks für jeden Dienst mit einer internen IP-Adresse bietet eine bessere Netzwerkisolation, als alle Dienste im VPC-Netzwerk default zu platzieren.

VPC-Subnetzwerke

Mit Private Service Connect (PSC) können Sie eine private Verbindung zu Dataproc Metastore-Metadaten in VPC-Netzwerken einrichten. Mit PSC können Sie einen Dienst ohne VPC-Peering erstellen. So können Sie Ihre eigenen internen IP-Adressen für den Zugriff auf Dataproc Metastore verwenden, ohne Ihre VPC-Netzwerke zu verlassen oder externe IP-Adressen zu verwenden.

Informationen zum Einrichten von Private Service Connect beim Erstellen eines Dienstes finden Sie unter Private Service Connect mit Dataproc Metastore.

IP-Adressen

Dataproc Metastore-Dienste verwenden nur interne IP-Adressen, um eine Verbindung zu einem Netzwerk herzustellen und Ihre Metadaten zu schützen. Dies bedeutet, dass öffentliche IP-Adressen nicht verfügbar gemacht werden oder für Netzwerkzwecke verfügbar sind.

Über eine interne IP-Adresse kann Dataproc Metastore nur eine Verbindung zu virtuellen Maschinen (VMs) herstellen, die in bestimmten VPC-Netzwerken (Virtual Private Cloud) oder in einer lokalen Umgebung vorhanden sind.

Für Verbindungen zu einem Dataproc Metastore-Dienst über eine interne IP-Adresse werden RFC 1918-Adressbereiche verwendet. Wenn Sie diese Bereiche verwenden, weist Dataproc Metastore jeder Region einen /17-Bereich und einen /20-Bereich aus dem Adressbereich zu. Wenn Sie Dataproc Metastore-Dienste beispielsweise in zwei Regionen platzieren, muss der zugewiesene IP-Adressbereich Folgendes enthalten:

• Mindestens zwei nicht verwendete Adressblöcke der Größe /17.
• Mindestens zwei nicht verwendete Adressblöcke der Größe /20.

Wenn keine RFC 1918-Adressblöcke gefunden werden, sucht Dataproc Metastore stattdessen nach geeigneten Adressblöcken außerhalb von RFC 1918. Beachten Sie, dass bei der Zuweisung von Blöcken, die nicht der RFC 1918 entsprechen, nicht berücksichtigt wird, ob diese Adressen in Ihrem VPC-Netzwerk oder in der lokalen Umgebung verwendet werden oder nicht.

Zusätzliche Netzwerkeinstellungen

Wenn Sie andere Netzwerkeinstellungen benötigen, können Sie die folgenden Optionen mit Ihrem Dataproc Metastore-Dienst verwenden.

Freigegebenes VPC-Netzwerk

Sie können Dataproc Metastore-Dienste in einem freigegebene VPC-Netzwerk erstellen. Mit einer freigegebene VPC können Sie Dataproc Metastore-Ressourcen aus mehreren Projekten mit einem gemeinsamen VPC-Netzwerk (VPC) verbinden.

Informationen zum Einrichten einer freigegebene VPC beim Erstellen eines Dienstes finden Sie unter Dataproc Metastore-Dienst erstellen.

Lokales Netzwerk

Sie können mithilfe von Cloud VPN oder Cloud Interconnect eine Verbindung zu einem Dataproc Metastore-Dienst in einer lokalen Umgebung herstellen.

VPC Service Controls

Mit VPC Service Controls können Sie das Risiko der Daten-Exfiltration minimieren. Mit VPC Service Controls erstellen Sie Perimeter um den Dataproc Metastore-Dienst. VPC Service Controls schränkt den Zugriff auf Ressourcen innerhalb des Perimeters von außen ein. Nur Clients und Ressourcen innerhalb des Perimeters können miteinander interagieren.

Informationen zur Verwendung von VPC Service Controls mit Dataproc Metastore finden Sie unter VPC Service Controls mit Dataproc Metastore. Lesen Sie auch die Dataproc Metastore-Einschränkungen bei der Verwendung von VPC Service Controls.

Firewallregeln für Dataproc Metastore

In nicht standardmäßigen oder privaten Umgebungen mit einem bestehenden Sicherheitsniveau müssen Sie möglicherweise Ihre eigenen Firewallregeln erstellen. Erstellen Sie in diesem Fall keine Firewallregel, die den IP-Adressbereich oder Port Ihrer Dataproc Metastore-Dienste blockiert.

Wenn Sie einen Dataproc Metastore-Dienst erstellen, können Sie das Standardnetzwerk für den Dienst übernehmen. Das Standardnetzwerk sorgt für vollständigen internen IP-Netzwerkzugriff für Ihre VMs.

Weitere allgemeine Informationen zu Firewallregeln finden Sie unter VPC-Firewallregeln und VPC-Firewallregeln verwenden.

Firewallregel für ein benutzerdefiniertes Netzwerk erstellen

Wenn Sie ein benutzerdefiniertes Netzwerk verwenden, muss Ihre Firewallregel Traffic vom und zum Dataproc Metastore-Endpunkt zulassen. Führen Sie die folgenden gcloud-Befehle aus, um Dataproc Metastore-Traffic explizit zuzulassen:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Wenden Sie für DPMS_NET_PREFIX die Subnetzmaske /17 auf die IP-Adresse des Dataproc Metastore-Dienstes an. Sie finden Ihre Dataproc Metastore-IP-Adresse in der Konfiguration endpointUri auf der Seite Dienstdetails.

Hinweise

Netzwerke haben eine implizierte Regel zum Zulassen von ausgehendem Traffic, die normalerweise den Zugriff von Ihrem Netzwerk auf Dataproc Metastore zulässt. Wenn Sie Regeln zum Ablehnen von ausgehendem Traffic erstellen, die die implizierte Regel zum Zulassen von ausgehendem Traffic überschreiben, sollten Sie eine Regel zum Zulassen von ausgehendem Traffic mit einer höheren Priorität erstellen, um ausgehenden Traffic an die Dataproc Metastore-IP zuzulassen.

Einige Features wie Kerberos erfordern, dass Dataproc Metastore Verbindungen zu Hosts in Ihrem Projektnetzwerk initiiert. Alle Netzwerke haben eine implizierte Regel zum Ablehnen von eingehendem Traffic, die diese Verbindungen blockiert und verhindert, dass diese Features ausgeführt werden. Sie sollten eine Firewallregel erstellen, die eingehenden TCP- und UDP-Traffic an allen Ports aus dem IP-Block /17 zulässt, der die IP-Adresse des Dataproc Metastore enthält.

Benutzerdefiniertes Routing

Benutzerdefinierte Routen sind für Subnetze vorgesehen, die privat genutzte öffentliche IP-Adressen (PUPI) verwenden. Mit benutzerdefinierten Routen kann Ihr VPC-Netzwerk eine Verbindung zu einem Peer-Netzwerk herstellen. Benutzerdefinierte Routen können nur empfangen werden, wenn sie von Ihrem VPC-Netzwerk importiert und vom Peer-Netzwerk explizit exportiert werden. Benutzerdefinierte Routen können entweder statisch oder dynamisch sein.

Durch die Freigabe benutzerdefinierter Routen für Peering-VPC-Netzwerke können Netzwerke Routen direkt von ihren Peering-Netzwerken „lernen“. Wenn also eine benutzerdefinierte Route in einem Peering-Netzwerk aktualisiert wird, lernt Ihr VPC-Netzwerk die benutzerdefinierte Route automatisch und implementiert sie, ohne dass Sie etwas tun müssen.

Weitere Informationen zum benutzerdefinierten Routing finden Sie unter Netzwerkkonfiguration.

Beispiel für Dataproc Metastore-Netzwerk

Im folgenden Beispiel weist Google die Adressbereiche 10.100.0.0/17 und 10.200.0.0/20 im VPC-Netzwerk des Kunden für Google-Dienste zu und verwendet die Adressbereiche in einem Peering-VPC-Netzwerk.

Abbildung 1. Dataproc Metastore-VPC-Netzwerk-Netzwerkkonfiguration

Beschreibung des Netzwerkbeispiels:

• Auf der Seite der Google-Dienste des VPC-Peerings erstellt Google ein Projekt für den Kunden. Das Projekt ist isoliert, was bedeutet, dass es von keinen anderen Kunden geteilt wird und dem Kunden nur die vom Kunden bereitgestellten Ressourcen in Rechnung gestellt werden.
• Beim Erstellen des ersten Dataproc Metastore-Dienstes in einer Region weist Dataproc Metastore im Kundennetzwerk einen /17-Bereich und einen /20-Bereich für alle zukünftigen Nutzungen von Dataproc Metastore-Diensten in dieser Region und diesem Netzwerk zu. Dataproc Metastore unterteilt diese Bereiche weiter, um Subnetzwerke und Adressbereiche im Diensterstellerprojekt zu erstellen.
• VM-Dienste im Kundennetzwerk können auf Dataproc Metastore-Dienstressourcen in jeder Region zugreifen, wenn der Google Cloud-Dienst dies unterstützt. Einige Google Cloud-Dienste unterstützen möglicherweise keine regionsübergreifende Kommunikation.
• Die Kosten für ausgehenden Traffic für regionsübergreifenden Traffic, bei dem eine VM-Instanz mit Ressourcen in einer anderen Region kommuniziert, gelten weiterhin.
• Google weist dem Dataproc Metastore-Dienst die IP-Adresse 10.100.0.100 zu. Im VPC-Netzwerk des Kunden werden Anfragen mit dem Ziel 10.100.0.100 über das VPC-Peering an das Netzwerk des Diensterstellers weitergeleitet. Nachdem das Dienstnetzwerk das Dienstnetzwerk erreicht hat, enthält es Routen, die die Anfrage an die richtige Ressource weiterleiten.
• Der Traffic zwischen VPC-Netzwerken verläuft intern im Google-Netzwerk, nicht über das öffentliche Internet.

Nächste Schritte

• VPC Service Controls mit Dataproc Metastore
• IAM und Zugriffssteuerung für Dataproc Metastore
• Private Service Connect mit Dataproc Metastore