Dataproc Metastore-Netzwerkübersicht

Dieses Dokument bietet einen Überblick über die Netzwerkeinstellungen, mit denen Sie einen Dataproc Metastore-Dienst einrichten.

Kurzreferenz zu Netzwerkthemen

Netzwerkeinstellungen Hinweise
Standardeinstellungen für Werbenetzwerke
VPC-Netzwerke Standardmäßig verwenden Dataproc Metastore-Dienste VPC-Netzwerke, um eine Verbindung zu Google Cloud herstellen.

Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert das VPC-Netzwerk-Peering automatisch für Ihren Dienst.
VPC-Subnetzwerke Sie können optional Dataproc Metastore erstellen. mit einem VPC-Subnetzwerk über Private Service Connect. Dies ist eine Alternative zur Verwendung von VPC-Netzwerken.
Zusätzliche Netzwerkeinstellungen
Freigegebene VPC-Netzwerke Optional können Sie Dataproc Metastore-Dienste in einem freigegebenen VPC-Netzwerk erstellen.
Lokales Netzwerk Sie können eine Verbindung zu einem Dataproc Metastore-Dienst herstellen mit eine lokale Umgebung über Cloud VPN oder Cloud Interconnect.
VPC Service Controls Sie können optional Dataproc Metastore erstellen. mit VPC Service Controls verwenden.
Firewallregeln In nicht standardmäßigen oder privaten Umgebungen mit etablierter Sicherheit müssen Sie möglicherweise eigene Firewallregeln erstellen.

Standard-Netzwerkeinstellungen

Im folgenden Abschnitt werden die Standard-Netzwerkeinstellungen beschrieben, die Dataproc Metastore nutzt: VPC-Netzwerke und VPC-Netzwerk-Peering

VPC-Netzwerke

Standardmäßig verwenden Dataproc Metastore-Dienste VPC Netzwerke zum Herstellen einer Verbindung zu Google Cloud. Ein VPC-Netzwerk ist eine virtuelle Version eines physischen Netzwerks, das innerhalb des Produktionsnetzwerks von Google implementiert ist. Wenn Sie einen Dataproc Metastore erstellen, das VPC-Netzwerk für Sie erstellt.

Wenn Sie beim Erstellen des Dienstes keine Einstellungen ändern, Dataproc Metastore verwendet das VPC-Netzwerk default. Mit dieser Einstellung wird das VPC-Netzwerk, das Sie mit Ihrem Dataproc Metastore verwenden, Dienst kann zum selben Google Cloud-Projekt oder zu einem anderen Projekt gehören. Mit dieser Einstellung können Sie Ihren Dienst auch in einem einzelnen VPC-Netzwerk oder Ihren Dienst über mehrere VPC-Netzwerke zugänglich machen (mithilfe von Subnetzwerken).

Für Dataproc Metastore ist jeweils Folgendes pro Region erforderlich VPC-Netzwerk:

VPC-Netzwerk-Peering

Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert das VPC-Netzwerk-Peering automatisch für Ihren Dienst. VPC bietet Ihrem Dienst Zugriff auf die Endpunktprotokolle von Dataproc Metastore. Nachher Sie Ihren Dienst erstellen, können Sie das zugrunde liegende VPC-Netzwerk-Peering der Seite VPC-Netzwerk-Peering in der Google Cloud .

Das VPC-Netzwerk-Peering ist nicht transitiv. Das bedeutet, dass nur direkt verbundene Peering-Netzwerke miteinander kommunizieren können. Stellen Sie sich zum Beispiel Folgendes vor: Szenario:

Sie haben die folgenden Netzwerke: VPC-Netzwerk N1, N2 und N3.

  • Das VPC-Netzwerk N1 ist mit N2 und N3 gekoppelt.
  • Das VPC-Netzwerk N2 und N3 sind nicht direkt verbunden.

Was bedeutet das?

Es bedeutet, dass das VPC-Netzwerk N2 über VPC-Netzwerk-Peering mit dem VPC-Netzwerk N3. Dies wirkt sich auf Dataproc Metastore-Verbindungen aus auf folgende Arten:

  • Virtuelle Maschinen, die sich in Netzwerken befinden, die per Peering mit Ihrem Netzwerk des Dataproc Metastore-Projekts kann keine Verbindung herstellen Dataproc Metastore
  • Nur Hosts im VPC-Netzwerk können einen Dataproc Metastore erreichen Service.

Überlegungen zur Sicherheit von VPC-Netzwerk-Peering

  • Traffic über VPC-Netzwerk-Peering wird mit einer bestimmten Ebene bereitgestellt der Verschlüsselung. Weitere Informationen finden Sie unter Virtuelles Google Cloud-Netzwerk Verschlüsselung und Authentifizierung.

  • Ein VPC-Netzwerk für jeden Dienst mit einer internen IP-Adresse erstellen bietet eine bessere Netzwerkisolation, als alle Dienste default VPC-Netzwerk.

VPC-Subnetzwerke

Mit Private Service Connect (PSC) können Sie eine private Verbindung zu Dataproc Metastore-Metadaten über VPC-Netzwerke hinweg. Mit PSC können Sie einen Dienst ohne VPC-Peering erstellen. So können Sie Ihre eigene interne IP-Adresse verwenden Adressen für den Zugriff auf Dataproc Metastore, ohne Ihre VPC zu verlassen Netzwerke oder mithilfe von externen IP-Adressen.

Informationen zum Einrichten von Private Service Connect beim Erstellen eines Dienstes finden Sie unter Private Service Connect mit Dataproc Metastore

IP-Adressen

So kannst du eine Verbindung zu einem Netzwerk herstellen und deine Metadaten schützen: Dataproc Metastore-Dienste verwenden nur interne IP-Adressen. Das bedeutet, dass öffentliche IP-Adressen nicht für Netzwerkzwecke freigegeben oder verfügbar sind.

Wenn Sie eine interne IP-Adresse verwenden, kann Dataproc Metastore nur eine Verbindung zu virtuellen Maschinen (VMs) herstellen, die sich in bestimmten VPC-Netzwerken (Virtual Private Cloud) oder in einer lokalen Umgebung befinden.

Für Verbindungen zu einem Dataproc Metastore-Dienst, der eine interne IP-Adresse verwendet, werden Adressbereiche nach RFC 1918 verwendet. Die Verwendung dieser Bereiche bedeutet, Dataproc Metastore weist einen /17-Bereich und einen /20-Bereich von den Adressbereich für jede Region. Wenn Sie zum Beispiel Für Dataproc Metastore-Dienste in zwei Regionen muss der Der zugewiesene IP-Adressbereich enthält Folgendes:

  • Mindestens zwei nicht verwendete Adressblöcke der Größe /17.
  • Mindestens zwei nicht verwendete Adressblöcke der Größe /20

Wenn keine RFC 1918-Adressblöcke gefunden werden, wird Dataproc Metastore findet stattdessen geeignete Adressblöcke außerhalb von RFC 1918. Beachten Sie, dass bei der Zuweisung von Blöcken, die nicht der RFC 1918 entsprechen, nicht berücksichtigt wird, ob diese Adressen in Ihrem VPC-Netzwerk oder in der lokalen Umgebung verwendet werden oder nicht.

Zusätzliche Netzwerkeinstellungen

Wenn Sie andere Netzwerkeinstellungen benötigen, können Sie die folgenden Optionen verwenden mit Ihrem Dataproc Metastore-Dienst.

Freigegebenes VPC-Netzwerk

Sie können Dataproc Metastore-Dienste in einer Freigegebene VPC-Netzwerk. Mit einer freigegebene VPC können Sie Dataproc Metastore-Ressourcen aus mehreren Projekten zu einem gemeinsamen VPC-Netzwerk (VPC).

Informationen zum Einrichten einer freigegebene VPC beim Erstellen eines Dienstes finden Sie unter Dataproc Metastore-Dienst erstellen.

Lokales Netzwerk

Sie können eine Verbindung zu einem Dataproc Metastore-Dienst mit einem lokalen mithilfe von Cloud VPN oder Cloud Interconnect.

VPC Service Controls

Mit VPC Service Controls verringern Sie das Risiko von Daten. Daten-Exfiltration. Mit VPC Service Controls erstellen Sie Perimeter um die Dataproc Metastore-Dienst VPC Service Controls schränkt den Zugriff auf Ressourcen innerhalb des Perimeters von außen. Nur Kunden und Ressourcen innerhalb des Perimeters miteinander interagieren können.

Informationen zur Verwendung von VPC Service Controls mit Dataproc Metastore finden Sie unter VPC Service Controls mit Dataproc Metastore. Ebenfalls rezensieren Einschränkungen für Dataproc Metastore bei Verwendung des VPC-Dienstes Steuerelemente:

Firewallregeln für Dataproc Metastore

In nicht standardmäßigen oder privaten Umgebungen mit einem müssen Sie unter Umständen eigene Firewallregeln erstellen. Wenn ja, sollten Sie keine Firewallregel erstellen, die den IP-Adressbereich blockiert oder Port Ihrer Dataproc Metastore-Dienste.

Wenn Sie einen Dataproc Metastore-Dienst erstellen, gilt Folgendes: können Sie das Standardnetzwerk für den Dienst übernehmen. Das Standardnetzwerk stellt sicher, vollständigen internen IP-Netzwerkzugriff für Ihre VMs.

Allgemeine Informationen zu Firewallregeln finden Sie unter VPC-Firewallregeln. und VPC-Firewallregeln verwenden.

Firewallregel für ein benutzerdefiniertes Netzwerk erstellen

Wenn Sie ein benutzerdefiniertes Netzwerk verwenden, achten Sie darauf, dass Ihre Firewallregel Traffic zulässt die vom Dataproc Metastore-Endpunkt stammen und dorthin gehen. Wenn Sie Dataproc Metastore-Traffic ausdrücklich zulassen möchten, führen Sie die folgenden gcloud-Befehle aus:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Wenden Sie für DPMS_NET_PREFIX eine /17-Subnetzmaske auf die IP-Adresse des Dataproc Metastore-Dienstes an. Die IP-Adresse von Dataproc Metastore finden Sie in der endpointUri-Konfiguration auf der Seite Dienstdetails.

Hinweise

Netzwerke haben eine implizierte Regel zum Zulassen von ausgehendem Traffic, die normalerweise den Zugriff von Netzwerk mit Dataproc Metastore verbinden. Wenn Sie ausgehenden Traffic ablehnen die die implizierte Regel zum Zulassen von ausgehendem Traffic überschreiben, sollten Sie eine mit einer höheren Priorität, um ausgehenden Traffic zum Dataproc Metastore-IP-Adresse.

Einige Features wie Kerberos erfordern, dass Dataproc Metastore Verbindungen zu Hosts in Ihrem Projektnetzwerk initiiert. Alle Netzwerke haben einen Implizierte Regel zum Ablehnen von eingehendem Traffic die diese Verbindungen blockieren und verhindern, dass sie funktionieren. Sie sollten eine Firewallregel erstellen, die eingehenden TCP- und UDP-Traffic an allen Ports aus dem IP-Block /17 zulässt, der die IP-Adresse des Dataproc Metastore enthält.

Benutzerdefiniertes Routing

Benutzerdefinierte Routen sind für Subnetze gedacht, die privat verwendete öffentliche IP-Adressen nutzen Adressen (PUPI). Benutzerdefinierte Routen ermöglichen es Ihrem VPC-Netzwerk, eine Verbindung zu einem Peering-Netzwerk herzustellen. Benutzerdefinierte Routen können nur empfangen werden, wenn sie von Ihrem VPC-Netzwerk importiert werden und der werden vom Peer-Netzwerk explizit exportiert. Benutzerdefinierte Routen können entweder statisch oder Dynamisch.

Durch die Freigabe benutzerdefinierter Routen für Peering-VPC-Netzwerke können Netzwerke „lernen“ Routen direkt von ihren Peering-Netzwerken abrufen. Wenn also eine benutzerdefinierte Route in einem Peering-Netzwerk aktualisiert wird, lernt Ihr VPC-Netzwerk Die benutzerdefinierte Route wird implementiert, ohne dass zusätzliche Maßnahmen Ihrerseits erforderlich sind.

Weitere Informationen zum benutzerdefinierten Routing finden Sie unter Netzwerkkonfiguration.

Beispiel für ein Dataproc Metastore-Netzwerk

Im folgenden Beispiel weist Google 10.100.0.0/17 und 10.200.0.0/20 Adressbereiche im VPC-Netzwerk des Kunden für Google-Dienste und verwendet die Adressbereiche in einer Peering-VPC Netzwerk.

ALT-TEXT HIER EINFÜGEN
Abbildung 1. VPC-Netzwerk in Dataproc Metastore

Beschreibung des Netzwerkbeispiels:

  • Auf der Google-Dienst-Seite des VPC-Peerings erstellt Google ein Projekt für den Kunden. Das Projekt ist isoliert, was bedeutet, dass es mit keinem anderen Kunden geteilt wird und dem Kunden nur die Ressourcen in Rechnung gestellt werden, die von ihm bereitgestellt werden.
  • Beim Erstellen des ersten Dataproc Metastore-Dienstes in einer Region weist Dataproc Metastore im Netzwerk des Kunden einen /17-Bereich und einen /20-Bereich für die gesamte zukünftige Nutzung von Dataproc Metastore-Diensten in dieser Region und in diesem Netzwerk zu. Dataproc Metastore unterteilt diese Bereiche weiter um Subnetzwerke und Adressbereiche im Diensterstellerprojekt zu erstellen.
  • VM-Dienste im Kundennetzwerk haben Zugriff Dataproc Metastore-Dienstressourcen in einer beliebigen Region, wenn die Google Cloud-Dienst unterstützt dies. Einige Google Cloud-Dienste unterstützt möglicherweise keine regionenübergreifende Kommunikation.
  • Kosten für ausgehenden Traffic für überregionalen Traffic in denen eine VM-Instanz mit Ressourcen in einer anderen Region kommuniziert, angewendet werden.
  • Google weist dem Dataproc Metastore-Dienst die IP-Adresse zu 10.100.0.100 Im VPC-Netzwerk des Kunden werden Anfragen mit einer Ziel von 10.100.0.100 werden über die VPC geleitet Peering zum Netzwerk des Diensterstellers. Nach Erreichen des Dienstes Netzwerk enthält das Dienstnetzwerk Routen, die die Anfrage an den richtige Ressource.
  • Der Traffic zwischen VPC-Netzwerken verläuft intern innerhalb und nicht über das öffentliche Internet.

Nächste Schritte