Dienstnetzwerk

Diese Seite enthält Informationen zur Verwendung von Netzwerken mit Dataproc Metastore.

Übersicht

Dataproc Metastore-Dienste verwenden private IP-Adressen, die viele Vorteile bieten. Private IP-Adressen bieten eine niedrigere Netzwerklatenz als öffentliche IP-Adressen. Sie können eine Verbindung über private IP-Adressen aus jeder Region herstellen. Sie können auch über freigegebene VPCs eine Verbindung zwischen Projekten herstellen.

Außerdem können Sie private IP-Adressen verwenden, um Hosts in Ihrem VPC-Netzwerk mit einem Dataproc Metastore-Dienst zu verbinden. Dies erreichen Sie durch Peering Ihres VPC-Netzwerks mit dem VPC-Netzwerk des Dataproc Metastore-Diensterstellers. Google weist dem Dataproc-Diensterstellerprojekt IP-Bereiche zu, die von Ihrem VPC-Netzwerk verwendet werden.

Beispiel

Im folgenden Beispiel weist Google die Adressbereiche 10.100.0.0/17 und 10.200.0.0/20 im VPC-Netzwerk des Kunden den Google-Diensten zu und verwendet die Adressbereiche in einem Peering-VPC-Netzwerk.

Diagramm: Kunden-, Dienst- und Cloud SQL-Projekte

  • Auf der Seite der Google-Dienste von VPC-Peering erstellt Google ein Projekt für den Kunden. Das Projekt ist isoliert. Das bedeutet, dass keine anderen Kunden es teilen und dem Kunden nur die Ressourcen in Rechnung gestellt werden, die der Kunde bereitstellt.
  • Beim Erstellen des ersten Dataproc Metastore-Dienstes in einer Region weist Dataproc Metastore einen /17-Bereich und einen /20-Bereich für die zukünftige Nutzung dieser Dataproc-Metastore-Dienste in dieser Region und diesem Netzwerk zu. Dataproc Metastore unterteilt diese Bereiche weiter, um Subnetzwerke und Adressbereiche im Diensterstellerprojekt zu erstellen.
  • VM-Dienste im Netzwerk des Kunden können auf beliebige Dataproc Metastore-Dienstressourcen in jeder Region zugreifen, wenn der Google Cloud-Dienst dies unterstützt. Einige Google Cloud-Dienste unterstützen möglicherweise nicht die regionsübergreifende Kommunikation.
  • Die Kosten für ausgehenden Traffic für regionenübergreifenden Traffic, bei dem eine VM-Instanz mit Ressourcen in einer anderen Region kommuniziert, fallen weiterhin an.
  • Google weist dem Dataproc Metastore-Dienst die IP-Adresse 10.100.0.100 zu. Im VPC-Netzwerk des Kunden werden Anfragen mit dem Ziel 10.100.0.100 über das VPC-Peering an das Netzwerk des Diensterstellers weitergeleitet. Nachdem das Dienstnetzwerk erreicht wurde, enthält das Netzwerk Routen, über die die Anfrage an die richtige Ressource weitergeleitet wird.
  • Der Traffic zwischen VPC-Netzwerken verläuft intern im Google-Netzwerk, nicht über das öffentliche Internet.

Netzwerkprobleme

Dataproc Metastore weist jeder Region einen /17-Bereich und einen /20-Bereich aus dem Adressbereich zu. Wenn Sie beispielsweise Dataproc Metastore-Dienste in zwei Regionen platzieren, muss der zugewiesene IP-Adressbereich mindestens zwei nicht verwendete Adressblöcke der Größe /17 und zwei nicht verwendete Adressblöcke der Größe /20 enthalten.

Für Verbindungen zu einem Dataproc Metastore-Dienst, der eine private IP-Adresse verwendet, werden Adressbereiche nach RFC 1918 verwendet. Wenn keine RFC 1918-Adressblöcke gefunden werden, findet der Dataproc Metastore stattdessen geeignete Nicht-RFC 1918-Adressblöcke. Beachten Sie, dass bei der Zuweisung von Blöcken, die nicht der RFC 1918 entsprechen, nicht berücksichtigt wird, ob diese Adressen in Ihrem VPC-Netzwerk oder in der lokalen Umgebung verwendet werden oder nicht.

Sicherheit

Traffic über VPC-Netzwerk-Peering wird mit einem bestimmten Verschlüsselungsniveau bereitgestellt. Weitere Informationen finden Sie unter Virtuelle Netzwerkverschlüsselung und -authentifizierung von Google Cloud.

Für jeden Dienst ein VPC-Netzwerk mit einer privaten IP-Adresse zu erstellen, gewährleistet eine bessere Netzwerkisolation, als alle Dienste im „Standard“-VPC-Netzwerk zu erstellen.

Kurze Zusammenfassung zu Netzwerkthemen

Thema Diskussion
Freigegebene VPC-Netzwerke Sie können Dataproc Metastore-Dienste in einem freigegebenen VPC-Netzwerk erstellen. Informationen zum Einrichten der freigegebenen VPC beim Erstellen eines Dienstes finden Sie unter Freigegebene VPC einrichten.
Legacy-Netzwerke Sie können über ein altes Netzwerk keine Verbindung zu einem Dataproc Metastore-Dienst herstellen. VPC-Netzwerk-Peering wird in Legacy-Netzwerken nicht unterstützt.
Vorhandene Dataproc Metastore-Dienste Sie können das Netzwerk, mit dem ein Dataproc Metastore-Dienst verbunden ist, nicht ändern.
Statische IP-Adressen Die private IP-Adresse des Dataproc Metastore-Dienstes ändert sich nicht.
VPC-Netzwerk-Peering Sie erstellen das VPC-Netzwerk-Peering nicht explizit, da das Peering zu Google Cloud intern gehört. Nachdem Sie einen Dataproc Metastore-Dienst erstellt haben, können Sie das zugrunde liegende VPC-Netzwerk-Peering auf der Seite „VPC-Netzwerk-Peering“ in der Google Cloud Console ansehen. Das Peering wird von Diensten in derselben Region und im selben Netzwerk gemeinsam genutzt. Löschen Sie sie nicht. Weitere Informationen finden Sie unter VPC-Netzwerk-Peering.
VPC Service Controls VPC Service Controls bietet die Möglichkeit, das Risiko der Datenexfiltration zu reduzieren. Mit VPC Service Controls erstellen Sie Perimeter um den Dataproc Metastore-Dienst. VPC Service Controls schränkt den Zugriff auf Ressourcen im Perimeter von außerhalb ein. Nur Clients und Ressourcen innerhalb des Perimeters können miteinander interagieren. Weitere Informationen finden Sie unter VPC Service Controls.

Weitere Informationen finden Sie unter Einschränkungen von Dataproc Metastore bei der Verwendung von VPC Service Controls. Informationen zur Verwendung von VPC Service Controls mit Dataproc Metastore finden Sie unter VPC Service Controls mit Dataproc Metastore.

Transitives Peering Nur direkt verbundene Peering-Netzwerke können miteinander kommunizieren. Transitives Peering wird nicht unterstützt. Wenn das VPC-Netzwerk N1 also mit N2 und N3 verbunden ist, aber N2 und N3 nicht direkt verbunden sind, kann das VPC-Netzwerk N2 nicht über VPC-Netzwerk-Peering mit dem VPC-Netzwerk N3 kommunizieren. Außerdem können VMs in Netzwerken, die über Peering mit Ihrem Dataproc Metastore-Projektnetzwerk verbunden sind, Dataproc Metastore nicht erreichen. Nur Hosts im VPC-Netzwerk können Dataproc Metastore erreichen.

Mithilfe von freigegebenen VPC-Netzwerken können Clients in mehreren unterschiedlichen Projekten eine Verbindung mit einem Dataproc Metastore-Dienst in einem einzelnen Projekt herstellen.

Weitere Informationen