Dienstnetzwerk

Diese Seite enthält Informationen zur Verwendung von Netzwerken mit Dataproc Metastore.

Übersicht

Dataproc Metastore-Dienste verwenden private IP-Adressen, die viele Vorteile bieten. Private IP-Adressen haben eine geringere Netzwerklatenz als öffentliche IP-Adressen. Sie können über private IP-Adressen aus jeder Region eine Verbindung herstellen. Sie können auch über freigegebene VPCs eine Verbindung zwischen Projekten herstellen.

Außerdem können Sie private IP-Adressen verwenden, um Hosts in Ihrem VPC-Netzwerk mit einem Dataproc Metastore-Dienst zu verbinden. Dies erreichen Sie durch Peering Ihres VPC-Netzwerks mit dem VPC-Netzwerk des Dataproc Metastore-Diensterstellers. Google weist dem Dataproc-Diensterstellerprojekt IP-Bereiche zu, die von Ihrem VPC-Netzwerk verwendet werden.

Beispiel

Im folgenden Beispiel weist Google die Adressbereiche 10.100.0.0/17 und 10.200.0.0/20 im VPC-Netzwerk des Kunden den Google-Diensten zu und verwendet die Adressbereiche in einem Peering-VPC-Netzwerk.

Diagramm: Kunden-, Dienst- und Cloud SQL-Projekte

  • Auf der Seite der Google-Dienste des VPC-Peerings erstellt Google ein Projekt für den Kunden. Das Projekt ist isoliert, was bedeutet, dass es nicht von anderen Kunden geteilt wird und dem Kunden nur die Ressourcen in Rechnung gestellt werden, die der Kunde bereitstellt.
  • Wenn Sie den ersten Dataproc Metastore-Dienst in einer Region erstellen, weist Dataproc Metastore einen /17-Bereich und einen /20-Bereich im Kundennetzwerk für alle zukünftigen Nutzungen von Dataproc Metastore-Diensten in dieser Region zu. und Netzwerk. Dataproc Metastore unterteilt diese Bereiche weiter, um Subnetzwerke und Adressbereiche im Diensterstellerprojekt zu erstellen.
  • VM-Dienste im Netzwerk des Kunden können auf Dataproc Metastore-Dienstressourcen in jeder Region zugreifen, wenn der Google Cloud-Dienst dies unterstützt. Einige Google Cloud-Dienste unterstützen möglicherweise keine regionenübergreifende Kommunikation.
  • Die Kosten für ausgehenden Traffic für regionenübergreifenden Traffic, bei dem eine VM-Instanz mit Ressourcen in einer anderen Region kommuniziert, fallen weiterhin an.
  • Google weist dem Dataproc Metastore-Dienst die IP-Adresse 10.100.0.100 zu. Im VPC-Netzwerk des Kunden werden Anfragen mit dem Ziel 10.100.0.100 über das VPC-Peering an das Netzwerk des Diensterstellers weitergeleitet. Das Dienstnetzwerk enthält Routen, über die die Anfrage anschließend an die richtige Ressource weitergeleitet wird.
  • Der Traffic zwischen VPC-Netzwerken verläuft intern im Google-Netzwerk, nicht über das öffentliche Internet.

Netzwerkprobleme

Dataproc Metastore weist jeder Region einen /17-Bereich und einen /20-Bereich aus dem Adressbereich zu. Wenn Sie beispielsweise Dataproc Metastore-Dienste in zwei Regionen platzieren, muss der zugewiesene IP-Adressbereich mindestens zwei nicht verwendete Adressblöcke der Größe /17 und zwei nicht verwendete Adressblöcke der Größe /20 enthalten.

Für Verbindungen zu einem Dataproc Metastore-Dienst, der eine private IP-Adresse verwendet, werden Adressbereiche nach RFC 1918 verwendet. Wenn keine RFC 1918-Adressblöcke gefunden werden, findet der Dataproc Metastore stattdessen geeignete Nicht-RFC 1918-Adressblöcke. Beachten Sie, dass bei der Zuweisung von Blöcken, die nicht der RFC 1918 entsprechen, nicht berücksichtigt wird, ob diese Adressen in Ihrem VPC-Netzwerk oder in der lokalen Umgebung verwendet werden oder nicht.

Sicherheit

Traffic über VPC-Netzwerk-Peering wird mit einem bestimmten Grad an Verschlüsselung bereitgestellt. Weitere Informationen finden Sie unter Virtuelle Netzwerkverschlüsselung und -authentifizierung von Google Cloud.

Für jeden Dienst ein VPC-Netzwerk mit einer privaten IP-Adresse zu erstellen, gewährleistet eine bessere Netzwerkisolation, als alle Dienste im „Standard“-VPC-Netzwerk zu erstellen.

Kurzreferenz zu Netzwerkthemen

Thema Diskussion
Freigegebene VPC-Netzwerke Sie können Dataproc Metastore-Dienste in einem freigegebenen VPC-Netzwerk erstellen. Weitere Informationen zum Einrichten einer freigegebenen VPC beim Erstellen eines Dienstes finden Sie unter Freigegebene VPC einrichten.
Legacy-Netzwerke Sie können keine Verbindung zu einem Dataproc Metastore-Dienst von einem Legacy-Netzwerk aus herstellen. Legacy-Netzwerke unterstützen kein VPC-Netzwerk-Peering.
Vorhandene Dataproc Metastore-Dienste Das Netzwerk, mit dem ein Dataproc Metastore-Dienst verbunden ist, kann nicht geändert werden.
Statische IP-Adressen Die private IP-Adresse des Dataproc Metastore-Dienstes ändert sich nicht.
VPC-Netzwerk-Peering Sie erstellen das Peering für das VPC-Netzwerk nicht explizit, da es Google Cloud-intern ist. Nachdem Sie einen Dataproc Metastore-Dienst erstellt haben, können Sie sich das zugrunde liegende VPC-Netzwerk-Peering auf der Seite "VPC-Netzwerk-Peering" in der Cloud Console ansehen. Das Peering wird von Diensten in derselben Region und demselben Netzwerk gemeinsam genutzt. Löschen Sie es nicht. Weitere Informationen finden Sie unter VPC-Netzwerk-Peering.
VPC Service Controls VPC Service Controls bietet die Möglichkeit, das Risiko der Datenexfiltration zu reduzieren. Mit VPC Service Controls erstellen Sie Perimeter um den Dataproc Metastore-Dienst. Durch VPC Service Controls wird der Zugriff auf Ressourcen im Perimeter von außerhalb eingeschränkt. Nur Clients und Ressourcen innerhalb des Perimeters können miteinander interagieren. Weitere Informationen finden Sie unter VPC Service Controls.

Beachten Sie auch die Einschränkungen von Dataproc Metastore bei der Verwendung von VPC Service Controls. Informationen zur Verwendung von VPC Service Controls mit Dataproc Metastore finden Sie unter VPC Service Controls mit Dataproc Metastore.

Transitives Peering Nur direkt verbundene Peering-Netzwerke können miteinander kommunizieren. Transitives Peering wird nicht unterstützt. Wenn also das VPC-Netzwerk N1 mit N2 und N3 verbunden ist, aber N2 und N3 nicht direkt miteinander verbunden sind, kann das VPC-Netzwerk N2 nicht mit dem VPC-Netzwerk N3 über das VPC-Netzwerk kommunizieren. Peering: Darüber hinaus können VMs in Netzwerken, die mit Ihrem Dataproc Metastore-Projektnetzwerk verbunden sind, Dataproc Metastore nicht erreichen. Nur Hosts im VPC-Netzwerk können Dataproc Metastore erreichen.

Mithilfe von freigegebenen VPC-Netzwerken können Clients in mehreren unterschiedlichen Projekten eine Verbindung mit einem Dataproc Metastore-Dienst in einem einzelnen Projekt herstellen.

Nächste Schritte