Dienstnetzwerk

Diese Seite enthält Informationen zum Netzwerk mit Dataproc Metastore.

Übersicht

Dataproc Metastore-Dienste verwenden private IP-Adressen, die viele Vorteile bieten. Private IP-Adressen haben eine geringere Netzwerklatenz als öffentliche IP-Adressen. Sie können über private IP-Adressen aus jeder Region eine Verbindung herstellen. Sie können auch über freigegebene VPCs eine Verbindung zwischen Projekten herstellen.

Eine private IP-Verbindung zwischen Hosts in Ihrem VPC-Netzwerk und einem Dataproc Metastore-Dienst wird durch Peering Ihres VPC-Netzwerks mit dem VPC-Netzwerk des Diensterstellers von Dataproc Metastore ermöglicht. Google weist IP-Bereiche in Ihrem VPC-Netzwerk zu, die im Diensterstellerprojekt verwendet werden.

Beispiel

Im folgenden Beispiel hat das VPC-Netzwerk des Kunden Google-Diensten den Adressbereich 10.100.0.0/17 zugewiesen und eine private Verbindung eingerichtet, die den zugewiesenen Bereich verwendet.

Kundendiagramm für Kunden-, Dienst- und Cloud SQL-Projekte

  • Auf der Seite der Google-Dienste des VPC-Peerings erstellt Google ein Projekt für den Kunden. Das Projekt ist isoliert, was bedeutet, dass es nicht von anderen Kunden geteilt wird und dem Kunden nur die Ressourcen in Rechnung gestellt werden, die der Kunde bereitstellt.
  • Wenn Sie den ersten Dataproc Metastore-Dienst in einer Region erstellen, weist Dataproc Metastore einen /17-Bereich und einen /20-Bereich im Kundennetzwerk für alle zukünftigen Nutzungen von Dataproc Metastore-Diensten in dieser Region zu. und Netzwerk. Dataproc Metastore unterteilt diese Bereiche weiter, um Subnetzwerke und Adressbereiche im Diensterstellerprojekt zu erstellen.
  • VM-Dienste im Netzwerk des Kunden können auf Dataproc Metastore-Dienstressourcen in jeder Region zugreifen, wenn der Google Cloud-Dienst dies unterstützt. Einige Google Cloud-Dienste unterstützen möglicherweise keine regionenübergreifende Kommunikation.
  • Die Kosten für ausgehenden Traffic für regionenübergreifenden Traffic, bei dem eine VM-Instanz mit Ressourcen in einer anderen Region kommuniziert, fallen weiterhin an.
  • Google weist dem Dataproc Metastore-Dienst die IP-Adresse 10.100.0.100 zu. Im VPC-Netzwerk des Kunden werden Anfragen mit dem Ziel 10.100.0.100 über das VPC-Peering an das Netzwerk des Diensterstellers weitergeleitet. Das Dienstnetzwerk enthält Routen, über die die Anfrage anschließend an die richtige Ressource weitergeleitet wird.
  • Der Traffic zwischen VPC-Netzwerken verläuft intern im Google-Netzwerk, nicht über das öffentliche Internet.

Netzwerkprobleme

Dataproc Metastore weist einen /17-Bereich und einen /20-Bereich aus dem Adressbereich für jede Region zu. Wenn Sie beispielsweise Dataproc Metastore-Dienste in zwei Regionen platzieren, müssen der zugewiesene IP-Adressbereich mindestens zwei nicht verwendete Adressbereiche der Größe /17 und zwei nicht verwendete Adressbereiche der Größe \20 enthalten. aus.

Verbindungen zu einem Dataproc Metastore-Dienst mit einer privaten IP-Adresse verwenden RFC 1918-Adressbereiche. Wenn keine RFC 1918-Adressblöcke gefunden werden, findet Dataproc Metastore stattdessen geeignete RFC-1918-Adressblöcke. Beachten Sie, dass bei der Zuordnung von Blöcken außerhalb von RFC 1918 nicht berücksichtigt wird, ob diese Adressen in Ihrem VPC-Netzwerk oder lokal verwendet werden.

Sicherheit

Traffic über VPC-Netzwerk-Peering wird mit einem bestimmten Grad an Verschlüsselung bereitgestellt. Weitere Informationen finden Sie unter Virtuelle Netzwerkverschlüsselung und -authentifizierung von Google Cloud.

Für jeden Dienst mit einer privaten IP-Adresse ein VPC-Netzwerk zu erstellen, bietet eine bessere Netzwerkisolation, als alle Dienste im "Standard"-VPC-Netzwerk zu erstellen.

Kurzreferenz zu Netzwerkthemen

Wenn Sie Dataproc Metastore-Dienste verwalten, interessieren Sie vielleicht die folgenden Themen:

Thema Diskussion
Freigegebene VPC-Netzwerke Sie können Dataproc Metastore-Dienste in einem freigegebenen VPC-Netzwerk erstellen. Weitere Informationen zum Einrichten einer freigegebenen VPC beim Erstellen eines Dienstes finden Sie unter Freigegebene VPC einrichten.
Legacy-Netzwerke Sie können keine Verbindung zu einem Dataproc Metastore-Dienst von einem Legacy-Netzwerk aus herstellen. Legacy-Netzwerke unterstützen kein VPC-Netzwerk-Peering.
Vorhandene Dataproc Metastore-Dienste Das Netzwerk, mit dem ein Dataproc Metastore-Dienst verbunden ist, kann nicht geändert werden.
Statische IP-Adressen Die private IP-Adresse des Dataproc Metastore-Dienstes ändert sich nicht.
VPC-Netzwerk-Peering Sie erstellen das Peering für das VPC-Netzwerk nicht explizit, da es Google Cloud-intern ist. Nachdem Sie einen Dataproc Metastore-Dienst erstellt haben, können Sie sich das zugrunde liegende VPC-Netzwerk-Peering auf der Seite "VPC-Netzwerk-Peering" in der Cloud Console ansehen. Das Peering wird von Diensten in derselben Region und demselben Netzwerk gemeinsam genutzt. Löschen Sie es nicht.

Weitere Informationen zum VPC-Netzwerk-Peering

VPC Service Controls VPC Service Controls bietet die Möglichkeit, das Risiko der Datenexfiltration zu reduzieren. Mit VPC Service Controls erstellen Sie Perimeter um den Dataproc Metastore-Dienst. Durch VPC Service Controls wird der Zugriff auf Ressourcen im Perimeter von außerhalb eingeschränkt. Nur Clients und Ressourcen innerhalb des Perimeters können miteinander interagieren. Weitere Informationen finden Sie unter VPC Service Controls. Beachten Sie auch die Einschränkungen von Dataproc Metastore bei der Verwendung von VPC Service Controls. Informationen zur Verwendung von VPC Service Controls mit Dataproc Metastore finden Sie unter VPC Service Controls mit Dataproc Metastore.
Transitives Peering Nur direkt verbundene Peering-Netzwerke können miteinander kommunizieren. Transitives Peering wird nicht unterstützt. Wenn also das VPC-Netzwerk N1 mit N2 und N3 verbunden ist, aber N2 und N3 nicht direkt miteinander verbunden sind, kann das VPC-Netzwerk N2 nicht mit dem VPC-Netzwerk N3 über das VPC-Netzwerk kommunizieren. Peering: Darüber hinaus können VMs in Netzwerken, die mit Ihrem Dataproc Metastore-Projektnetzwerk verbunden sind, Dataproc Metastore nicht erreichen. Nur Hosts im VPC-Netzwerk können Dataproc Metastore erreichen.

Ein Dataproc Metastore-Dienst in einem Projekt kann von Clients in verschiedenen Projekten mithilfe von freigegebenen VPC-Netzwerken verbunden werden.

Nächste Schritte