Private Service Connect mit Dataproc Metastore

Mit Private Service Connect können Sie Dataproc Metastore-Dienst, der keine VPC verwendet Peering. Auf dieser Seite wird erläutert, was Private Service Connect ist. und wie Sie es als alternative Networking-Option Dataproc Metastore

So funktioniert Dataproc Metastore mit VPC

Dataproc Metastore schützt seinen Metadatenzugriff, indem nur private IP-Endpunkten. Außerdem wird die Verbindung zu VMs in Ihrem VPC-Netzwerk eingeschränkt, mit VPC-Peering.

Für Dataproc Metastore sind die folgenden Konfigurationen erforderlich pro Region für jedes VPC-Netzwerk:

Daher ist das Einrichten von VPC-Peering und IP-Adressreservierungen kann in überfüllten VPC-Netzwerken schwierig sein. Ein VPC-Netzwerk Netzwerk hat möglicherweise nicht genügend Peering-Kontingente für zusätzliches Peering -Anfragen. Beide Einschränkungen verhindern, dass Sie neue Dataproc Metastore-Dienst

Um diese Probleme zu umgehen, Dataproc Metastore mit Private Service Connect.

So funktioniert Dataproc Metastore mit Private Service Connect

Private Service Connect stellt eine private Verbindung zu Dataproc Metastore-Metadaten über VPC-Netzwerke hinweg.

So verwenden Sie Private Service Connect mit Dataproc Metastore: sind folgende Konfigurationen erforderlich:

  • Eine einzelne Adressreservierung im Subnetzwerk.
  • Eine Weiterleitungsregel, die auf den Dienstanhang ausgerichtet ist und den Dataproc Metastore verfügbar macht Endpunkt. Die Adressreservierung und die Weiterleitungsregel werden im Rahmen Aufruf zum Erstellen des Dataproc Metastore-Dienstes.

Hinweise

  • Dataproc Metastore-Dienste, die Private Service Connect verwenden unterstützen nur den Zugriff von VPC-Netzwerken der Subnetzwerke, die während des Dienstes angegeben wurden Erstellung.

  • Dataproc Metastore reserviert Adressen und erstellt Weiterleitungen in jedem der angegebenen Subnetzwerke. Jedes Subnetzwerk hat einen Endpunkt-URI, mit dem Sie auf Dataproc Metastore zugreifen können des Metadaten-Endpunkts.

Beschränkungen

  • Dataproc Metastore-Dienste, die das gRPC-Endpunktprotokoll verwenden unterstützt Private Service Connect nicht.
  • Umgekehrte Verbindungen werden mit Private Service Connect nicht unterstützt. Das bedeutet, dass Sie keine Kerberos-Konfiguration mit Private Service Connect verwenden können.
  • Sie können Subnetze in Dataproc Metastore nicht dynamisch hinzufügen oder entfernen Dienst, der mit Private Service Connect konfiguriert ist. Stattdessen müssen Sie müssen Sie einen Dienst neu erstellen, wenn Sie Subnetze hinzufügen oder entfernen möchten.
  • Sie können keinen Dataproc Metastore-Dienst aktualisieren, der Private Service Connect verwendet oder umgekehrt.

Dataproc Metastore-Dienst mit Private Service Connect erstellen

Die folgende Anleitung zeigt, wie Sie Private Service Connect konfigurieren während der Diensterstellung.

Console

  1. Öffnen Sie in der Google Cloud Console die Dataproc Metastore-Seite:

    Zu Dataproc Metastore

  2. Klicken Sie oben auf der Seite Dataproc Metastore auf Erstellen.

    Die Seite Dienst erstellen wird geöffnet.

  3. Konfigurieren Sie Ihren Dienst nach Bedarf.

  4. Klicken Sie unter Netzwerkkonfiguration auf Dienste in mehreren VPC-Subnetzwerken zugänglich machen.

  5. Wählen Sie Subnetzwerke aus. Sie können bis zu 5 Subnetzwerke angeben.

  6. Klicken Sie auf Fertig.

  7. Klicken Sie auf Senden.

Überprüfen Sie die Netzwerkkonfiguration des Dienstes:

  1. Öffnen Sie in der Google Cloud Console die Dataproc Metastore-Seite:

    Zu Dataproc Metastore

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des die Sie sich ansehen möchten.

    Die Seite Dienstdetails für diesen Dienst wird geöffnet.

  3. Prüfen Sie auf dem Tab Konfiguration, ob in den Details mehrere VPCs angezeigt werden. Subnetzwerk-URIs.

gcloud

  1. Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen Dienst mit Private Service Connect erstellen:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    oder

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Prüfen Sie, ob die Erstellung erfolgreich war.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.

Verwenden Sie in den create-Anfrageparametern das Network Config, das für Konfigurieren Sie Private Service Connect. Sie können 1 bis 5 Subnetzwerke angeben.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Nächste Schritte