Private Service Connect mit Dataproc Metastore

Auf dieser Seite wird erläutert, was Private Service Connect ist und wie Sie es für Netzwerke als Alternative zum VPC-Peering verwenden.

Dataproc Metastore-Dienst ohne VPC-Peering

Dataproc Metastore schützt den Metadatenzugriff, indem nur private IP-Endpunkte verfügbar gemacht werden. Außerdem wird die Verbindung zu VMs im VPC-Netzwerk des Kunden über VPC-Peering eingeschränkt.

Für Dataproc Metastore ist pro Region und VPC-Netzwerk Folgendes erforderlich:

Das Einrichten von VPC-Peering und IP-Adressreservierung stellt für überlastete VPC-Netzwerke eine Herausforderung dar. Ebenso hat ein VPC-Netzwerk möglicherweise nicht genügend Peering-Kontingente für zusätzliche Peering-Anfragen. Beide Einschränkungen verhindern, dass neue Dataproc Metastore-Dienste erstellt werden.

Sie können einen Dataproc Metastore-Dienst ohne VPC-Peering und Adressblockreservierungen erstellen, indem Sie mit Private Service Connect den Dataproc Metastore-Endpunkt verfügbar machen. Private Service Connect ermöglicht eine private Verbindung zu Dataproc Metastore-Metadaten in VPC-Netzwerken.

Mit Private Service Connect benötigt Dataproc Metastore eine einzelne Adressreservierung im Subnetzwerk und eine Weiterleitungsregel, die auf den Dienstanhang ausgerichtet ist, der den Dataproc Metastore-Endpunkt verfügbar macht. Die Adressreservierungs- und Weiterleitungsregel werden im Rahmen des Aufrufs zum Erstellen des Dataproc Metastore-Dienstes erstellt.

Dataproc Metastore-Dienst mit Private Service Connect erstellen

Die folgende Anleitung zeigt, wie Sie Private Service Connect während der Diensterstellung konfigurieren.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite "Dataproc Metastore":

    Öffnen Sie Dataproc Metastore in der Google Cloud Console.

  2. Klicken Sie oben auf der Seite Dataproc Metastore auf die Schaltfläche Erstellen. Die Seite Dienst erstellen wird geöffnet.

  3. Konfigurieren Sie Ihren Dienst wie gewünscht.

  4. Klicken Sie unter Netzwerkkonfiguration auf Dienste in mehreren VPC-Subnetzwerken zugänglich machen.

  5. Wählen Sie die Subnetzwerke aus. Sie können bis zu 5 Subnetzwerke angeben.

  6. Klicken Sie auf Fertig.

  7. Klicken Sie auf Senden.

Überprüfen Sie die Netzwerkkonfiguration des Dienstes:

  1. Öffnen Sie in der Google Cloud Console die Seite "Dataproc Metastore":

    Öffnen Sie Dataproc Metastore in der Google Cloud Console.

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des Dienstes, den Sie aufrufen möchten. Die Seite Dienstdetails für diesen Dienst wird geöffnet.

  3. Prüfen Sie auf dem Tab Konfiguration, ob in den Details mehrere VPC-Subnetzwerk-URIs angezeigt werden.

gcloud

  1. Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen Dienst mit Private Service Connect zu erstellen:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    oder

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Prüfen Sie, ob die Erstellung erfolgreich war.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.

Verwenden Sie in den create-Anfrageparametern das Feld Network Config, um Private Service Connect zu konfigurieren:

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Sie können ein bis fünf Subnetzwerke angeben.

Dataproc Metastore reserviert Adressen und erstellt Weiterleitungsregeln in jedem der angegebenen Subnetzwerke. Jedes Subnetzwerk hat einen Thrift-Endpunkt-URI, über den Sie auf den Dataproc Metastore-Metadatenendpunkt zugreifen können.

Dataproc-Cluster anhängen

Sie können einen Dataproc-Cluster anhängen, der den Dataproc Metastore-Dienst mit Private Service Connect als Hive-Metastore verwendet. Dazu werden der Endpunkt-URI und das Warehouse-Verzeichnis des Dienstes verwendet.

Weitere Informationen zum Anhängen eines Dataproc-Clusters finden Sie unter Dataproc-Cluster mit ENDPOINT_URI und WAREHOUSE_DIR anhängen.

Vorsichtsmaßnahmen von Private Service Connect für Dataproc Metastore

  • Dataproc Metastore-Dienstendpunkte, die Private Service Connect verwenden, unterstützen nur den Zugriff über Subnetzwerke in derselben Region wie der Dienst.
  • Umgekehrte Verbindungen sind nicht möglich. Das bedeutet, dass die Kerberos-Konfiguration mit Private Service Connect-Einrichtung nicht unterstützt wird.
  • Das Erstellen eines Dataproc Metastore-Dienstes mit einem gRPC-Endpunktprotokoll unterstützt keine Netzwerkkonfiguration.
  • Subnetze können einem Dataproc Metastore-Dienst nicht dynamisch hinzugefügt oder daraus entfernt werden. Sie müssen einen Dienst neu erstellen, wenn Sie Subnetze hinzufügen oder entfernen möchten.
  • Sie können einen Dataproc Metastore-Dienst nicht von der Einrichtung von Private Service Connect auf die Einrichtung von Peering oder umgekehrt aktualisieren.
  • Hilfsversionen werden für die Private Service Connect-Konfiguration nicht unterstützt.

Nächste Schritte