Netzwerkzugriff für Dataproc Metastore konfigurieren

Auf dieser Seite finden Sie eine detaillierte Anleitung zum Konfigurieren des Netzwerkzugriffs für Ihre Dataproc Metastore-Instanzen. Eine korrekte Netzwerkeinrichtung ist unerlässlich, damit Dataproc-Cluster und Dataproc Serverless-Arbeitslasten sicher und privat mit Ihrem verwalteten Dataproc Metastore-Dienst kommunizieren können.

Wichtige Netzwerkkonzepte

Dataproc Metastore-Instanzen befinden sich in der Regel in einem von Google verwalteten Diensterstellernetzwerk und kommunizieren über private Verbindungen mit Ihrem Virtual Private Cloud-Netzwerk. Die folgenden Konzepte sind für eine erfolgreiche Einrichtung unerlässlich:

  • Freigegebene Virtual Private Cloud:Wenn sich Ihre Dataproc-Cluster oder Dataproc Serverless-Arbeitslasten in einem Dienstprojekt befinden, das ein freigegebenes Virtual Private Cloud-Netzwerk aus einem Hostprojekt verwendet, prüfen Sie, ob die entsprechenden Netzwerkkonfigurationen im Hostprojekt vorgenommen wurden. Weitere Informationen finden Sie unter Freigegebene Virtual Private Cloud – Übersicht.
  • Privater Google-Zugriff:Dataproc Metastore-Instanzen nutzen häufig den privaten Google-Zugriff für die private Kommunikation mit Ihrem VPC-Netzwerk. So können VM-Instanzen in Ihrer Virtual Private Cloud über interne IP-Adressen eine Verbindung zu Google APIs und ‑Diensten herstellen. Weitere Informationen finden Sie unter Privater Google-Zugriff.
  • VPC-Netzwerk-Peering:Dieser Mechanismus ermöglicht private IP-Verbindungen zwischen zwei VPC-Netzwerken (Virtual Private Cloud), sodass Ressourcen in einem Netzwerk über interne IP-Adressen mit Ressourcen im anderen Netzwerk kommunizieren können. Dataproc Metastore stellt im Rahmen der Einrichtung eine verwaltete VPC-Netzwerk-Peering-Verbindung zu Ihrem VPC-Netzwerk (Virtual Private Cloud) her. Weitere Informationen finden Sie unter VPC-Netzwerk-Peering.
  • Firewallregeln:Damit Traffic zwischen Ihren Dataproc-Arbeitslasten und der Dataproc Metastore-Instanz möglich ist, sind entsprechende Firewallregeln erforderlich.
  • Cloud DNS-Auflösung:Prüfen Sie, ob die DNS-Auflösung in Ihrem VPC-Netzwerk korrekt konfiguriert ist, um die Dataproc Metastore-Endpunkt-URI in die private IP-Adresse aufzulösen.

Konfigurationsschritte

So prüfen Sie, ob Ihre Dataproc Metastore-Instanz ordnungsgemäß auf das Netzwerk zugreifen kann:

1. Privaten Dienstzugriff konfigurieren

Dataproc Metastore verwendet den Zugriff auf private Dienste, um eine private Verbindung zwischen Ihrem Virtual Private Cloud-Netzwerk und dem von Google verwalteten Netzwerk des Diensterstellers herzustellen, in dem sich Ihre Dataproc Metastore-Instanz befindet.

  • Verbindung für den Zugriff auf private Dienste überprüfen:
    1. Rufen Sie in der Google Cloud -Console Virtual Private Cloud-Netzwerk > VPC-Netzwerk-Peering auf.
    2. Prüfen Sie, ob eine Peering-Verbindung mit dem Namen servicenetworking-googleapis-com vorhanden ist und ihr Status ACTIVE ist.
    3. Wenn diese Verbindung fehlt oder nicht aktiv ist, folgen Sie der Anleitung unter Zugriff auf private Dienste konfigurieren. Dazu gehört das Zuweisen eines IP-Adressbereichs für das Netzwerk des Dienstanbieters.

2. Firewallregeln konfigurieren

Prüfen Sie, ob die Firewallregeln in Ihrem VPC-Netzwerk (oder im freigegebenen VPC-Hostprojekt, falls zutreffend) den erforderlichen Traffic zulassen.

  • Regel für ausgehenden Traffic von der Arbeitslast zum Metastore:
    • Prüfen Sie, ob eine Firewallregel für ausgehenden Traffic ausgehenden TCP-Traffic von Ihrem Dataproc-Cluster oder Ihren serverlosen Dataproc-Workloads zum IP-Adressbereich Ihrer Dataproc Metastore-Instanz an Port 9083 zulässt. Dies ist der Standardport für den Hive-Metastore.
    • Wenn Sie den Zugriff auf private Dienste verwenden, wird dieser Traffic privat weitergeleitet.
  • Regeln für eingehenden Traffic (weniger häufig für Client-zu-Metastore):
    • Im Allgemeinen müssen Sie keine Ingress-Regeln in Ihrer Virtual Private Cloud für Traffic von der Dataproc Metastore-Instanz zu Ihrer Arbeitslast konfigurieren, da die Kommunikation in der Regel von der Arbeitslast ausgeht. Prüfen Sie jedoch, ob zu restriktive Regeln für eingehenden Traffic versehentlich erforderliche Antworten blockieren.

3. DNS-Auflösung prüfen

Für Ihre Dataproc-Arbeitslasten muss der Dataproc Metastore-Endpunkt-URI in seine private IP-Adresse aufgelöst werden.

  • DNS-Peering oder private Zonen:Wenn Sie benutzerdefinierte DNS-Server oder private Cloud DNS-Zonen verwenden, prüfen Sie, ob DNS-Abfragen für den Dataproc Metastore-Endpunkt (z.B. your-metastore-endpoint.us-central1.dataproc.cloud.google.com) korrekt an den privaten IP-Bereich weitergeleitet oder in diesen aufgelöst werden, der vom Zugriff auf private Dienste verwendet wird.
  • DNS-Auflösung testen:Verwenden Sie auf einer VM im selben Subnetz wie Ihre Dataproc-Arbeitslast nslookup oder dig, um zu prüfen, ob der Dataproc Metastore-Endpunkt in eine private IP-Adresse aufgelöst wird.

Fehlerbehebung bei Netzwerkverbindungen

Wenn nach der Konfiguration des Netzwerkzugriffs Verbindungsprobleme auftreten, können Sie die folgenden Schritte zur Fehlerbehebung ausführen:

Nächste Schritte