Clusterweboberflächen

Sicherheitslücken vermeiden

Offene Ports und falsch konfigurierte Firewallregeln in einem offenen Netzwerk können dazu führen, dass unbefugte Nutzer in der Lage sind, beliebigen Code auszuführen.^*

Lesen Sie die Informationen unter Quell-IP-Bereich für Subnetz-Firewallregeln angeben.

Erstellen Sie einen SSH-Tunnel, um eine sichere Verbindung zur Masterinstanz des Clusters herzustellen.

Apache Hadoop YARN bietet REST APIs, die die gleichen Ports wie die YARN-Weboberflächen verwenden (Standardport 8088). Standardmäßig können Nutzer, die auf die YARN-Weboberfläche zugreifen können, Anwendungen erstellen, Jobs senden und möglicherweise Cloud Storage-Vorgänge ausführen. Informationen zum Festlegen der zulässigen REST API-Methoden des YARN Resource Managers finden Sie unter Zulässige YARN Resource Manager REST APIs.

Einige wichtige Open Source-Komponenten in Dataproc-Clustern bieten Weboberflächen wie Apache Hadoop und Apache Spark. Diese Oberflächen können zum Verwalten und Überwachen von Clusterressourcen und -einrichtungen verwendet werden, wie z. B. YARN ResourceManager, Hadoop Distributed File System (HDFS), MapReduce und Spark. Andere Komponenten oder Anwendungen, die Sie in Ihrem Cluster installieren, bieten möglicherweise auch Weboberflächen (siehe beispielsweise Jupyter-Notebook auf einem Dataproc-Cluster installieren und ausführen).

Zielsetzung:Die folgenden Schritte und Beispiele zeigen, wie Sie eine sichere Verbindung zu den Weboberflächen herstellen, die in Ihrem Dataproc-Cluster ausgeführt werden. Die Verbindung erfolgt dabei mit einem SSH-Tunnel über das lokale Netzwerk oder über Google Cloud Shell zum Compute Engine-Netzwerk des Clusters.

Verwenden Sie das Component Gateway, um eine Verbindung zu den Weboberflächen von Kernkomponenten und optionalen Komponenten herzustellen. Mit Clustern, die mit Dataproc-Images der Version 1.3.29 und höher erstellt wurden, kann der Zugriff auf die Weboberflächen von Komponenten (z. B. die UIs von YARN, HDFS, Jupyter und Zeppelin) installiert und aktiviert werden, ohne dass SSH-Tunnel benötigt oder Firewallregeln geändert werden müssen, um eingehenden Traffic zuzulassen. Weitere Informationen finden Sie unter Dataproc Component Gateway.

Unter SSH-Verbindung zu einem Dataproc-Cluster herstellen erfahren Sie, wie Sie eine SSH-Sitzung auf dem Masterknoten eines Dataproc-Clusters öffnen.

Verfügbare Oberflächen

Die folgenden Schnittstellen sind auf einem Dataproc-Cluster-Masterknoten verfügbar. Ersetzen Sie master-host-name durch den Namen Ihres Masterknotens.

Der Cluster master-host-name ist der Name Ihres Dataproc-Clusters gefolgt von einem -m-Suffix. Bei einem Cluster mit dem Namen „my-cluster“ wäre der „master-host-name“ beispielsweise „my-cluster-m“.

Web-UI	Port	URL
YARN ResourceManager^1	8088^2	http://master-host-name:8088
HDFS NameNode	9870^3,4	http://master-host-name:9870

¹ Die Yarn ResourceManager-UI wird in Dataproc-Hochverfügbarkeitsclustern (High Availability, HA) nicht unterstützt.

² In Kerberos-fähigen Clustern ist der YARN ResourceManager-Web-UI-Port 8090 und wird unter HTTPS ausgeführt.

³ In Kerberos-fähigen Clustern lautet der HDFS NameNode-Web-UI-Port 9871 und wird unter HTTPS ausgeführt.

⁴ In älteren Dataproc-Versionen vor Version 1.2 war der HDFS-Namenode-Web-UI-Port 50070.

YARN ResourceManager enthält in der Spalte "Tracking UI" Links zu allen derzeit ausgeführten und abgeschlossenen Weboberflächen von MapReduce- und Spark-Anwendungen.

Zulässige REST APIs von YARN ResourceManager

Wenn Sie einen Cluster erstellen, legt Cloud Dataproc für das Attribut yarn-site.xml yarn.resourcemanager.webapp.methods-allowed den Wert "GET,HEAD" fest. Die HTTP-Methoden, die in der Web-UI und den REST APIs von YARN ResourceManager aufgerufen werden können, werden so auf GET- und HEAD-Methoden beschränkt. Diese Standardeinstellung deaktiviert auch die Übermittlung und Änderung von Jobs über die YARN REST API.

Sie können die Standardwerte überschreiben, wenn Sie bestimmte HTTP-Methoden für Port 8088 zulassen möchten. Dazu geben Sie für dieses Attribut einen oder mehrere durch Kommas getrennte Namen von HTTP-Methoden an. Der Wert ALL erlaubt alle HTTP-Methoden für den Port.

Beispiel:

gcloud dataproc clusters create cluster-name \
    --properties=^#^yarn:yarn.resourcemanager.webapp.methods-allowed=GET,POST,DELETE \
    --region=region \

Empfehlung: Wenn Sie mithilfe dieses Attributs andere HTTP-Methoden als die Standardmethoden zulassen, müssen Sie die Firewallregeln und andere Sicherheitseinstellungen so konfigurieren, dass der Zugriff auf Port 8088 beschränkt bleibt.

Verbindung zu Weboberflächen herstellen

Sie können mit Dataproc Component Gateway, Cloud Shell Ihres Projekts oder dem gcloud der Google Cloud CLI eine Verbindung zu Weboberflächen herstellen, die in einem Dataproc-Cluster ausgeführt werden:

• Component Gateway: Stellen Sie mit nur einem Klick über die Google Cloud Console eine Verbindung zu Hadoop, Spark und anderen Weboberflächen von Komponenten her. Das Component Gateway wird beim Erstellen des Clusters aktiviert.

• Cloud Shell: In Cloud Shell in der Google Cloud Console sind die gcloud CLI-Befehle und -Dienstprogramme vorinstalliert. Außerdem bietet Cloud Shell eine Webvorschau-Funktion, mit der Sie über einen SSH-Tunnel schnell eine Verbindung zum Port einer Weboberfläche in einem Cluster herstellen können. Eine Verbindung von Cloud Shell zum Cluster verwendet jedoch die lokale Portweiterleitung, wodurch eine Verbindung zu nur einem Port einer Cluster-Weboberfläche hergestellt wird. Für die Verbindung mit mehreren Ports sind mehrere Befehle erforderlich. Cloud Shell-Sitzungen werden nach einer Inaktivitätsphase (30 Minuten) automatisch beendet.

• Google Cloud CLI: Mit dem Befehl gcloud compute ssh mit dynamischer Portweiterleitung können Sie einen SSH-Tunnel einrichten und einen SOCKS-Proxyserver über dem Tunnel ausführen. Nachdem Sie diesen Befehl ausgeführt haben, müssen Sie Ihren lokalen Browser für die Verwendung des SOCKS-Proxyservers konfigurieren. Mit dieser Methode können Sie eine Verbindung zu mehreren Ports auf einer Cluster-Weboberfläche herstellen. Weitere Informationen finden Sie unter Kann ich eine lokale Portweiterleitung anstelle eines SOCKS-Proxys verwenden? .

Häufig verwendete Befehlsvariablen festlegen

Wenn Sie das Kopieren und Ausführen von Befehlszeilenbeispielen auf Ihrem lokalen Computer oder in Cloud Shell vereinfachen möchten, legen Sie gcloud dataproc-Befehlsvariablen fest. Für einige der auf dieser Seite gezeigten Befehlsbeispiele müssen möglicherweise zusätzliche Variablen festgelegt werden.

Linux/macOS/Shell

export PROJECT=project;export HOSTNAME=hostname;export ZONE=zone

Windows

set PROJECT=project && set HOSTNAME=hostname && set ZONE=zone

• Legen Sie für PROJECT Ihre Google Cloud-Projekt-ID fest.
• Legen Sie HOSTNAME auf den Namen des Masterknotens in Ihrem Dataproc-Cluster (der Mastername endet mit dem Suffix -m) fest.
• Legen Sie ZONE auf die Zone der VMs in Ihrem Dataproc-Cluster fest, z. B. "us-central1-b"

SSH-Tunnel erstellen

gcloud-Befehl

Führen Sie den folgenden Befehl gcloud auf Ihrem lokalen Computer aus, um einen SSH-Tunnel von einem offenen Port Ihres lokalen Computers zur Masterinstanz des Clusters einzurichten. Führen Sie dann einen lokalen SOCKS-Proxyserver aus, der den Port überwacht.

Bevor Sie den Befehl ausführen, erledigen Sie folgende Aufgaben auf Ihrem lokalen Computer:

1. Häufig verwendete Befehlsvariablen festlegen
2. Legen Sie eine PORT-Variable für einen offenen Port auf Ihrem lokalen Computer fest. Port 1080 ist eine willkürliche, aber typische Wahl, da er wahrscheinlich offen ist.

   PORT=number
   

Linux/macOS

gcloud compute ssh ${HOSTNAME} \
    --project=${PROJECT} --zone=${ZONE}  -- \
    -D ${PORT} -N

Windows

gcloud compute ssh %HOSTNAME% ^
    --project=%PROJECT% --zone=%ZONE%  -- ^
    -D %PORT% -N

Mit dem Separator -- können Sie SSH-Argumente so zum Befehl gcloud compute ssh hinzufügen:

• -D steht für eine dynamische Portweiterleitung auf Anwendungsebene.
• -N weist gcloud an, keine Remote-Shell zu öffnen.

Dieser gcloud-Befehl erstellt einen SSH-Tunnel, der unabhängig von anderen SSH-Shell-Sitzungen arbeitet, tunnelbezogene Fehler aus der Shell-Ausgabe heraushält und verhindert, dass der Tunnel unbeabsichtigt geschlossen wird.

Wenn der SSH-Befehl mit der Fehlermeldung bind: Cannot assign requested address fehlschlägt, könnte es daran liegen, dass der angeforderte Port bereits verwendet wird. Versuchen Sie, den Befehl mit einem anderen Wert für die PORT-Variable auszuführen.

Der obige Befehl wird im Vordergrund ausgeführt und muss fortgesetzt werden, damit der Tunnel aktiv bleibt. Der Befehl wird in der Regel automatisch beendet, wenn Sie den Cluster löschen.

Optional können Sie den Befehl im Hintergrund ausführen. Sie können den Befehl als Hintergrundprozess ausführen. Dazu fügen Sie das Flag "-n" (-- -D ${PORT} -N -n) hinzu, wodurch stdin von /dev/null umgeleitet wird. Beachten Sie, dass das Flag -n möglicherweise nicht von allen Betriebssystemen unterstützt wird.

Cloud Shell

1. Öffnen Sie Google Cloud Cloud Shell.

   

   Zeitüberschreitung bei Cloud Shell-Sitzungen: Cloud Shell-Sitzungen werden nach einer Inaktivitätsphase (30 Minuten) automatisch beendet.

2. Führen Sie den folgenden gcloud-Befehl in Cloud Shell aus, um einen SSH-Tunnel von einem Cloud Shell-Vorschauport zu einem Weboberflächenport auf dem Masterknoten im Cluster einzurichten. Bevor Sie den Befehl in Cloud Shell ausführen:

   1. Häufig verwendete Befehlsvariablen festlegen
   2. Legen Sie die Variable PORT1 auf einen Cloud Shell-Port im Portbereich 8080–8084 und die Variable PORT2 auf den Port der Weboberfläche auf dem Masterknoten in Ihrem Dataproc-Cluster fest.

      PORT1=number
      PORT2=number
      

   gcloud compute ssh ${HOSTNAME} \
       --project=${PROJECT} --zone=${ZONE}  -- \
       -4 -N -L ${PORT1}:${HOSTNAME}:${PORT2}
   

   Mit dem Separator -- können Sie SSH-Argumente so zum Befehl gcloud compute ssh hinzufügen:

   • -4-4 weist ssh an, nur IPv4 zu verwenden.
   • -N weist gcloud an, keine Remote-Shell zu öffnen.
   • -L ${PORT1}:${HOSTNAME}:${PORT2} gibt die lokale Portweiterleitung vom angegebenen Cloud Shell-PORT1 zum Cluster HOSTNAME an:PORT2.

   Dieser gcloud-Befehl erstellt einen SSH-Tunnel, der unabhängig von anderen SSH-Shell-Sitzungen arbeitet, tunnelbezogene Fehler aus der Shell-Ausgabe heraushält und verhindert, dass der Tunnel unbeabsichtigt geschlossen wird.

Browser konfigurieren

gcloud-Befehl

Der SSH-Tunnel unterstützt Trafficproxys über das SOCKS-Protokoll. Starten Sie eine neue Browsersitzung mit Proxyserver-Parametern, um Ihren Browser für die Verwendung des Proxys zu konfigurieren. Im folgenden Beispiel wird Google Chrome verwendet. HOSTNAME ist der Name des Masterknotens im Cluster (siehe Häufig verwendete Befehlsvariablen festlegen).

Linux

/usr/bin/google-chrome \
    --proxy-server="socks5://localhost:${PORT}" \
    --user-data-dir=/tmp/${HOSTNAME}

macOS

"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \
    --proxy-server="socks5://localhost:${PORT}" \
    --user-data-dir=/tmp/${HOSTNAME}

Windows

"%ProgramFiles(x86)%\Google\Chrome\Application\chrome.exe" ^
    --proxy-server="socks5://localhost:%PORT%" ^
    --user-data-dir="%Temp%\%HOSTNAME%"

Windows 32-Bit-Nutzer: Ändern Sie im obigen Befehl %ProgramFiles(x86)% in %ProgramFiles%.

Dieser Befehl verwendet folgende Chrome-Flags:

• -proxy-server="socks5://localhost:1080" weist Chrome an, alle http://- und https://-URL-Anfragen über den SOCKS-Proxyserver localhost:${PORT} unter Verwendung von Version 5 des SOCKS-Protokolls zu senden. ${PORT} ist die Portvariable, die Sie unter SSH-Tunnel erstellen festgelegt haben. Hostnamen für diese URLs werden vom Proxyserver aufgelöst, nicht lokal von Chrome.
• --user-data-dir=/tmp/${HOSTNAME} zwingt Chrome zum Öffnen eines neuen Fensters, das nicht mit einer bestimmten Chrome-Sitzung verbunden ist. Ohne dieses Flag kann Chrome ein neues Fenster öffnen, das mit einer bestehenden Chrome-Sitzung verbunden ist, und die von Ihnen vorgenommene --proxy-server-Einstellung ignorieren. Bei dem für --user-data-dir festgelegten Wert kann es sich um einen beliebigen nicht vorhandenen Pfad handeln.

Proxyerweiterungen:Proxyerweiterungen, mit denen sich die Verwaltung und Verwendung des Proxys in Ihrem Browser vereinfachen lassen, sind für Chrome, Firefox und andere Webbrowser verfügbar.

Cloud Shell

Sie müssen Ihren lokalen Browser nicht konfigurieren, wenn Sie Cloud Shell verwenden. Nutzen Sie nach dem Erstellen eines SSH-Tunnels die Cloud Shell-Webvorschau, um eine Verbindung zur Clusteroberfläche herzustellen.

Verbindung zur Clusteroberfläche herstellen

gcloud-Befehl

Wenn Ihr lokaler Browser für die Verwendung des Proxys konfiguriert ist, können Sie die URL der Weboberfläche in Ihrem Dataproc-Cluster aufrufen. Weitere Informationen finden Sie unter Verfügbare Oberflächen. Die Browser-URL hat folgendes Format und den folgenden Inhalt: http://cluster-name-m:port (Port der Clusteroberfläche)

Cloud Shell

Klicken Sie in Cloud Shell auf die Schaltfläche Webvorschau () und wählen Sie eine der folgenden Optionen aus:

• "Preview on port 8080" (Vorschau auf Port 8080) oder
• "Change port" (Port ändern) und geben Sie die Portnummer in das Dialogfeld ein.

gemäß der Cloud Shell-PORT1-Nummer (Port 8080–8084), die Sie im Abschnitt SSH-Tunnel erstellen an den Befehl gcloud compute ssh übergeben haben.

Es wird ein Browserfenster geöffnet, das eine Verbindung zum Port der Weboberfläche des Masterknotens im Cluster herstellt.

Mitteilungen im Chrome-Browser: Wenn du den Chrome-Browser verwendest, werden im Terminalfenster oder in Cloud Shell möglicherweise Nachrichten des folgenden Typs angezeigt, mit denen du einen SSH-Tunnel erstellt hast.

channel 15: open failed: administratively prohibited: open failed
channel 16: open failed: administratively prohibited: open failed
channel 17: open failed: administratively prohibited: open failed

Dies sind keine schwerwiegenden Fehlermeldungen. Chrome gibt diese Meldungen aus, wenn eine Seite nicht geladen werden kann. Diese Meldungen werden möglicherweise auch dann angezeigt, wenn Sie erfolgreich eine Verbindung zur Anwendungsschnittstelle in Ihrem Cluster herstellen können.

FAQ und Tipps zur Fehlerbehebung

Was ist, wenn die Benutzeroberfläche in meinem Browser nicht angezeigt wird?

Wenn die Benutzeroberfläche in Ihrem Browser nicht angezeigt wird, sind dies die beiden häufigsten Gründe:

1. Sie haben ein Problem mit der Netzwerkverbindung, möglicherweise aufgrund einer Firewall. Führen Sie den folgenden Befehl aus, nachdem Sie die lokalen Variablen festgelegt haben. Sie sehen dann, ob Sie SSH für die Masterinstanz verwenden können. Wenn dies nicht möglich ist, wird ein Konnektivitätsproblem signalisiert.

   Linux/macOS

   gcloud compute ssh ${HOSTNAME}-m \
       --project=${PROJECT}
   

   Windows

   gcloud compute ssh %HOSTNAME%-m ^
       --project=%PROJECT%
   

2. Ein anderer Proxy stört den SOCKS-Proxy. Führen Sie den folgenden curl-Befehl aus, der unter Linux und macOS verfügbar ist, um den Proxy zu prüfen:

   Linux/macOS

   curl -Is --socks5-hostname localhost:1080 http://cluster-name-m:8088
   

   Windows

   curl.exe -Is --socks5-hostname localhost:1080 http://cluster-name-m:8088
   

   Wenn Sie eine HTTP-Antwort sehen, funktioniert der Proxy. Dann ist es möglich, dass der SOCKS-Proxy von einem anderen Proxy oder einer Browsererweiterung unterbrochen wird.

Kann ich die lokale Portweiterleitung anstelle eines SOCKS-Proxys verwenden?

Anstelle des SOCKS-Proxys können Sie auf die Webanwendungs-UIs zugreifen, die auf Ihrer Masterinstanz mit der lokalen SSH-Portweiterleitung ausgeführt werden, die den Port des Masters an einen lokalen Port weiterleitet. Mit dem folgenden Befehl können Sie beispielsweise auf localhost:1080 zugreifen, um cluster-name-m:8088 ohne SOCKS zu erreichen. (siehe Häufig verwendete Befehlsvariablen festlegen):

Linux/macOS

gcloud compute ssh ${HOSTNAME}-m \
    --project=${PROJECT} -- \
    -L 1080:${HOSTNAME}-m:8088 -N -n

Windows

gcloud compute ssh %HOSTNAME%-m ^
    --project=%PROJECT% -- ^
    -L 1080:%HOSTNAME%-m:8088 -N -n

Mit einem SOCKS-Proxy greifen Sie mit http://cluster-name-m:port auf die Remote-UI-Schnittstelle zu, die auf der Master-Instanz ausgeführt wird. Mit der lokalen Portweiterleitung greifen Sie jedoch auf die Webanwendungs-UI der Master-Instanz unter http://localhost:port zu.

Die Verwendung eines SOCKS-Proxys wird über die lokale Portweiterleitung empfohlen, da der Proxy:

• Zugriff auf alle Webanwendungsports ermöglicht, ohne für jeden UI-Port einen Portweiterleitungstunnel einrichten zu müssen.
• den Web-UIs von Spark und Hadoop ermöglicht, DNS-Hosts richtig aufzulösen