Interfacce web del cluster

Evita le vulnerabilità di sicurezza.

Le porte aperte e le regole del firewall configurate in modo errato su una rete pubblica possono consentire agli utenti non autorizzati di eseguire codice arbitrario.^*

Esamina Specifica un intervallo IP di origine per le regole firewall della subnet

Crea un tunnel SSH per stabilire una connessione sicura all'istanza principale del cluster.

Apache Hadoop YARN fornisce API REST che condividono le stesse porte delle interfacce web YARN (porta predefinita 8088). Per impostazione predefinita, gli utenti che possono accedere all'interfaccia web di YARN possono creare applicazioni, inviare job e potrebbero essere in grado di eseguire operazioni di Cloud Storage Storage.Consulta API REST di YARN Resource Manager consentite per informazioni su come impostare i metodi dell'API REST di YARN Resource Manager consentiti.

Alcuni dei componenti open source di base inclusi nei cluster Dataproc, come Apache Hadoop e Apache Spark, forniscono interfacce web. Queste interfacce possono essere utilizzate per gestire e monitorare le risorse e le strutture del cluster, come il gestore delle risorse YARN, il File System distribuito Hadoop (HDFS), MapReduce e Spark. Anche altri componenti o applicazioni installati sul cluster possono fornire interfacce web (ad esempio, consulta Installazione ed esecuzione di un notebook Jupyter su un cluster Dataproc).

Obiettivo: i passaggi e gli esempi riportati di seguito mostrano come collegarti in sicurezza alle interfacce web in esecuzione sul tuo cluster Dataproc utilizzando un tunnel SSH dalla tua rete locale o da Cloud Shell di Google Cloud alla rete Compute Engine del tuo cluster.

Utilizza il gateway dei componenti per connetterti alle interfacce web dei componenti di base e facoltativi. I cluster creati con l'immagine Dataproc versione 1.3.29 e successive possono installare e abilitare l'accesso alle interfacce web dei componenti , tra cui le UI di YARN, HDFS, Jupyter e Zeppelin, senza fare affidamento su tunnel SSH o su modifiche delle regole del firewall per consentire il traffico in entrata. Per ulteriori informazioni, consulta Dataproc Component Gateway.

Consulta Eseguire l'accesso SSH a un cluster Dataproc per aprire una sessione SSH sul nodo principale di un cluster Dataproc.

Interfacce disponibili

Le seguenti interfacce sono disponibili su un nodo master del cluster Dataproc (sostituisci master-host-name con il nome del nodo master).

Il cluster nome-host-principale è il nome del cluster Dataproc seguito da un suffisso -m. Ad esempio, se il cluster si chiama "my-cluster", il nome-host-principale sarà "my-cluster-m".

UI web	Porta	URL
YARN ResourceManager	8088^1	http://master-host-name:8088
NameNode HDFS	9870^2,3	http://master-host-name:9870

¹ Nei cluster con Kerberos abilitato, la porta dell'interfaccia utente web di YARN ResourceManager è 8090 e funziona su HTTPS.

² Nei cluster con Kerberos abilitato, la porta dell'interfaccia utente web del nameserver HDFS è 9871 e funziona su HTTPS.

³ Nelle release precedenti di Dataproc (pre-1.2), la porta dell'interfaccia utente web del Namenode HDFS era 50070.

Nella colonna "Interfaccia utente di monitoraggio", Resource Manager YARN contiene i link per tutte le interfacce web di MapReduce e Spark Applications attualmente in esecuzione e completate.

API REST YARN ResourceManager consentite

Quando crei un cluster, Dataproc imposta la yarn.resourcemanager.webapp.methods-allowed proprietà yarn-site.xml su "GET,HEAD", il che limita i metodi HTTP che possono essere chiamati nell'UI web di YARN Resource Manager e nelle API REST ai metodi GET e HEAD. Questa impostazione predefinita disattiva anche l'invio e le modifiche dei job tramite l'API REST YARN.

Puoi ignorare i valori predefiniti per attivare metodi HTTP specifici sulla porta 8088 impostando questa proprietà su uno o più nomi di metodi HTTP separati da virgola. Un valore ALL consentirà tutti i metodi HTTP sulla porta.

Esempio:

gcloud dataproc clusters create cluster-name \
    --properties=^#^yarn:yarn.resourcemanager.webapp.methods-allowed=GET,POST,DELETE \
    --region=region \

Consiglio:se imposti questa proprietà per consentire metodi HTTP non predefiniti, assicurati di configurare le regole del firewall e altre impostazioni di sicurezza per limitare l'accesso alla porta 8088.

Connessione alle interfacce web

Puoi connetterti alle interfacce web in esecuzione su un cluster Dataproc utilizzando il gateway dei componenti Dataproc, Cloud Shell del tuo progetto o lo strumento a riga di comando gcloud di Google Cloud CLI:

• Gateway dei componenti: connettiti con un solo clic a Hadoop, Spark e ad altre interfacce UI web dei componenti dalla console Google Cloud. Attiva il gateway dei componenti quando crei il cluster.

• Cloud Shell: Cloud Shell nella console Google Cloud ha i comandi e le utilità dell'interfaccia a riga della gcloud CLI preinstallati e offre una funzionalità di anteprima web che ti consente di connetterti rapidamente tramite un tunnel SSH a una porta dell'interfaccia web su un cluster. Tuttavia, una connessione al cluster da Cloud Shell utilizza il port forwarding locale, che apre una connessione a una sola porta su un'interfaccia web del cluster. Per connettersi a più porte sono necessari più comandi. Inoltre, le sessioni Cloud Shell escono automaticamente dopo un periodo di inattività (30 minuti).

• Google Cloud CLI: il comando gcloud compute ssh con il port forwarding dinamico consente di stabilire un tunnel SSH ed eseguire un server proxy SOCKS sul tunnel. Dopo aver emesso questo comando, devi configurare il browser locale in modo che utilizzi il proxy SOCKS. Questo metodo di connessione consente di connettersi a più porte su un'interfaccia web del cluster. Consulta Posso utilizzare il forwarding delle porte locali anziché un proxy SOCKS? per ulteriori informazioni.

Impostare le variabili di comando più utilizzate

Per semplificare la copia e l'esecuzione di esempi a riga di comando sulla tua macchina locale o in Cloud Shell, imposta le variabili di comando gcloud dataproc. Per alcuni degli esempi di comando mostrati in questa pagina potrebbe essere necessario impostare variabili aggiuntive.

Linux/mac/Shell

export PROJECT=project;export HOSTNAME=hostname;export ZONE=zone

Windows

set PROJECT=project && set HOSTNAME=hostname && set ZONE=zone

• Imposta PROJECT sul tuo ID progetto Google Cloud
• Imposta HOSTNAME sul nome del nodo master nel cluster Dataproc (il nome del master termina con un suffisso -m)
• Imposta ZONE sulla zona delle VM nel cluster Dataproc (ad esempio "us-central1-b").

Crea un tunnel SSH

Comando gcloud

Esegui il seguente comando gcloud sulla tua macchina locale per configurare un tunnel SSH da una porta aperta sulla tua macchina locale all' istanza principale del tuo cluster ed eseguire un server proxy SOCKS locale in ascolto sulla porta.

Prima di eseguire il comando, sulla tua macchina locale:

1. Impostare le variabili di comando di uso comune
2. Imposta una variabile PORT su una porta aperta sulla tua macchina locale. La porta 1080 è una scelta arbitraria, ma tipica, in quanto è probabile che sia aperta.

   PORT=number
   

Linux/macOS

gcloud compute ssh ${HOSTNAME} \
    --project=${PROJECT} --zone=${ZONE}  -- \
    -D ${PORT} -N

Windows

gcloud compute ssh %HOSTNAME% ^
    --project=%PROJECT% --zone=%ZONE%  -- ^
    -D %PORT% -N

Il separatore -- ti consente di aggiungere argomenti SSH al comando gcloud compute ssh, come segue:

• -Dspecifica il port forwarding dinamico a livello di applicazione.
• -N indica a gcloud di non aprire una shell remota.

Questo comando gcloud crea un tunnel SSH che opera indipendente da altre sessioni della shell SSH, mantiene gli errori relativi al tunnel al di fuori dell'output della shell e aiuta a evitare chiusure involontarie del tunnel.

Se il comando ssh non va a buon fine con il messaggio di errore bind: Cannot assign requested address, è probabile che la porta richiesta sia in uso. Prova a eseguire il comando con un valore della variabile PORT diverso.

Il comando riportato sopra viene eseguito in primo piano e deve continuare a essere eseguito per mantenere attivo il tunnel. Il comando dovrebbe uscire automaticamente se ed eventualmente quando elimini il cluster.

Scegli di eseguire il comando in background. Puoi eseguire il comando come processo in background aggiungendo il flag '-n' (-- -D ${PORT} -N -n), che reindirizza stdin da /dev/null. Tieni presente che il flag -n potrebbe non essere supportato in tutti i sistemi operativi.

Cloud Shell

1. Apri Cloud Shell di Google Cloud.

   

   Timeout sessione Cloud Shell: le sessioni Cloud Shell si chiudono automaticamente dopo un periodo di inattività (30 minuti).

2. Esegui il comando gcloud riportato di seguito in Cloud Shell per configurare un tunnel SSH da una porta di anteprima Cloud Shell a una porta dell'interfaccia web sul nodo principale del tuo cluster. Prima di eseguire il comando, in Cloud Shell :

   1. Impostare le variabili di comando di uso comune
   2. Imposta una variabile PORT1 su una porta Cloud Shell nell'intervallo 8080-8084 e una variabile PORT2 sulla porta dell'interfaccia web sul nodo master del tuo cluster Dataproc.

      PORT1=number
      PORT2=number
      

   gcloud compute ssh ${HOSTNAME} \
       --project=${PROJECT} --zone=${ZONE}  -- \
       -4 -N -L ${PORT1}:${HOSTNAME}:${PORT2}
   

   Il separatore -- ti consente di aggiungere argomenti SSH al comando gcloud compute ssh, come segue:

   • -4 indica a ssh di utilizzare solo IPv4.
   • -N indica a gcloud di non aprire una shell remota.
   • -L ${PORT1}:${HOSTNAME}:${PORT2} specifica il port forwarding locale dalla porta Cloud Shell specificata PORTA1 al cluster HOSTNAME:PORTA2.

   Questo comando gcloud crea un tunnel SSH che opera indipendente da altre sessioni della shell SSH, mantiene gli errori relativi al tunnel al di fuori dell'output della shell e aiuta a evitare chiusure involontarie del tunnel.

Configurare il browser

Comando gcloud

Il tunnel SSH supporta il proxy del traffico utilizzando il protocollo SOCKS. Per configurare il browser in modo che utilizzi il proxy, avvia una nuova sessione del browser con i parametri del server proxy. Ecco un esempio che utilizza il browser Google Chrome. HOSTNAME è il nome del nodo principale del cluster (vedi Impostare le variabili di comando di uso comune).

Linux

/usr/bin/google-chrome \
    --proxy-server="socks5://localhost:${PORT}" \
    --user-data-dir=/tmp/${HOSTNAME}

macOS

"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \
    --proxy-server="socks5://localhost:${PORT}" \
    --user-data-dir=/tmp/${HOSTNAME}

Windows

"%ProgramFiles(x86)%\Google\Chrome\Application\chrome.exe" ^
    --proxy-server="socks5://localhost:%PORT%" ^
    --user-data-dir="%Temp%\%HOSTNAME%"

Utenti Windows a 32 bit: cambia %ProgramFiles(x86)% in %ProgramFiles% nel comando riportato sopra.

Questo comando utilizza i seguenti flag del browser Chrome:

• -proxy-server="socks5://localhost:1080" indica a Chrome di inviare tutte le richieste di URL http:// e https:// tramite il server proxy SOCKS localhost:${PORT}, utilizzando la versione 5 del protocollo SOCKS. ${PORT} è la variabile di porta impostata in Creare un tunnel SSH. I nomi host per gli URL vengono risolti dal server proxy, non localmente da Chrome.
• --user-data-dir=/tmp/${HOSTNAME} forza Chrome ad aprire una nuova finestra non collegata a una sessione di Chrome esistente. Senza questo flag, Chrome potrebbe aprire una nuova finestra collegata a una sessione di Chrome esistente, ignorando l'impostazione --proxy-server. Il valore impostato per --user-data-dir può essere qualsiasi percorso inesistente.

Estensioni proxy:sono disponibili per Chrome, Firefox e altri browser web estensioni di gestione dei proxy che semplificano la gestione e l'utilizzo del proxy nel browser.

Cloud Shell

Non è necessario configurare il browser locale quando utilizzi Cloud Shell. Dopo aver creato un tunnel SSH, utilizza l'anteprima web di Cloud Shell per connetterti all'interfaccia del cluster.

Connettiti all'interfaccia del cluster

Comando gcloud

Una volta configurato il browser locale per utilizzare il proxy, puoi accedere all'URL dell'interfaccia web nel cluster Dataproc (vedi Interfacce disponibili). L'URL del browser ha il seguente formato e contenuti: http://cluster-name-m:port (porta dell'interfaccia del cluster)

Cloud Shell

Fai clic sul pulsante Anteprima web di Cloud Shell , quindi seleziona:

• "Anteprima sulla porta 8080" oppure
• "Cambia porta" e inserisci il numero di porta nella finestra di dialogo

in base al numero PORT1 di Cloud Shell (porta 8080-8084) che hai passato al comando gcloud compute ssh in Crea un tunnel SSH.

Si apre una finestra del browser che si connette alla porta dell'interfaccia web sul nodo master del cluster.

Messaggi del browser Chrome: quando utilizzi un browser Chrome, nella finestra del terminale o in Cloud Shell potresti visualizzare messaggi del seguente tipo che hai utilizzato per creare un tunnel SSH.

channel 15: open failed: administratively prohibited: open failed
channel 16: open failed: administratively prohibited: open failed
channel 17: open failed: administratively prohibited: open failed

Non si tratta di messaggi di errore irreversibili. Il browser Chrome emette questi messaggi quando non riesce a caricare una pagina e potresti visualizzarli anche quando riesci a connetterti correttamente all'interfaccia dell'applicazione nel tuo cluster.

Domande frequenti e suggerimenti per il debug

Cosa succede se non vedo l'interfaccia utente nel browser?

Se non vedi le UI nel browser, i due motivi più comuni sono:

1. Hai un problema di connettività di rete, probabilmente a causa di un firewall. Esegui il seguente comando (dopo aver impostato le variabili locali) per verificare se riesci ad accedere all'istanza principale tramite SSH. Se non riesci, significa che c'è un problema di connettività.

   Linux/macOS

   gcloud compute ssh ${HOSTNAME}-m \
       --project=${PROJECT}
   

   Windows

   gcloud compute ssh %HOSTNAME%-m ^
       --project=%PROJECT%
   

2. Un altro proxy interferisce con il proxy SOCKS. Per controllare il proxy, esegui il seguente comando curl (disponibile su Linux e macOS):

   Linux/macOS

   curl -Is --socks5-hostname localhost:1080 http://cluster-name-m:8088
   

   Windows

   curl.exe -Is --socks5-hostname localhost:1080 http://cluster-name-m:8088
   

   Se vedi una risposta HTTP, il proxy funziona, quindi è possibile che il proxy SOCKS venga interrotto da un altro proxy o da un'estensione del browser.

Posso utilizzare il forwarding delle porte locali anziché un proxy SOCKS?

Anziché utilizzare il proxy SOCKS, è possibile accedere alle UI delle applicazioni web in esecuzione sulla tua istanza principale con il port forwarding locale SSH, che inoltra la porta principale a una porta locale. Ad esempio, il seguente comando consente di accedere a localhost:1080 per raggiungere cluster-name-m:8088 senza SOCKS (vedi Impostare le variabili di comando di uso comune):

Linux/macOS

gcloud compute ssh ${HOSTNAME}-m \
    --project=${PROJECT} -- \
    -L 1080:${HOSTNAME}-m:8088 -N -n

Windows

gcloud compute ssh %HOSTNAME%-m ^ 
    --project=%PROJECT% -- ^ 
    -L 1080:%HOSTNAME%-m:8088 -N -n

Con un proxy SOCKS, accedi all'interfaccia utente remota in esecuzione sull'istanza principale con http://cluster-name-m:port, ma con il reindirizzamento delle porte locali accedi all'interfaccia utente dell'applicazione web dell'istanza principale all'indirizzo http://localhost:port.

L'utilizzo di un proxy SOCKS potrebbe essere preferibile all'utilizzo dell'inoltro delle porte locali poiché il proxy:

• consente di accedere a tutte le porte delle applicazioni web senza dover configurare un tunnel di inoltro delle porte per ogni porta dell'interfaccia utente
• consente alle UI web di Spark e Hadoop di risolvere correttamente gli host DNS