Gateway del componente Dataproc

Alcuni dei componenti open source predefiniti inclusi nei cluster Google Dataproc, come Apache Hadoop e Apache Spark, forniscono interfacce web. Queste interfacce possono essere utilizzate per gestire e monitorare risorse e strutture del cluster, come YARN resource manager, Hadoop Distributed File System (HDFS), MapReduce e Spark. Il gateway dei componenti fornisce un accesso sicuro agli endpoint web per i componenti facoltativi e predefiniti di Dataproc.

I cluster creati con versioni immagine Dataproc supportate possono consentire l'accesso alle interfacce web dei componenti senza fare affidamento sui tunnel SSH o senza modificare le regole firewall per consentire il traffico in entrata.

Considerazioni

• Le interfacce web dei componenti sono accessibili agli utenti che dispongono dell'autorizzazione IAM dataproc.clusters.use. Consulta Ruoli Dataproc.
• Il gateway dei componenti può essere utilizzato per accedere alle API REST, come Apache Hadoop YARN e Apache Livy, e ai server di cronologia.
• Quando il gateway dei componenti è abilitato, Dataproc aggiunge i seguenti servizi al primo nodo master del cluster:
  • Apache Knox. Il certificato SSL predefinito del gateway Knox è valido per 13 mesi dalla data di creazione del cluster. Se scade, tutti gli URL dell'interfaccia web del gateway dei componenti diventano inattivi. Per ottenere un nuovo certificato, consulta Come rigenerare il certificato SSL del gateway dei componenti.
  • Inversione del proxy
• Il gateway dei componenti non consente l'accesso diretto alle interfacce node:port, ma esegue automaticamente il proxy di un sottoinsieme specifico di servizi. Se vuoi accedere ai servizi sui nodi (node:port), utilizza un proxy SOCKS SSH.

Crea un cluster con il gateway dei componenti

Console

Per abilitare il gateway dei componenti dalla console Google Cloud, seleziona la casella di controllo nella sezione Componenti del riquadro Configura cluster della pagina Crea un cluster di Dataproc.

Comando g-cloud

Esegui il comando gcloud CLI gcloud dataproc clusters create localmente in una finestra del terminale o in Cloud Shell.

gcloud dataproc clusters create cluster-name \
    --enable-component-gateway \
    --region=region \
    other args ...

API REST

Imposta la proprietà EndpointConfig.enableHttpPortAccess su true come parte di una richiesta clusters.create.

Nota: puoi anche creare un cluster Dataproc abilitato per il gateway dei componenti con software di provisioning di terze parti, come il provider Terraform google_dataproc_cluster di hashiCorp.

Utilizzo degli URL del gateway dei componenti per accedere alle interfacce web

Quando il gateway dei componenti è abilitato su un cluster, puoi connetterti alle interfacce web dei componenti in esecuzione sul primo nodo master del cluster facendo clic sui link forniti nella console Google Cloud. Gateway dei componenti imposta anche endpointConfig.httpPorts con una mappa dei nomi delle porte agli URL. In alternativa all'utilizzo della console, puoi utilizzare lo strumento a riga di comando gcloud o l'API REST Dataproc per visualizzare queste informazioni di mappatura, quindi copia e incolla l'URL nel browser per connetterti all'interfaccia utente del componente.

Console

Vai al modulo Cluster di Dataproc nella console Google Cloud, quindi seleziona il cluster per aprire il modulo Dettagli del cluster. Fai clic sulla scheda Interfacce web per visualizzare un elenco dei link del gateway dei componenti alle interfacce web dei componenti predefiniti e facoltativi installati sul cluster. Fai clic su un link per aprire l'interfaccia web in esecuzione sul nodo master del cluster nel tuo browser locale.

Comando g-cloud

Esegui il comando gcloud CLI gcloud dataproc clusters describe localmente in una finestra del terminale o in Cloud Shell.

gcloud dataproc clusters describe cluster-name \
    --region=region

Output di esempio

...
config:
  endpointConfig:
    enableHttpPortAccess: true
    httpPorts:
      HDFS NameNode:
 https://584bbf70-7a12-4120-b25c-31784c94dbb4-dot-dataproc.google.com/hdfs/
      MapReduce Job History:
 https://584bbf70-7a12-4120-b25c-31784c94dbb4-dot-dataproc.google.com/jobhistory/
      Spark HistoryServer:
 https://584bbf70-7a12-4120-b25c-31784c94dbb4-dot-dataproc.google.com/sparkhistory/
      YARN ResourceManager:
 https://584bbf70-7a12-4120-b25c-31784c94dbb4-dot-dataproc.google.com/yarn/
      YARN Application Timeline:
 https://584bbf70-7a12-4120-b25c-31784c94dbb4-dot-dataproc.google.com/apphistory/
...

API REST

Chiama clusters.get per ottenere la mappa endpointConfig.httpPorts dei nomi delle porte e degli URL.

Utilizzo del gateway dei componenti con VPC-SC

Il gateway dei componenti supporta i Controlli di servizio VPC. Per l'applicazione del perimetro di servizio, le richieste alle interfacce tramite il gateway dei componenti vengono trattate come parte della piattaforma API Dataproc e tutti i criteri di accesso che controllano le autorizzazioni per dataproc.googleapis.com controlleranno anche l'accesso alle UI del gateway dei componenti.

Il gateway dei componenti supporta anche le configurazioni VPC-SC basate sulla connettività privata di Google per i cluster Dataproc senza indirizzi IP esterni, ma devi configurare manualmente la rete per consentire l'accesso dalla VM master Dataproc a *.dataproc.cloud.google.com attraverso l'intervallo IP virtuale limitato di Google 199.36.153.4/30 procedendo nel seguente modo:

1. Segui le istruzioni per configurare la connettività privata di Google per tutte le API di Google.
2. Configura il DNS con Cloud DNS o configura il DNS localmente sul nodo master Dataproc per consentire l'accesso a *.dataproc.cloud.google.com.

Configura il DNS con Cloud DNS

Crea una zona Cloud DNS che mappa il traffico destinato a *.dataproc.cloud.google.com all'intervallo IP virtuale limitato dell'API di Google.

1. Crea una zona privata gestita per la tua rete VPC.

   gcloud dns managed-zones create ZONE_NAME \
    --visibility=private \
    --networks=https://www.googleapis.com/compute/v1/projects/PROJECT_ID/global/networks/NETWORK_NAME \
    --description=DESCRIPTION \
    --dns-name=dataproc.cloud.google.com \
    --project=PROJECT_ID
   

   • ZONE_NAME è il nome della zona che stai creando. Ad esempio, vpc. Il nome di questa zona verrà utilizzato in ciascuno dei passaggi seguenti.

   • PROJECT_ID è l'ID del progetto che ospita la rete VPC.

   • NETWORK_NAME è il nome della tua rete VPC.

   • DESCRIPTION è una descrizione facoltativa e leggibile della zona gestita.

2. Avvia una transazione.

   gcloud dns record-sets transaction start --zone=ZONE_NAME
   

   • ZONE_NAME è il nome della tua zona.

3. Aggiungi i record DNS.

   gcloud dns record-sets transaction add --name=*.dataproc.cloud.google.com. \
       --type=A 199.36.153.4 199.36.153.5 199.36.153.6 199.36.153.7 \
       --zone=ZONE_NAME \
       --ttl=300
   

   • ZONE_NAME è il nome della tua zona.

   gcloud dns record-sets transaction add --name=dataproc.cloud.google.com. \
       --type=A 199.36.153.4 199.36.153.5 199.36.153.6 199.36.153.7 \
       --zone=ZONE_NAME \
       --ttl=300
   

   • ZONE_NAME è il nome della tua zona.

4. Esegui la transazione.

   gcloud dns record-sets transaction execute --zone=ZONE_NAME --project=PROJECT_ID
   

   • ZONE_NAME è il nome della tua zona.

   • PROJECT_ID è l'ID del progetto che ospita la rete VPC.

Configura DNS localmente sul nodo master Dataproc con un'azione di inizializzazione

Puoi configurare il DNS sui nodi master di Dataproc in locale per consentire la connettività privata a dataproc.cloud.google.com. Questa procedura è concepita per test e sviluppo a breve termine. L'utilizzo non è consigliato nei carichi di lavoro di produzione.

1. Staging l'azione di inizializzazione in Cloud Storage.

   cat <<EOF >component-gateway-vpc-sc-dns-init-action.sh
   #!/bin/bash
   readonly ROLE="$(/usr/share/google/get_metadata_value attributes/dataproc-role)"
   
   if [[ "${ROLE}" == 'Master' ]]; then
     readonly PROXY_ENDPOINT=$(grep "^dataproc.proxy.agent.endpoint=" \
       "/etc/google-dataproc/dataproc.properties" | \
       tail -n 1 | cut -d '=' -f 2- | sed -r 's/\\([#!=:])/\1/g')
   
     readonly HOSTNAME=$(echo ${PROXY_ENDPOINT} | \
       sed -n -E 's;^https://([^/?#]*).*;\1;p')
   
     echo "199.36.153.4 ${HOSTNAME}  # Component Gateway VPC-SC" >> "/etc/hosts"
   fi
   EOF
   
   gsutil cp component-gateway-vpc-sc-dns-init-action.sh gs://BUCKET/
   

   • BUCKET è un bucket Cloud Storage accessibile dal cluster Dataproc.

2. Creare un cluster Dataproc con l'azione di inizializzazione graduale e il gateway dei componenti abilitati.

   gcloud dataproc clusters create cluster-name \
       --region=region \
       --initialization-actions=gs://BUCKET/component-gateway-vpc-sc-dns-init-action.sh \
       --enable-component-gateway \
       other args ...
   

   • BUCKET è il bucket Cloud Storage utilizzato nel passaggio 1 riportato sopra.

Utilizzo programmatico di API HTTP tramite gateway dei componenti

Il gateway dei componenti è un proxy che incorpora Apache Knox. Gli endpoint esposti da Apache Knox sono disponibili tramite https://component-gateway-base-url/component-path.

Per eseguire l'autenticazione in modo programmatico con il gateway dei componenti, passa l'intestazione Proxy-Authorization con un token di connessione OAuth 2.0.

$ ACCESS_TOKEN="$(gcloud auth print-access-token)"
$ curl -H "Proxy-Authorization: Bearer ${ACCESS_TOKEN}" "https://xxxxxxxxxxxxxxx-dot-us-central1.dataproc.googleusercontent.com/yarn/jmx"
{
  "beans" : [ {
    "name" : "Hadoop:service=ResourceManager,name=RpcActivityForPort8031",
    "modelerType" : "RpcActivityForPort8031",
    "tag.port" : "8031",
    "tag.Context" : "rpc",
    "tag.NumOpenConnectionsPerUser" : "{\"yarn\":2}",
    "tag.Hostname" : "demo-cluster-m",
    "ReceivedBytes" : 1928581096,
    "SentBytes" : 316939850,
    "RpcQueueTimeNumOps" : 7230574,
    "RpcQueueTimeAvgTime" : 0.09090909090909091,
    "RpcProcessingTimeNumOps" : 7230574,
    "RpcProcessingTimeAvgTime" : 0.045454545454545456,
...

Il gateway dei componenti rimuove l'intestazione Proxy-Authorization prima di inoltrare le richieste ad Apache Knox.

Per trovare l'URL di base del gateway dei componenti, esegui: gcloud dataproc clusters describe:

$ gcloud dataproc clusters describe <var>cluster-name</var> &#92;
    &nbsp;&nbsp;&nbsp;&nbsp;--region=<var>region</var>
...
  endpointConfig:
    enableHttpPortAccess: true
    httpPorts:
      HDFS NameNode: https://xxxxxxxxxxxxxxx-dot-us-central1.dataproc.googleusercontent.com/hdfs/dfshealth.html
      MapReduce Job History: https://xxxxxxxxxxxxxxx-dot-us-central1.dataproc.googleusercontent.com/jobhistory/
      Spark History Server: https://xxxxxxxxxxxxxxx-dot-us-central1.dataproc.googleusercontent.com/sparkhistory/
      Tez: https://xxxxxxxxxxxxxxx-dot-us-central1.dataproc.googleusercontent.com/apphistory/tez-ui/
      YARN Application Timeline: https://xxxxxxxxxxxxxxx-dot-us-central1.dataproc.googleusercontent.com/apphistory/
      YARN ResourceManager: https://xxxxxxxxxxxxxxx-dot-us-central1.dataproc.googleusercontent.com/yarn/

...

L'URL di base è le parti relative a schema e autorità degli URL in httpPorts. In questo esempio è https://xxxxxxxxxxxxxxx-dot-us-central1.dataproc.googleusercontent.com/.

Come rigenerare il certificato SSL del gateway dei componenti

Il certificato SSL predefinito del gateway Knox del gateway dei componenti è valido per:

• 5 anni dalla data di creazione del cluster Dataproc sui cluster creati con immagini versioni 2.0.93, 2.1.41, 2.2.7 e successive.

• 13 mesi dalla data di creazione del cluster Dataproc su cluster creati utilizzando versioni precedenti delle immagini.

Se il certificato scade, tutti gli URL dell'interfaccia web del gateway dei componenti diventano inattivi.

Se la tua organizzazione ha fornito il certificato SSL, ottieni un nuovo certificato all'organizzazione e sostituisci il certificato precedente con quello nuovo.

Se stai utilizzando il certificato SSL autofirmato predefinito, rinnovalo come segue:

1. Utilizza SSH per connetterti al nodo master del cluster Dataproc con il suffisso del nome m-0.

2. Individua gateway.jks nel percorso /var/lib/knox/security/keystores/gateway.jks.

   keytool -list -v -keystore /var/lib/knox/security/keystores/gateway.jks
   

3. Sposta il file gateway.jks in una directory di backup.

   mv /var/lib/knox/security/keystores/gateway.jks /tmp/backup/gateway.jks
   

4. Crea un nuovo certificato autofirmato riavviando il servizio Knox.

   systemctl restart knox
   

5. Verifica lo stato del gateway dei componenti e di Knox.

   systemctl status google-dataproc-component-gateway
   systemctl status knox
   

Passaggi successivi

• Crea un cluster con i componenti Dataproc.