Autenticazione cluster personale Dataproc

Quando crei un cluster Dataproc, puoi attivare l'autenticazione cluster personale di Dataproc in modo che i carichi di lavoro interattivi sul cluster vengano eseguiti in sicurezza con la tua identità utente. Ciò significa che le interazioni con altre risorse Google Cloud come Cloud Storage verranno autenticate come utente anziché come account di servizio del cluster.

Nota: l'autenticazione dei cluster personali di Dataproc è supportata solo quando si chiamano i servizi Google Cloud che supportano i limiti di accesso alle credenziali.

Considerazioni

• Quando crei un cluster con l'autenticazione cluster personale abilitata, il cluster sarà utilizzabile solo dalla tua identità. Gli altri utenti non potranno eseguire job sul cluster o accedere agli endpoint di Component Gateway sul cluster.

• I cluster con l'autenticazione cluster personale abilitata bloccano l'accesso SSH e le funzionalità di Compute Engine, come gli script di avvio, su tutte le VM del cluster.

• I cluster con l'autenticazione cluster personale abilitata attivano e configurano automaticamente Kerberos sul cluster per la comunicazione sicura all'interno del cluster. Tuttavia, tutte le identità Kerberos nel cluster interagiranno con le risorse di Google Cloud come lo stesso utente.

• Al momento l'autenticazione cluster personale di Dataproc non supporta i flussi di lavoro di Dataproc.

• L'autenticazione cluster personale di Dataproc è pensata solo per i job interattivi eseguiti da un singolo utente (umano). I job e le operazioni di lunga durata devono configurare e utilizzare un'identità account di servizio appropriata.

• Le credenziali propagate vengono ridotte di ambito con un limite di accesso con credenziali. Il confine di accesso predefinito è limitato alla lettura e alla scrittura di oggetti Cloud Storage nei bucket Cloud Storage di proprietà dello stesso progetto che contiene il cluster. Puoi definire un confine di accesso non predefinito quando enable_an_interactive_session.

Obiettivi

• Crea un cluster Dataproc con l'autenticazione cluster personale Dataproc abilitata.

• Avvia la propagazione delle credenziali al cluster.

• Utilizza un notebook Jupyter sul cluster per eseguire job Spark che si autenticano con le tue credenziali.

Prima di iniziare

Crea un progetto

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataproc API.

   Enable the API

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the Dataproc API.

   Enable the API

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Configura l'ambiente

Configura l'ambiente da Cloud Shell o da un terminale locale:

Cloud Shell

1. Avvia una sessione di Cloud Shell.

Terminale locale

1. Esegui gcloud auth login per ottenere credenziali utente valide.

Crea un cluster e attiva una sessione interattiva

1. Trova l'indirizzo email del tuo account attivo in gcloud.

   gcloud auth list --filter=status=ACTIVE --format="value(account)"
   

2. Creare un cluster.

   gcloud dataproc clusters create cluster-name \
       --properties=dataproc:dataproc.personal-auth.user=your-email-address \
       --enable-component-gateway \
       --optional-components=ZEPPELIN \
       --region=region
   

3. Attiva una sessione di propagazione delle credenziali per il cluster per iniziare a utilizzare le tue credenziali personali quando interagisci con le risorse Google Cloud.

   gcloud dataproc clusters enable-personal-auth-session \
       --region=region \
       cluster-name
   

   Esempio di output:

   Injecting initial credentials into the cluster cluster-name...done.
   Periodically refreshing credentials for cluster cluster-name. This will continue running until the command is interrupted...
   

   1. Esempio di ambito di accesso con ambito ridotto: Il seguente esempio abilita una sessione di autenticazione personale più restrittiva rispetto all'ambito di accesso alle credenziali con ambito ridotto predefinito. Limita l'accesso al bucket di staging del cluster Dataproc (per ulteriori informazioni, consulta Ridurre l'ambito mediante confini per l'accesso con credenziali ).

gcloud dataproc clusters enable-personal-auth-session \
    --project=PROJECT_ID \
    --region=REGION \
    --access-boundary=<(echo -n "{ \
  \"access_boundary\": { \
    \"accessBoundaryRules\": [{ \
      \"availableResource\": \"//storage.googleapis.com/projects/_/buckets/$(gcloud dataproc clusters describe --project=PROJECT_ID --region=REGION CLUSTER_NAME --format="value(config.configBucket)")\", \
      \"availablePermissions\": [ \
        \"inRole:roles/storage.objectViewer\", \
        \"inRole:roles/storage.objectCreator\", \
        \"inRole:roles/storage.objectAdmin\", \
        \"inRole:roles/storage.legacyBucketReader\" \
      ] \
    }] \
  } \
}") \
   CLUSTER_NAME

1. Mantieni in esecuzione il comando e passa a una nuova scheda Cloud Shell o sessione del terminale. Il client aggiornerà le credenziali durante l'esecuzione del comando.

2. Digita Ctrl-C per terminare la sessione.

Accedere a Jupyter sul cluster

gcloud

1. Visualizza i dettagli del cluster.

   gcloud dataproc clusters describe cluster-name --region=region
   

   L'URL dell'interfaccia web di Jupyter è indicato nei dettagli del cluster.

   ...
   JupyterLab: https://UUID-dot-us-central1.dataproc.googleusercontent.com/jupyter/lab/
   ...
   

2. Copia l'URL nel browser locale per avviare l'interfaccia utente di Jupyter.
3. Verifica che l'autenticazione del cluster personale sia andata a buon fine.
   1. Avvia un terminale Jupyter.
   2. Esegui gcloud auth list
   3. Verifica che il tuo nome utente sia l'unico account attivo.

      

4. In un terminale Jupyter, abilita Jupyter ad autenticarsi con Kerberos e inviare job Spark.

   kinit -kt /etc/security/keytab/dataproc.service.keytab dataproc/$(hostname -f)
   

   1. Esegui klist per verificare che Jupyter abbia ottenuto un TGT valido.

      

5. In un terminale Jupyter, utilizza gcloud CLI per creare un rose.txt file in un bucket Cloud Storage del tuo progetto.

   echo "A rose by any other name would smell as sweet" > /tmp/rose.txt
   

   gcloud storage cp /tmp/rose.txt gs://bucket-name/rose.txt
   

   1. Contrassegna il file come privato in modo che solo il tuo account utente possa leggerlo o scrivere al suo interno. Jupyter utilizzerà le tue credenziali personali quando interagisce con Cloud Storage.

      gcloud storage objects update gs://bucket-name/rose.txt --predefined-acl=private
      

   2. Verifica il tuo accesso privato.

      gcloud storage objects describe gs://$BUCKET/rose.txt
      

      acl:

6. email: $USER entity: user-$USER role: OWNER

Console

1. Fai clic sul link Component Gateway Jupyter per avviare l'interfaccia utente di Jupyter.
2. Verifica che l'autenticazione del cluster personale sia andata a buon fine.
   1. Avvia un terminale Jupyter
   2. Esegui gcloud auth list
   3. Verifica che il tuo nome utente sia l'unico account attivo.

      

3. In un terminale Jupyter, abilita Jupyter ad autenticarsi con Kerberos e inviare job Spark.

   kinit -kt /etc/security/keytab/dataproc.service.keytab dataproc/$(hostname -f)
   

   1. Esegui klist per verificare che Jupyter abbia ottenuto un TGT valido.

      

4. In un terminale Jupyter, utilizza gcloud CLI per creare un rose.txt file in un bucket Cloud Storage del tuo progetto.

   echo "A rose by any other name would smell as sweet" > /tmp/rose.txt
   

   gcloud storage cp /tmp/rose.txt gs://bucket-name/rose.txt
   

   1. Contrassegna il file come privato in modo che solo il tuo account utente possa leggerlo o scrivere al suo interno. Jupyter utilizzerà le tue credenziali personali quando interagisce con Cloud Storage.

      gcloud storage objects update gs://bucket-name/rose.txt --predefined-acl=private
      

   2. Verifica il tuo accesso privato.

      gcloud storage objects describe gs://bucket-name/rose.txt
      

      acl:

5. email: $USER entity: user-$USER role: OWNER

Esegui un job PySpark da Jupyter

1. Vai a una cartella, quindi crea un notebook PySpark.

2. Esegui un job di conteggio delle parole di base sul file rose.txt che hai creato sopra.

   text_file = sc.textFile("gs://bucket-name/rose.txt")
   counts = text_file.flatMap(lambda line: line.split(" ")) \
            .map(lambda word: (word, 1)) \
            .reduceByKey(lambda a, b: a + b)
   print(counts.collect())

   Spark è in grado di leggere il file rose.txt in Cloud Storage perché viene eseguito con le tue credenziali utente.

   Puoi anche controllare gli audit log del bucket Cloud Storage per verificare che il job acceda a Cloud Storage con la tua identità (per ulteriori informazioni, consulta Audit log di Cloud con Cloud Storage).

   

Esegui la pulizia

1. Elimina il cluster Dataproc.

   gcloud dataproc clusters delete cluster-name --region=region