Quando utilizzi Dataproc, i dati dei cluster e dei job vengono archiviati su dischi permanenti associati alle VM Compute Engine nel cluster e in un bucket di staging Cloud Storage. Questi dati del disco permanente e del bucket vengono criptati utilizzando una chiave di crittografia dei dati (DEK) e una chiave di crittografia della chiave (KEK) generate da Google.
La funzionalità CMEK consente di creare, utilizzare e revocare la chiave di crittografia della chiave (KEK). Google controlla ancora la chiave di crittografia dei dati (DEK). Per ulteriori informazioni sulle chiavi di crittografia dei dati di Google, consulta Crittografia dei dati at-rest.
Utilizzare CMEK con i dati del cluster
Puoi utilizzare le chiavi di crittografia gestite dal cliente (CMEK) per criptare i seguenti dati del cluster:
- Dati sui dischi permanenti collegati alle VM nel cluster Dataproc
- Dati degli argomenti del job inviati al cluster, ad esempio una stringa di query inviata con un job Spark SQL
- Metadati del cluster, output del driver del job e altri dati scritti in un bucket di staging Dataproc che crei
Per utilizzare CMEK con la crittografia dei dati del cluster:
- Crea una o più chiavi utilizzando Cloud Key Management Service.
Il nome della risorsa, chiamato anche ID risorsa di una chiave, che utilizzerai nei passaggi successivi,
viene costruito come segue:
projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
Assegna i seguenti ruoli ai seguenti account di servizio:
- Segui l'articolo 5 in Compute Engine→Protezione delle risorse con le chiavi Cloud KMS→Prima di iniziare per assegnare il ruolo Cloud KMS Autore crittografia/decrittografia CryptoKey all'account di servizio Agente di servizio Compute Engine.
Assegna il ruolo Cloud KMS Autore crittografia/decrittografia CryptoKey all'account di servizio Agente di servizio Cloud Storage.
Assegna il ruolo Cloud KMS Autore crittografia/decrittografia CryptoKey all'account di servizio Agente di servizio Dataproc. Puoi utilizzare Google Cloud CLI per assegnare il ruolo:
gcloud projects add-iam-policy-binding KMS_PROJECT_ID \ --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \ --role roles/cloudkms.cryptoKeyEncrypterDecrypter
Sostituisci quanto segue:
KMS_PROJECT_ID
: l'ID del tuo progetto Google Cloud che esegue Cloud KMS. Questo progetto può essere anche il progetto che esegue le risorse Dataproc.PROJECT_NUMBER
: il numero del progetto (non l'ID progetto) del tuo progetto Google Cloud che esegue le risorse Dataproc.Abilita l'API Cloud KMS nel progetto che esegue le risorse Dataproc.
Se il ruolo Agente di servizio Dataproc non è associato all'account di servizio Agente di servizio Dataproc, aggiungere l'autorizzazione
serviceusage.services.use
al ruolo personalizzato associato all'account di servizio Agente di servizio Dataproc. Se il ruolo Agente di servizio Dataproc è associato all'account di servizio Agente di servizio Dataproc, puoi ignorare questo passaggio.
Passa l'ID risorsa della chiave a Google Cloud CLI o all'API Dataproc per utilizzarla con la crittografia dei dati del cluster.
Interfaccia a riga di comando gcloud
- Per criptare i dati del disco permanente del cluster utilizzando la tua chiave, passa
l'ID risorsa della chiave al flag
--gce-pd-kms-key
quando crei il cluster.gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --gce-pd-kms-key='projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME' \ other arguments ...
Puoi verificare l'impostazione della chiave dallo strumento a riga di comando
gcloud
.gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
Snippet di output del comando:
... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name ...
- Per criptare i dati dei disco permanente del cluster e i dati degli argomenti dei job utilizzando la tua chiave, passa l'ID risorsa della chiave al flag
--kms-key
quando crei il cluster. Consulta Cluster.EncryptionConfig.kmsKey per un elenco di tipi di job e argomenti criptati con il flag--kms-key
.gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --kms-key='projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME' \ other arguments ...
Puoi verificare le impostazioni principali con il comando
dataproc clusters describe
gcloud CLI. L'ID risorsa della chiave è impostato sugcePdKmsKeyName
ekmsKey
per utilizzare la chiave con la crittografia del disco permanente del cluster e dei dati degli argomenti del job.gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
Snippet di output del comando:
... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/key-KEY_RING_NAME-name/cryptoKeys/KEY_NAME ...
- Per criptare i metadati del cluster, il driver del job e altri dati di output scritti nel
bucket gestione temporanea Dataproc in Cloud Storage:
- Crea il tuo bucket con CMEK. Quando aggiungi la chiave al bucket, utilizza una chiave creata nel passaggio 1.
- Passa il nome del bucket al flag
--bucket
quando crei il cluster.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --bucket=CMEK_BUCKET_NAME \ other arguments ...
Puoi anche passare i bucket abilitati per CMEK al comando `gcloud dataproc jobs submit` se il job accetta argomenti del bucket, come mostrato nel seguente esempio di `cmek-bucket`:
gcloud dataproc jobs submit pyspark gs://cmek-bucket/wordcount.py \ --region=region \ --cluster=cluster-name \ -- gs://cmek-bucket/shakespeare.txt gs://cmek-bucket/counts
API REST
- Per criptare i dati disco permanente delle VM del cluster utilizzando la tua chiave, includi il campo
ClusterConfig.EncryptionConfig.gcePdKmsKeyName
all'interno di una richiesta
cluster.create.
Puoi verificare l'impostazione della chiave con il comando gcloud CLI
dataproc clusters describe
.gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
Snippet di output del comando:
... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME ...
- Per criptare i dati del disco permanente della VM del cluster e i dati degli argomenti del job utilizzando la tua chiave, includi il campo
Cluster.EncryptionConfig.kmsKey
in una richiesta cluster.create. Consulta Cluster.EncryptionConfig.kmsKey per un elenco di tipi di job e argomenti criptati con il campo--kms-key
.Puoi verificare le impostazioni principali con il comando gcloud CLI
dataproc clusters describe
. L'ID risorsa della chiave è impostato sugcePdKmsKeyName
ekmsKey
per utilizzare la chiave con la crittografia del disco permanente del cluster e dei dati degli argomenti del job.gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
Snippet di output del comando:
... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
- To encrypt cluster metadata, job driver, and other output data written to your
Dataproc staging bucket in Cloud Storage:
- Create your own bucket with CMEK. When adding the key to the bucket, use a key that you created in Step 1.
- Pass the bucket name to the ClusterConfig.configBucket field as part of a cluster.create request.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --bucket=CMEK_BUCKET_NAMEt \ other arguments ...
Puoi anche passare i bucket abilitati per CMEK al comando `gcloud dataproc jobs submit` se il job accetta argomenti del bucket, come mostrato nel seguente esempio di `cmek-bucket`:
gcloud dataproc jobs submit pyspark gs://cmek-bucket/wordcount.py \ --region=region \ --cluster=cluster-name \ -- gs://cmek-bucket/shakespeare.txt gs://cmek-bucket/counts
- Per criptare i dati del disco permanente del cluster utilizzando la tua chiave, passa
l'ID risorsa della chiave al flag
Utilizzare CMEK con i dati del modello di flusso di lavoro
I dati degli argomenti dei job del modello di workflow Dataproc, come la stringa di query di un job Spark SQL, possono essere criptati utilizzando CMEK. Segui i passaggi 1, 2 e 3 di questa sezione per utilizzare CMEK con il tuo modello di flusso di lavoro Dataproc. Consulta WorkflowTemplate.EncryptionConfig.kmsKey per un elenco di tipi di job e argomenti dei modelli di workflow criptati utilizzando CMEK quando questa funzionalità è attivata.
- Crea una chiave utilizzando Cloud Key Management Service (Cloud KMS).
Il nome della risorsa della chiave, che utilizzerai nei passaggi successivi, viene creato come segue:
projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name
Per consentire agli account di servizio Dataproc di utilizzare la chiave:
Assegna il ruolo
CryptoKey Encrypter/Decrypter
Cloud KMS all'account di servizio Dataproc Service Agent. Puoi utilizzare gcloud CLI per assegnare il ruolo:gcloud projects add-iam-policy-binding KMS_PROJECT_ID \ --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \ --role roles/cloudkms.cryptoKeyEncrypterDecrypter
Sostituisci quanto segue:
KMS_PROJECT_ID
: l'ID del tuo progetto Google Cloud che esegue Cloud KMS. Questo progetto può essere anche il progetto che esegue le risorse Dataproc.PROJECT_NUMBER
: il numero del progetto (non l'ID progetto) del tuo progetto Google Cloud che esegue le risorse Dataproc.Abilita l'API Cloud KMS nel progetto che esegue le risorse Dataproc.
Se il ruolo Agente di servizio Dataproc non è associato all'account di servizio Agente di servizio Dataproc, aggiungi l'autorizzazione
serviceusage.services.use
al ruolo personalizzato associato all'account di servizio Agente di servizio Dataproc. Se il ruolo Agente di servizio Dataproc è associato all'account di servizio Agente di servizio Dataproc, puoi ignorare questo passaggio.
Puoi utilizzare Google Cloud CLI o l'API Dataproc per impostare la chiave creata nel passaggio 1 in un flusso di lavoro. Una volta impostata la chiave in un workflow, tutti gli argomenti e le query dei job del workflow vengono criptati utilizzando la chiave per uno qualsiasi dei tipi di job e degli argomenti elencati in WorkflowTemplate.EncryptionConfig.kmsKey.
Interfaccia a riga di comando gcloud
Passa l'ID risorsa della chiave al flag
--kms-key
quando crei il modello di workflow con il comando gcloud dataproc workflow-templates create.Esempio:
Puoi verificare l'impostazione della chiave dallo strumento a riga di comandogcloud dataproc workflow-templates create my-template-name \ --region=region \ --kms-key='projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name' \ other arguments ...
gcloud
.gcloud dataproc workflow-templates describe TEMPLATE_NAME \ --region=REGION
... id: my-template-name encryptionConfig: kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME ...
API REST
Utilizza WorkflowTemplate.EncryptionConfig.kmsKey come parte di una richiesta workflowTemplates.create.
Puoi verificare l'impostazione della chiave inviando una richiesta workflowTemplates.get. Il JSON restituito contiene gli elenchi di
kmsKey
:... "id": "my-template-name", "encryptionConfig": { "kmsKey": "projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name" },
Cloud External Key Manager
Cloud External Key Manager (Cloud EKM) (EKM) ti consente di proteggere i dati di Dataproc utilizzando chiavi gestite da un partner di gestione delle chiavi esterne supportato. I passaggi da seguire per utilizzare EKM in Dataproc sono gli stessi utilizzati per configurare le chiavi CMEK, con la seguente differenza: la chiave rimanda a un URI per la chiave gestita esternamente (consulta la Panoramica di Cloud EKM).
Errori Cloud EKM
Quando utilizzi Cloud EKM, il tentativo di creare un cluster può non riuscire per errori associati agli input, a Cloud EKM, al sistema del partner di gestione delle chiavi esterne o alle comunicazioni tra EKM e il sistema esterno. Se utilizzi l'API REST o la console Google Cloud, gli errori vengono registrati in Logging. Puoi esaminare gli errori del cluster non riuscito dalla scheda Visualizza log.