Utilizzare CMEK con Dataproc Serverless

Quando utilizzi Dataproc Serverless, i dati vengono archiviati sui dischi dell'infrastruttura serverless sottostante e in un bucket di staging Cloud Storage. Questi dati vengono criptati utilizzando una chiave di crittografia dei dati (DEK) e una chiave di crittografia della chiave (KEK) generate da Google. Puoi utilizzare una chiave di crittografia gestita dal cliente (CMEK) per creare, utilizzare e revocare la chiave di crittografia della chiave (KEK). Google mantiene il controllo sulla chiave di crittografia dei dati (DEK). Per ulteriori informazioni sulle chiavi di crittografia dei dati di Google, consulta Crittografia at-rest predefinita.

Utilizzo di CMEK

Segui i passaggi descritti in questa sezione per utilizzare CMEK per criptare i dati scritti da Dataproc Serverless sul disco permanente e nel bucket di staging di Dataproc.

A partire dal 23 aprile 2024:

• Dataproc Serverless utilizza la CMK anche per criptare gli argomenti dei job batch. Per attivare questo comportamento, il ruolo IAM Autore crittografia/decrittografia CryptoKey Cloud KMS deve essere assegnato all'account di servizio Agente di servizio Dataproc. Se il ruolo Agente di servizio Dataproc non è associato all'account di servizio Agente di servizio Dataproc, aggiungere l'autorizzazione serviceusage.services.use a un ruolo personalizzato associato all'account di servizio Agente di servizio Dataproc . L'API Cloud KMS deve essere abilitata nel progetto che esegue le risorse Dataproc Serverless.
• batches.list restituisce un campo unreachable che elenca eventuali batch con argomenti di job che non è stato possibile decriptare. Puoi emettere richieste batches.get per ottenere maggiori informazioni sui batch non raggiungibili.
• La chiave (CMEK) deve trovarsi nella stessa posizione della risorsa criptata. Ad esempio, la chiave CMEK utilizzata per criptare un batch eseguito nella regione us-central1 deve trovarsi anche nella regione us-central1.

1. Crea una chiave utilizzando Cloud Key Management Service (Cloud KMS).

2. Copia il nome della risorsa.

   

   Il nome della risorsa è costituito come segue:

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Consenti agli account di servizio Compute Engine, Dataproc e Agente di servizio Cloud Storage di utilizzare la tua chiave:

   1. Consulta Proteggere le risorse utilizzando le chiavi Cloud KMS > Ruoli richiesti per assegnare il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS all'account di servizio Compute Engine Service Agent. Se questo account di servizio non è elencato nella pagina IAM della console Google Cloud, fai clic su Includi concessioni di ruoli fornite da Google per elencarlo.

   2. Assegna il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS al account di servizio Agente di servizio Dataproc. Puoi utilizzare Google Cloud CLI per assegnare il ruolo:

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Sostituisci quanto segue:

      KMS_PROJECT_ID: l'ID del tuo progetto Google Cloud che esegue Cloud KMS. Questo progetto può essere anche il progetto che esegue le risorse Dataproc.

      PROJECT_NUMBER: il numero del progetto (non l'ID progetto) del tuo progetto Google Cloud che esegue le risorse Dataproc.

   3. Abilita l'API Cloud KMS nel progetto che esegue le risorse Dataproc Serverless.

   4. Se il ruolo Agente di servizio Dataproc non è associato all'account di servizio Agente di servizio Dataproc, aggiungere l'autorizzazione serviceusage.services.use al ruolo personalizzato associato all'account di servizio Agente di servizio Dataproc. Se il ruolo Agente di servizio Dataproc è associato all'account di servizio Agente di servizio Dataproc, puoi ignorare questo passaggio.

   5. Segui i passaggi per aggiungere la chiave al bucket.

4. Quando invii un carico di lavoro batch:

   1. Specifica la chiave nel parametro Batch kmsKey.
   2. Specifica il nome del bucket Cloud Storage nel parametro Batch stagingBucket.