Usa CMEK con Dataproc serverless

Quando utilizzi Dataproc Serverless, i dati vengono archiviati su dischi serverless e in un Cloud Storage bucket gestione temporanea. Questi dati sono criptati utilizzando una chiave di crittografia dei dati (DEK, Data Encryption Key) generata da Google e la chiave di crittografia della chiave (KEK). Puoi utilizzare una chiave di crittografia gestita dal cliente (CMEK) per creare, utilizzare e revocare la chiave di crittografia della chiave (KEK). Google mantiene il controllo sulla chiave di crittografia dei dati (DEK). Per ulteriori informazioni sulle chiavi di crittografia dei dati di Google, consulta Crittografia at-rest predefinita.

Utilizzo di CMEK

Segui i passaggi in questa sezione per utilizzare CMEK per criptare i dati che Dataproc Serverless scrive sul disco permanente e nel bucket gestione temporanea Dataproc.

A partire dal 23 aprile 2024:

• Dataproc Serverless utilizza anche la tua CMEK per criptare gli argomenti dei job batch. Per attivare questo comportamento, il ruolo IAM Autore crittografia/decrittografia CryptoKey Cloud KMS deve essere assegnato all'account di servizio Agente di servizio Dataproc. Se il ruolo Agente di servizio Dataproc non è associato all'account di servizio Agente di servizio Dataproc, aggiungere l'autorizzazione serviceusage.services.use a un ruolo personalizzato associato all'account di servizio Agente di servizio Dataproc. L'API Cloud KMS deve essere abilitata nel progetto che esegue le risorse Dataproc Serverless.
• batches.list restituisce un campo unreachable che elenca tutti i batch con argomenti del job che non potrebbero essere decriptati. Puoi emettere richieste batches.get per ottenere maggiori informazioni sui batch non raggiungibili.
• La chiave (CMEK) deve trovarsi nella stessa posizione della risorsa criptata. Ad esempio, la chiave CMEK utilizzata per criptare un batch eseguito nella regione us-central1 deve trovarsi anche nella regione us-central1.

1. Crea una chiave utilizzando Cloud Key Management Service (Cloud KMS).

2. Copia il nome della risorsa.

   

   Il nome della risorsa è costituito come segue:

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Consenti agli account di servizio Compute Engine, Dataproc e Agente di servizio Cloud Storage di utilizzare la tua chiave:

   1. Consulta Proteggere le risorse utilizzando le chiavi Cloud KMS > Ruoli richiesti per assegnare il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS all'account di servizio Compute Engine Service Agent. Se questo account di servizio non è in elenco Nella pagina IAM della console Google Cloud, fai clic su Includi concessioni dei ruoli fornite da Google. per elencarlo.

   2. Assegna il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS al account di servizio Agente di servizio Dataproc. Puoi utilizzare Google Cloud CLI per assegnare il ruolo:

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Sostituisci quanto segue:

      KMS_PROJECT_ID: l'ID del tuo progetto Google Cloud che esegue Cloud KMS. Questo progetto può anche essere il progetto che esegue le risorse Dataproc.

      PROJECT_NUMBER: il numero del progetto (non l'ID progetto) del tuo progetto Google Cloud che esegue le risorse Dataproc.

   3. Abilita l'API Cloud KMS nel progetto che esegue le risorse Dataproc Serverless.

   4. Se il ruolo Agente di servizio Dataproc non è associato all'account di servizio Agente di servizio Dataproc, aggiungere l'autorizzazione serviceusage.services.use al ruolo personalizzato associato all'account di servizio Agente di servizio Dataproc. Se il ruolo Agente di servizio Dataproc è associato all'account di servizio Agente di servizio Dataproc, puoi ignorare questo passaggio.

   5. Segui i passaggi per aggiungere la chiave al bucket.

4. Quando invia un carico di lavoro batch:

   1. Specifica la chiave nel parametro Batch kmsKey.
   2. Specifica il nome del bucket Cloud Storage nel parametro Batch stagingBucket.