Configurare la crittografia con chiavi di crittografia gestite dal cliente

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina descrive come utilizzare le chiavi di crittografia gestite dal cliente (CMEK) per proteggere gli ambienti Cloud Composer. Le chiavi di crittografia gestite dal cliente vengono utilizzate per criptare/decriptare i dati utente nell'ambiente.

Prima di iniziare

• Puoi configurare CMEK solo quando crei un ambiente. Non è è possibile abilitare CMEK per un ambiente esistente.

• Cloud Composer supporta la crittografia CMEK utilizzando chiavi archiviate in External Key Manager.

• Devi creare una chiave CMEK nella stessa regione in cui si trovano i tuoi ambienti. Non puoi utilizzare chiavi multiregionali o globali.

• Se vuoi che il tuo ambiente venga eseguito all'interno di un perimetro di Controlli di servizio VPC, devi aggiungere l'API Cloud Key Management Service e l'API Artifact Registry al perimetro.

• Abilita l'API Artifact Registry.

  Console

  Enable the Artifact Registry API.

  Enable the API

  gcloud

  Enable the Artifact Registry API:

  gcloud services enable artifactregistry.googleapis.com

Informazioni utente non protette con la crittografia CMEK

Cloud Monitoring non supporta la crittografia CMEK. Il nome del tuo dell'ambiente e i nomi dei DAG vengono archiviati in forma criptata utilizzando chiavi di proprietà e gestite da Google.

Cloud Composer archivia le seguenti informazioni protette con chiavi di proprietà e gestite da Google, non chiavi gestite dal cliente:

• Nome ambiente
• Override della configurazione Airflow
• Variabili di ambiente
• Descrizioni degli intervalli IP consentiti
• Intervalli IP
• Etichette
• I nomi di alcuni parametri archiviati da Cloud Composer possono includere una sottostringa del nome dell'ambiente.

di Gemini Advanced.

Avviso: se utilizzi una bucket dell'ambiente personalizzato, Cloud Composer non modifichi le impostazioni di crittografia del bucket specificato e quindi non la cripta con una chiave CMEK (anche se i criteri del progetto richiedono la crittografia). Nello specifico, la crittografia del bucket personalizzato modificata se il tuo ambiente utilizza la crittografia CMEK. Il tuo bucket personalizzato segue i criteri del progetto a cui appartiene. Puoi criptare manualmente il bucket dell'ambiente con le chiavi CMEK prima di creare un ambiente.

Utilizza una chiave di crittografia gestita dal cliente per il tuo ambiente

Avviso: se crei un ambiente con una chiave di crittografia gestita dal cliente e in seguito disabiliti o elimini la chiave, l'ambiente diventa inutilizzabile. it non è possibile ripristinare un ambiente se la relativa chiave di crittografia viene eliminata o disattivato.

Passaggio 1: Crea una chiave di crittografia gestita dal cliente

Segui i passaggi descritti in Creare chiavi di crittografia simmetrica per creare una chiave nella regione in cui si trova il tuo ambiente.

Passaggio 2: Concedi ruoli agli agenti di servizio

Importante: se il tuo progetto ha un criterio di condivisione con restrizioni al dominio che esclude gli indirizzi dal dominio google.com. Devi disattivare (o espandere) questo criterio per concedere i ruoli richiesti agli agenti di servizio. Dopo aver concesso i ruoli, puoi annullare le modifiche ai criteri. Questo criterio non influisce sulla creazione degli ambienti.

Console

Ignora questo passaggio. Concedi le autorizzazioni agenti di servizio quando Specifica una chiave per il tuo ambiente.

gcloud

I seguenti agenti di servizio devono avere il ruolo Autore crittografia/decriptazione CryptoKey Cloud KMS per la chiave per il tuo ambiente.

Sostituisci PROJECT_NUMBER con il numero del progetto.

Nome dell'agente di servizio	Email del service account	Nome servizio API
Cloud Composer Service Agent	[e-mail]	composer.googleapis.com
Artifact Registry Service Agent	[e-mail]	artifactregistry.googleapis.com
Kubernetes Engine Service Agent	[e-mail]	container.googleapis.com
Agente di servizio Pub/Sub	[e-mail]	pubsub.googleapis.com
Compute Engine Service Agent	[e-mail]	compute.googleapis.com
Agente di servizio Cloud Storage	[e-mail]	Concedi le autorizzazioni di crittografia/decrittografia con gcloud storage service-agent --authorize-cmek

1. (Se necessario) Se alcuni di questi account di servizio non sono presenti nel tuo significa che non è stata ancora creata un'identità per questo servizio. Ciò può accadere, ad esempio, se non hai ancora creato ambienti Cloud Composer nel tuo progetto.

   Per aggiungere questi account di servizio, crea le identità per i servizi elencati con il seguente comando:

   gcloud beta services identity create \
     --service=API_SERVICE_NAME
   

   Sostituisci API_SERVICE_NAME con il nome del servizio API di un servizio che non ha un account di servizio nel tuo progetto.

   Esempio:

   gcloud beta services identity create \
     --service=composer.googleapis.com
   

2. Concedi le autorizzazioni agli agenti di servizio:

   1. Concedi il ruolo all'agente di servizio Cloud Composer:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   2. Concedi il ruolo all'agente di servizio Artifact Registry:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   3. Concedi il ruolo all'agente di servizio GKE:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   4. Concedi il ruolo all'agente di servizio Pub/Sub:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   5. Concedi il ruolo all'agente di servizio Compute Engine:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   6. Concedi le autorizzazioni di crittografia/decrittografia a Agente di servizio Cloud Storage. Puoi saltare questo passaggio se utilizzi in un bucket dell'ambiente personalizzato.

      gcloud storage service-agent \
        --authorize-cmek=projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
      

   Sostituisci:

   • PROJECT_ID con il tuo ID del progetto.
   • KEY_PROJECT_ID con l'ID del progetto che memorizza la chiave gestita dal cliente. Se utilizzi una chiave di un altro progetto, questo valore è diverso dall'ID del progetto. Se utilizzi una chiave dello stesso progetto, questo valore è l'ID del progetto.
   • PROJECT_NUMBER con il numero del progetto.
   • KEY_LOCATION con la località della chiave gestita dal cliente. Questa località deve corrispondere alla località del tuo ambiente.
   • KEY_NAME con il nome della chiave gestita dal cliente.
   • KEY_RING_NAME con il portachiavi che memorizza la chiave gestita dal cliente.

   Per ottenere questi valori, puoi eseguire gcloud projects describe, gcloud kms keyrings list e gcloud kms keys describe.

Passaggio 3: Creare un ambiente con CMEK

Dopo aver creato una chiave di crittografia gestita dal cliente, puoi utilizzarla per creare ambienti Cloud Composer.

Console

Quando crei un ambiente:

1. Nella sezione Crittografia dei dati, seleziona Chiave di crittografia gestita dal cliente (CMEK).

2. Nell'elenco a discesa Seleziona una chiave gestita dal cliente, seleziona la chiave.

3. Se è necessaria un'ulteriore configurazione, verrà visualizzato un messaggio per informarti. In questo caso:

   1. Fai clic su Apri la configurazione guidata.

   2. Nella finestra di dialogo Prepara la chiave CMEK per l'uso in Cloud Composer, visualizza l'elenco degli agenti di servizio che devono disporre del ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS per la chiave.

   3. Per concedere i ruoli e le autorizzazioni richiesti, fai clic su Concede.

   di Gemini Advanced.
   Importante: Se il tuo progetto ha un Condivisione limitata per il dominio che escludono gli indirizzi dal dominio google.com. Devi disattivare (o espandi) questo criterio per concedere i ruoli richiesti agli agenti di servizio. Dopo aver concesso i ruoli, puoi annullare le modifiche ai criteri. Questo criterio non influisce sulla creazione degli ambienti.

gcloud

L'argomento --kms-key specifica una chiave di crittografia gestita dal cliente per il tuo completamente gestito di Google Cloud.

Per saperne di più sulla creazione di ambienti, consulta Creare ambienti. Ad esempio, potresti voler specificare altri parametri per il tuo ambiente.

gcloud composer environments create ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version IMAGE_VERSION \
  --kms-key projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• IMAGE_VERSION con il nome dell'immagine Cloud Composer.
• KEY_PROJECT_ID con l'ID del progetto in cui si trova la chiave. Se utilizzi una chiave di un altro progetto, questo valore è diverso da l'ID progetto. Se utilizzi una chiave dello stesso progetto, questo valore è l'ID progetto.
• LOCATION con la regione in cui si trova l'ambiente.
• KEY_LOCATION con la località della chiave gestita dal cliente. Questa località deve corrispondere a quella del tuo ambiente.
• KEY_NAME con il nome della chiave gestita dal cliente.
• KEY_RING_NAME con il portachiavi che memorizza la chiave gestita dal cliente.

Esempio:

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-2.9.7-airflow-2.9.3 \
  --kms-key projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key

Visualizza la configurazione della crittografia dell'ambiente

Puoi visualizzare la configurazione della crittografia per un ambiente esistente:

Console

1. Nella console Google Cloud, vai alla pagina Ambienti.

   Vai ad Ambienti

2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Viene visualizzata la pagina Dettagli dell'ambiente.

3. Vai alla scheda Configurazione dell'ambiente.

4. I dettagli relativi alla crittografia sono elencati nell'elemento Chiave di crittografia dei dati.

gcloud

Esegui il seguente comando gcloud per visualizzare la configurazione della crittografia

gcloud composer environments describe \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.encryptionConfig)"

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• LOCATION con la regione in cui si trova l'ambiente.

Esempio:

gcloud composer environments describe \
  example-environment \
  --location us-central1 \
  --format="value(config.encryptionConfig)"

Utilizzare CMEK per i log di Cloud Composer

Cloud Logging supporta la crittografia dell'archiviazione dei log con chiavi CMEK. Ti consigliamo di utilizzare la procedura CMEK standard per criptare i log con le chiavi CMEK.

Per criptare i log con le chiavi CMEK, segui le istruzioni descritte in Gestisci le chiavi che proteggono i dati di archiviazione di Logging.

Deprecato: le seguenti istruzioni sul reindirizzamento Log di Cloud Composer a Cloud Storage criptato con CMEK sono deprecati. Se utilizzi questo approccio nel tuo progetto, passare alla crittografia dell'archiviazione dei log con le chiavi CMEK.

Reindirizza i log di Cloud Composer a un bucket Cloud Storage criptato con CMEK

Se prevedi che i log contengano dati sensibili, ti consigliamo reindirizza i log di Cloud Composer a un servizio criptato con CMEK per il bucket Cloud Storage utilizzando Router dei log. In questo modo l'invio dei log a Monitoring.

Se hai bisogno di aiuto dall'assistenza clienti Google Cloud, potresti dover concedere a Google dei tecnici dell'assistenza clienti per accedere ai log di Cloud Composer archiviati di archiviazione ideale in Cloud Storage.

Nota: gli audit log non possono essere esclusi. Vengono sempre inviati allo spazio di archiviazione predefinito.

gcloud

1. Crea un nuovo bucket Cloud Storage per archiviare i log.

   gcloud storage buckets create gs://BUCKET_NAME --location=LOCATION
   

   Sostituisci:

   • LOCATION con la regione in cui si trova l'ambiente.
   • BUCKET_NAME con il nome del bucket.

   Esempio:

   gcloud storage buckets create gs://composer-logs-us-central1-example-environment --location=us-central1
   

2. Cripta il bucket con la tua chiave CMEK.

   gcloud storage buckets update gs://BUCKET_NAME \
     --default-encryption-key=projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

   Sostituisci:

   • KEY_PROJECT_ID con l'ID del progetto in cui si trova la chiave. Se utilizzi una chiave di un altro progetto, questo valore è diverso dall'ID del progetto. Se utilizzi una chiave dello stesso progetto, questo valore è l'ID del tuo progetto.
   • KEY_LOCATION con la posizione della chiave gestita dal cliente. Questo deve corrispondere alla località dell'ambiente.
   • KEY_RING_NAME con il keyring in cui è archiviata la chiave gestita dal cliente.
   • KEY_NAME con il nome della chiave gestita dal cliente.
   • BUCKET_NAME con il nome del bucket.

   Esempio:

   gcloud storage buckets update gs://composer-logs-us-central1-example-environment \
     --default-encryption-key=projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key
   

3. Crea un nuovo sink dei log.

   gcloud logging sinks create \
   composer-log-sink-ENVIRONMENT_NAME \
   storage.googleapis.com/BUCKET_NAME \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Sostituisci:

   • ENVIRONMENT_NAME con il nome dell'ambiente.
   • LOCATION con la regione in cui si trova l'ambiente.
   • BUCKET_NAME con il nome del bucket.

   Esempio:

   gcloud logging sinks create \
   composer-log-sink-example-environment \
   storage.googleapis.com/composer-logs-us-central1-example-environment \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

4. Per farlo, concedi il ruolo Creatore oggetti Storage all'account di servizio di sincronizzare la directory di una VM con un bucket. L'account di servizio viene mostrato nel risultato della precedente ).

   gcloud projects add-iam-policy-binding \
     PROJECT_ID \
     --member="serviceAccount:LOGGING_SERVICE_AGENT" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

   Sostituisci:

   • PROJECT_ID con l'ID progetto.
   • LOGGING_SERVICE_AGENT con il servizio Logging un account agente per questo bucket. Il nome di questo account è ottenuto nel passaggio precedente.

   Esempio:

   gcloud projects add-iam-policy-binding \
     example-project \
     --member="serviceAccount:[e-mail]" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

5. Escludi i log per il tuo nuovo ambiente da Monitoraggio.

   gcloud beta logging sinks update _Default \
     --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Sostituisci:

   • ENVIRONMENT_NAME con il nome dell'ambiente.
   • LOCATION con la regione in cui si trova l'ambiente.

   Esempio:

   gcloud beta logging sinks update _Default \
     --add-exclusion name=example-environment-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

6. Aggiungi la crittografia CMEK a livello di organizzazione al router dei log.

   gcloud logging cmek-settings describe \
     --organization=ORGANIZATION_ID
   

   gcloud kms keys add-iam-policy-binding \
         --project=KEY_PROJECT_ID \
         --member LOGGING_SERVICE_AGENT \
         --role roles/cloudkms.cryptoKeyEncrypterDecrypter \
         --location=KEY_LOCATION \
         --keyring=KEY_RING_NAME \
         KEY_NAME
   

   gcloud logging cmek-settings update \
     --organization=ORGANIZATION_ID \
     --kms-project=KEY_PROJECT_ID \
     --kms-keyring=KEY_RING_NAME \
     --kms-location=KEY_LOCATION \
     --kms-key-name=KEY_NAME
   

   Sostituisci:

   • ORGANIZATION_ID con il tuo ID organizzazione.
   • KEY_PROJECT_ID con l'ID del progetto in cui si trova la chiave. Se utilizzi una chiave di un altro progetto, questo valore è diverso da l'ID del tuo progetto. Se utilizzi una chiave dello stesso progetto, questo valore è l'ID del progetto.
   • KEY_RING_NAME con il keyring in cui è archiviata la chiave gestita dal cliente.
   • KEY_LOCATION con la posizione della chiave gestita dal cliente. Questo deve corrispondere alla località dell'ambiente.
   • KEY_NAME con il nome della chiave gestita dal cliente.

Rotazione delle chiavi CMEK per Cloud Composer

Dopo aver configurato la crittografia nel tuo ambiente utilizzando le chiavi CMEK, potresti anche prendere in considerazione la possibilità di ruotare queste chiavi regolarmente, come descritto nella documentazione di KMS.

Quando ruoti una chiave CMEK, i dati criptati con le versioni precedenti della chiave non vengono criptati di nuovo automaticamente con la nuova versione della chiave. Per ulteriori informazioni, consulta Ricrittografia dei dati.

Nello specifico, si applica a:

• Oggetti archiviati nel bucket dell'ambiente.
• Cata archiviati nel database Airflow.
• Immagini container archiviate nei repository Artifact Registry.
• Tutti gli altri oggetti dati criptati con CMEK nell'ambiente Cloud Composer.

Passaggi successivi

• Panoramica sulla sicurezza
• Creare ambienti