Configura la crittografia con le chiavi di crittografia gestite dal cliente

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

In questa pagina viene descritto come utilizzare Chiavi di crittografia gestite dal cliente (CMEK) da proteggere Ambienti Cloud Composer. Le chiavi di crittografia gestite dal cliente utilizzati per criptare/decriptare i dati utente nell'ambiente.

Prima di iniziare

• Puoi configurare CMEK solo quando crei un ambiente. Non è è possibile abilitare CMEK per un ambiente esistente.

• Cloud Composer supporta la crittografia CMEK utilizzando archiviate nei gestori di chiavi esterne.

• Devi creare una chiave CMEK nella stessa regione in cui si trovano i tuoi ambienti in cui si trovano. Non puoi utilizzare chiavi multiregionali o globali.

• Se vuoi che il tuo ambiente venga eseguito all'interno di un Perimetro Controlli di servizio VPC, devi aggiungere l'API Cloud Key Management Service e l'API Artifact Registry al perimetro.

• Abilita l'API Artifact Registry.

  Console

  Attiva l'API Artifact Registry.

  Abilita l'API

  gcloud

  Attiva l'API Artifact Registry.

  gcloud services enable artifactregistry.googleapis.com

Informazioni utente non protette con la crittografia CMEK

Cloud Monitoring non supporta la crittografia CMEK. Il nome del tuo dell'ambiente e i nomi dei DAG vengono archiviati in forma criptata utilizzando chiavi di proprietà e gestite da Google.

Cloud Composer archivia le seguenti informazioni protette Le chiavi di proprietà di Google e gestite da Google, non quelle gestite dal cliente:

• Nome ambiente
• Override della configurazione Airflow
• Variabili di ambiente
• Descrizioni degli intervalli IP consentiti
• Intervalli IP
• Etichette
• I nomi di alcuni parametri archiviati da Cloud Composer possono includere una sottostringa del nome dell'ambiente.

Avviso: se utilizzi una bucket dell'ambiente personalizzato, Cloud Composer non alterare le impostazioni di crittografia del bucket specificato. Pertanto, non la cripta con una chiave CMEK (anche se i criteri del progetto richiedono la crittografia). Nello specifico, la crittografia del bucket personalizzato modificata se il tuo ambiente utilizza la crittografia CMEK. Il tuo bucket personalizzato segue i criteri del progetto a cui appartiene. Puoi criptare manualmente il bucket dell'ambiente con le chiavi CMEK prima devi creare un ambiente.

Utilizza una chiave di crittografia gestita dal cliente per il tuo ambiente

Avviso: se crei un ambiente con una chiave di crittografia gestita dal cliente e in seguito disabiliti o elimini la chiave, l'ambiente diventa inutilizzabile. it non è possibile ripristinare un ambiente se la relativa chiave di crittografia viene eliminata o disattivato.

Passaggio 1: Crea una chiave di crittografia gestita dal cliente

Segui i passaggi descritti in Creazione di chiavi di crittografia simmetriche per creare una chiave nel regione in cui si trova l'ambiente.

Passaggio 2: Concedi ruoli agli agenti di servizio

Importante: Se il tuo progetto ha un Condivisione limitata per il dominio che escludono gli indirizzi dal dominio google.com. Devi disattivare (o espandi) questo criterio per concedere i ruoli richiesti agli agenti di servizio. Dopo aver concesso i ruoli, puoi annullare le modifiche ai criteri. Questo criterio non influisce sulla creazione degli ambienti.

Console

Ignora questo passaggio. Concedi le autorizzazioni agenti di servizio quando Specifica una chiave per il tuo ambiente.

gcloud

I seguenti agenti di servizio devono avere il ruolo Autore crittografia/decriptazione CryptoKey Cloud KMS per la chiave per il tuo ambiente.

Sostituisci PROJECT_NUMBER con numero del progetto.

Nome dell'agente di servizio	Email dell'account di servizio	Nome servizio API
Agente di servizio Cloud Composer	[e-mail]	composer.googleapis.com
Agente di servizio Artifact Registry	[e-mail]	artifactregistry.googleapis.com
Kubernetes Engine Service Agent	[e-mail]	container.googleapis.com
Agente di servizio Pub/Sub	[e-mail]	pubsub.googleapis.com
Compute Engine Service Agent	[e-mail]	compute.googleapis.com
Agente di servizio Cloud Storage	[e-mail]	Concedi le autorizzazioni di crittografia/decrittografia con gsutil kms authorize

1. (Se necessario) Se alcuni di questi account di servizio non sono presenti nel tuo significa che non è stata ancora creata un'identità per questo servizio. Ciò può accadere, ad esempio, se non hai ancora creato ambienti Cloud Composer nel tuo progetto.

   Per aggiungere questi account di servizio, crea le identità per i servizi elencati con il seguente comando:

   gcloud beta services identity create \
     --service=API_SERVICE_NAME
   

   Sostituisci API_SERVICE_NAME con Nome del servizio API di un servizio che non dispone di un account di servizio nel tuo progetto.

   Esempio:

   gcloud beta services identity create \
     --service=composer.googleapis.com
   

2. Concedi le autorizzazioni agli agenti di servizio:

   1. Concedi il ruolo all'agente di servizio di Cloud Composer:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   2. Concedi il ruolo all'agente di servizio Artifact Registry:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   3. Concedi il ruolo all'agente di servizio GKE:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   4. Concedi il ruolo all'agente di servizio Pub/Sub:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   5. Concedi il ruolo all'agente di servizio Compute Engine:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   6. Concedi le autorizzazioni di crittografia/decrittografia a Agente di servizio Cloud Storage. Puoi saltare questo passaggio se utilizzi in un bucket dell'ambiente personalizzato.

      gsutil kms authorize -k \
        projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
      

   Sostituisci:

   • PROJECT_ID con il tuo ID del progetto.
   • KEY_PROJECT_ID con l'ID del progetto in cui sono archiviati i tuoi e gestita dal cliente. Se utilizzi una chiave di un altro progetto, è diverso dall'ID del progetto. Se utilizzi una chiave stesso progetto, questo valore è l'ID del tuo progetto.
   • PROJECT_NUMBER con il tuo numero del progetto.
   • KEY_LOCATION con la località della chiave gestita dal cliente. Questa località deve corrispondere alla località del tuo ambiente.
   • KEY_NAME con il nome della chiave gestita dal cliente.
   • KEY_RING_NAME con il keyring in cui è archiviata la chiave gestita dal cliente.

   Per ottenere questi valori, puoi eseguire gcloud projects describe, gcloud kms keyrings list e gcloud kms keys describe.

Passaggio 3: Crea un ambiente con CMEK

Dopo aver creato una chiave di crittografia gestita dal cliente, puoi utilizzare per creare ambienti Cloud Composer.

Console

Quando crei un ambiente:

1. Nella sezione Crittografia dei dati, seleziona Chiave di crittografia gestita dal cliente (CMEK).

2. Seleziona la tua chiave nell'elenco a discesa Seleziona una chiave gestita dal cliente.

3. Se è necessaria un'ulteriore configurazione, verrà visualizzato un messaggio per informarti. Nel questo caso:

   1. Fai clic su Apri procedura guidata.

   2. In Preparare la chiave CMEK per l'utilizzo in Cloud Composer visualizza l'elenco degli agenti di servizio. che deve avere il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS sulla chiave.

   3. Per concedere le autorizzazioni e i ruoli richiesti, fai clic su Concedi.

   Importante: Se il tuo progetto ha un Condivisione limitata per il dominio che escludono gli indirizzi dal dominio google.com. Devi disattivare (o espandi) questo criterio per concedere i ruoli richiesti agli agenti di servizio. Dopo aver concesso i ruoli, puoi annullare le modifiche ai criteri. Questo criterio non influisce sulla creazione degli ambienti.

gcloud

L'argomento --kms-key specifica una chiave di crittografia gestita dal cliente per il tuo completamente gestito di Google Cloud.

Per saperne di più sulla creazione di ambienti, consulta Creare ambienti. Ad esempio, potresti voler specificare altri parametri per il tuo ambiente.

gcloud composer environments create ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version IMAGE_VERSION \
  --kms-key projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• IMAGE_VERSION con il nome dell'immagine di Cloud Composer.
• KEY_PROJECT_ID con l'ID del progetto in cui si trova la chiave. Se utilizzi una chiave di un altro progetto, questo valore è diverso da l'ID progetto. Se utilizzi una chiave dello stesso progetto, questo valore è l'ID progetto.
• LOCATION con la regione in cui si trova l'ambiente.
• KEY_LOCATION con la località della chiave gestita dal cliente. Questo deve corrispondere alla località dell'ambiente.
• KEY_NAME con il nome della chiave gestita dal cliente.
• KEY_RING_NAME con il keyring in cui è archiviata la chiave gestita dal cliente.

Esempio:

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-2.8.5-airflow-2.7.3 \
  --kms-key projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key

Visualizza la configurazione della crittografia dell'ambiente

Puoi visualizzare la configurazione della crittografia per un ambiente esistente:

Console

1. Nella console Google Cloud, vai alla pagina Ambienti.

   Vai ad Ambienti

2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

3. Vai alla scheda Configurazione dell'ambiente.

4. I dettagli relativi alla crittografia sono elencati nell'elemento Chiave di crittografia dei dati.

gcloud

Esegui questo comando gcloud per visualizzare la configurazione della crittografia

gcloud composer environments describe \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.encryptionConfig)"

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• LOCATION con la regione in cui si trova l'ambiente.

Esempio:

gcloud composer environments describe \
  example-environment \
  --location us-central1 \
  --format="value(config.encryptionConfig)"

Usa CMEK per i log di Cloud Composer

Cloud Logging supporta la crittografia dell'archiviazione dei log con chiavi CMEK. I nostri suggerimenti per utilizzare la procedura CMEK standard per criptare i log con le chiavi CMEK.

Per criptare i log con le chiavi CMEK, segui le istruzioni descritte in Gestisci le chiavi che proteggono i dati di archiviazione di Logging.

Deprecato: le seguenti istruzioni sul reindirizzamento Log di Cloud Composer a Cloud Storage criptato con CMEK sono deprecati. Se utilizzi questo approccio nel tuo progetto, passare alla crittografia dell'archiviazione dei log con le chiavi CMEK.

Reindirizza i log di Cloud Composer a un bucket Cloud Storage criptato con CMEK

Se prevedi che i log contengano dati sensibili, ti consigliamo reindirizza i log di Cloud Composer a un servizio criptato con CMEK per il bucket Cloud Storage utilizzando Router dei log. In questo modo l'invio dei log a Monitoring.

Se hai bisogno di supporto dall'assistenza clienti Google Cloud, potresti dover concedere a Google dei tecnici dell'assistenza clienti per accedere ai log di Cloud Composer archiviati di archiviazione ideale in Cloud Storage.

Nota: non è possibile escludere i log di controllo. Sono sempre inviati allo spazio di archiviazione predefinito.

gcloud

1. Creare un nuovo bucket Cloud Storage in cui archiviare i log.

   gsutil mb -l LOCATION gs://BUCKET_NAME
   

   Sostituisci:

   • LOCATION con la regione in cui si trova l'ambiente.
   • BUCKET_NAME con il nome del bucket.

   Esempio:

   gsutil mb -l us-central1 gs://composer-logs-us-central1-example-environment
   

2. Cripta il bucket con la tua chiave CMEK.

   gsutil kms encryption \
     -k projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME \
     gs://BUCKET_NAME
   

   Sostituisci:

   • KEY_PROJECT_ID con l'ID del progetto in cui si trova la chiave. Se utilizzi una chiave di un altro progetto, questo valore è diverso da l'ID del tuo progetto. Se utilizzi una chiave dello stesso progetto, questo valore è l'ID del tuo progetto.
   • KEY_LOCATION con la località della chiave gestita dal cliente. Questo deve corrispondere alla località dell'ambiente.
   • KEY_RING_NAME con il keyring in cui è archiviata la chiave gestita dal cliente.
   • KEY_NAME con il nome della chiave gestita dal cliente.
   • BUCKET_NAME con il nome del bucket.

   Esempio:

   gsutil kms encryption \
     -k projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key \
     gs://composer-logs-us-central1-example-environment
   

3. Crea un nuovo sink di log.

   gcloud logging sinks create \
   composer-log-sink-ENVIRONMENT_NAME \
   storage.googleapis.com/BUCKET_NAME \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Sostituisci:

   • ENVIRONMENT_NAME con il nome dell'ambiente.
   • LOCATION con la regione in cui si trova l'ambiente.
   • BUCKET_NAME con il nome del bucket.

   Esempio:

   gcloud logging sinks create \
   composer-log-sink-example-environment \
   storage.googleapis.com/composer-logs-us-central1-example-environment \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

4. Per farlo, concedi il ruolo Creatore oggetti Storage all'account di servizio di sincronizzare la directory di una VM con un bucket. L'account di servizio viene mostrato nel risultato della precedente ).

   gcloud projects add-iam-policy-binding \
     PROJECT_ID \
     --member="serviceAccount:LOGGING_SERVICE_AGENT" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

   Sostituisci:

   • PROJECT_ID con l'ID progetto.
   • LOGGING_SERVICE_AGENT con il servizio Logging un account agente per questo bucket. Il nome di questo account è ottenuto nel passaggio precedente.

   Esempio:

   gcloud projects add-iam-policy-binding \
     example-project \
     --member="serviceAccount:[e-mail]" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

5. Escludi i log per il nuovo ambiente da monitoraggio.

   gcloud beta logging sinks update _Default \
     --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Sostituisci:

   • ENVIRONMENT_NAME con il nome dell'ambiente.
   • LOCATION con la regione in cui si trova l'ambiente.

   Esempio:

   gcloud beta logging sinks update _Default \
     --add-exclusion name=example-environment-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

6. Aggiungi la crittografia CMEK a livello di organizzazione al router dei log.

   gcloud logging cmek-settings describe \
     --organization=ORGANIZATION_ID
   

   gcloud kms keys add-iam-policy-binding \
         --project=KEY_PROJECT_ID \
         --member LOGGING_SERVICE_AGENT \
         --role roles/cloudkms.cryptoKeyEncrypterDecrypter \
         --location=KEY_LOCATION \
         --keyring=KEY_RING_NAME \
         KEY_NAME
   

   gcloud logging cmek-settings update \
     --organization=ORGANIZATION_ID \
     --kms-project=KEY_PROJECT_ID \
     --kms-keyring=KEY_RING_NAME \
     --kms-location=KEY_LOCATION \
     --kms-key-name=KEY_NAME
   

   Sostituisci:

   • ORGANIZATION_ID con il tuo ID organizzazione.
   • KEY_PROJECT_ID con l'ID del progetto in cui si trova la chiave. Se utilizzi una chiave di un altro progetto, questo valore è diverso da l'ID del tuo progetto. Se utilizzi una chiave dello stesso progetto, questo valore è l'ID del tuo progetto.
   • KEY_RING_NAME con il keyring in cui è archiviata la chiave gestita dal cliente.
   • KEY_LOCATION con la località della chiave gestita dal cliente. Questo deve corrispondere alla località dell'ambiente.
   • KEY_NAME con il nome della chiave gestita dal cliente.

Rotazione delle chiavi CMEK per Cloud Composer

Dopo aver configurato la crittografia nel tuo ambiente utilizzando le chiavi CMEK, potrebbe anche valutare la possibilità di ruotare le chiavi su base regolare come descritto nella documentazione di KMS.

Quando ruoti una chiave CMEK, i dati criptati con versioni precedenti della chiave vengono non viene ricriptata automaticamente con la nuova versione della chiave. Per ulteriori informazioni, consulta Ricrittografia dei dati.

Nello specifico, si applica a:

• Oggetti archiviati nel bucket dell'ambiente.
• Cata archiviato nel database Airflow.
• Immagini container archiviate nei repository Artifact Registry.
• Tutti gli altri oggetti dati criptati con CMEK nel nell'ambiente Cloud Composer.

Passaggi successivi

• Panoramica sulla sicurezza
• Crea ambienti