Verschlüsselung mit vom Kunden verwalteten Verschlüsselungsschlüsseln konfigurieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird beschrieben, wie Sie Zu schützende vom Kunden verwaltete Verschlüsselungsschlüssel (CMEKs) Cloud Composer-Umgebungen. Vom Kunden verwaltete Verschlüsselungsschlüssel sind zum Verschlüsseln/Entschlüsseln von Nutzerdaten in der Umgebung.

Hinweise

• Sie können CMEK nur beim Erstellen einer Umgebung konfigurieren. Es ist nicht CMEK für eine vorhandene Umgebung aktiviert werden kann.

• Cloud Composer unterstützt die CMEK-Verschlüsselung mit in externen Schlüsselmanagern gespeicherten Schlüsseln.

• Sie müssen einen CMEK-Schlüssel in derselben Region erstellen, in der sich Ihre Umgebungen befinden befinden. Sie können keine multiregionalen oder globalen Schlüssel verwenden.

• Wenn Ihre Umgebung in einem VPC Service Controls-Perimeter definieren, müssen Sie die Cloud Key Management Service API hinzufügen und die Artifact Registry API mit dem Perimeter verknüpfen.

• Aktivieren Sie die Artifact Registry API.

  Console

  Enable the Artifact Registry API.

  Enable the API

  gcloud

  Enable the Artifact Registry API:

  gcloud services enable artifactregistry.googleapis.com

Nutzerinformationen nicht durch CMEK-Verschlüsselung geschützt

Cloud Monitoring unterstützt keine CMEK-Verschlüsselung. Der Name Ihrer Umgebung und die Namen der DAGs werden in verschlüsselter Form (mithilfe von Google-eigenen und von Google verwalteten Schlüsseln verschlüsselt) in der Monitoring-Datenbank gespeichert.

Cloud Composer speichert die folgenden Informationen geschützt mit Google-eigene und von Google verwaltete Schlüssel, keine vom Kunden verwalteten Schlüssel:

• Name der Umgebung
• Airflow-Konfigurationsüberschreibungen
• Umgebungsvariablen
• Beschreibungen der zulässigen IP-Bereiche
• IP-Bereiche
• Labels
• Die Namen einiger von Cloud Composer gespeicherter Parameter können einen Teilstring des Namens der Umgebung enthalten.

Warnung: Wenn Sie eine Bucket der benutzerdefinierten Umgebung, tut Cloud Composer die Verschlüsselungseinstellungen des von Ihnen angegebenen Buckets nicht geändert. nicht mit einem CMEK-Schlüssel verschlüsseln (auch wenn die Richtlinien des Projekts Verschlüsselung erforderlich). Insbesondere wird die Verschlüsselung des benutzerdefinierten Buckets nicht geändert, wenn in Ihrer Umgebung die CMEK-Verschlüsselung verwendet wird. Ihr benutzerdefinierter Bucket folgt Richtlinien des Projekts, zu dem es gehört. Sie können den Bucket der Umgebung manuell mit CMEK-Schlüsseln verschlüsseln, bevor Sie eine Umgebung erstellen.

Einen vom Kunden verwalteten Verschlüsselungsschlüssel für Ihre Umgebung verwenden

Warnung: Wenn Sie eine Umgebung mit einem vom Kunden verwalteten Verschlüsselungsschlüssel erstellen und den Schlüssel später deaktivieren oder löschen, wird die Umgebung unbrauchbar. Es ist eine Umgebung nicht wiederherzustellen, wenn deren Verschlüsselungsschlüssel gelöscht wurde. deaktiviert oder deaktiviert ist.

Schritt 1: Vom Kunden verwalteten Verschlüsselungsschlüssel erstellen

Führen Sie die Schritte unter Symmetrische Verschlüsselungsschlüssel erstellen aus, um einen Schlüssel in der Region zu erstellen, in der sich Ihre Umgebung befindet.

Schritt 2: Dienst-Agents Rollen zuweisen

Wichtig: Wenn Ihr Projekt eine Richtlinie für die domaineingeschränkte Freigabe hat, die Adressen aus der Domain google.com ausschließt. Bitte deaktivieren (oder erweitern) Sie diese Richtlinie, um Dienst-Agents die erforderlichen Rollen zu gewähren. Nachdem Sie die Rollen gewährt haben, können Sie die Richtlinienänderungen rückgängig machen. Diese Richtlinie tut dies keine Auswirkungen auf die Erstellung von Umgebungen haben.

Console

Diesen Schritt überspringen. Sie erteilen Berechtigungen für Dienst-Agents, wenn Sie einen Schlüssel für Ihre Umgebung angeben.

gcloud

Für die folgenden Dienst-Agents müssen folgende Voraussetzungen erfüllt sein: Cloud KMS CryptoKey Encrypter/Decrypter für den Schlüssel, den Sie für Ihre Umgebung verwenden.

Ersetzen Sie PROJECT_NUMBER durch die Projektnummer.

Name des Dienst-Agents	E-Mail-Adresse des Dienstkontos	API-Dienstname
Cloud Composer-Dienst-Agent	[e-mail]	composer.googleapis.com
Artifact Registry-Dienst-Agent	[e-mail]	artifactregistry.googleapis.com
Kubernetes Engine-Dienst-Agent	[e-mail]	container.googleapis.com
Pub/Sub-Dienst-Agent	[e-mail]	pubsub.googleapis.com
Compute Engine-Dienst-Agent	[e-mail]	compute.googleapis.com
Cloud Storage Service Agent	[e-mail]	Verschlüsselungs-/Entschlüsselungsberechtigungen mit gcloud storage service-agent --authorize-cmek gewähren

1. Falls erforderlich: Wenn einige dieser Dienstkonten nicht in Ihrem wird für diesen Dienst noch keine Identität erstellt. Das kann beispielsweise passieren, wenn Sie in Ihrem Projekt noch keine Cloud Composer-Umgebungen erstellt haben.

   Um diese Dienstkonten hinzuzufügen, erstellen Sie mit dem folgenden Befehl Identitäten für die aufgeführten Dienste:

   gcloud beta services identity create \
     --service=API_SERVICE_NAME
   

   Ersetzen Sie API_SERVICE_NAME durch den API-Dienstnamen eines Dienstes, der kein Dienstkonto in Ihrem Projekt hat.

   Beispiel:

   gcloud beta services identity create \
     --service=composer.googleapis.com
   

2. Gewähren Sie Dienst-Agents Berechtigungen:

   1. Gewähren Sie dem Cloud Composer-Dienst-Agent die Rolle:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   2. Gewähren Sie dem Artifact Registry-Dienst-Agent die Rolle:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   3. Weisen Sie dem GKE-Dienst-Agent die Rolle zu:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   4. Gewähren Sie dem Pub/Sub-Dienst-Agent die Rolle:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   5. Weisen Sie die Rolle dem Compute Engine Service-Agent zu:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   6. Gewähren Sie dem Cloud Storage-Dienst-Agent Berechtigungen zum Verschlüsseln und Entschlüsseln. Sie können diesen Schritt überspringen, wenn Sie den Bucket einer benutzerdefinierten Umgebung verwenden.

      gcloud storage service-agent \
        --authorize-cmek=projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
      

   Ersetzen Sie:

   • PROJECT_ID durch die Projekt-ID.
   • KEY_PROJECT_ID durch die ID des Projekts, in dem Ihr kundenverwalteter Schlüssel gespeichert ist. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich von der Projekt-ID. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist dies die ID Ihres Projekts.
   • PROJECT_NUMBER mit deinem Nummer des Projekts.
   • KEY_LOCATION mit dem Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieser Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
   • KEY_NAME durch den Namen des vom Kunden verwalteten Schlüssels.
   • KEY_RING_NAME durch den Schlüsselbund, der Ihren vom Kunden verwalteten Schlüssel speichert.

   Sie können die Befehle gcloud projects describe, gcloud kms keyrings list und gcloud kms keys describe ausführen, um diese Werte zu erhalten.

Schritt 3: Umgebung mit CMEK erstellen

Nachdem Sie einen vom Kunden verwalteten Verschlüsselungsschlüssel erstellt haben, können Sie Folgendes verwenden: um Cloud Composer-Umgebungen zu erstellen.

Console

Wenn Sie eine Umgebung erstellen:

1. Wählen Sie im Abschnitt Datenverschlüsselung die Option Vom Kunden verwalteter Verschlüsselungsschlüssel (CMEK) aus.

2. Wählen Sie in der Drop-down-Liste Wählen Sie einen vom Kunden verwalteten Schlüssel aus Ihren Schlüssel aus.

3. Wenn eine zusätzliche Einrichtung erforderlich ist, wird eine Meldung angezeigt. In diesem Fall:

   1. Klicken Sie auf Assistenten öffnen.

   2. Legen Sie im Abschnitt CMEK-Schlüssel für die Verwendung in Cloud Composer vorbereiten fest. Dialogfeld, um die Liste der Dienst-Agents anzusehen die die Rolle Cloud KMS CryptoKey Encrypter/Decrypter haben müssen auf dem Schlüssel.

   3. Klicken Sie auf Erteilen, um die erforderlichen Rollen und Berechtigungen zu gewähren.

   Wichtig: Wenn Ihr Projekt eine Domaineingeschränkte Freigabe , die Adressen der Domain google.com ausschließt. Bitte deaktivieren (oder erweitern) Sie diese Richtlinie, um Dienst-Agents die erforderlichen Rollen zu gewähren. Nachdem Sie die Rollen gewährt haben, können Sie die Richtlinienänderungen rückgängig machen. Diese Richtlinie hat keine Auswirkungen auf die Erstellung von Umgebungen.

gcloud

Das Argument --kms-key gibt einen vom Kunden verwalteten Verschlüsselungsschlüssel für Ihr zu verbessern.

Weitere Informationen zum Erstellen von Umgebungen finden Sie unter Umgebungen erstellen. Beispielsweise können Sie andere Parameter für Ihre Umgebung angeben.

gcloud composer environments create ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version IMAGE_VERSION \
  --kms-key projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• IMAGE_VERSION durch den Namen des Cloud Composer-Images.
• KEY_PROJECT_ID durch die ID des Projekts, in dem sich der Schlüssel befindet. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von Ihrem Projekt-ID. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist dies die ID Ihres Projekts.
• LOCATION durch die Region, in der sich die Umgebung befindet.
• KEY_LOCATION durch den Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieser Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
• KEY_NAME durch den Namen des vom Kunden verwalteten Schlüssels.
• KEY_RING_NAME durch den Schlüsselbund, der Ihren vom Kunden verwalteten Schlüssel speichert.

Beispiel:

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-2.9.7-airflow-2.9.3 \
  --kms-key projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key

Verschlüsselungskonfiguration der Umgebung aufrufen

Sie können die Verschlüsselungskonfiguration für eine vorhandene Umgebung aufrufen:

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Details zur Verschlüsselung finden Sie unter Datenverschlüsselungsschlüssel.

gcloud

Führen Sie den folgenden gcloud-Befehl aus, um die Verschlüsselungskonfiguration aufzurufen:

gcloud composer environments describe \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.encryptionConfig)"

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.

Beispiel:

gcloud composer environments describe \
  example-environment \
  --location us-central1 \
  --format="value(config.encryptionConfig)"

CMEK für Cloud Composer-Logs verwenden

Cloud Logging unterstützt die Verschlüsselung des Protokollspeichers mit CMEK-Schlüsseln. Wir empfehlen, zum Verschlüsseln von Protokollen mit CMEK-Schlüsseln das standardmäßige CMEK-Verfahren zu verwenden.

Folgen Sie der Anleitung unter Schlüssel zum Schutz von Protokollspeicherdaten verwalten, um Protokolle mit CMEK-Schlüsseln zu verschlüsseln.

Eingestellt: Die folgende Anleitung zur Weiterleitung Cloud Composer-Logs in einen CMEK-verschlüsselten Cloud Storage Buckets wurden verworfen. Wenn Sie diesen Ansatz in Ihrem Projekt verwenden, stattdessen zum Verschlüsseln des Logspeichers mit CMEK-Schlüsseln wechseln.

Cloud Composer-Logs an einen CMEK-verschlüsselten Cloud Storage-Bucket weiterleiten

Wenn Sie davon ausgehen, dass die Logs sensible Daten enthalten, sollten Sie Cloud Composer-Logs an einen CMEK-verschlüsselten weiterleiten Cloud Storage-Bucket mithilfe von Logrouter. Andernfalls wird Ihre Logs an Monitoring gesendet werden.

Wenn Sie Support vom Cloud Customer Care benötigen, müssen Sie möglicherweise Google-Supporttechnikern Zugriff auf die in Cloud Storage gespeicherten Cloud Composer-Logs gewähren.

Hinweis: Audit-Logs können nicht ausgeschlossen werden. Sie werden immer an den Standardspeicher gesendet.

gcloud

1. Erstellen Sie einen neuen Cloud Storage-Bucket zum Speichern der Protokolle.

   gcloud storage buckets create gs://BUCKET_NAME --location=LOCATION
   

   Ersetzen Sie:

   • LOCATION durch die Region, in der sich die Umgebung befindet.
   • BUCKET_NAME durch den Namen des Buckets.

   Beispiel:

   gcloud storage buckets create gs://composer-logs-us-central1-example-environment --location=us-central1
   

2. Verschlüsseln Sie den Bucket mit Ihrem CMEK-Schlüssel.

   gcloud storage buckets update gs://BUCKET_NAME \
     --default-encryption-key=projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

   Ersetzen Sie:

   • KEY_PROJECT_ID durch die ID des Projekts, in dem sich der Schlüssel befindet. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von Ihre Projekt-ID ein. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist die ID Ihres Projekts.
   • KEY_LOCATION durch den Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieses Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
   • KEY_RING_NAME durch den Schlüsselbund, der Ihren vom Kunden verwalteten Schlüssel speichert.
   • KEY_NAME durch den vom Kunden verwalteten Schlüsselnamen.
   • BUCKET_NAME durch den Namen des Buckets.

   Beispiel:

   gcloud storage buckets update gs://composer-logs-us-central1-example-environment \
     --default-encryption-key=projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key
   

3. Erstellen Sie eine neue Logsenke.

   gcloud logging sinks create \
   composer-log-sink-ENVIRONMENT_NAME \
   storage.googleapis.com/BUCKET_NAME \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Ersetzen Sie:

   • ENVIRONMENT_NAME durch den Namen der Umgebung.
   • LOCATION durch die Region, in der sich die Umgebung befindet.
   • BUCKET_NAME durch den Namen des Buckets.

   Beispiel:

   gcloud logging sinks create \
   composer-log-sink-example-environment \
   storage.googleapis.com/composer-logs-us-central1-example-environment \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

4. Weisen Sie dem Dienstkonto für diesen Bucket die Rolle Storage-Objekt-Ersteller zu. Das Dienstkonto wird im Ergebnis der vorherigen .

   gcloud projects add-iam-policy-binding \
     PROJECT_ID \
     --member="serviceAccount:LOGGING_SERVICE_AGENT" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

   Ersetzen Sie:

   • PROJECT_ID durch die Projekt-ID.
   • LOGGING_SERVICE_AGENT mit dem Logging-Dienst Agent-Konto für diesen Bucket. Der Name dieses Kontos wird abgerufen zum vorherigen Schritt.

   Beispiel:

   gcloud projects add-iam-policy-binding \
     example-project \
     --member="serviceAccount:[e-mail]" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

5. Schließen Sie die Logs für die neue Umgebung vom Monitoring aus.

   gcloud beta logging sinks update _Default \
     --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Ersetzen Sie:

   • ENVIRONMENT_NAME durch den Namen der Umgebung.
   • LOCATION durch die Region, in der sich die Umgebung befindet.

   Beispiel:

   gcloud beta logging sinks update _Default \
     --add-exclusion name=example-environment-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

6. Fügen Sie dem Log-Router die CMEK-Verschlüsselung auf Organisationsebene hinzu.

   gcloud logging cmek-settings describe \
     --organization=ORGANIZATION_ID
   

   gcloud kms keys add-iam-policy-binding \
         --project=KEY_PROJECT_ID \
         --member LOGGING_SERVICE_AGENT \
         --role roles/cloudkms.cryptoKeyEncrypterDecrypter \
         --location=KEY_LOCATION \
         --keyring=KEY_RING_NAME \
         KEY_NAME
   

   gcloud logging cmek-settings update \
     --organization=ORGANIZATION_ID \
     --kms-project=KEY_PROJECT_ID \
     --kms-keyring=KEY_RING_NAME \
     --kms-location=KEY_LOCATION \
     --kms-key-name=KEY_NAME
   

   Ersetzen Sie:

   • ORGANIZATION_ID durch Ihre Organisations-ID.
   • KEY_PROJECT_ID durch die ID des Projekts, in dem sich der Schlüssel befindet. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von Ihre Projekt-ID ein. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist die ID Ihres Projekts.
   • KEY_RING_NAME durch den Schlüsselbund, der Ihren vom Kunden verwalteten Schlüssel speichert.
   • KEY_LOCATION durch den Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieses Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
   • KEY_NAME durch den vom Kunden verwalteten Schlüsselnamen.

Rotation von CMEK-Schlüsseln für Cloud Composer

Nachdem Sie die Verschlüsselung in Ihrer Umgebung mit CMEK-Schlüsseln konfiguriert haben, sollten Sie diese Schlüssel regelmäßig wechseln, wie in der KMS-Dokumentation beschrieben.

Wenn Sie einen CMEK-Schlüssel rotieren, werden Daten, die mit früheren Schlüsselversionen verschlüsselt sind, nicht automatisch mit der neuen Schlüsselversion neu verschlüsselt. Weitere Informationen finden Sie unter Daten neu verschlüsseln.

Dies gilt insbesondere für:

• Im Bucket der Umgebung gespeicherte Objekte.
• In der Airflow-Datenbank gespeicherte Kataloge
• In Artifact Registry-Repositories gespeicherte Container-Images.
• Alle anderen Datenobjekte, die mit CMEK in der Cloud Composer-Umgebung.

Nächste Schritte

• Sicherheit
• Umgebungen erstellen