Cloud Composer 1 befindet sich im Modus nach der Wartung. Google veröffentlicht keine weiteren Updates für Cloud Composer 1, einschließlich neuer Versionen von Airflow, Fehlerkorrekturen und Sicherheitsupdates. Wir empfehlen die Migration zu Cloud Composer 2.

Diese Seite wurde von der Cloud Translation API übersetzt.

Verschlüsselung mit vom Kunden verwalteten Verschlüsselungsschlüsseln konfigurieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird beschrieben, wie Sie mit vom Kunden verwalteten Verschlüsselungsschlüsseln (CMEK) Cloud Composer-Umgebungen schützen. Vom Kunden verwaltete Verschlüsselungsschlüssel sind zum Verschlüsseln/Entschlüsseln von Nutzerdaten in der Umgebung.

Hinweis

Sie können CMEK nur beim Erstellen einer Umgebung konfigurieren. CMEK kann nicht für eine vorhandene Umgebung aktiviert werden.
Cloud Composer unterstützt die CMEK-Verschlüsselung mit Schlüssel, die in externen Schlüsselverwaltungssystemen gespeichert sind.
Sie müssen einen CMEK-Schlüssel in derselben Region erstellen, in der sich Ihre Umgebungen befinden befinden. Sie können keine multiregionalen oder globalen Schlüssel verwenden.
Wenn Ihre Umgebung in einem VPC Service Controls-Perimeter ausgeführt werden soll, müssen Sie die Cloud Key Management Service API und die Artifact Registry API hinzufügen.
Aktivieren Sie die Artifact Registry API.
Console

Enable the Artifact Registry API.
Enable the API
gcloud

Enable the Artifact Registry API:
```
gcloud services enable artifactregistry.googleapis.com
```

Nutzerdaten, die nicht mit CMEK-Verschlüsselung geschützt sind

Cloud Monitoring unterstützt keine CMEK-Verschlüsselung. Der Name Ihres und die Namen der DAGs im in verschlüsselter Form mit Schlüsseln, die Google gehören und von Google verwaltet werden.

In Cloud Composer werden die folgenden Informationen mit von Google verwalteten Schlüsseln geschützt, nicht mit kundenverwalteten Schlüsseln:

Name der Umgebung
Airflow-Konfigurationsüberschreibungen
Umgebungsvariablen
Beschreibungen der zulässigen IP-Bereiche
IP-Bereiche
Labels
Die Namen einiger von Cloud Composer gespeicherter Parameter können einen Teilstring des Namens der Umgebung enthalten.

Vom Kunden verwalteten Verschlüsselungsschlüssel für Ihre Umgebung verwenden

Schritt 1: Vom Kunden verwalteten Verschlüsselungsschlüssel erstellen

Folgen Sie der Anleitung in Sympathische Verschlüsselungsschlüssel erstellen, um einen Schlüssel im Region, in der sich Ihre Umgebung befindet.

Schritt 2: Dienst-Agents Rollen zuweisen

Console

Diesen Schritt überspringen. Sie erteilen Berechtigungen für Dienst-Agents, wenn Sie einen Schlüssel für Ihre Umgebung angeben.

gcloud

Die folgenden Dienst-Agents müssen die Rolle Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler für den Schlüssel haben, den Sie für Ihre Umgebung verwenden.

Ersetzen Sie PROJECT_NUMBER durch Ihren Nummer des Projekts.

Name des Dienst-Agents	E-Mail-Adresse des Dienstkontos	Name des API-Dienstes
Cloud Composer-Dienst-Agent	service-`PROJECT_NUMBER`@cloudcomposer-accounts.iam.gserviceaccount.com	composer.googleapis.com
Artifact Registry-Dienst-Agent	service-`PROJECT_NUMBER`@gcp-sa-artifactregistry.iam.gserviceaccount.com	artifactregistry.googleapis.com
Kubernetes Engine-Dienst-Agent	service-`PROJECT_NUMBER`@container-engine-robot.iam.gserviceaccount.com	container.googleapis.com
Pub/Sub-Dienst-Agent	service-`PROJECT_NUMBER`@gcp-sa-pubsub.iam.gserviceaccount.com	pubsub.googleapis.com
Compute Engine-Dienst-Agent	service-`PROJECT_NUMBER`@compute-system.iam.gserviceaccount.com	compute.googleapis.com
Cloud Storage Service Agent	service-`PROJECT_NUMBER`@gs-project-accounts.iam.gserviceaccount.com	Verschlüsselungs-/Entschlüsselungsberechtigungen mit `gcloud storage service-agent --authorize-cmek` gewähren

(Optional) Wenn einige dieser Dienstkonten in Ihrem Projekt nicht vorhanden sind, bedeutet das, dass für diesen Dienst noch keine Identität erstellt wurde. Das kann beispielsweise passieren, wenn Sie in Ihrem Projekt noch keine Cloud Composer-Umgebungen erstellt haben.

Wenn Sie diese Dienstkonten hinzufügen möchten, erstellen Sie mit dem folgenden Befehl Identitäten für die aufgeführten Dienste:
```
gcloud beta services identity create \
  --service=API_SERVICE_NAME
```
Ersetzen Sie API_SERVICE_NAME durch den API-Dienstname eines Dienstes für die in Ihrem Projekt kein Dienstkonto vorhanden ist.

Beispiel:
```
gcloud beta services identity create \
  --service=composer.googleapis.com
```

Gewähren Sie Dienst-Agents Berechtigungen:

Weisen Sie dem Cloud Composer-Dienst-Agent die Rolle zu:

gcloud kms keys add-iam-policy-binding KEY_NAME \
  --location KEY_LOCATION \
  --keyring KEY_RING_NAME \
  --member=serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com \
  --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
  --project KEY_PROJECT_ID

Weisen Sie die Rolle dem Artifact Registry-Dienst-Agent zu:

gcloud kms keys add-iam-policy-binding KEY_NAME \
  --location KEY_LOCATION \
  --keyring KEY_RING_NAME \
  --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-artifactregistry.iam.gserviceaccount.com \
  --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
  --project KEY_PROJECT_ID

Gewähren Sie dem GKE-Dienst-Agent die Rolle:

gcloud kms keys add-iam-policy-binding KEY_NAME \
  --location KEY_LOCATION \
  --keyring KEY_RING_NAME \
  --member=serviceAccount:service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com \
  --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
  --project KEY_PROJECT_ID

Gewähren Sie dem Pub/Sub-Dienst-Agent die Rolle:

gcloud kms keys add-iam-policy-binding KEY_NAME \
  --location KEY_LOCATION \
  --keyring KEY_RING_NAME \
  --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
  --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
  --project KEY_PROJECT_ID

Gewähren Sie dem Compute Engine-Dienst-Agent die Rolle:

gcloud kms keys add-iam-policy-binding KEY_NAME \
  --location KEY_LOCATION \
  --keyring KEY_RING_NAME \
  --member=serviceAccount:service-PROJECT_NUMBER@compute-system.iam.gserviceaccount.com \
  --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
  --project KEY_PROJECT_ID

Gewähren Sie Berechtigungen zum Verschlüsseln/Entschlüsseln für Cloud Storage-Dienst-Agent. Sie können diesen Schritt überspringen, wenn Sie Bucket einer benutzerdefinierten Umgebung
```
gcloud storage service-agent \
  --authorize-cmek=projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
```

Ersetzen Sie:

PROJECT_ID mit deinem Projekt-ID.
KEY_PROJECT_ID durch die ID des Projekts, in dem Ihr vom Kunden verwalteten Schlüssel. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von der ID Ihres Projekts. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist dies die ID Ihres Projekts.
PROJECT_NUMBER mit deinem Nummer des Projekts.
KEY_LOCATION durch den vom Kunden verwalteten Speicherort des Schlüssels. Dieser Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
KEY_NAME durch den Namen des vom Kunden verwalteten Schlüssels.
KEY_RING_NAME mit dem Schlüsselbund, in dem Ihr vom Kunden verwalteter Schlüssel gespeichert ist.

Zum Abrufen dieser Werte können Sie gcloud projects describe ausführen, gcloud kms keyrings list- und gcloud kms keys describe-Befehle.

Schritt 3: Umgebung mit CMEK erstellen

Nachdem Sie einen vom Kunden verwalteten Verschlüsselungsschlüssel erstellt haben, können Sie damit Cloud Composer-Umgebungen erstellen.

Console

Wenn Sie eine Umgebung erstellen, gilt Folgendes:

Wählen Sie im Abschnitt Datenverschlüsselung die Option Vom Kunden verwalteter Verschlüsselungsschlüssel (CMEK) aus.
Wählen Sie in der Drop-down-Liste Vom Kunden verwalteten Schlüssel auswählen den Schlüssel aus.
Falls eine zusätzliche Einrichtung erforderlich ist, werden Sie in einer Meldung darüber informiert. In diesem Fall:
1. Klicken Sie auf Assistenten öffnen.
2. Legen Sie im Abschnitt CMEK-Schlüssel für die Verwendung in Cloud Composer vorbereiten fest. Dialogfeld, um die Liste der Dienst-Agents anzusehen der die Rolle Cloud KMS CryptoKey Encrypter/Decrypter haben muss auf dem Schlüssel.
3. Klicken Sie auf Zuweisen, um die erforderlichen Rollen und Berechtigungen zu gewähren.
Wichtig: Wenn Ihr Projekt eine Richtlinie für die domaineingeschränkte Freigabe hat, die Adressen aus der Domain google.com ausschließt. Sie müssen diese Richtlinie deaktivieren oder erweitern, um den Kundenservicemitarbeitern die erforderlichen Rollen zuzuweisen. Nachdem Sie die Rollen gewährt haben, können Sie die Richtlinienänderungen rückgängig machen. Diese Richtlinie tut dies keine Auswirkungen auf die Erstellung von Umgebungen haben.

gcloud

Das Argument --kms-key gibt einen vom Kunden verwalteten Verschlüsselungsschlüssel für Ihr zu verbessern.

Weitere Informationen zum Erstellen von Umgebungen finden Sie unter Umgebungen erstellen. Sie können beispielsweise andere Parameter für Ihre Umgebung angeben.

gcloud composer environments create ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version IMAGE_VERSION \
  --kms-key projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Ersetzen Sie:

ENVIRONMENT_NAME durch den Namen der Umgebung.
IMAGE_VERSION durch den Namen des Cloud Composer-Images.
KEY_PROJECT_ID durch die ID des Projekts, in dem sich der Schlüssel befindet. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von der ID Ihres Projekts. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist dieser Wert Ihr Projekt-ID.
LOCATION durch die Region, in der sich die Umgebung befindet.
KEY_LOCATION durch den Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieses Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
KEY_NAME durch den Namen des vom Kunden verwalteten Schlüssels.
KEY_RING_NAME durch den Schlüsselbund, der Ihren vom Kunden verwalteten Schlüssel speichert.

Beispiel:

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-2.9.6-airflow-2.9.1 \
  --kms-key projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key

Verschlüsselungskonfiguration der Umgebung ansehen

Sie können die Verschlüsselungskonfiguration für eine vorhandene Umgebung aufrufen:

Console

Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

Zur Seite Umgebungen
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Details zur Verschlüsselung finden Sie unter Datenverschlüsselungsschlüssel.

gcloud

Führen Sie den folgenden gcloud-Befehl aus, um die Verschlüsselungskonfiguration aufzurufen:

gcloud composer environments describe \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.encryptionConfig)"

Ersetzen Sie:

ENVIRONMENT_NAME durch den Namen der Umgebung.
LOCATION durch die Region, in der sich die Umgebung befindet.

Beispiel:

gcloud composer environments describe \
  example-environment \
  --location us-central1 \
  --format="value(config.encryptionConfig)"

CMEK für Cloud Composer-Logs verwenden

Cloud Logging unterstützt die Verschlüsselung des Protokollspeichers mit CMEK-Schlüsseln. Wir empfehlen, zum Verschlüsseln von Protokollen mit CMEK-Schlüsseln das standardmäßige CMEK-Verfahren zu verwenden.

Zum Verschlüsseln von Logs mit CMEK-Schlüsseln folgen Sie der Anleitung unter Schlüssel zum Schutz der Speicherdaten in Logging verwalten

Cloud Composer-Logs an einen CMEK-verschlüsselten Cloud Storage-Bucket weiterleiten

Wenn Sie davon ausgehen, dass Ihre Logs sensible Daten enthalten, können Sie Cloud Composer-Logs mithilfe des Log-Routers an einen CMEK-verschlüsselten Cloud Storage-Bucket weiterleiten. Dadurch wird verhindert, dass Ihre Logs an Monitoring gesendet werden.

Wenn Sie Support von Cloud Customer Care benötigen, müssen Sie möglicherweise Google Supportentwickler auf die Cloud Composer-Logs zugreifen, die in Cloud Storage

gcloud

Erstellen Sie einen neuen Cloud Storage-Bucket zum Speichern der Protokolle.
```
gcloud storage buckets create gs://BUCKET_NAME --location=LOCATION
```
Ersetzen Sie:
- LOCATION durch die Region, in der sich die Umgebung befindet.
- BUCKET_NAME durch den Namen des Buckets.
Beispiel:
```
gcloud storage buckets create gs://composer-logs-us-central1-example-environment --location=us-central1
```
Verschlüsseln Sie den Bucket mit Ihrem CMEK-Schlüssel.
```
gcloud storage buckets update gs://BUCKET_NAME \
  --default-encryption-key=projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
```
Ersetzen Sie:
- KEY_PROJECT_ID durch die ID des Projekts, in dem sich der Schlüssel befindet. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von der ID Ihres Projekts. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist die ID Ihres Projekts.
- KEY_LOCATION durch den Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieses Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
- KEY_RING_NAME mit dem Schlüsselbund, in dem Ihr vom Kunden verwalteter Schlüssel gespeichert ist.
- KEY_NAME durch den vom Kunden verwalteten Schlüsselnamen.
- BUCKET_NAME durch den Namen des Buckets.
Beispiel:
```
gcloud storage buckets update gs://composer-logs-us-central1-example-environment \
  --default-encryption-key=projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key
```

Erstellen Sie eine neue Logsenke.

gcloud logging sinks create \
composer-log-sink-ENVIRONMENT_NAME \
storage.googleapis.com/BUCKET_NAME \
--log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"

Ersetzen Sie:

ENVIRONMENT_NAME durch den Namen der Umgebung.
LOCATION durch die Region, in der sich die Umgebung befindet.
BUCKET_NAME durch den Namen des Buckets.

Beispiel:

gcloud logging sinks create \
composer-log-sink-example-environment \
storage.googleapis.com/composer-logs-us-central1-example-environment \
--log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"

Weisen Sie dem Dienstkonto für diesen Bucket die Rolle Storage-Objekt-Ersteller zu. Das Dienstkonto wird im Ergebnis der vorherigen .

gcloud projects add-iam-policy-binding \
  PROJECT_ID \
  --member="serviceAccount:LOGGING_SERVICE_AGENT" \
  --role="roles/storage.objectCreator" \
  --condition=None

Ersetzen Sie:

PROJECT_ID durch die Projekt-ID.
LOGGING_SERVICE_AGENT mit dem Logging-Dienst Agent-Konto für diesen Bucket. Der Name dieses Kontos wird im vorherigen Schritt abgerufen.

Beispiel:

gcloud projects add-iam-policy-binding \
  example-project \
  --member="serviceAccount:example-sa@gcp-sa-logging.iam.gserviceaccount.com" \
  --role="roles/storage.objectCreator" \
  --condition=None

Logs für die neue Umgebung ausschließen von Monitoring

gcloud beta logging sinks update _Default \
  --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"

Ersetzen Sie:

ENVIRONMENT_NAME durch den Namen der Umgebung.
LOCATION durch die Region, in der sich die Umgebung befindet.

Beispiel:

gcloud beta logging sinks update _Default \
  --add-exclusion name=example-environment-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"

Fügen Sie dem Log-Router die CMEK-Verschlüsselung auf Organisationsebene hinzu.
```
gcloud logging cmek-settings describe \
  --organization=ORGANIZATION_ID
```
```
gcloud kms keys add-iam-policy-binding \
      --project=KEY_PROJECT_ID \
      --member LOGGING_SERVICE_AGENT \
      --role roles/cloudkms.cryptoKeyEncrypterDecrypter \
      --location=KEY_LOCATION \
      --keyring=KEY_RING_NAME \
      KEY_NAME
```
```
gcloud logging cmek-settings update \
  --organization=ORGANIZATION_ID \
  --kms-project=KEY_PROJECT_ID \
  --kms-keyring=KEY_RING_NAME \
  --kms-location=KEY_LOCATION \
  --kms-key-name=KEY_NAME
```
Ersetzen Sie:
- ORGANIZATION_ID durch Ihre Organisations-ID.
- KEY_PROJECT_ID durch die ID des Projekts, in dem sich der Schlüssel befindet. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von der ID Ihres Projekts. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist die ID Ihres Projekts.
- KEY_RING_NAME mit dem Schlüsselbund, in dem Ihr vom Kunden verwalteter Schlüssel gespeichert ist.
- KEY_LOCATION durch den Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieses Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
- KEY_NAME durch den vom Kunden verwalteten Schlüsselnamen.

Rotation von CMEK-Schlüsseln für Cloud Composer

Nachdem Sie die Verschlüsselung in Ihrer Umgebung mit CMEK-Schlüsseln konfiguriert haben, sollten Sie diese Schlüssel regelmäßig wechseln, wie in der KMS-Dokumentation beschrieben.

Wenn Sie einen CMEK-Schlüssel rotieren, werden Daten, die mit früheren Schlüsselversionen verschlüsselt sind, nicht automatisch mit der neuen Schlüsselversion neu verschlüsselt. Weitere Informationen finden Sie unter Daten neu verschlüsseln.

Dies gilt insbesondere für:

Objekte, die im Bucket der Umgebung gespeichert sind.
In der Airflow-Datenbank gespeicherte Kataloge.
Container-Images, die in Artifact Registry-Repositories gespeichert sind.
Alle anderen Datenobjekte, die in der Cloud Composer-Umgebung mit CMEK verschlüsselt sind.

Verschlüsselung mit vom Kunden verwalteten Verschlüsselungsschlüsseln konfigurieren

Hinweis

Console

gcloud

Nutzerdaten, die nicht mit CMEK-Verschlüsselung geschützt sind

Vom Kunden verwalteten Verschlüsselungsschlüssel für Ihre Umgebung verwenden

Schritt 1: Vom Kunden verwalteten Verschlüsselungsschlüssel erstellen

Schritt 2: Dienst-Agents Rollen zuweisen

Console

gcloud

Schritt 3: Umgebung mit CMEK erstellen

Console

gcloud

Verschlüsselungskonfiguration der Umgebung ansehen

Console

gcloud

CMEK für Cloud Composer-Logs verwenden

Cloud Composer-Logs an einen CMEK-verschlüsselten Cloud Storage-Bucket weiterleiten

gcloud

Rotation von CMEK-Schlüsseln für Cloud Composer

Nächste Schritte