Cloud Composer 1 | Cloud Composer 2
En esta página, se describe cómo usar claves de encriptación administradas por el cliente (CMEK) para proteger los entornos de Cloud Composer. Las claves de encriptación administradas por el cliente se usan para encriptar o desencriptar datos del usuario en el entorno.
Antes de comenzar
Solo puedes configurar CMEK cuando creas un entorno. No es posible habilitar CMEK para un entorno existente.
Cloud Composer admite la encriptación de CMEK con claves almacenadas en administradores de claves externos.
Debes crear una clave CMEK en la misma región en la que se encuentran tus entornos. No puedes usar claves multirregionales o globales.
Si quieres que el entorno se ejecute dentro de un perímetro de los Controles del servicio de VPC, debes agregar la API de Cloud Key Management Service y la API de Artifact Registry al perímetro.
Habilita la API de Artifact Registry.
Console
Enable the Artifact Registry API.
gcloud
Enable the Artifact Registry API:
gcloud services enable artifactregistry.googleapis.com
La información del usuario no está protegida con la encriptación CMEK
Cloud Monitoring no admite la encriptación con CMEK. El nombre de tu entorno y los nombres de los DAG se almacenan en la base de datos de Monitoring de forma encriptada con claves de encriptación administradas por Google.
Cloud Composer almacena la siguiente información protegida con claves administradas por Google, no con claves administradas por el cliente:
- Nombre del entorno
- Anulaciones de configuración de Airflow
- Variables de entorno
- Descripciones de los rangos de IP permitidos
- Rangos de IP
- Etiquetas
- Los nombres de algunos parámetros que almacena Cloud Composer pueden incluir una subcadena del nombre del entorno.
Usa una clave de encriptación administrada por el cliente para tu entorno
Paso 1: Crea una clave de encriptación administrada por el cliente
Sigue los pasos descritos en Crea claves de encriptación simétricas para crear una clave en la región en la que se encuentra tu entorno.
Paso 2: Otorga roles a agentes de servicio
Console
Omite este paso. Cuando especificas una clave para tu entorno, otorgas permisos a los agentes de servicio.
gcloud
Los siguientes agentes de servicio deben tener la función de encriptador o desencriptador de CryptoKey de Cloud KMS en la clave que usas para tu entorno.
Reemplaza PROJECT_NUMBER
por el número de tu proyecto.
Nombre del agente de servicio | Correo electrónico de la cuenta de servicio | Nombre del servicio de la API |
---|---|---|
Agente de servicio de Cloud Composer | service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com | composer.googleapis.com |
Agente de servicio de Artifact Registry | service-PROJECT_NUMBER@gcp-sa-artifactregistry.iam.gserviceaccount.com | artifactregistry.googleapis.com |
Agente de servicio de Kubernetes Engine | service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com | container.googleapis.com |
Agente de servicio de Pub/Sub | service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com | pubsub.googleapis.com |
Agente de servicio de Compute Engine | service-PROJECT_NUMBER@compute-system.iam.gserviceaccount.com | compute.googleapis.com |
Agente de servicio de Cloud Storage | service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com | Otorga permisos de encriptación y desencriptación con gsutil kms authorize |
Si algunas de estas cuentas de servicio no están presentes en el proyecto, significa que aún no se creó una identidad para este servicio (si es necesario). Esto puede ocurrir, por ejemplo, si aún no creaste entornos de Cloud Composer en tu proyecto.
A fin de agregar estas cuentas de servicio, crea identidades para los servicios enumerados con el siguiente comando:
gcloud beta services identity create \ --service=API_SERVICE_NAME
Reemplaza
API_SERVICE_NAME
por el nombre del servicio de API de un servicio que no tenga una cuenta de servicio en tu proyecto.Ejemplo:
gcloud beta services identity create \ --service=composer.googleapis.com
Otorga permisos a los agentes de servicio:
Otorga el rol al agente de servicio de Cloud Composer:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location KEY_LOCATION \ --keyring KEY_RING_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \ --project KEY_PROJECT_ID
Otorga el rol al agente de servicio de Artifact Registry:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location KEY_LOCATION \ --keyring KEY_RING_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-artifactregistry.iam.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \ --project KEY_PROJECT_ID
Otorga el rol al agente de servicio de GKE:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location KEY_LOCATION \ --keyring KEY_RING_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \ --project KEY_PROJECT_ID
Otorga el rol al agente de servicio de Pub/Sub:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location KEY_LOCATION \ --keyring KEY_RING_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \ --project KEY_PROJECT_ID
Otorga el rol al agente de servicio de Compute Engine:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location KEY_LOCATION \ --keyring KEY_RING_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@compute-system.iam.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \ --project KEY_PROJECT_ID
Otorga permisos de encriptación y desencriptación al agente de servicio de Cloud Storage.
gsutil kms authorize -k \ projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
Reemplaza lo siguiente:
PROJECT_ID
por el ID de tu proyecto.KEY_PROJECT_ID
por el ID del proyecto que almacena tu clave administrada por el cliente. Si usas una clave de otro proyecto, este valor es diferente del ID de tu proyecto. Si usas una clave del mismo proyecto, este valor es el ID de tu proyecto.PROJECT_NUMBER
por el número de tu proyecto.KEY_LOCATION
por la ubicación de la clave administrada por el cliente. Esta ubicación debe ser la misma que la de tu entorno.KEY_NAME
por el nombre de tu clave administrada por el cliente.KEY_RING_NAME
por el llavero de claves que almacena tu clave administrada por el cliente.
Para obtener estos valores, puedes ejecutar los comandos
gcloud projects describe
,gcloud kms keyrings list
ygcloud kms keys describe
.
Paso 3: Crea un entorno con CMEK
Después de crear una clave de encriptación administrada por el cliente, puedes usarla para crear entornos de Cloud Composer.
Console
Cuando creas un entorno, sucede lo siguiente:
Expande la sección Herramientas de redes, anulaciones de configuración de Airflow y funciones adicionales. En la sección Encriptación de datos, selecciona Clave de encriptación administrada por el cliente (CMEK).
En la lista desplegable Selecciona una clave administrada por el cliente, selecciona tu clave.
Si se requiere configuración adicional, aparecerá un mensaje para informarte. En este caso, haz lo siguiente:
Haz clic en Abrir asistente.
En el diálogo Preparar la clave de CMEK para su uso en Cloud Composer, consulta la lista de agentes de servicio que deben tener la función Encriptador/Desencriptador de CryptoKey de Cloud KMS en la clave.
Para otorgar los roles y permisos necesarios, haz clic en Otorgar.
gcloud
El argumento --kms-key
especifica una clave de escritura administrada por el cliente para tu entorno.
Para obtener más información sobre la creación de entornos, consulta Crea entornos. Por ejemplo, es posible que desees especificar otros parámetros para tu entorno.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version IMAGE_VERSION \
--kms-key projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
Reemplaza lo siguiente:
ENVIRONMENT_NAME
por el nombre del entorno.IMAGE_VERSION
por el nombre de la imagen de Cloud Composer.KEY_PROJECT_ID
por el ID del proyecto en el que se encuentra la clave Si usas una clave de otro proyecto, este valor es diferente del ID de tu proyecto. Si usas una clave del mismo proyecto, este valor es el ID de tu proyecto.LOCATION
por la región en la que se encuentra el entornoKEY_LOCATION
por la ubicación de la clave administrada por el cliente Esta ubicación debe ser la misma que la de tu entorno.KEY_NAME
por el nombre de tu clave administrada por el cliente.KEY_RING_NAME
por el llavero de claves que almacena tu clave administrada por el cliente.
Ejemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.6.6-airflow-2.6.3 \
--kms-key projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key
Visualiza la configuración de encriptación del entorno
Puedes ver la configuración de encriptación de un entorno existente:
Console
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
Ve a la pestaña Configuración del entorno.
Los detalles sobre la encriptación se enumeran en el elemento Clave de encriptación de datos.
gcloud
Ejecuta el siguiente comando de gcloud
para ver la configuración de encriptación.
gcloud composer environments describe \
ENVIRONMENT_NAME \
--location LOCATION \
--format="value(config.encryptionConfig)"
Reemplaza lo siguiente:
ENVIRONMENT_NAME
por el nombre del entorno.LOCATION
por la región en la que se encuentra el entorno
Ejemplo:
gcloud composer environments describe \
example-environment \
--location us-central1 \
--format="value(config.encryptionConfig)"
Usa CMEK para los registros de Cloud Composer
Cloud Logging admite la encriptación del almacenamiento de registros con claves CMEK. Recomendamos usar el procedimiento estándar de CMEK para encriptar registros con claves CMEK.
Para encriptar registros con claves CMEK, sigue las instrucciones descritas en Administra las claves que protegen los datos de almacenamiento de Logging.
Redirecciona los registros de Cloud Composer a un bucket de Cloud Storage encriptado con CMEK
Si esperas que tus registros contengan datos sensibles, recomendamos que redirecciones los registros de Cloud Composer a un bucket de Cloud Storage encriptado con CMEK mediante el Enrutador de registros. Esto evita que tus registros se envíen a Monitoring.
Si necesitas asistencia de Atención al cliente de Cloud, es posible que debas otorgarles a los ingenieros de Atención al cliente de Google acceso a los registros de Cloud Composer almacenados en Cloud Storage.
gcloud
Crear un nuevo bucket de Cloud Storage para almacenar los registros
gsutil mb -l LOCATION gs://BUCKET_NAME
Reemplaza lo siguiente:
LOCATION
por la región en la que se encuentra el entornoBUCKET_NAME
por el nombre del bucket
Ejemplo:
gsutil mb -l us-central1 gs://composer-logs-us-central1-example-environment
Encriptar el bucket con tu clave CMEK
gsutil kms encryption \ -k projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME \ gs://BUCKET_NAME
Reemplaza lo siguiente:
KEY_PROJECT_ID
por el ID del proyecto en el que se encuentra la clave Si usas una clave de otro proyecto, este valor es diferente del ID de tu proyecto. Si usas una clave del mismo proyecto, este valor es el ID de tu proyecto.KEY_LOCATION
por la ubicación de la clave administrada por el cliente Esta ubicación debe ser la misma que la de tu entorno.KEY_RING_NAME
por el llavero de claves que almacena tu clave administrada por el cliente.KEY_NAME
por el nombre de tu clave administrada por el cliente.BUCKET_NAME
por el nombre del bucket
Ejemplo:
gsutil kms encryption \ -k projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key \ gs://composer-logs-us-central1-example-environment
Crea un receptor de registros nuevo.
gcloud logging sinks create \ composer-log-sink-ENVIRONMENT_NAME \ storage.googleapis.com/BUCKET_NAME \ --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
Reemplaza lo siguiente:
ENVIRONMENT_NAME
por el nombre del entorno.LOCATION
por la región en la que se encuentra el entornoBUCKET_NAME
por el nombre del bucket
Ejemplo:
gcloud logging sinks create \ composer-log-sink-example-environment \ storage.googleapis.com/composer-logs-us-central1-example-environment \ --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
Otorga el rol Creador de objetos de almacenamiento a la cuenta de servicio de este bucket. La cuenta de servicio se muestra en el resultado del comando anterior).
gcloud projects add-iam-policy-binding \ PROJECT_ID \ --member="serviceAccount:LOGGING_SERVICE_AGENT" \ --role="roles/storage.objectCreator" \ --condition=None
Reemplaza lo siguiente:
PROJECT_ID
por el ID del proyecto.LOGGING_SERVICE_AGENT
por la cuenta de agente de servicio de Logging para este bucket El nombre de esta cuenta se obtiene en el paso anterior.
Ejemplo:
gcloud projects add-iam-policy-binding \ example-project \ --member="serviceAccount:example-sa@gcp-sa-logging.iam.gserviceaccount.com" \ --role="roles/storage.objectCreator" \ --condition=None
Excluye los registros de tu entorno nuevo de Monitoring.
gcloud beta logging sinks update _Default \ --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
Reemplaza lo siguiente:
ENVIRONMENT_NAME
por el nombre del entorno.LOCATION
por la región en la que se encuentra el entorno
Ejemplo:
gcloud beta logging sinks update _Default \ --add-exclusion name=example-environment-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
Agrega la encriptación de CMEK a nivel de organización al enrutador de registros.
gcloud logging cmek-settings describe \ --organization=ORGANIZATION_ID
gcloud kms keys add-iam-policy-binding \ --project=KEY_PROJECT_ID \ --member LOGGING_SERVICE_AGENT \ --role roles/cloudkms.cryptoKeyEncrypterDecrypter \ --location=KEY_LOCATION \ --keyring=KEY_RING_NAME \ KEY_NAME
gcloud logging cmek-settings update \ --organization=ORGANIZATION_ID \ --kms-project=KEY_PROJECT_ID \ --kms-keyring=KEY_RING_NAME \ --kms-location=KEY_LOCATION \ --kms-key-name=KEY_NAME
Reemplaza lo siguiente:
ORGANIZATION_ID
por el ID de la organizaciónKEY_PROJECT_ID
por el ID del proyecto en el que se encuentra la clave Si usas una clave de otro proyecto, este valor es diferente del ID de tu proyecto. Si usas una clave del mismo proyecto, este valor es el ID de tu proyecto.KEY_RING_NAME
por el llavero de claves que almacena tu clave administrada por el cliente.KEY_LOCATION
por la ubicación de la clave administrada por el cliente Esta ubicación debe ser la misma que la de tu entorno.KEY_NAME
por el nombre de tu clave administrada por el cliente.
Rotación de la clave CMEK para Cloud Composer
Una vez que configures la encriptación en tu entorno con claves CMEK, también deberías considerar rotar estas claves con regularidad, como se describe en la documentación de KMS.
Cuando rotas una clave CMEK, los datos encriptados con versiones de claves anteriores no se vuelven a encriptar de forma automática con la versión de clave nueva. Aquí encontrarás más información para volver a encriptar datos. En concreto, esto se aplica a lo siguiente:
de objetos almacenados en el bucket del entorno
datos almacenados en la base de datos de metadatos de Airflow
imágenes de contenedor almacenadas en repositorios de Artifact Registry
y todos los demás objetos de datos encriptados con CMEK dentro del entorno de Cloud Composer.