Usa claves de encriptación administradas por el cliente (CMEK)

En esta página, se describe cómo usar una clave de encriptación de Cloud Key Management Service (Cloud KMS) con Cloud Data Fusion.

Una clave de encriptación administrada por el cliente (CMEK) habilita la encriptación de datos en reposo con una clave que puedes controlar a través de Cloud KMS. Las CMEK proporcionan al usuario control de los datos escritos en los recursos internos de Google en proyectos de usuario y los datos escritos por las canalizaciones de Cloud Data Fusion, incluidos los siguientes:

  • Registros y metadatos de la canalización
  • Metadatos del clúster de Dataproc
  • Varios receptores de datos, acciones, fuentes de Cloud Storage, BigQuery, Pub/Sub y Cloud Spanner

Recursos de Cloud Data Fusion

Para obtener una lista de los complementos de Cloud Data Fusion que admiten CMEK, consulta los complementos compatibles.

Cloud Data Fusion admite CMEK para clústeres de Dataproc. Cloud Data Fusion crea un clúster de Dataproc temporal para usarlo en la canalización y, luego, borra el clúster cuando se completa la canalización. Las CMEK protegen los metadatos del clúster escritos en lo siguiente:

  • Discos persistentes (PD) adjuntos a las VM del clúster
  • Resultado del controlador del trabajo y otros metadatos escritos en el depósito de staging de Dataproc creado automáticamente o creado por el usuario

Configura CMEK

Crea una clave de Cloud KMS

Crea una clave de Cloud KMS

Puedes crear la clave en el mismo proyecto de Google Cloud en el que está la instancia de Cloud Data Fusion o en otro proyecto de usuario. La ubicación del llavero de claves de Cloud KMS debe coincidir con la región en la que deseas crear la instancia. No se permite una clave multirregional o de región global.

Obtén el nombre del recurso de la clave

API de REST

Obtén el nombre del recurso de la clave que creaste con el siguiente comando:

projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Reemplaza lo siguiente:

  • PROJECT_ID: el proyecto del cliente que aloja la instancia de Cloud Data Fusion
  • REGION: una región de Google Cloud que esté cerca de tu ubicación, por ejemplo, us-east1
  • KEY_RING_NAME: Es el nombre del llavero de claves que agrupa las claves criptográficas
  • KEY_NAME: el nombre de la clave de Cloud KMS

Console

  1. Ve a la página Claves criptográficas.

    Ir a Claves criptográficas

  2. Junto a tu clave, haz clic en Más .

  3. Selecciona Copiar nombre del recurso para copiar el nombre del recurso en el portapapeles.

Actualiza las cuentas de servicio de tu proyecto para usar la clave

A fin de configurar las cuentas de servicio de tu proyecto para usar tu clave, haz lo siguiente:

  1. Obligatorio: Otorga la función Encriptador/Desencriptador de CryptoKey de Cloud KMS (roles/cloudkms.cryptoKeyEncrypterDecrypter) al agente de servicio de Cloud Data Fusion (consulta Otorga funciones a una cuenta de servicio para recursos específicos). Esta cuenta tiene el formato siguiente:

    service-PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com

    Otorgar la función de Encriptador/Desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Data Fusion permite que Cloud Data Fusion use CMEK para encriptar cualquier dato del cliente almacenado en proyectos de usuario.

  2. Obligatorio: Otorga la Función de encriptador/desencriptador de CryptoKey de Cloud KMS al agente de servicio de Compute Engine (consulta Asigna una clave de Cloud KMS a una cuenta de servicio de Cloud Storage). Esta cuenta, que de forma predeterminada recibe la función de agente de servicio de Compute Engine, tiene la siguiente forma:

    service-PROJECT_NUMBER@compute-system.iam.gserviceaccount.com

    Otorgar la función de Encriptador/Desencriptador de CryptoKey de Cloud KMS al agente de servicio de Compute Engine permite que Cloud Data Fusion use CMEK para encriptar metadatos de disco persistente (PD) escritos por el clúster de Dataproc que se ejecutan en tu canalización.

  3. Obligatorio: Otorga la función de Encriptador/Desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Storage (consulta Asigna una clave de Cloud KMS a un agente de servicio de Cloud Storage). Este agente de servicio tiene el siguiente formato:

    service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com

    Otorgar la función de encriptador/desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Storage permite que Cloud Data Fusion use CMEK para encriptar datos escritos en el depósito de staging del clúster de Dataproc y cualquier otro recurso de Cloud Storage que use la canalización.

  4. Opcional: Si tu canalización usa recursos de BigQuery, otorga la función de encriptador/desencriptador de Cloud KMS a la cuenta de servicio de BigQuery (consulta Otorga permiso de encriptación y desencriptación). Esta cuenta tiene el formato siguiente:

    bq-PROJECT_NUMBER@bigquery-encryption.iam.gserviceaccount.com

  5. Opcional: Si tu canalización usa recursos de Pub/Sub, asigna la función de encriptador/desencriptador de clave criptográfica de Cloud KMS a la cuenta de servicio de Pub/Sub (consulta Usa claves de encriptación administradas por el cliente). Esta cuenta tiene el formato siguiente:

    service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com

  6. Opcional: Si tu canalización usa recursos de Spanner, otorga la función de encriptador/desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio de Spanner. Esta cuenta tiene el formato siguiente:

    service-PROJECT_NUMBER@gcp-sa-spanner.iam.gserviceaccount.com

Crea una instancia de Cloud Data Fusion con CMEK

CMEK está disponible en todas las ediciones de Cloud Data Fusion versión 6.5.0 y posteriores.

API de REST

  1. Para crear una instancia con una clave de encriptación administrada por el cliente, configura las siguientes variables de entorno:

    export PROJECT=PROJECT_ID
    export LOCATION=REGION
    export INSTANCE=INSTANCE_ID
    export DATA_FUSION_API_NAME=datafusion.googleapis.com
    export KEY=KEY_NAME
    

    Reemplaza lo siguiente:

    • PROJECT_ID: el proyecto del cliente que aloja la instancia product_name_short}}
    • REGION: una región de Google Cloud que esté cerca de tu ubicación, por ejemplo, us-east1
    • INSTANCE_ID: El nombre de la instancia de Cloud Data Fusion
    • KEY_NAME: Es el nombre completo del recurso de la clave CMEK.
  2. Ejecuta el siguiente comando para crear una instancia de Cloud Data Fusion:

    curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE -X POST -d '{"description": "CMEK-enabled CDF instance created through REST.", "type": "BASIC", "cryptoKeyConfig": {"key_reference": "$KEY"} }'
    

Console

  1. Ve a la página de Instancias de Cloud Data Fusion.

    Ir a Instancias

  2. Haga clic en Crear una instancia.

  3. En la página Crear una instancia, expande las Opciones avanzadas y selecciona Usar una clave de encriptación administrada por el cliente (CMEK).

  4. En el campo Selecciona una clave administrada por el cliente, elige el nombre del recurso para la clave.

    Selecciona el nombre de la clave de encriptación

  5. Después de ingresar todos los detalles de la instancia, haz clic en Crear. Cuando la instancia esté lista para usar, aparecerá en la página Instancias.

Verifica si CMEK está habilitada en una instancia

Console

Para verificar si CMEK está habilitado en una instancia de Cloud Data Fusion, haga lo siguiente:

  1. Ve a la página de Instancias de Cloud Data Fusion.

    Ir a Instancias

  2. Haga clic en Ver instancia para la instancia que desea.

    Se abre la página de detalles de la instancia.

    Si CMEK está habilitada, el campo Clave de encriptación aparece como Disponible.

    La clave de encriptación está disponible en tu instancia

Si CMEK está inhabilitada, el campo Clave de encriptación aparece como No disponible.

Usa CMEK con complementos compatibles

Cuando establezcas el nombre de la clave de encriptación, usa el siguiente formato:

projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Nombres de claves de encriptación

En la siguiente tabla, se describe el comportamiento de la clave en los complementos de Cloud Data Fusion que admiten CMEK.

Complementos compatibles Comportamiento de la clave
Receptores de Cloud Data Fusion
Cloud Storage Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, .
Archivos múltiples de Cloud Storage Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
BigQuery Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora.
Tablas múltiples de BigQuery Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora.
Pub/Sub Encripta los datos escritos en cualquier tema creado por el complemento. Si ya existe el tema, se ignora este valor.
Spanner Encripta los datos escritos en cualquier base de datos que creó el complemento. Si la base de datos ya existe, este valor se ignora.
Acciones de Cloud Data Fusion
Cloud Storage Create
Cloud Storage Copy
Cloud Storage Move
Cloud Storage Done File Marker
Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
Ejecución de BigQuery Encripta los datos escritos en el conjunto de datos o la tabla que crea el complemento para almacenar los resultados de la consulta. Solo se aplica si almacenas los resultados de la consulta en una tabla de BigQuery.
Fuentes de Cloud Data Fusion
Fuente de BigQuery Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
Motor de SQL de Cloud Data Fusion
Motor de pushdown de BigQuery Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora.

Usa CMEK con metadatos de clúster de Dataproc

Los perfiles de procesamiento creados con anterioridad usan la clave CMEK proporcionada durante la creación de la instancia para encriptar los metadatos del disco persistente (PD) y del bucket de staging que escribe el clúster de Dataproc que se ejecuta en tu canalización. Puedes modificarlo para usar otra clave si haces una de las siguientes acciones:

  • Recomendado: Crea un perfil de procesamiento de Dataproc nuevo (solo edición empresarial).
  • Edita un perfil de procesamiento de Dataproc existente (ediciones de desarrollador, básico o empresarial).

Console

  1. Ve a la página de Instancias de Cloud Data Fusion.

    Ir a Instancias

  2. En la columna Acciones de la instancia, haz clic en Ver instancia.

  3. En la IU web de Cloud Data Fusion, haz clic en ADMINISTRADOR DEL SISTEMA.

  4. Haz clic en la pestaña Configuración.

  5. Haz clic en el menú desplegable Perfiles de procesamiento del sistema.

  6. Haga clic en Crear un perfil nuevo.

  7. Seleccione Dataproc.

  8. Ingresa una etiqueta de perfil, un nombre de perfil y una descripción.

  9. De forma predeterminada, Cloud Data Fusion crea automáticamente un depósito de Cloud Storage para usarlo como depósito de staging de Dataproc. Si prefieres usar un bucket de Cloud Storage que ya existe en tu proyecto, sigue estos pasos:

    1. En la sección Configuración general, ingresa tu depósito de Cloud Storage existente en el campo Depósito de Cloud Storage.

    2. Agrega la clave de Cloud KMS a tu depósito de Cloud Storage.

  10. Obtén el ID de recurso de tu clave de Cloud KMS. En la sección Configuración general, ingresa tu ID de recurso en el campo Nombre de clave de encriptación.

  11. Haga clic en Crear.

  12. Si aparece más de un perfil en la sección System Compute Profiles de la pestaña Configuración, establece el nuevo perfil de Dataproc como el perfil predeterminado, mantén el cursor sobre el campo nombre del perfil y haz clic en la estrella que aparecerá.

    Selecciona el perfil predeterminado.

Usa CMEK con otros recursos

La clave CMEK proporcionada se establece en la preferencia del sistema durante la creación de la instancia de Cloud Data Fusion. Se usa para encriptar datos escritos en recursos recién creados por receptores de canalización como Cloud Storage, BigQuery, Pub/Sub o receptores de Spanner.

Esta clave solo se aplica a los recursos recién creados. Si el recurso ya existe antes de la ejecución de la canalización, debes aplicar la clave CMEK de forma manual a esos recursos existentes.

La ubicación del recurso debe ser la misma que la región en la que reside la clave CMEK. No se permite usar un recurso de región global o multirregión con CMEK. Puedes cambiar la clave CMEK si realizas una de las siguientes acciones:

  • Usa un argumento de entorno de ejecución.
  • Establece una preferencia del sistema de Cloud Data Fusion.

Argumento de entorno de ejecución

  1. En la página Pipeline Studio de Cloud Data Fusion, haz clic en la flecha desplegable a la derecha del botón Ejecutar.
  2. En el campo Nombre, ingresa gcp.cmek.key.name.
  3. En el campo Valor, ingresa el ID del recurso de tu clave.
    Selecciona la edición de Data Fusion.
  4. Haz clic en Guardar.

    El argumento de entorno de ejecución que estableces aquí solo se aplica a las ejecuciones de la canalización actual.

Preference

  1. En la IU de Cloud Data Fusion, haz clic en ADMINISTRADOR DEL SISTEMA.
  2. Haz clic en la pestaña Configuración.
  3. Haz clic en el menú desplegable Preferencias del sistema.
  4. Haz clic en Editar las preferencias del sistema.
  5. En el campo Clave, ingresa gcp.cmek.key.name.
  6. En el campo Valor, ingresa el ID del recurso de tu clave.
    Selecciona la edición de Data Fusion.
  7. Haz clic en Guardar y cerrar.