Usar claves de encriptación administradas por el cliente (CMEK)

En esta página, se describe cómo usar una clave de encriptación de Cloud Key Management Service (Cloud KMS) con Cloud Data Fusion.

Una clave de encriptación administrada por el cliente (CMEK) habilita la encriptación de datos en reposo con una clave que puedes controlar a través de Cloud KMS. Las CMEK proporcionan al usuario control de los datos escritos en los recursos internos de Google en proyectos de usuario y los datos escritos por las canalizaciones de Cloud Data Fusion, incluidos los siguientes:

• Registros y metadatos de la canalización
• Metadatos del clúster de Dataproc
• Varios receptores de datos, acciones y fuentes de Cloud Storage, BigQuery, Pub/Sub y Spanner

Recursos de Cloud Data Fusion

Para obtener una lista de los complementos de Cloud Data Fusion que admiten CMEK, consulta los complementos compatibles.

Cloud Data Fusion admite CMEK para clústeres de Dataproc. Cloud Data Fusion crea un clúster de Dataproc temporal para usarlo en la canalización y, luego, borra el clúster cuando se completa la canalización. Las CMEK protegen los metadatos del clúster escritos en lo siguiente:

• Discos persistentes (PD) adjuntos a las VM del clúster
• Resultado del controlador del trabajo y otros metadatos escritos en el bucket de staging de Dataproc creado automáticamente o creado por el usuario

Nota: Cloud Data Fusion no admite CMEK en la observabilidad de Google Cloud.

Configura CMEK

Crea una clave de Cloud KMS

Crea una clave de Cloud KMS en el proyecto de Google Cloud que contiene la instancia de Cloud Data Fusion o en un proyecto de usuario separado. La ubicación del llavero de claves de Cloud KMS debe coincidir con la región en la que creas la instancia. No se permite una clave multirregional o de región global a nivel de la instancia porque Cloud Data Fusion siempre está asociado a una región en particular.

Advertencia: Si inhabilitas la clave que usa la instancia, esta deja de funcionar y no podrás acceder a la IU de Cloud Data Fusion. Para solucionarlo, vuelve a habilitar la clave. La acción toma unos minutos en aplicarse.

Advertencia: Si destruyes la versión de la clave primaria que se usó en un principio para encriptar una instancia, esta dejará de funcionar y no podrás recuperar ningún dato que use la instancia. Se te seguirá cobrando hasta que se borre la instancia.

Obtén el nombre del recurso de la clave

API de REST

Obtén el nombre del recurso de la clave que creaste con el siguiente comando:

projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Reemplaza lo siguiente:

• PROJECT_ID: el proyecto del cliente que aloja la instancia de Cloud Data Fusion
• REGION: una región de Google Cloud que esté cerca de tu ubicación, por ejemplo, us-east1
• KEY_RING_NAME: Es el nombre del llavero de claves que agrupa las claves criptográficas
• KEY_NAME: el nombre de la clave de Cloud KMS

Console

1. Ve a la página Claves criptográficas.

   Ir a Claves criptográficas

2. Junto a tu clave, haz clic en Más .

3. Selecciona Copiar nombre del recurso para copiar el nombre del recurso en el portapapeles.

   

Actualiza las cuentas de servicio de tu proyecto para usar la clave

Nota: No es necesario asignar la función de encriptador o desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio que se usa para ejecutar la canalización. Las cuentas de servicio que se mencionan a continuación son otras cuentas de servicio preinstaladas a nivel de proyecto que Cloud Data Fusion usa de forma interna para varios fines.

A fin de configurar las cuentas de servicio de tu proyecto para usar tu clave, haz lo siguiente:

1. Obligatorio: Otorga la función Encriptador/Desencriptador de CryptoKey de Cloud KMS (roles/cloudkms.cryptoKeyEncrypterDecrypter) al agente de servicio de Cloud Data Fusion (consulta Otorga funciones a una cuenta de servicio para recursos específicos). Esta cuenta tiene el formato siguiente:

   [e-mail]

   Otorgar la función de Encriptador/Desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Data Fusion permite que Cloud Data Fusion use CMEK para encriptar cualquier dato del cliente almacenado en proyectos de usuario.

2. Obligatorio: Otorga la Función de encriptador/desencriptador de CryptoKey de Cloud KMS al agente de servicio de Compute Engine (consulta Asigna una clave de Cloud KMS a una cuenta de servicio de Cloud Storage). Esta cuenta, que de forma predeterminada recibe la función de agente de servicio de Compute Engine, tiene la siguiente forma:

   [e-mail]

   Otorgar la función de Encriptador/Desencriptador de CryptoKey de Cloud KMS al agente de servicio de Compute Engine permite que Cloud Data Fusion use CMEK para encriptar metadatos de disco persistente (PD) escritos por el clúster de Dataproc que se ejecutan en tu canalización.

3. Obligatorio: Otorga la función de Encriptador/Desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Storage (consulta Asigna una clave de Cloud KMS a un agente de servicio de Cloud Storage). Este agente de servicio tiene el siguiente formato:

   [e-mail]

   Otorgar la función de encriptador/desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Storage permite que Cloud Data Fusion use CMEK para encriptar datos escritos en el bucket de staging del clúster de Dataproc y cualquier otro recurso de Cloud Storage que use la canalización.

4. Obligatorio: Otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Google Cloud Dataproc. Este agente de servicio tiene el siguiente formato:

   [e-mail]

5. Opcional: Si tu canalización usa recursos de BigQuery, otorga la función de encriptador/desencriptador de Cloud KMS a la cuenta de servicio de BigQuery (consulta Otorga permiso de encriptación y desencriptación). Esta cuenta tiene el formato siguiente:

   [e-mail]

6. Opcional: Si tu canalización usa recursos de Pub/Sub, asigna la función de encriptador/desencriptador de clave criptográfica de Cloud KMS a la cuenta de servicio de Pub/Sub (consulta Usa claves de encriptación administradas por el cliente). Esta cuenta tiene el formato siguiente:

   [e-mail]

7. Opcional: Si tu canalización usa recursos de Spanner, otorga la función de encriptador/desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio de Spanner. Esta cuenta tiene el formato siguiente:

   [e-mail]

Crea una instancia de Cloud Data Fusion con CMEK

CMEK está disponible en todas las ediciones de Cloud Data Fusion 6.5.0 y posteriores.

Nota: Las claves deben estar en la misma región que la instancia, y las claves globales no son compatibles (consulta Crea una clave de Cloud KMS).

API de REST

1. Para crear una instancia con una clave de encriptación administrada por el cliente, configura las siguientes variables de entorno:

   export PROJECT=PROJECT_ID
   export LOCATION=REGION
   export INSTANCE=INSTANCE_ID
   export DATA_FUSION_API_NAME=datafusion.googleapis.com
   export KEY=KEY_NAME
   

   Reemplaza lo siguiente:

   • PROJECT_ID: El proyecto del cliente que aloja la instancia de Cloud Data Fusion
   • REGION: Es una región de Google Cloud que se encuentra cerca de tu ubicación, por ejemplo, us-east1.
   • INSTANCE_ID: El nombre de la instancia de Cloud Data Fusion
   • KEY_NAME: Es el nombre completo del recurso de la clave CMEK.

2. Ejecuta el siguiente comando para crear una instancia de Cloud Data Fusion:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE -X POST -d '{"description": "CMEK-enabled CDF instance created through REST.", "type": "BASIC", "cryptoKeyConfig": {"key_reference": "$KEY"} }'
   

Console

1. Ve a la página de Cloud Data Fusion.

2. Haz clic en Instancias y, luego, en Crear una instancia.

   Ir a Instancias

3. En las Opciones avanzadas, selecciona Usar una clave de encriptación administrada por el cliente (CMEK).

4. En el campo Selecciona una clave administrada por el cliente, selecciona el nombre del recurso de la clave.

   

5. Después de ingresar todos los detalles de la instancia, haz clic en Crear. Cuando la instancia esté lista para usarse, aparecerá en la página Instancias.

Verifica si las CMEK están habilitadas en una instancia

Console

Visualiza los detalles de la instancia:

1. En Google Cloud Console, ve a la página de Cloud Data Fusion.

2. Haz clic en Instancias y, luego, en el nombre de la instancia para ir a la página Detalles de la instancia.

   Ir a Instancias

Si las CMEK están habilitadas, el campo Clave de encriptación se muestra como Disponible.

Si las CMEK están inhabilitadas, el campo Clave de encriptación se muestra como No disponible.

Usa CMEK con complementos compatibles

Nota: Si bien Cloud Data Fusion solo admite claves regionales, puedes usar claves de encriptación multirregionales en complementos compatibles. Por ejemplo, el receptor de BigQuery admite claves multirregionales.

Cuando establezcas el nombre de la clave de encriptación, usa el siguiente formato:

projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

En la siguiente tabla, se describe el comportamiento de la clave en los complementos de Cloud Data Fusion que admiten CMEK.

Complementos compatibles	Comportamiento de la clave
Receptores de Cloud Data Fusion
Cloud Storage	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
Archivos múltiples de Cloud Storage	Encripta los datos escritos en cualquier bucket creado por el complemento.
BigQuery	Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento.
Tablas múltiples de BigQuery	Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento.
Pub/Sub	Encripta los datos escritos en cualquier tema creado por el complemento. Si ya existe el tema, se ignora este valor.
Spanner	Encripta los datos escritos en cualquier base de datos que creó el complemento. Si la base de datos ya existe, este valor se ignora.
Acciones de Cloud Data Fusion
Cloud Storage Create Cloud Storage Copy Cloud Storage Move Cloud Storage Done File Marker	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
Ejecución de BigQuery	Encripta los datos escritos en el conjunto de datos o la tabla que crea el complemento para almacenar los resultados de la consulta. Solo es aplicable si almacenas los resultados de la consulta en una tabla de BigQuery.
Fuentes de Cloud Data Fusion
Fuente de BigQuery	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
Motor de SQL de Cloud Data Fusion
Motor de pushdown de BigQuery	Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento.

Usa CMEK con metadatos de clúster de Dataproc

Los perfiles de procesamiento creados con anterioridad usan la clave CMEK proporcionada durante la creación de la instancia para encriptar los metadatos del disco persistente (PD) y del bucket de staging que escribe el clúster de Dataproc que se ejecuta en tu canalización. Puedes modificarlo para usar otra clave si haces una de las siguientes acciones:

• Recomendado: Crea un perfil de procesamiento de Dataproc nuevo (solo edición empresarial).
• Edita un perfil de procesamiento de Dataproc existente (ediciones de desarrollador, básico o empresarial).

Nota: Debes otorgar la función de encriptador o desencriptador de CryptoKey de Cloud KMS para la cuenta de servicio del proyecto asociado a un recurso.

Console

1. Abre la instancia de Cloud Data Fusion:

   1. En la consola de Google Cloud, ve a la página de Cloud Data Fusion.

   2. Para abrir la instancia en la interfaz web de Cloud Data Fusion, haga clic en Instancias y, luego, en Ver instancia.

      Ir a Instancias

2. Haz clic en Administrador del sistema > Configuración.

3. Haz clic en el menú desplegable Perfiles de procesamiento del sistema.

4. Haz clic en Crear perfil nuevo y selecciona Dataproc.

5. Ingresa una etiqueta de perfil, un nombre de perfil y una descripción.

6. De forma predeterminada, Dataproc crea buckets temporales y de etapa de pruebas cada vez que Cloud Data Fusion crea un clúster efímero. Cloud Data Fusion admite pasar el bucket de etapa de pruebas de Dataproc como un argumento en el perfil de procesamiento. Para encriptar el bucket de etapa de pruebas, crea un bucket habilitado con CMEK y pásalo como argumento a Dataproc en el perfil de procesamiento.

   Nota: Cloud Data Fusion 6.9.2 admite pasar el bucket temporal de Dataproc como argumento. Para obtener más información, consulta Bucket temporal.

7. Según la configuración predeterminada, Cloud Data Fusion crea automáticamente un bucket de Cloud Storage para almacenar en etapa intermedia las dependencias que usa Dataproc. Si prefieres usar un bucket de Cloud Storage que ya existe en tu proyecto, sigue estos pasos:

   1. En la sección Configuración general, ingresa tu depósito de Cloud Storage existente en el campo Depósito de Cloud Storage.

   2. Agrega la clave de Cloud KMS a tu depósito de Cloud Storage.

8. Obtén el ID de recurso de tu clave de Cloud KMS. En la sección Configuración general, ingresa tu ID de recurso en el campo Nombre de clave de encriptación.

9. Haz clic en Crear.

10. Si aparece más de un perfil en la sección System Compute Profiles de la pestaña Configuración, establece el nuevo perfil de Dataproc como el perfil predeterminado, mantén el cursor sobre el campo nombre del perfil y haz clic en la estrella que aparecerá.

    

    Nota: El perfil de Dataproc solo se aplica a la canalización actual.

Usa CMEK con otros recursos

La clave CMEK proporcionada se establece en la preferencia del sistema durante la creación de la instancia de Cloud Data Fusion. Se usa para encriptar datos escritos en recursos recién creados por receptores de canalización como Cloud Storage, BigQuery, Pub/Sub o receptores de Spanner.

Esta clave solo se aplica a los recursos recién creados. Si el recurso ya existe antes de la ejecución de la canalización, debes aplicar la clave CMEK de forma manual a esos recursos existentes.

Puedes cambiar la clave CMEK si realizas una de las siguientes acciones:

• Usa un argumento de entorno de ejecución.
• Establece una preferencia del sistema de Cloud Data Fusion.

Nota: Debes otorgar la función de encriptador o desencriptador de CryptoKey de Cloud KMS para la cuenta de servicio del proyecto asociado a un recurso.

Argumento de entorno de ejecución

1. En la página Pipeline Studio de Cloud Data Fusion, haz clic en la flecha desplegable a la derecha del botón Ejecutar.
2. En el campo Nombre, ingresa gcp.cmek.key.name.
3. En el campo Valor, ingresa el ID de recurso de tu clave.

   

4. Haz clic en Guardar.

   El argumento de entorno de ejecución que estableces aquí solo se aplica a las ejecuciones de la canalización actual.

Preference

1. En la IU de Cloud Data Fusion, haz clic en ADMINISTRADOR DEL SISTEMA.
2. Haz clic en la pestaña Configuración.
3. Haz clic en el menú desplegable Preferencias del sistema.
4. Haz clic en Editar las preferencias del sistema.
5. En el campo Clave, ingresa gcp.cmek.key.name.
6. En el campo Valor, ingresa el ID de recurso de tu clave.

   

7. Haz clic en Guardar y cerrar.
   La preferencia del sistema que estableces aquí se aplica a todas las canalizaciones en las instancias de Cloud Data Fusion.