Usa claves de encriptación administradas por el cliente (CMEK)

En esta página, se describe cómo usar una clave de encriptación de Cloud Key Management Service (Cloud KMS) con Cloud Data Fusion.

Una clave de encriptación administrada por el cliente (CMEK) habilita la encriptación de datos en reposo con una clave que puedes controlar a través de Cloud KMS. Las CMEK proporcionan al usuario control de los datos escritos en los recursos internos de Google en proyectos de usuario y los datos escritos por las canalizaciones de Cloud Data Fusion, incluidos los siguientes:

• Registros y metadatos de la canalización
• Metadatos del clúster de Dataproc
• Varios receptores de datos, acciones, fuentes de Cloud Storage, BigQuery, Pub/Sub y Cloud Spanner

Recursos de Cloud Data Fusion

Para obtener una lista de los complementos de Cloud Data Fusion que admiten CMEK, consulta los complementos compatibles.

Cloud Data Fusion admite CMEK para clústeres de Dataproc. Cloud Data Fusion crea un clúster de Dataproc temporal para usarlo en la canalización y, luego, borra el clúster cuando se completa la canalización. Las CMEK protegen los metadatos del clúster escritos en lo siguiente:

• Discos persistentes (PD) adjuntos a las VM del clúster
• Resultado del controlador del trabajo y otros metadatos escritos en el depósito de staging de Dataproc creado automáticamente o creado por el usuario

Nota: Cloud Data Fusion no admite CMEK en Google Cloud's operations suite.

Configura CMEK

Crea una clave de Cloud KMS

Crea una clave de Cloud KMS

Puedes crear la clave en el mismo proyecto de Google Cloud en el que está la instancia de Cloud Data Fusion o en otro proyecto de usuario. La ubicación del llavero de claves de Cloud KMS debe coincidir con la región en la que deseas crear la instancia. No se permite una clave multirregional o de región global.

Advertencia: Si inhabilitas la clave que usa la instancia, esta deja de funcionar y no podrás acceder a la IU de Cloud Data Fusion. Para solucionarlo, vuelve a habilitar la clave. La acción toma unos minutos en aplicarse.

Advertencia: Si destruyes la versión de la clave primaria que se usó en un principio para encriptar una instancia, esta dejará de funcionar y no podrás recuperar ningún dato que use la instancia. Se te seguirá cobrando hasta que se borre la instancia.

Obtén el nombre del recurso de la clave

API de REST

Obtén el nombre del recurso de la clave que creaste con el siguiente comando:

projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Reemplaza lo siguiente:

• PROJECT_ID: el proyecto del cliente que aloja la instancia de Cloud Data Fusion
• REGION: una región de Google Cloud que esté cerca de tu ubicación, por ejemplo, us-east1
• KEY_RING_NAME: Es el nombre del llavero de claves que agrupa las claves criptográficas
• KEY_NAME: el nombre de la clave de Cloud KMS

Console

1. Ve a la página Claves criptográficas.

   Ir a Claves criptográficas

2. Junto a tu clave, haz clic en Más .

3. Selecciona Copiar nombre del recurso para copiar el nombre del recurso en el portapapeles.

   

Actualiza las cuentas de servicio de tu proyecto para usar la clave

A fin de configurar las cuentas de servicio de tu proyecto para usar tu clave, haz lo siguiente:

1. Obligatorio: Otorga la función Encriptador/Desencriptador de CryptoKey de Cloud KMS (roles/cloudkms.cryptoKeyEncrypterDecrypter) al agente de servicio de Cloud Data Fusion (consulta Otorga funciones a una cuenta de servicio para recursos específicos). Esta cuenta tiene el formato siguiente:

   [e-mail]

   Otorgar la función de Encriptador/Desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Data Fusion permite que Cloud Data Fusion use CMEK para encriptar cualquier dato del cliente almacenado en proyectos de usuario.

2. Obligatorio: Otorga la Función de encriptador/desencriptador de CryptoKey de Cloud KMS al agente de servicio de Compute Engine (consulta Asigna una clave de Cloud KMS a una cuenta de servicio de Cloud Storage). Esta cuenta, que de forma predeterminada recibe la función de agente de servicio de Compute Engine, tiene la siguiente forma:

   [e-mail]

   Otorgar la función de Encriptador/Desencriptador de CryptoKey de Cloud KMS al agente de servicio de Compute Engine permite que Cloud Data Fusion use CMEK para encriptar metadatos de disco persistente (PD) escritos por el clúster de Dataproc que se ejecutan en tu canalización.

3. Obligatorio: Otorga la función de Encriptador/Desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Storage (consulta Asigna una clave de Cloud KMS a un agente de servicio de Cloud Storage). Este agente de servicio tiene el siguiente formato:

   [e-mail]

   Otorgar la función de encriptador/desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Storage permite que Cloud Data Fusion use CMEK para encriptar datos escritos en el depósito de staging del clúster de Dataproc y cualquier otro recurso de Cloud Storage que use la canalización.

4. Opcional: Si tu canalización usa recursos de BigQuery, otorga la función de encriptador/desencriptador de Cloud KMS a la cuenta de servicio de BigQuery (consulta Otorga permiso de encriptación y desencriptación). Esta cuenta tiene el formato siguiente:

   [e-mail]

5. Opcional: Si tu canalización usa recursos de Pub/Sub, asigna la función de encriptador/desencriptador de clave criptográfica de Cloud KMS a la cuenta de servicio de Pub/Sub (consulta Usa claves de encriptación administradas por el cliente). Esta cuenta tiene el formato siguiente:

   [e-mail]

6. Opcional: Si tu canalización usa recursos de Spanner, otorga la función de encriptador/desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio de Spanner. Esta cuenta tiene el formato siguiente:

   [e-mail]

Crea una instancia de Cloud Data Fusion con CMEK

CMEK está disponible en todas las ediciones de Cloud Data Fusion versión 6.5.0 y posteriores.

Nota: Las claves deben estar en la misma región que la instancia y las claves globales no son compatibles (consulta Crea una clave de Cloud KMS).

API de REST

1. Para crear una instancia con una clave de encriptación administrada por el cliente, configura las siguientes variables de entorno:

   export PROJECT=PROJECT_ID
   export LOCATION=REGION
   export INSTANCE=INSTANCE_ID
   export DATA_FUSION_API_NAME=datafusion.googleapis.com
   export KEY=KEY_NAME
   

   Reemplaza lo siguiente:

   • PROJECT_ID: el proyecto del cliente que aloja la instancia product_name_short}}
   • REGION: una región de Google Cloud que esté cerca de tu ubicación, por ejemplo, us-east1
   • INSTANCE_ID: El nombre de la instancia de Cloud Data Fusion
   • KEY_NAME: Es el nombre completo del recurso de la clave CMEK.

2. Ejecuta el siguiente comando para crear una instancia de Cloud Data Fusion:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE -X POST -d '{"description": "CMEK-enabled CDF instance created through REST.", "type": "BASIC", "cryptoKeyConfig": {"key_reference": "$KEY"} }'
   

Console

1. Ve a la página de Instancias de Cloud Data Fusion.

   Ir a Instancias

2. Haga clic en Crear una instancia.

3. En la página Crear una instancia, expande las Opciones avanzadas y selecciona Usar una clave de encriptación administrada por el cliente (CMEK).

4. En el campo Selecciona una clave administrada por el cliente, elige el nombre del recurso para la clave.

   

5. Después de ingresar todos los detalles de la instancia, haz clic en Crear. Cuando la instancia esté lista para usar, aparecerá en la página Instancias.

Verifica si CMEK está habilitada en una instancia

Console

Para verificar si CMEK está habilitado en una instancia de Cloud Data Fusion, haga lo siguiente:

1. Ve a la página de Instancias de Cloud Data Fusion.

   Ir a Instancias

2. Haga clic en Ver instancia para la instancia que desea.

   Se abre la página de detalles de la instancia.

   Si CMEK está habilitada, el campo Clave de encriptación aparece como Disponible.

   

Si CMEK está inhabilitada, el campo Clave de encriptación aparece como No disponible.

Usa CMEK con complementos compatibles

Cuando establezcas el nombre de la clave de encriptación, usa el siguiente formato:

projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

En la siguiente tabla, se describe el comportamiento de la clave en los complementos de Cloud Data Fusion que admiten CMEK.

Complementos compatibles	Comportamiento de la clave
Receptores de Cloud Data Fusion
Cloud Storage	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, .
Archivos múltiples de Cloud Storage	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
BigQuery	Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora.
Tablas múltiples de BigQuery	Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora.
Pub/Sub	Encripta los datos escritos en cualquier tema creado por el complemento. Si ya existe el tema, se ignora este valor.
Spanner	Encripta los datos escritos en cualquier base de datos que creó el complemento. Si la base de datos ya existe, este valor se ignora.
Acciones de Cloud Data Fusion
Cloud Storage Create Cloud Storage Copy Cloud Storage Move Cloud Storage Done File Marker	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
Ejecución de BigQuery	Encripta los datos escritos en el conjunto de datos o la tabla que crea el complemento para almacenar los resultados de la consulta. Solo se aplica si almacenas los resultados de la consulta en una tabla de BigQuery.
Fuentes de Cloud Data Fusion
Fuente de BigQuery	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
Motor de SQL de Cloud Data Fusion
Motor de pushdown de BigQuery	Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora.

Usa CMEK con metadatos de clúster de Dataproc

Los perfiles de procesamiento creados con anterioridad usan la clave CMEK proporcionada durante la creación de la instancia para encriptar los metadatos del disco persistente (PD) y del bucket de staging que escribe el clúster de Dataproc que se ejecuta en tu canalización. Puedes modificarlo para usar otra clave si haces una de las siguientes acciones:

• Recomendado: Crea un perfil de procesamiento de Dataproc nuevo (solo edición empresarial).
• Edita un perfil de procesamiento de Dataproc existente (ediciones de desarrollador, básico o empresarial).

Nota: Debes otorgar la función de Encriptador o Desencriptador de CryptoKey de Cloud KMS para la cuenta de servicio del proyecto asociado con un recurso.

Console

1. Ve a la página de Instancias de Cloud Data Fusion.

   Ir a Instancias

2. En la columna Acciones de la instancia, haz clic en Ver instancia.

3. En la IU web de Cloud Data Fusion, haz clic en ADMINISTRADOR DEL SISTEMA.

4. Haz clic en la pestaña Configuración.

5. Haz clic en el menú desplegable Perfiles de procesamiento del sistema.

6. Haga clic en Crear un perfil nuevo.

7. Seleccione Dataproc.

8. Ingresa una etiqueta de perfil, un nombre de perfil y una descripción.

9. De forma predeterminada, Cloud Data Fusion crea automáticamente un depósito de Cloud Storage para usarlo como depósito de staging de Dataproc. Si prefieres usar un bucket de Cloud Storage que ya existe en tu proyecto, sigue estos pasos:

   1. En la sección Configuración general, ingresa tu depósito de Cloud Storage existente en el campo Depósito de Cloud Storage.

   2. Agrega la clave de Cloud KMS a tu depósito de Cloud Storage.

10. Obtén el ID de recurso de tu clave de Cloud KMS. En la sección Configuración general, ingresa tu ID de recurso en el campo Nombre de clave de encriptación.

11. Haga clic en Crear.

12. Si aparece más de un perfil en la sección System Compute Profiles de la pestaña Configuración, establece el nuevo perfil de Dataproc como el perfil predeterminado, mantén el cursor sobre el campo nombre del perfil y haz clic en la estrella que aparecerá.

    

    Nota: El perfil de Dataproc solo se aplica a la canalización actual.

Usa CMEK con otros recursos

La clave CMEK proporcionada se establece en la preferencia del sistema durante la creación de la instancia de Cloud Data Fusion. Se usa para encriptar datos escritos en recursos recién creados por receptores de canalización como Cloud Storage, BigQuery, Pub/Sub o receptores de Spanner.

Esta clave solo se aplica a los recursos recién creados. Si el recurso ya existe antes de la ejecución de la canalización, debes aplicar la clave CMEK de forma manual a esos recursos existentes.

La ubicación del recurso debe ser la misma que la región en la que reside la clave CMEK. No se permite usar un recurso de región global o multirregión con CMEK. Puedes cambiar la clave CMEK si realizas una de las siguientes acciones:

• Usa un argumento de entorno de ejecución.
• Establece una preferencia del sistema de Cloud Data Fusion.

Nota: Debes otorgar la función de Encriptador o Desencriptador de CryptoKey de Cloud KMS para la cuenta de servicio del proyecto asociado con un recurso.

Argumento de entorno de ejecución

1. En la página Pipeline Studio de Cloud Data Fusion, haz clic en la flecha desplegable a la derecha del botón Ejecutar.
2. En el campo Nombre, ingresa gcp.cmek.key.name.
3. En el campo Valor, ingresa el ID del recurso de tu clave.

   

4. Haz clic en Guardar.

   El argumento de entorno de ejecución que estableces aquí solo se aplica a las ejecuciones de la canalización actual.

Preference

1. En la IU de Cloud Data Fusion, haz clic en ADMINISTRADOR DEL SISTEMA.
2. Haz clic en la pestaña Configuración.
3. Haz clic en el menú desplegable Preferencias del sistema.
4. Haz clic en Editar las preferencias del sistema.
5. En el campo Clave, ingresa gcp.cmek.key.name.
6. En el campo Valor, ingresa el ID del recurso de tu clave.

   

7. Haz clic en Guardar y cerrar.
   La preferencia del sistema que estableces aquí se aplica a todas las canalizaciones en las instancias de Cloud Data Fusion.