Usa claves de encriptación administradas por el cliente (CMEK)

En esta página, se describe cómo usar una clave de encriptación de Cloud Key Management Service (Cloud KMS) con Cloud Data Fusion.

Una clave de encriptación administrada por el cliente (CMEK) habilita la encriptación de datos en reposo con una clave que puedes controlar a través de Cloud KMS. Las CMEK proporcionan control del usuario sobre los datos escritos en los recursos internos de Google en proyectos de usuario y los datos escritos por las canalizaciones de Cloud Data Fusion, lo que incluye lo siguiente:

• Registros y metadatos de la canalización
• Metadatos del clúster de Dataproc
• Varios receptores de datos, acciones y fuentes de Cloud Storage, BigQuery, Pub/Sub y Cloud Spanner

Recursos de Cloud Data Fusion

Para obtener una lista de los complementos de Cloud Data Fusion que admiten CMEK, consulta los complementos compatibles.

Cloud Data Fusion es compatible con CMEK en clústeres de Dataproc. Cloud Data Fusion crea un clúster temporal de Dataproc para usarlo en la canalización y, luego, lo borra cuando se completa la canalización. Las CMEK protegen los metadatos de los clústeres escritos en lo siguiente:

• Discos persistentes (PD) conectados a VM de clúster
• Salida del controlador de trabajos y otros metadatos escritos en el bucket de staging de Dataproc creado de forma automática o por el usuario

Nota: Cloud Data Fusion no es compatible con CMEK en Google Cloud's operations suite.

Configura CMEK

Crea una clave de Cloud KMS

Crea una clave de Cloud KMS.

Puedes crear la clave en el mismo proyecto de Google Cloud en el que está la instancia de Cloud Data Fusion o en otro proyecto de usuario. La ubicación del llavero de claves de Cloud KMS debe coincidir con la región en la que deseas crear la instancia. No se permite una clave multirregional o de región global.

Advertencia: Si inhabilitas la clave que usa la instancia, esta deja de funcionar y no podrás acceder a la IU de Cloud Data Fusion. Para solucionarlo, vuelve a habilitar la clave. La acción toma unos minutos en aplicarse.

Advertencia: Si destruyes la versión de clave primaria que se usa en un principio para encriptar una instancia, la instancia dejará de funcionar y no podrás recuperar los datos que usa. Se te seguirá cobrando hasta que se borre la instancia.

Obtener el nombre del recurso de la clave

API de REST

Obtén el nombre del recurso de la clave que creaste con el siguiente comando:

projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Reemplaza lo siguiente:

• PROJECT_ID: Es el proyecto del cliente que aloja la instancia de Cloud Data Fusion.
• REGION: Es una región de Google Cloud que está cerca de tu ubicación, por ejemplo, us-east1.
• KEY_RING_NAME: Es el nombre del llavero de claves que agrupa las claves criptográficas.
• KEY_NAME: Es el nombre de la clave de Cloud KMS.

Console

1. Ve a la página Claves criptográficas.

   Ir a Claves criptográficas

2. Junto a tu clave, haz clic en Más .

3. Selecciona Copiar nombre del recurso para copiar el nombre en el portapapeles.

   

Actualiza las cuentas de servicio de tu proyecto para usar la clave

Para configurar las cuentas de servicio de tu proyecto a fin de que usen tu clave, sigue estos pasos:

1. Obligatorio: Otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS (roles/cloudkms.cryptoKeyEncrypterDecrypter) al agente de servicio de Cloud Data Fusion (consulta Otorga funciones a una cuenta de servicio para recursos específicos). Esta cuenta tiene el siguiente formato:

   [e-mail]

   Si se otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Data Fusion, se permite que Cloud Data Fusion use CMEK para encriptar los datos del cliente almacenados en proyectos de usuario.

2. Obligatorio: Otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Compute Engine (consulta Asigna una clave de Cloud KMS a una cuenta de servicio de Cloud Storage). Esta cuenta, a la que se le otorga la función de agente de servicios de Compute Engine de forma predeterminada, tiene el siguiente formato:

   [e-mail]

   Si se otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Compute Engine, se permite que Cloud Data Fusion use CMEK para encriptar los metadatos del disco persistente (PD) que escribe el clúster de Dataproc que se ejecuta en tu canalización.

3. Obligatorio: Otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Storage (consulta la sección sobre cómo asignar una clave de Cloud KMS a un agente de servicio de Cloud Storage). Este agente de servicio tiene el siguiente formato:

   [e-mail]

   Otorgar la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Storage permite que Cloud Data Fusion use CMEK para encriptar los datos escritos en el bucket de staging del clúster de Dataproc y en cualquier otro recurso de Cloud Storage que use tu canalización.

4. Opcional: Si tu canalización usa recursos de BigQuery, otorga la función de encriptador/desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio de BigQuery (consulta Otorga permiso de encriptación y desencriptación). Esta cuenta tiene el formato siguiente:

   [e-mail]

5. Opcional: Si tu canalización usa recursos de Pub/Sub, otorga la función de encriptador/desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio de Pub/Sub (consulta Usa claves de encriptación administradas por el cliente). Esta cuenta tiene el formato siguiente:

   [e-mail]

6. Opcional: Si tu canalización usa recursos de Spanner, otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio de Spanner. Esta cuenta tiene el formato siguiente:

   [e-mail]

Crea una instancia de Cloud Data Fusion con CMEK

CMEK está disponible en todas las ediciones de Cloud Data Fusion versión 6.5.0 y posteriores.

Nota: Las claves deben estar en la misma región que la instancia y no se admiten las claves globales (consulta Crea una clave de Cloud KMS).

API de REST

1. Para crear una instancia con una clave de encriptación administrada por el cliente, configura las siguientes variables de entorno:

   export PROJECT=PROJECT_ID
   export LOCATION=REGION
   export INSTANCE=INSTANCE_ID
   export DATA_FUSION_API_NAME=datafusion.googleapis.com
   export KEY=KEY_NAME
   

   Reemplaza lo siguiente:

   • PROJECT_ID: El proyecto del cliente que aloja la instancia de product_name_short}}
   • REGION: Es una región de Google Cloud que está cerca de tu ubicación, por ejemplo, us-east1.
   • INSTANCE_ID: El nombre de la instancia de Cloud Data Fusion
   • KEY_NAME: Es el nombre completo del recurso de la clave CMEK.

2. Ejecute el siguiente comando para crear una instancia de Cloud Data Fusion:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE -X POST -d '{"description": "CMEK-enabled CDF instance created through REST.", "type": "BASIC", "cryptoKeyConfig": {"key_reference": "$KEY"} }'
   

Console

1. Ve a la página Instancias de Cloud Data Fusion.

   Ir a Instancias

2. Haz clic en Crear una instancia.

3. En la página Crear una instancia, expande Opciones avanzadas y selecciona Usar una clave de encriptación administrada por el cliente (CMEK).

4. En el campo Selecciona una clave administrada por el cliente (Select a customer-managed key), selecciona el nombre del recurso para la clave.

   

5. Después de ingresar todos los detalles de la instancia, haz clic en Crear. Cuando la instancia esté lista para usarse, aparecerá en la página Instancias.

Verifica si CMEK está habilitado en una instancia

Console

Para verificar si CMEK están habilitadas en una instancia de Cloud Data Fusion, haz lo siguiente:

1. Ve a la página Instancias de Cloud Data Fusion.

   Ir a Instancias

2. Haz clic en Ver instancia para ver la instancia deseada.

   Se abre la página Detalles de la instancia.

   Si se habilita CMEK, el campo Clave de encriptación se muestra como Disponible.

   

Si se inhabilita CMEK, el campo Clave de encriptación se muestra como No disponible.

Usa CMEK con complementos compatibles

Cuando configures el nombre de la clave de encriptación, usa el siguiente formato:

projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

En la siguiente tabla, se describe el comportamiento de la clave en los complementos de Cloud Data Fusion compatibles con CMEK.

Complementos admitidos	Comportamiento de las claves
Receptores de Cloud Data Fusion
Cloud Storage	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, .
Múltiples archivos de Cloud Storage	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
BigQuery	Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora.
Tablas múltiples de BigQuery	Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora.
Pub/Sub	Encripta los datos escritos en cualquier tema creado por el complemento. Si el tema ya existe, se ignora este valor.
Spanner	Encripta los datos escritos en cualquier base de datos que haya creado el complemento. Si la base de datos ya existe, este valor se ignora.
Acciones de Cloud Data Fusion
Cloud Storage Create Cloud Storage Copy Cloud Storage Move Marcador de archivos listo de Cloud Storage	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
Ejecución de BigQuery	Se encriptan los datos escritos en cualquier conjunto de datos o tabla creados por el complemento. Si el conjunto de datos o la tabla ya existe, este valor se ignora.
Fuentes de Cloud Data Fusion
Fuente de BigQuery	Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora.
Motor de SQL de Cloud Data Fusion
Motor pushdown de BigQuery	Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora.

Usa CMEK con metadatos del clúster de Dataproc

Los perfiles de procesamiento creados con anterioridad usan la clave CMEK proporcionada durante la creación de la instancia para encriptar los discos persistentes (PD) y los metadatos del bucket de etapa de pruebas que escribe el clúster de Dataproc que se ejecuta en tu canalización. Puedes modificar para usar otra clave mediante una de las siguientes opciones:

• Recomendación: Crea un perfil de procesamiento de Dataproc nuevo (solo en la edición Enterprise).
• Editar un perfil de procesamiento de Dataproc existente (ediciones Developer, Basic o Enterprise).

Nota: Debes otorgar la función de encriptador/desencriptador de CryptoKey de Cloud KMS para la cuenta de servicio en tu proyecto asociada con un recurso.

Console

1. Ve a la página Instancias de Cloud Data Fusion.

   Ir a Instancias

2. En la columna Acciones de la instancia, haga clic en Ver instancia.

3. En la IU web de Cloud Data Fusion, haz clic en SYSTEM ADMIN.

4. Haz clic en la pestaña Configuración.

5. Haz clic en el menú desplegable Perfiles de procesamiento del sistema.

6. Haz clic en Crear un perfil nuevo.

7. Selecciona Dataproc.

8. Ingresa una Etiqueta de perfil, Nombre del perfil y Descripción.

9. De forma predeterminada, Cloud Data Fusion crea de forma automática un bucket de Cloud Storage para usar como el bucket de staging de Dataproc. Si prefieres usar un bucket de Cloud Storage que ya existe en tu proyecto, sigue estos pasos:

   1. En la sección Configuración general, ingresa el bucket existente de Cloud Storage en el campo Cloud Storage Bucket.

   2. Agrega tu clave de Cloud KMS al bucket de Cloud Storage.

10. Obtén el ID de recurso de tu clave de Cloud KMS. En la sección Configuración general, ingresa el ID de tu recurso en el campo Nombre de la clave de encriptación.

11. Haz clic en Crear

12. Si hay más de un perfil en la sección System Compute Profiles de la pestaña Configuration, haz que el nuevo perfil de Dataproc sea el predeterminado. Para ello, mantén el puntero sobre el campo de nombre del perfil y haz clic en la estrella que aparece.

    

    Nota: El perfil de Dataproc solo se aplica a la canalización actual.

Usa CMEK con otros recursos

La clave CMEK proporcionada se configura en la preferencia del sistema durante la creación de la instancia de Cloud Data Fusion. Se usa para encriptar datos escritos en recursos recién creados por receptores de canalización como receptores de Cloud Storage, BigQuery, Pub/Sub o Spanner.

Esta clave solo se aplica a los recursos creados recientemente. Si el recurso ya existe antes de la ejecución de la canalización, debes aplicar de forma manual la clave CMEK a esos recursos existentes.

La ubicación del recurso debe ser la misma que la región en la que reside la clave CMEK. Con CMEK, no se permite un recurso de región múltiple o global. Puedes cambiar la clave CMEK si realizas una de las siguientes acciones:

• Usa un argumento de entorno de ejecución.
• Configura una preferencia del sistema de Cloud Data Fusion.

Nota: Debes otorgar la función de encriptador/desencriptador de CryptoKey de Cloud KMS para la cuenta de servicio en tu proyecto asociada con un recurso.

Argumento del entorno de ejecución

1. En la página Pipeline Studio de Cloud Data Fusion, haz clic en la flecha desplegable a la derecha del botón Ejecutar.
2. En el campo Nombre, ingresa gcp.cmek.key.name.
3. En el campo Valor, ingresa el ID de recurso de tu clave.

   

4. Haz clic en Guardar.

   El argumento del entorno de ejecución que establezcas aquí solo se aplicará a las ejecuciones de la canalización actual.

Preferencia

1. En la IU de Cloud Data Fusion, haz clic en ADMINISTRADOR DEL SISTEMA.
2. Haz clic en la pestaña Configuración.
3. Haz clic en el menú desplegable Preferencias del sistema.
4. Haz clic en Edit Preferences Preferences.
5. En el campo Clave, ingresa gcp.cmek.key.name.
6. En el campo Valor, ingresa el ID de recurso de tu clave.

   

7. Haz clic en Save & Close.
   La preferencia del sistema que establezcas aquí se aplicará a todas las canalizaciones en las instancias de Cloud Data Fusion.