En esta página, se describe cómo usar una clave de encriptación de Cloud Key Management Service (Cloud KMS) con Cloud Data Fusion.
Una clave de encriptación administrada por el cliente (CMEK) habilita la encriptación de datos en reposo con una clave que puedes controlar a través de Cloud KMS. Las CMEK proporcionan control del usuario sobre los datos escritos en los recursos internos de Google en proyectos de usuario y los datos escritos por las canalizaciones de Cloud Data Fusion, lo que incluye lo siguiente:
- Registros y metadatos de la canalización
- Metadatos del clúster de Dataproc
- Varios receptores de datos, acciones y fuentes de Cloud Storage, BigQuery, Pub/Sub y Cloud Spanner
Recursos de Cloud Data Fusion
Para obtener una lista de los complementos de Cloud Data Fusion que admiten CMEK, consulta los complementos compatibles.
Cloud Data Fusion es compatible con CMEK en clústeres de Dataproc. Cloud Data Fusion crea un clúster temporal de Dataproc para usarlo en la canalización y, luego, lo borra cuando se completa la canalización. Las CMEK protegen los metadatos de los clústeres escritos en lo siguiente:
- Discos persistentes (PD) conectados a VM de clúster
- Salida del controlador de trabajos y otros metadatos escritos en el bucket de staging de Dataproc creado de forma automática o por el usuario
Configura CMEK
Crea una clave de Cloud KMS
Puedes crear la clave en el mismo proyecto de Google Cloud en el que está la instancia de Cloud Data Fusion o en otro proyecto de usuario. La ubicación del llavero de claves de Cloud KMS debe coincidir con la región en la que deseas crear la instancia. No se permite una clave multirregional o de región global.
Obtener el nombre del recurso de la clave
API de REST
Obtén el nombre del recurso de la clave que creaste con el siguiente comando:
projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
Reemplaza lo siguiente:
- PROJECT_ID: Es el proyecto del cliente que aloja la instancia de Cloud Data Fusion.
- REGION: Es una región de Google Cloud que está cerca de tu ubicación, por ejemplo,
us-east1
. - KEY_RING_NAME: Es el nombre del llavero de claves que agrupa las claves criptográficas.
- KEY_NAME: Es el nombre de la clave de Cloud KMS.
Console
Ve a la página Claves criptográficas.
Junto a tu clave, haz clic en Más
.Selecciona Copiar nombre del recurso para copiar el nombre en el portapapeles.
Actualiza las cuentas de servicio de tu proyecto para usar la clave
Para configurar las cuentas de servicio de tu proyecto a fin de que usen tu clave, sigue estos pasos:
Obligatorio: Otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS (
roles/cloudkms.cryptoKeyEncrypterDecrypter
) al agente de servicio de Cloud Data Fusion (consulta Otorga funciones a una cuenta de servicio para recursos específicos). Esta cuenta tiene el siguiente formato:service-PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com
Si se otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Data Fusion, se permite que Cloud Data Fusion use CMEK para encriptar los datos del cliente almacenados en proyectos de usuario.
Obligatorio: Otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Compute Engine (consulta Asigna una clave de Cloud KMS a una cuenta de servicio de Cloud Storage). Esta cuenta, a la que se le otorga la función de agente de servicios de Compute Engine de forma predeterminada, tiene el siguiente formato:
service-PROJECT_NUMBER@compute-system.iam.gserviceaccount.com
Si se otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Compute Engine, se permite que Cloud Data Fusion use CMEK para encriptar los metadatos del disco persistente (PD) que escribe el clúster de Dataproc que se ejecuta en tu canalización.
Obligatorio: Otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Storage (consulta la sección sobre cómo asignar una clave de Cloud KMS a un agente de servicio de Cloud Storage). Este agente de servicio tiene el siguiente formato:
service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com
Otorgar la función de encriptador o desencriptador de CryptoKey de Cloud KMS al agente de servicio de Cloud Storage permite que Cloud Data Fusion use CMEK para encriptar los datos escritos en el bucket de staging del clúster de Dataproc y en cualquier otro recurso de Cloud Storage que use tu canalización.
Opcional: Si tu canalización usa recursos de BigQuery, otorga la función de encriptador/desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio de BigQuery (consulta Otorga permiso de encriptación y desencriptación). Esta cuenta tiene el formato siguiente:
bq-PROJECT_NUMBER@bigquery-encryption.iam.gserviceaccount.com
Opcional: Si tu canalización usa recursos de Pub/Sub, otorga la función de encriptador/desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio de Pub/Sub (consulta Usa claves de encriptación administradas por el cliente). Esta cuenta tiene el formato siguiente:
service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com
Opcional: Si tu canalización usa recursos de Spanner, otorga la función de encriptador o desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio de Spanner. Esta cuenta tiene el formato siguiente:
service-PROJECT_NUMBER@gcp-sa-spanner.iam.gserviceaccount.com
Crea una instancia de Cloud Data Fusion con CMEK
CMEK está disponible en todas las ediciones de Cloud Data Fusion versión 6.5.0 y posteriores.
API de REST
Para crear una instancia con una clave de encriptación administrada por el cliente, configura las siguientes variables de entorno:
export PROJECT=PROJECT_ID export LOCATION=REGION export INSTANCE=INSTANCE_ID export DATA_FUSION_API_NAME=datafusion.googleapis.com export KEY=KEY_NAME
Reemplaza lo siguiente:
- PROJECT_ID: El proyecto del cliente que aloja la instancia de product_name_short}}
- REGION: Es una región de Google Cloud que está cerca de tu ubicación, por ejemplo,
us-east1
. - INSTANCE_ID: El nombre de la instancia de Cloud Data Fusion
- KEY_NAME: Es el nombre completo del recurso de la clave CMEK.
Ejecute el siguiente comando para crear una instancia de Cloud Data Fusion:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE -X POST -d '{"description": "CMEK-enabled CDF instance created through REST.", "type": "BASIC", "cryptoKeyConfig": {"key_reference": "$KEY"} }'
Console
Ve a la página Instancias de Cloud Data Fusion.
Haz clic en Crear una instancia.
En la página Crear una instancia, expande Opciones avanzadas y selecciona Usar una clave de encriptación administrada por el cliente (CMEK).
En el campo Selecciona una clave administrada por el cliente (Select a customer-managed key), selecciona el nombre del recurso para la clave.
Después de ingresar todos los detalles de la instancia, haz clic en Crear. Cuando la instancia esté lista para usarse, aparecerá en la página Instancias.
Verifica si CMEK está habilitado en una instancia
Console
Para verificar si CMEK están habilitadas en una instancia de Cloud Data Fusion, haz lo siguiente:
Ve a la página Instancias de Cloud Data Fusion.
Haz clic en Ver instancia para ver la instancia deseada.
Se abre la página Detalles de la instancia.
Si se habilita CMEK, el campo Clave de encriptación se muestra como Disponible.
Si se inhabilita CMEK, el campo Clave de encriptación se muestra como No disponible.
Usa CMEK con complementos compatibles
Cuando configures el nombre de la clave de encriptación, usa el siguiente formato:
projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
En la siguiente tabla, se describe el comportamiento de la clave en los complementos de Cloud Data Fusion compatibles con CMEK.
Complementos admitidos | Comportamiento de las claves |
---|---|
Receptores de Cloud Data Fusion | |
Cloud Storage | Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, . |
Múltiples archivos de Cloud Storage | Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora. |
BigQuery | Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora. |
Tablas múltiples de BigQuery | Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora. |
Pub/Sub | Encripta los datos escritos en cualquier tema creado por el complemento. Si el tema ya existe, se ignora este valor. |
Spanner | Encripta los datos escritos en cualquier base de datos que haya creado el complemento. Si la base de datos ya existe, este valor se ignora. |
Acciones de Cloud Data Fusion | |
Cloud Storage Create Cloud Storage Copy Cloud Storage Move Marcador de archivos listo de Cloud Storage |
Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora. |
Ejecución de BigQuery | Se encriptan los datos escritos en cualquier conjunto de datos o tabla creados por el complemento. Si el conjunto de datos o la tabla ya existe, este valor se ignora. |
Fuentes de Cloud Data Fusion | |
Fuente de BigQuery | Encripta los datos escritos en cualquier bucket creado por el complemento. Si el bucket ya existe, este valor se ignora. |
Motor de SQL de Cloud Data Fusion | |
Motor pushdown de BigQuery | Encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, este valor se ignora. |
Usa CMEK con metadatos del clúster de Dataproc
Los perfiles de procesamiento creados con anterioridad usan la clave CMEK proporcionada durante la creación de la instancia para encriptar los discos persistentes (PD) y los metadatos del bucket de etapa de pruebas que escribe el clúster de Dataproc que se ejecuta en tu canalización. Puedes modificar para usar otra clave mediante una de las siguientes opciones:
- Recomendación: Crea un perfil de procesamiento de Dataproc nuevo (solo en la edición Enterprise).
- Editar un perfil de procesamiento de Dataproc existente (ediciones Developer, Basic o Enterprise).
Console
Ve a la página Instancias de Cloud Data Fusion.
En la columna Acciones de la instancia, haga clic en Ver instancia.
En la IU web de Cloud Data Fusion, haz clic en SYSTEM ADMIN.
Haz clic en la pestaña Configuración.
Haz clic en el menú desplegable Perfiles de procesamiento del sistema.
Haz clic en Crear un perfil nuevo.
Selecciona Dataproc.
Ingresa una Etiqueta de perfil, Nombre del perfil y Descripción.
De forma predeterminada, Cloud Data Fusion crea de forma automática un bucket de Cloud Storage para usar como el bucket de staging de Dataproc. Si prefieres usar un bucket de Cloud Storage que ya existe en tu proyecto, sigue estos pasos:
En la sección Configuración general, ingresa el bucket existente de Cloud Storage en el campo Cloud Storage Bucket.
Obtén el ID de recurso de tu clave de Cloud KMS. En la sección Configuración general, ingresa el ID de tu recurso en el campo Nombre de la clave de encriptación.
Haz clic en Crear
Si hay más de un perfil en la sección System Compute Profiles de la pestaña Configuration, haz que el nuevo perfil de Dataproc sea el predeterminado. Para ello, mantén el puntero sobre el campo de nombre del perfil y haz clic en la estrella que aparece.
Usa CMEK con otros recursos
La clave CMEK proporcionada se configura en la preferencia del sistema durante la creación de la instancia de Cloud Data Fusion. Se usa para encriptar datos escritos en recursos recién creados por receptores de canalización como receptores de Cloud Storage, BigQuery, Pub/Sub o Spanner.
Esta clave solo se aplica a los recursos creados recientemente. Si el recurso ya existe antes de la ejecución de la canalización, debes aplicar de forma manual la clave CMEK a esos recursos existentes.
La ubicación del recurso debe ser la misma que la región en la que reside la clave CMEK. Con CMEK, no se permite un recurso de región múltiple o global. Puedes cambiar la clave CMEK si realizas una de las siguientes acciones:
- Usa un argumento de entorno de ejecución.
- Configura una preferencia del sistema de Cloud Data Fusion.
Argumento del entorno de ejecución
- En la página Pipeline Studio de Cloud Data Fusion, haz clic en la flecha desplegable a la derecha del botón Ejecutar.
- En el campo Nombre, ingresa
gcp.cmek.key.name
. - En el campo Valor, ingresa el ID de recurso de tu clave.
Haz clic en Guardar.
El argumento del entorno de ejecución que establezcas aquí solo se aplicará a las ejecuciones de la canalización actual.
Preferencia
- En la IU de Cloud Data Fusion, haz clic en ADMINISTRADOR DEL SISTEMA.
- Haz clic en la pestaña Configuración.
- Haz clic en el menú desplegable Preferencias del sistema.
- Haz clic en Edit Preferences Preferences.
- En el campo Clave, ingresa
gcp.cmek.key.name
. - En el campo Valor, ingresa el ID de recurso de tu clave.
- Haz clic en Save & Close.