Usa claves de encriptación administradas por el cliente (CMEK)

Las claves de encriptación administradas por el cliente (CMEK) proporcionan control al usuario sobre los datos escritos por las canalizaciones de Cloud Data Fusion, incluidas las siguientes:

• Metadatos del clúster de Dataproc
• Fuentes y receptores de datos de Cloud Storage, BigQuery y Pub/Sub

En esta página, se describe cómo usar una clave de encriptación de Cloud Key Management Service (Cloud KMS) con Cloud Data Fusion. Una clave de encriptación administrada por el cliente (CMEK) habilita la encriptación de datos en reposo con una clave que puedes controlar a través de Cloud KMS. Puedes crear una canalización protegida con una CMEK o acceder a datos protegidos por CMEK en fuentes y receptores.

Recursos de Cloud Data Fusion

Cloud Data Fusion admite claves de encriptación administradas por el cliente (CMEK) para los siguientes complementos de Cloud Data Fusion:

• Receptores de Cloud Data Fusion:

  • Cloud Storage
  • Archivo múltiple de Cloud Storage
  • BigQuery
  • Tabla múltiple de BigQuery
  • Pub/Sub

• acciones de Cloud Data Fusion:

  • Creación de Cloud Storage
  • Ejecutar BigQuery

Cloud Data Fusion admite claves de encriptación administradas por el cliente (CMEK) para clústeres de Dataproc. Cloud Data Fusion crea un clúster temporal de Dataproc para usar en la canalización, que se borra cuando se completa la canalización. CMEK protege los metadatos del clúster escritos en lo siguiente:

• Discos persistentes (PD) conectados a las VM del clúster.
• Resultado del controlador de trabajo y otros metadatos escritos en el depósito de etapa de pruebas de Dataproc creado automáticamente o por el usuario.

Configurar CMEK

1. Crea una clave de Cloud KMS

2. Obtén el ID de recurso de la clave que creaste, que usarás más adelante en este procedimiento.

     projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name
   

   1. En Cloud Console, ve a la página Claves criptográficas.
   2. Haz clic en el menú de tres puntos junto a tu clave.
   3. Haz clic en Copiar ID de recurso. Esto copia tu ID de recurso en el portapapeles.

      

3. Configura las cuentas de servicio de tu proyecto para usar tu clave:

   1. Obligatorio: Debes otorgar la función Encriptador/desencriptador de clave de Cloud KMS a la cuenta de servicio de Compute Engine (consulta Cómo otorgar funciones a una cuenta de servicio para recursos específicos). Esta cuenta, que de forma predeterminada tiene la función de agente de servicio de Compute Engine, tiene el siguiente formato:

      service-[PROJECT_NUMBER]@compute-system.iam.gserviceaccount.com
      

      Otorgar la función de encriptador/desencriptador de Cloud KMS a la cuenta de servicio de Compute Engine permite que Cloud Data Fusion encripte los metadatos de PD (disco persistente) escritos por el clúster de Dataproc que se ejecuta en tu canalización.
   2. Obligatorio: Debes otorgar Función de encriptador/desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio de Cloud Storage (consulta Asigna una clave de Cloud KMS a una cuenta de servicio de Cloud Storage ). Esta cuenta tiene el formato siguiente:

      service-[PROJECT_NUMBER]@gs-project-accounts.iam.gserviceaccount.com
      

      Otorgar la función de encriptador/desencriptador de Cloud KMS a la cuenta de servicio de Cloud Storage permite a Cloud Data Fusion encriptar los datos escritos en el depósito de etapa de pruebas del clúster de Dataproc y cualquier otro recurso su canalización.
   3. Opcional: Si tu canalización usa recursos de BigQuery, otorga la función de encriptador/desencriptador de Cloud KMS a la cuenta de servicio de BigQuery (consulta Otorga permiso de encriptación y desencriptación). Esta cuenta tiene el formato siguiente:

      bq-[PROJECT_NUMBER]@bigquery-encryption.iam.gserviceaccount.com
      

   4. Opcional: Si tu canalización usa recursos de Pub/Sub, otorga la función de encriptador/desencriptador de Cloud KMS a la cuenta de servicio de Pub/Sub (consulta Uso de claves de encriptación). Esta cuenta tiene el formato siguiente:

      service-[PROJECT_NUMBER]@gcp-sa-pubsub.iam.gserviceaccount.com
      

Usa CMEK con metadatos de clúster de Dataproc

A fin de usar CMEK para encriptar PD (disco persistente) y los metadatos del depósito de etapa de pruebas escritos por el clúster de Dataproc que se ejecuta en tu canalización, realiza una de las siguientes acciones:

• Recomendado: Crea un perfil de procesamiento de Dataproc (solo para la edición Enterprise).
• Edita un perfil de procesamiento de Dataproc existente (edición Basic o Enterprise).

Nota: Debes otorgar la función de encriptador/desencriptador de Cloud KMS para la cuenta de servicio en tu proyecto asociado con un recurso.

1. Abre la página Instancias de Cloud Data Fusion en Cloud Console.

   Abrir la página de instancias

2. En la columna Acciones de la instancia, haz clic en Ver instancia.
3. En la IU web de Cloud Data Fusion, haz clic en SISTEMA ADMINISTRADOR.
4. Haz clic en la pestaña Configuración.
5. Haz clic en el menú desplegable Perfiles de sistema.
6. Haga clic en Crear un perfil nuevo.
7. Selecciona Cloud Dataproc.
8. Ingresa una etiqueta de perfil, un nombre de perfil y una descripción.
9. De forma predeterminada, Cloud Data Fusion crea automáticamente un depósito de Cloud Storage para usar como el depósito de etapa de pruebas de Dataproc. Si prefieres usar un depósito de Cloud Storage que ya existe en tu proyecto, sigue estos pasos:
   1. En la sección Configuración general, ingresa tu depósito de Cloud Storage existente en el campo Depósito de GCS.
   2. Agrega tu clave de Cloud KMS a tu depósito de Cloud Storage.
10. Obtén el ID de recurso de tu clave de Cloud KMS. En la sección Configuración general, ingresa tu ID de recurso en el campo Nombre de la clave de encriptación.
11. Haga clic en Crear.
12. Si aparece más de un perfil en la sección System Compute Profiles de la pestaña Configuration, establezca el nuevo perfil de Dataproc como el perfil predeterminado del nombre del perfil y haciendo clic en la estrella que aparece.

    

    El perfil de Dataproc se aplica solo a la canalización actual.

Usa CMEK con otros recursos

Para usar CMEK a fin de encriptar datos escritos por otros recursos, como Cloud Storage, BigQuery o receptores de Pub/Sub, realiza una de las siguientes acciones:

• Usa un argumento de tiempo de ejecución.
• Establece una preferencia del sistema de Cloud Data Fusion.

Nota: Es necesario Otorgar la función de encriptador/desencriptador de CryptoKey de Cloud KMS para la cuenta de servicio de tu proyecto asociada con un recurso.

Argumento de entorno de ejecución

1. En la página Pipeline Studio de Cloud Data Fusion, haz clic en la flecha desplegable a la derecha del botón Ejecutar.
2. En el campo Nombre, ingresa gcp.cmek.key.name.
3. En el campo Valor, ingresa el ID de recurso de tu clave.

   

4. Haga clic en Save.
   El argumento del entorno de ejecución que estableces aquí solo se aplica a las ejecuciones de la canalización actual.

Preference

1. En la IU de Cloud Data Fusion, haz clic en ADMINISTRACIÓN DEL SISTEMA.
2. Haz clic en la pestaña Configuración.
3. Haz clic en el menú desplegable Preferencias del sistema.
4. Haz clic en Editar preferencias del sistema.
5. En el campo Clave, ingresa gcp.cmek.key.name.
6. En el campo Valor, ingresa el ID de recurso de tu clave.

   

7. Haz clic en Guardar y cerrar.
   La preferencia del sistema que estableces aquí se aplica a todas las canalizaciones en las instancias de Cloud Data Fusion.