Usar o CMEK com o Dataproc sem servidor

Por padrão, o Dataproc Serverless criptografa o conteúdo do cliente em repouso. O Dataproc sem servidor processa a criptografia para você sem que você precise fazer nada. Essa opção é chamada de Criptografia padrão do Google.

Se você quiser controlar suas chaves de criptografia, use chaves de criptografia gerenciadas pelo cliente (CMEKs) no Cloud KMS com serviços integrados a CMEK, incluindo o Dataproc Serverless. O uso de chaves do Cloud KMS permite controlar o nível de proteção, o local, a programação de rotação, as permissões de uso e acesso e os limites criptográficos. O uso do Cloud KMS também permite a você monitorar o uso de chaves, visualizar registros de auditoria e controlar ciclos de vida importantes. Em vez de o Google ser proprietário e gerente de chaves de criptografia de chaves (KEKs) simétricas que protegem seus dados, você controla e gerencia essas chaves no Cloud KMS.

Depois de configurar os recursos com CMEKs, a experiência de acesso aos recursos do Dataproc Serverless é semelhante à criptografia padrão do Google. Para mais informações sobre suas opções de criptografia, consulte Chaves de criptografia gerenciadas pelo cliente (CMEK).

Ao usar o Dataproc Serverless, os dados são armazenados em discos na infraestrutura sem servidor e em um bucket de preparo do Cloud Storage. Esses dados são criptografados com uma chave de criptografia de dados (DEK, na sigla em inglês) e uma chave de criptografia de chaves (KEK, na sigla em inglês) geradas pelo Google. Se você quiser controlar sua KEK, use uma chave de criptografia gerenciada pelo cliente (CMEK) em vez da criptografia padrão em repouso. Ao usar uma CMEK, você cria a chave, gerencia o acesso a ela e pode revogar o acesso para impedir a descriptografia das chaves e dos dados.

Usar CMEK

Siga as etapas desta seção para usar a CMEK para criptografar dados que o Dataproc Serverless grava no disco permanente e no bucket de preparação do Dataproc.

A partir de 23 de abril de 2024:

• O Dataproc sem servidor também usa a CMEK para criptografar argumentos de jobs em lote. O papel IAM Criptografador/Descriptografador do Cloud KMS CryptoKey precisa ser atribuído à conta de serviço do agente de serviço do Dataproc para ativar esse comportamento. Se o papel de agente de serviço do Dataproc não estiver anexado à conta de serviço do agente de serviço do Dataproc, adicione a permissão serviceusage.services.use a um papel personalizado anexado à conta de serviço do agente de serviço do Dataproc . A API Cloud KMS precisa estar ativada no projeto que executa os recursos do Dataproc sem servidor.
• batches.list retorna um campo unreachable que lista todos os lotes com argumentos de trabalho que não puderam ser descriptografados. É possível emitir solicitações batches.get para receber mais informações sobre lotes inacessíveis.
• A chave (CMEK) precisa estar no mesmo local que o recurso criptografado. Por exemplo, a CMEK usada para criptografar um lote executado na região us-central1 também precisa estar localizada na região us-central1.

1. Crie uma chave usando o Cloud Key Management Service (Cloud KMS).

2. Copie o nome do recurso.

   

   O nome do recurso é criado da seguinte maneira:

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Ative as contas de serviço do Compute Engine, do Dataproc e do agente de serviço do Cloud Storage para usar sua chave:

   1. Consulte Proteger recursos usando chaves do Cloud KMS > Papéis obrigatórios para atribuir a função Criptografador/Descriptografador de CryptoKey do Cloud KMS à conta de serviço do agente de serviço do Compute Engine. Se essa conta de serviço não estiver listada na página do IAM no console do Google Cloud, clique em Incluir concessões de papel fornecidas pelo Google para listá-la.

   2. Atribua o papel Criptografador/Descriptografador do CryptoKey do Cloud KMS à conta de serviço do agente de serviço do Dataproc. Use Google Cloud CLI para atribuir a função:

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Substitua:

      KMS_PROJECT_ID: o ID do projeto do Google Cloud que executa o Cloud KMS. Esse projeto também pode ser o que executa os recursos do Dataproc.

      PROJECT_NUMBER: o número do projeto (não o ID) do seu projeto do Google Cloud que executa recursos do Dataproc.

   3. Ative a API Cloud KMS no projeto que executa recursos do Dataproc sem servidor.

   4. Se o papel de agente de serviço do Dataproc não estiver anexado à conta de serviço do agente de serviço do Dataproc, adicione a permissão serviceusage.services.use ao papel personalizado anexado à conta de serviço do agente de serviço do Dataproc. Se o papel do agente de serviço do Dataproc estiver anexado à conta de serviço do agente de serviço do Dataproc, pule esta etapa.

   5. Siga as etapas para adicionar a chave ao bucket.

4. Ao enviar uma carga de trabalho em lote:

   1. Especifique sua chave no parâmetro kmsKey Batch.
   2. Especifique o nome do bucket do Cloud Storage no parâmetro Batch stagingBucket.