Chaves de criptografia gerenciadas pelo cliente (CMEK)

Quando você usa o Dataproc, os dados do cluster e do job são armazenados em discos permanentes associados às VMs do Compute Engine no cluster e em um bucket de preparo do Cloud Storage. Esses dados de disco permanente e bucket são criptografados com uma chave de criptografia de dados (DEK, na sigla em inglês) gerada pelo Google e uma chave de criptografia de chaves (KEK, na sigla em inglês).

O recurso CMEK permite que você crie, use e revogue a chave de criptografia de chaves (KEK, na sigla em inglês). O Google ainda controla a chave de criptografia de dados (DEK). Para mais informações sobre chaves de criptografia de dados do Google, consulte Criptografia em repouso.

Usar CMEK com dados de cluster

É possível usar chaves de criptografia gerenciadas pelo cliente (CMEK) para criptografar os seguintes dados do cluster:

Dados nos discos permanentes anexados às VMs do cluster do Dataproc
dados de argumento do job enviados ao cluster, como uma string de consulta enviada com um job do Spark SQL;
Metadados de cluster, saída do driver do job e outros dados gravados em um bucket de preparo do Dataproc que você cria

Siga estas etapas para usar a CMEK com a criptografia de dados do cluster:

Crie uma ou mais chaves usando o Cloud Key Management Service. O nome do recurso, também chamado de ID do recurso de uma chave, que você vai usar nas próximas etapas, é criado da seguinte maneira:
```
projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
```
Use a página Chaves criptográficas no console do Google Cloud para copiar um ID de recurso de chave para a área de transferência.
Atribua os papéis a seguir às seguintes contas de serviço:
1. Siga o item 5 em Compute Engine → Como proteger recursos com chaves do Cloud KMS → Antes de começar para atribuir o papel Criptografador/Descriptografador de CryptoKey do Cloud KMS à conta de serviço do agente de serviço do Compute Engine.
  Se a conta de serviço do agente de serviço do Compute Engine não estiver visível na página IAM do console do Google Cloud, clique em "Incluir concessões de papéis fornecidos pelo Google" na página.
2. Atribua o papel Criptografador/Descriptografador de CryptoKey do Cloud KMS à conta de serviço do agente de serviço do Cloud Storage.
3. Atribua o papel CryptoKey Encrypter/Decrypter do Cloud KMS à conta de serviço do agente de serviço do Dataproc. Use Google Cloud CLI para atribuir a função:
```
  gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
  --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
  --role roles/cloudkms.cryptoKeyEncrypterDecrypter
```
  Substitua:
  
  KMS_PROJECT_ID: o ID do projeto do Google Cloud que executa o Cloud KMS. Esse também pode ser o projeto que executa os recursos do Dataproc.
  
  PROJECT_NUMBER: o número (não o ID do projeto) do projeto do Google Cloud que executa os recursos do Dataproc.
4. Se o papel de agente de serviço do Dataproc não estiver anexado à conta de serviço do agente de serviço do Dataproc, adicione a permissão serviceusage.services.use ao papel personalizado anexado à conta de serviço do agente de serviço do Dataproc. Se o papel de Agente de serviço do Dataproc estiver anexado à conta de serviço, pule esta etapa.
Transmita o ID do recurso da chave para a Google Cloud CLI ou a API Dataproc para usar com a criptografia de dados do cluster.
CLI da gcloud
- Para criptografar dados de disco permanente do cluster usando sua chave, transmita o ID do recurso da sua chave para a sinalização --gce-pd-kms-key ao criar o cluster.
```
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --gce-pd-kms-key='projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME' \
    other arguments ...
```
  É possível verificar a configuração da chave na ferramenta de linha de comando gcloud.
```
gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
```
  Snippet de resposta ao comando:
```
...
configBucket: dataproc- ...
encryptionConfig:
gcePdKmsKeyName: projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name
...
```
- Para criptografar dados de disco permanente do cluster e dados de argumento de job usando sua chave, transmita o ID de recurso da chave para a sinalização --kms-key ao criar o cluster. Consulte Cluster.EncryptionConfig.kmsKey para ver uma lista de tipos de job e argumentos criptografados com a sinalização --kms-key.
```
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --kms-key='projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME' \
    other arguments ...
  
```
  É possível verificar as configurações principais com o comando dataproc clusters describe da CLI gcloud. O ID de recurso da chave está definido em gcePdKmsKeyName e kmsKey para usar sua chave com a criptografia do disco permanente do cluster e dos dados de argumento do job.
```
gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
  
```
  Snippet de resposta ao comando:
```
...
configBucket: dataproc- ...
encryptionConfig:
gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/key-KEY_RING_NAME-name/cryptoKeys/KEY_NAME
...
```
  É possível usar a sinalização --gce-pd-kms-key ou --kms-key, mas não ambas, para criptografar dados de cluster usando sua chave.
- Para criptografar metadados de cluster, driver do job e outros dados de saída gravados no bucket de preparo do Dataproc no Cloud Storage:
  - Crie seu próprio bucket com a CMEK. Ao adicionar a chave ao bucket, use uma chave criada na Etapa 1.
  - Transmita o nome do bucket para a sinalização `--bucket` ao criar o cluster.
```
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --bucket=CMEK_BUCKET_NAME \
    other arguments ...
    
```
  Também é possível passar buckets ativados para CMEK para o comando "gcloud dataproc jobs submit" se seu job aceitar argumentos de bucket, conforme mostrado no exemplo "cmek-bucket" a seguir:
```
gcloud dataproc jobs submit pyspark gs://cmek-bucket/wordcount.py \
    --region=region \
    --cluster=cluster-name \
    -- gs://cmek-bucket/shakespeare.txt gs://cmek-bucket/counts
  
```
  O Dataproc não gerencia chaves de criptografia gerenciadas pelo cliente no bucket do Cloud Storage.
  
  Usar um bucket com uma chave de criptografia gerenciada pelo cliente pode tornar a gravação mais lenta em arquivos grandes.
API REST
- Para criptografar dados de disco permanente da VM do cluster usando a chave, inclua o campo ClusterConfig.EncryptionConfig.gcePdKmsKeyName como parte de uma solicitação cluster.create.
  É possível verificar a configuração da chave com o comando dataproc clusters describe da CLI gcloud.
```
gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
```
  Snippet de resposta ao comando:
```
...
configBucket: dataproc- ...
encryptionConfig:
gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
...
```
- Para criptografar dados de disco permanente da VM do cluster e dados de argumento do job usando sua chave, inclua o campo Cluster.EncryptionConfig.kmsKey como parte de uma solicitação cluster.create. Consulte Cluster.EncryptionConfig.kmsKey para ver uma lista de tipos de job e argumentos criptografados com o campo --kms-key.
  É possível incluir o campo Cluster.EncryptionConfig.gcePdKmsKeyName ou Cluster.EncryptionConfig.kmsKey, mas não ambos, com a solicitação de criação de cluster.
  
  É possível verificar as configurações principais com o comando dataproc clusters describe da CLI gcloud. O ID de recurso da chave está definido em gcePdKmsKeyName e kmsKey para usar sua chave com a criptografia do disco permanente do cluster e dos dados de argumento do job.
```
gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
```
  Snippet de resposta ao comando:
```
...
configBucket: dataproc- ...
encryptionConfig:
gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
```
- Para criptografar metadados de cluster, driver do job e outros dados de saída gravados no bucket de preparo do Dataproc no Cloud Storage:
  - Crie seu próprio bucket com a CMEK. Ao adicionar a chave ao bucket, use uma chave criada na Etapa 1.
  - Transmita o nome do bucket para o campo ClusterConfig.configBucket como parte de uma solicitação cluster.create.
```
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --bucket=CMEK_BUCKET_NAMEt \
    other arguments ...
```
  O Dataproc não gerencia chaves de criptografia gerenciadas pelo cliente no bucket do Cloud Storage.
  
  Usar um bucket com uma chave de criptografia gerenciada pelo cliente pode tornar a gravação mais lenta em arquivos grandes.
  Também é possível passar buckets ativados para CMEK para o comando "gcloud dataproc jobs submit" se seu job aceitar argumentos de bucket, conforme mostrado no exemplo "cmek-bucket" a seguir:
```
gcloud dataproc jobs submit pyspark gs://cmek-bucket/wordcount.py \
    --region=region \
    --cluster=cluster-name \
    -- gs://cmek-bucket/shakespeare.txt gs://cmek-bucket/counts
  
```

Usar a CMEK com dados do modelo do fluxo de trabalho

Os dados de argumento do job do modelo de fluxo de trabalho do Dataproc, como a string de consulta de um job do Spark SQL, podem ser criptografados usando CMEK. Siga as etapas 1, 2 e 3 desta seção para usar a CMEK com seu modelo de fluxo de trabalho do Dataproc. Consulte WorkflowTemplate.EncryptionConfig.kmsKey para uma lista de tipos de job de modelo de fluxo de trabalho e argumentos que são criptografados usando CMEK quando esse recurso está ativado.

Crie uma chave usando o Cloud Key Management Service (Cloud KMS). O nome do recurso da chave que você vai usar nas próximas etapas é criado da seguinte maneira:
```
projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name
```
Use a página Chaves criptográficas do Console do Google Cloud para copiar um ID de recurso de chave para a área de transferência.
Para permitir que as contas de serviço do Dataproc usem a chave:
1. Atribua o papel CryptoKey Encrypter/Decrypter do Cloud KMS à conta de serviço do agente de serviço do Dataproc. É possível usar a CLI gcloud para atribuir o papel:
```
 gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
 --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
 --role roles/cloudkms.cryptoKeyEncrypterDecrypter
```
  Substitua:
  
  KMS_PROJECT_ID: o ID do projeto do Google Cloud que executa o Cloud KMS. Esse também pode ser o projeto que executa os recursos do Dataproc.
  
  PROJECT_NUMBER: o número (não o ID do projeto) do projeto do Google Cloud que executa os recursos do Dataproc.
2. Se o papel de agente de serviço do Dataproc não estiver anexado à conta de serviço do agente de serviço do Dataproc, adicione a permissão serviceusage.services.use ao papel personalizado anexado à conta de serviço do agente de serviço do Dataproc. Se o papel de Agente de serviço do Dataproc estiver anexado à conta de serviço do Agente de serviço do Dataproc, pule esta etapa.
É possível usar a Google Cloud CLI ou a API Dataproc para definir a chave criada na Etapa 1 em um fluxo de trabalho. Depois que a chave é definida em um fluxo de trabalho, todos os argumentos e consultas do job do fluxo de trabalho são criptografados usando a chave para qualquer um dos tipos de job e argumentos listados em WorkflowTemplate.EncryptionConfig.kmsKey.
CLI da gcloud

Transmita o ID do recurso da sua chave para a sinalização --kms-key ao criar o modelo do fluxo de trabalho com o comando gcloud dataproc workflow-templates create.

Exemplo:
```
gcloud dataproc workflow-templates create my-template-name \
    --region=region \
    --kms-key='projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name' \
    other arguments ...
```
É possível verificar a configuração da chave na ferramenta de linha de comando gcloud.
```
gcloud dataproc workflow-templates describe TEMPLATE_NAME \
    --region=REGION
```
```
...
id: my-template-name
encryptionConfig:
kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
...
```
API REST

Use WorkflowTemplate.EncryptionConfig.kmsKey como parte de uma solicitação fluxo de trabalhoTemplates.create.

É possível verificar a configuração da chave emitindo uma solicitação workflowTemplates.get. O JSON retornado contém listas do kmsKey:
```
...
"id": "my-template-name",
"encryptionConfig": {
  "kmsKey": "projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name"
},
```

Cloud External Key Manager

O Cloud External Key Manager (Cloud EKM) permite proteger os dados do Dataproc usando chaves gerenciadas por um parceiro de gerenciamento de chaves externo compatível. As etapas a seguir para usar o EKM no Dataproc são as mesmas usadas para configurar chaves CMEK, com a seguinte diferença: seus pontos principais para um URI da chave gerenciada externamente (consulte Visão geral do Cloud EKM).

Erros do Cloud EKM

Quando você usa o Cloud EKM, a tentativa de criar um cluster pode falhar devido a erros associados a entradas, ao Cloud EKM, ao sistema do parceiro de gerenciamento de chaves externas ou às comunicações entre o EKM e o sistema externo. Se você usar a API REST ou o console do Google Cloud, os erros serão registrados no Logging. É possível examinar os erros do cluster com falha na guia Visualizar registro.