Esta página foi traduzida pela API Cloud Translation.

Chaves de criptografia gerenciadas pelo cliente (CMEK)

Ao usar o Dataproc, os dados do cluster e do job são armazenados em discos permanentes associados às VMs do Compute Engine no cluster e em um bucket de preparo do Cloud Storage. Esses dados de bucket e disco permanente são criptografados com uma chave de criptografia de dados (DEK, na sigla em inglês) gerada pelo Google e uma chave de criptografia de chaves (KEK, na sigla em inglês).

Com o recurso CMEK, você cria, usa e revoga a chave de criptografia de chaves (KEK). O Google ainda controla a chave de criptografia de dados (DEK). Para mais informações sobre chaves de criptografia de dados do Google, consulte Criptografia em repouso.

Usar o CMEK com dados de cluster

É possível usar chaves de criptografia gerenciadas pelo cliente (CMEK) para criptografar os seguintes dados de cluster:

Dados nos discos permanentes anexados a VMs no cluster do Dataproc
Dados de argumentos de job enviados para o cluster, como uma string de consulta enviada com um job do Spark SQL
Metadados do cluster, saída do driver do job e outros dados gravados em um bucket de preparo do Dataproc criado por você

Siga estas etapas para usar a CMEK com a criptografia dos dados do cluster:

Crie uma ou mais chaves usando o Cloud Key Management Service. O nome do recurso, também chamado de ID do recurso de uma chave, que você vai usar nas próximas etapas, é criado da seguinte maneira:
```
projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
```
Use a página Chaves criptográficas no Console do Google Cloud para copiar um ID de recurso principal para a área de transferência.
Atribua os seguintes papéis às seguintes contas de serviço:
1. Siga o item 5 em Compute Engine→Como proteger recursos com chaves do Cloud KMS→Antes de começar para atribuir o papel CryptoKey Encrypter/Decrypter do Cloud KMS à conta de serviço do agente de serviço do Compute Engine.
  Se a conta de serviço do agente de serviço do Compute Engine não estiver visível na página IAM do console do Google Cloud, clique em "Incluir concessões de função fornecidas pelo Google" na página.
2. Atribua o papel Criptografador/Descriptografador de CryptoKey do Cloud KMS à conta de serviço do agente de serviço do Cloud Storage.
3. Atribua o papel Criptografador/Descriptografador de CryptoKey do Cloud KMS à conta de serviço do agente de serviço do Dataproc. Use Google Cloud CLI para atribuir a função:
```
  gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
  --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
  --role roles/cloudkms.cryptoKeyEncrypterDecrypter
```
  Substitua:
  
  KMS_PROJECT_ID: o ID do projeto do Google Cloud que executa o Cloud KMS. Esse projeto também pode ser o que executa os recursos do Dataproc.
  
  PROJECT_NUMBER: o número do projeto (não o ID do projeto) do seu projeto do Google Cloud que executa recursos do Dataproc.
4. Ative a API Cloud KMS no projeto que executa os recursos do Dataproc.
5. Se o papel de agente de serviço do Dataproc não estiver anexado à conta de serviço do agente de serviço do Dataproc, adicione a permissão serviceusage.services.use ao papel personalizado anexado à conta de serviço do agente de serviço do Dataproc. Se o papel do agente de serviço do Dataproc estiver anexado à conta de serviço do agente de serviço do Dataproc, pule esta etapa.
Transmita o ID do recurso da chave para a Google Cloud CLI ou a API Dataproc para usar com a criptografia de dados do cluster.
CLI da gcloud
- Para criptografar dados disco permanente do cluster usando sua chave, transmita o ID de recurso da chave para a flag --gce-pd-kms-key ao criar o cluster.
  gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --gce-pd-kms-key='projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME' \ other arguments ...
  Você pode verificar a configuração da chave na ferramenta de linha de comando gcloud.
  gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
  Exemplo de saída do comando:
  ... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name ...
- Para criptografar os dados do disco permanente do cluster e do argumento do job usando sua chave, transmita o ID do recurso da chave para a flag --kms-key ao criar o cluster. Consulte Cluster.EncryptionConfig.kmsKey para conferir uma lista de tipos de jobs e argumentos criptografados com a flag --kms-key.
  gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --kms-key='projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME' \ other arguments ...
  É possível verificar as configurações de chaves com o comando dataproc clusters describe da CLI gcloud. O ID do recurso da chave é definido em gcePdKmsKeyName e kmsKey para usar a chave com a criptografia do disco permanente do cluster e dos dados do argumento do job.
  gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
  Exemplo de saída do comando:
  ... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/key-KEY_RING_NAME-name/cryptoKeys/KEY_NAME ...
  É possível usar a flag --gce-pd-kms-key ou --kms-key, mas não as duas, para criptografar os dados do cluster usando sua chave.
- Para criptografar metadados do cluster, driver de job e outros dados de saída gravados no bucket de preparo do Dataproc no Cloud Storage:
  - Crie seu próprio bucket com CMEK. Ao adicionar a chave ao bucket, use uma chave que você criou na etapa 1.
  - Transmita o nome do bucket para a flag --bucket ao criar o cluster.
  gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --bucket=CMEK_BUCKET_NAME \ other arguments ...
  Também é possível transmitir buckets ativados para CMEK no comando "gcloud dataproc jobs submit", caso seu job aceite argumentos de bucket, conforme mostrado no exemplo "cmek-bucket" a seguir:
  gcloud dataproc jobs submit pyspark gs://cmek-bucket/wordcount.py \ --region=region \ --cluster=cluster-name \ -- gs://cmek-bucket/shakespeare.txt gs://cmek-bucket/counts
  O Dataproc não gerencia chaves de criptografia gerenciadas pelo cliente no seu bucket do Cloud Storage.
  
  O uso de um bucket com uma chave de criptografia gerenciada pelo cliente pode tornar lento o processo de gravação em arquivos grandes.
API REST
- Para criptografar os dados disco permanente da VM do cluster usando sua chave, inclua o campo ClusterConfig.EncryptionConfig.gcePdKmsKeyName como parte de uma solicitação cluster.create.
  É possível verificar a configuração da chave com o comando dataproc clusters describe da CLI gcloud.
  gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
  Exemplo de saída do comando:
  ... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME ...
- Para criptografar os dados do disco permanente da VM do cluster e os dados do argumento do job usando sua chave, inclua o campo Cluster.EncryptionConfig.kmsKey como parte de uma solicitação cluster.create. Consulte Cluster.EncryptionConfig.kmsKey para conferir uma lista de tipos de jobs e argumentos criptografados com o campo --kms-key.
  É possível incluir o campo Cluster.EncryptionConfig.gcePdKmsKeyName ou o campo Cluster.EncryptionConfig.kmsKey, mas não ambos, na solicitação de criação do cluster.
  
  É possível verificar as configurações de chaves com o comando dataproc clusters describe da CLI gcloud. O ID do recurso da chave é definido em gcePdKmsKeyName e kmsKey para usar a chave com a criptografia do disco permanente do cluster e dos dados do argumento do job.
  gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
  Exemplo de saída do comando:
  ... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
- To encrypt cluster metadata, job driver, and other output data written to your Dataproc staging bucket in Cloud Storage:
  - Create your own bucket with CMEK. When adding the key to the bucket, use a key that you created in Step 1.
  - Pass the bucket name to the ClusterConfig.configBucket field as part of a cluster.create request.
```
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --bucket=CMEK_BUCKET_NAMEt \
    other arguments ...
```
  O Dataproc não gerencia chaves de criptografia gerenciadas pelo cliente no seu bucket do Cloud Storage.
  
  O uso de um bucket com uma chave de criptografia gerenciada pelo cliente pode tornar lento o processo de gravação em arquivos grandes.
  Também é possível transmitir buckets ativados para CMEK no comando "gcloud dataproc jobs submit", caso seu job aceite argumentos de bucket, conforme mostrado no exemplo "cmek-bucket" a seguir:
  gcloud dataproc jobs submit pyspark gs://cmek-bucket/wordcount.py \ --region=region \ --cluster=cluster-name \ -- gs://cmek-bucket/shakespeare.txt gs://cmek-bucket/counts

Usar o CMEK com dados de modelos de fluxo de trabalho

Os dados de argumentos de job do modelo de fluxo de trabalho do Dataproc, como a string de consulta de um job do Spark SQL, podem ser criptografados usando a CMEK. Siga as etapas 1, 2 e 3 desta seção para usar a CMEK com o modelo de fluxo de trabalho do Dataproc. Consulte WorkflowTemplate.EncryptionConfig.kmsKey para conferir uma lista de tipos de jobs de modelo de fluxo de trabalho e argumentos criptografados usando CMEK quando esse recurso está ativado.

Crie uma chave usando o Cloud Key Management Service (Cloud KMS). O nome do recurso da chave, que você vai usar nas próximas etapas, é criado da seguinte maneira:
```
projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name
```
Use a página Chaves criptográficas do console do Google Cloud para copiar um ID de recurso principal para a área de transferência.
Para permitir que as contas de serviço do Dataproc usem sua chave:
1. Atribua o papel CryptoKey Encrypter/Decrypter do Cloud KMS à conta de serviço do agente de serviço do Dataproc. Use a CLI gcloud para atribuir o papel:
```
 gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
 --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
 --role roles/cloudkms.cryptoKeyEncrypterDecrypter
```
  Substitua:
  
  KMS_PROJECT_ID: o ID do projeto do Google Cloud que executa o Cloud KMS. Esse projeto também pode ser o que executa os recursos do Dataproc.
  
  PROJECT_NUMBER: o número do projeto (não o ID do projeto) do seu projeto do Google Cloud que executa recursos do Dataproc.
2. Ative a API Cloud KMS no projeto que executa os recursos do Dataproc.
3. Se o papel de agente de serviço do Dataproc não estiver anexado à conta de serviço do agente de serviço do Dataproc, adicione a permissão serviceusage.services.use ao papel personalizado anexado à conta de serviço do agente de serviço do Dataproc. Se o papel do agente de serviço do Dataproc estiver anexado à conta de serviço do agente de serviço do Dataproc, pule esta etapa.
É possível usar a Google Cloud CLI ou a API Dataproc para definir a chave criada na etapa 1 em um fluxo de trabalho. Depois que a chave é definida em um fluxo de trabalho, todos os argumentos e consultas do job do fluxo de trabalho são criptografados usando a chave para qualquer um dos tipos de job e argumentos listados em WorkflowTemplate.EncryptionConfig.kmsKey.
CLI da gcloud

Transmita o ID do recurso da chave para a sinalização --kms-key ao criar o modelo de fluxo de trabalho com o comando gcloud dataproc workflow-templates create.

Exemplo:
```
gcloud dataproc workflow-templates create my-template-name \
    --region=region \
    --kms-key='projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name' \
    other arguments ...
```
É possível verificar a configuração da chave na ferramenta de linha de comando gcloud.
```
gcloud dataproc workflow-templates describe TEMPLATE_NAME \
    --region=REGION
```
```
...
id: my-template-name
encryptionConfig:
kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
...
```
API REST

Use WorkflowTemplate.EncryptionConfig.kmsKey como parte de uma solicitação workflowTemplates.create.

É possível verificar a configuração da chave emitindo uma solicitação workflowTemplates.get. O JSON retornado lista o kmsKey:
```
...
"id": "my-template-name",
"encryptionConfig": {
  "kmsKey": "projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name"
},
```

Cloud External Key Manager

O Cloud External Key Manager (EKM) (Cloud EKM) permite proteger dados do Dataproc usando chaves gerenciadas por um parceiro de gerenciamento de chaves externo com suporte. As etapas para usar o EKM no Dataproc são iguais às que você usa para configurar chaves CMEK, com a seguinte diferença: a chave aponta para um URI da chave gerenciada externamente (consulte Visão geral do Cloud EKM).

Erros do Cloud EKM

Quando você usa o Cloud EKM, uma tentativa de criar um cluster pode falhar devido a erros associados a entradas, ao Cloud EKM, ao sistema externo de parceiros de gerenciamento de chaves ou a comunicações entre o EKM e o sistema externo. Se você usar a API REST ou o console do Google Cloud, os erros serão registrados no Logging. É possível examinar os erros do cluster com falha na guia Ver registro.