Cette page a été traduite par l'API Cloud Translation.

Clés de chiffrement gérées par le client (CMEK)

Lorsque vous utilisez Dataproc, les données de cluster et de job sont stockées sur des disques persistants associés aux VM Compute Engine de votre cluster dans un bucket Cloud Storage bucket de préproduction. Ces données de disque persistant et de bucket sont chiffrées à l'aide d'une clé de chiffrement des données générée par Google (DEK) et de clé de chiffrement de clé (KEK).

La fonctionnalité CMEK vous permet de créer, d'utiliser et révoquer la clé de chiffrement de clé (KEK). Google continue de contrôler les données (clé de chiffrement de clé de chiffrement DEK). Pour en savoir plus sur les clés de chiffrement de données Google, consultez Chiffrement au repos.

Utiliser des CMEK avec des données de cluster

Vous pouvez utiliser des clés de chiffrement gérées par le client (CMEK) pour chiffrer les données de cluster suivantes:

Données sur les disques persistants associés aux VM de votre cluster Dataproc
Données d'argument de job envoyées à votre cluster, telles qu'une chaîne de requête envoyée à l'aide d'un job Spark SQL
Métadonnées du cluster, résultats du pilote de tâches et d'autres données écrites dans Dataproc bucket de préproduction que vous créez

Pour utiliser une clé CMEK avec le chiffrement des données du cluster, procédez comme suit:

Créez une ou plusieurs clés à l'aide de Cloud Key Management Service. Le nom de ressource, également appelé ID de ressource d'une clé, que vous utiliserez dans les étapes suivantes se présente comme suit:
```
projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
```
Utilisez la page Clés de chiffrement du console Google Cloud pour copier un ID de ressource de clé dans le presse-papiers.
Attribuez les rôles suivants aux comptes de service suivants:
1. Suivre l'élément n° 5 dans Compute Engine → Protéger des ressources avec des clés Cloud KMS → Avant de commencer pour attribuer Chiffreur/Déchiffreur de CryptoKeys à l'agent de service Compute Engine de service géré.
  Si le service de l'agent de service Compute Engine n'est pas visible dans l'IAM de la console Google Cloud, cliquez sur "Inclure les attributions de rôles fournies par Google" sur la page.
2. Attribuez l'instance Cloud KMS Chiffreur/Déchiffreur de CryptoKeys au niveau Agent de service Cloud Storage de service géré.
3. Attribuez l'instance Cloud KMS Chiffreur/Déchiffreur de CryptoKeys au niveau Agent de service Dataproc de service géré. Pour attribuer le rôle, vous pouvez utiliser Google Cloud CLI comme suit :
```
  gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
  --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
  --role roles/cloudkms.cryptoKeyEncrypterDecrypter
```
  Remplacez les éléments suivants :
  
  KMS_PROJECT_ID: ID du projet Google Cloud que exécute Cloud KMS. Ce projet peut également exécuter des ressources Dataproc.
  
  PROJECT_NUMBER: numéro (et non l'ID) de votre projet Google Cloud qui exécute des ressources Dataproc.
4. Activez l'API Cloud KMS sur le projet qui exécute les ressources Dataproc.
5. Si le rôle d'agent de service Dataproc n'est pas associé à le compte de service de l'agent de service Dataproc, puis ajoutez l'autorisation serviceusage.services.use associé au compte de service de l'agent de service Dataproc. Si le rôle d'agent de service Dataproc est associé au compte de service de l'agent de service Dataproc, vous pouvez ignorer cette étape.
Transmettez l'ID de ressource de votre clé à Google Cloud CLI ou à l'API Dataproc. à utiliser avec le chiffrement des données du cluster.
CLI gcloud
- Pour chiffrer les données du disque persistant d'un cluster à l'aide de votre clé, transmettez l'ID de ressource de votre clé vers l'option --gce-pd-kms-key lorsque vous créez le cluster.
```
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --gce-pd-kms-key='projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME' \
    other arguments ...
```
  Vous pouvez vérifier les paramètres de clé à partir de l'outil de ligne de commande gcloud.
```
gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
```
  Extrait du résultat de la commande:
```
...
configBucket: dataproc- ...
encryptionConfig:
gcePdKmsKeyName: projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name
...
```
- À chiffrer les données de disque persistant du cluster et les données d'argument de job à l'aide de votre clé, transmettez l'ID de ressource de la clé au --kms-key lorsque vous créez le cluster. Consultez Cluster.EncryptionConfig.kmsKey. pour obtenir la liste des types de tâches et des arguments chiffrés avec l'option --kms-key.
```
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --kms-key='projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME' \
    other arguments ...
  
```
  Vous pouvez vérifier les paramètres de clé à l'aide de la gcloud CLI dataproc clusters describe. L'ID de ressource de la clé est défini gcePdKmsKeyName et kmsKey pour utiliser votre clé avec le chiffrement de les données d'arguments du disque persistant du cluster.
```
gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
  
```
  Extrait du résultat de la commande:
```
...
configBucket: dataproc- ...
encryptionConfig:
gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/key-KEY_RING_NAME-name/cryptoKeys/KEY_NAME
...
```
  Vous pouvez utiliser soit --gce-pd-kms-key, soit --kms-key, mais pas les deux, pour chiffrer les données du cluster à l'aide de votre clé.
- Pour chiffrer les métadonnées du cluster, le pilote de tâches et d'autres données de sortie écrites dans votre Bucket de préproduction Dataproc dans Cloud Storage:
  - Créez votre propre bucket avec une clé CMEK. Quand ? ajouter la clé au bucket ; utilisez une clé créée à l'étape 1.
  - Transmettez le nom du bucket à l'option --bucket lors de la création du cluster.
```
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --bucket=CMEK_BUCKET_NAME \
    other arguments ...
    
```
  Vous pouvez également transmettre les buckets activés par CMEK à la commande "gcloud dataproc jobs submit" si votre job utilise des arguments de bucket, comme illustré dans l'exemple "cmek-bucket" suivant:
```
gcloud dataproc jobs submit pyspark gs://cmek-bucket/wordcount.py \
    --region=region \
    --cluster=cluster-name \
    -- gs://cmek-bucket/shakespeare.txt gs://cmek-bucket/counts
  
```
  Dataproc ne gère pas les clés de chiffrement gérées par le client sur votre bucket Cloud Storage.
  
  L'utilisation d'un bucket avec une clé de chiffrement gérée par le client peut ralentir les écritures sur des fichiers volumineux.
API REST
- Pour chiffrer les données de disque persistant d'une VM de cluster à l'aide de votre clé, incluez le paramètre ClusterConfig.EncryptionConfig.gcePdKmsKeyName dans le cadre d'un cluster.create requête.
  Vous pouvez vérifier les paramètres de clé à l'aide de la gcloud CLI dataproc clusters describe.
```
gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
```
  Extrait du résultat de la commande:
```
...
configBucket: dataproc- ...
encryptionConfig:
gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
...
```
- Pour chiffrer les données de disque persistant des VM d'un cluster et les données d'arguments de tâches à l'aide de votre clé, incluez le champ Cluster.EncryptionConfig.kmsKey dans un cluster.create requête. Voir Cluster.EncryptionConfig.kmsKey pour obtenir la liste des types de tâches et des arguments chiffrés avec le champ --kms-key.
  Vous pouvez inclure le champ Cluster.EncryptionConfig.gcePdKmsKeyName ou le champ Cluster.EncryptionConfig.kmsKey, mais pas les deux, à votre requête de création de cluster.
  
  Vous pouvez vérifier les paramètres de clé à l'aide de la gcloud CLI dataproc clusters describe. L'ID de ressource de la clé est défini gcePdKmsKeyName et kmsKey pour utiliser votre clé avec le chiffrement de les données d'arguments du disque persistant du cluster.
```
gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
```
  Extrait du résultat de la commande:
```
...
configBucket: dataproc- ...
encryptionConfig:
gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
```
- To encrypt cluster metadata, job driver, and other output data written to your Dataproc staging bucket in Cloud Storage:
  - Create your own bucket with CMEK. When adding the key to the bucket, use a key that you created in Step 1.
  - Pass the bucket name to the ClusterConfig.configBucket field as part of a cluster.create request.
```
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --bucket=CMEK_BUCKET_NAMEt \
    other arguments ...
```
  Dataproc ne gère pas les clés de chiffrement gérées par le client sur votre bucket Cloud Storage.
  
  L'utilisation d'un bucket avec une clé de chiffrement gérée par le client peut ralentir les écritures sur des fichiers volumineux.
  Vous pouvez également transmettre les buckets activés par CMEK à la commande "gcloud dataproc jobs submit" si votre job utilise des arguments de bucket, comme illustré dans l'exemple "cmek-bucket" suivant:
```
gcloud dataproc jobs submit pyspark gs://cmek-bucket/wordcount.py \
    --region=region \
    --cluster=cluster-name \
    -- gs://cmek-bucket/shakespeare.txt gs://cmek-bucket/counts
  
```

Utiliser des CMEK avec des données de modèle de workflow

les données d'arguments du job du modèle de workflow Dataproc, comme la chaîne de requête d'un job Spark SQL, peut être chiffré à l'aide de CMEK. Suivez les étapes 1, 2 et 3 de cette section pour utiliser des CMEK avec votre Modèle de workflow Dataproc. Voir WorkflowTemplate.EncryptionConfig.kmsKey pour obtenir la liste des types de tâches et des arguments du modèle de workflow chiffrés à l'aide de CMEK lorsque cette fonctionnalité est activée.

Créez une clé à l'aide du service Cloud Key Management Service (Cloud KMS). Le nom de ressource de la clé, que vous utiliserez dans les étapes suivantes, se construit comme suit:
```
projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name
```
Utilisez la page Clés de chiffrement de la console Google Cloud pour copier un ID de ressource de clé dans le presse-papiers.
Pour permettre aux comptes de service Dataproc d'utiliser votre clé:
1. Attribuez le rôle CryptoKey Encrypter/Decrypter Cloud KMS au rôle Compte de service d'agent de service Dataproc. Vous pouvez utiliser la gcloud CLI pour attribuer le rôle:
```
 gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
 --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
 --role roles/cloudkms.cryptoKeyEncrypterDecrypter
```
  Remplacez les éléments suivants :
  
  KMS_PROJECT_ID: ID du projet Google Cloud que exécute Cloud KMS. Ce projet peut également exécuter des ressources Dataproc.
  
  PROJECT_NUMBER: numéro (et non l'ID) de votre projet Google Cloud qui exécute des ressources Dataproc.
2. Activez l'API Cloud KMS sur le projet qui exécute les ressources Dataproc.
3. Si le rôle d'agent de service Dataproc n'est pas associé au compte de service d'agent de service Dataproc, puis ajoutez l'autorisation serviceusage.services.use associé au compte de service de l'agent de service Dataproc. Si le rôle d'agent de service Dataproc est associé au compte de service de l'agent de service Dataproc, vous pouvez ignorer cette étape.
Vous pouvez utiliser la Google Cloud CLI ou l'API Dataproc pour définir la clé créée à l'étape 1 d'un processus. Une fois la clé définie dans un workflow, Tous les arguments et requêtes du job de workflow sont chiffrés à l'aide de la clé pour tous les types de jobs et les arguments répertoriés dans WorkflowTemplate.EncryptionConfig.kmsKey.
CLI gcloud

Transmettez l'ID de ressource de votre clé à la l'option --kms-key lorsque vous créez le modèle de workflow avec gcloud dataproc workflow-templates create.

Exemple :
```
gcloud dataproc workflow-templates create my-template-name \
    --region=region \
    --kms-key='projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name' \
    other arguments ...
```
Vous pouvez vérifier les paramètres de clé à partir de la ligne de commande gcloud. .
```
gcloud dataproc workflow-templates describe TEMPLATE_NAME \
    --region=REGION
```
```
...
id: my-template-name
encryptionConfig:
kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
...
```
API REST

Utilisez WorkflowTemplate.EncryptionConfig.kmsKey dans le cadre d'un workflowTemplates.create requête.

Vous pouvez vérifier les paramètres de la clé en émettant une workflowTemplates.get requête. Le fichier JSON renvoyé contient la liste kmsKey:
```
...
"id": "my-template-name",
"encryptionConfig": {
  "kmsKey": "projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name"
},
```

Cloud External Key Manager

Cloud External Key Manager (Cloud EKM) (EKM) vous permet de protéger les données Dataproc à l'aide de clés gérées par partenaire de gestion de clés externes compatible. Les étapes à suivre pour utiliser EKM dans Dataproc sont les mêmes que que celles que vous utilisez pour configurer des clés CMEK, avec la différence suivante: votre clé pointe vers un URI de la clé gérée en externe (voir Présentation de Cloud EKM).

Erreurs Cloud EKM

Lorsque vous utilisez Cloud EKM, toute tentative de création d'un cluster peut échouer en raison d'erreurs associées aux entrées, Cloud EKM, partenaire de gestion de clés, ou les communications entre EKM et le système externe. Si vous utilisez l'API REST ou la console Google Cloud, les erreurs sont consignées dans Logging. Vous pouvez examiner l'état du cluster dans l'onglet Afficher le journal.