Entités principales et rôles Dataproc

Lorsque vous créez des clusters et y exécutez des tâches à l'aide de Dataproc, le service configure les autorisations Dataproc et rôles IAM requis dans votre projet pour accéder aux ressources Google Cloud nécessaires à la réalisation de ces tâches. Notez toutefois que si vous travaillez avec plusieurs projets (afin d'accéder aux données d'un autre projet, par exemple), vous devez configurer les rôles et autorisations nécessaires pour accéder aux ressources des différents projets.

Pour vous aider à travailler efficacement sur plusieurs projets, ce document répertorie les diverses entités principales qui utilisent le service Dataproc, ainsi que les rôles contenant les autorisations nécessaires pour que ces entités puissent accéder aux ressources Google Cloud et les utiliser.

Trois entités principales (identités) peuvent accéder à Dataproc et l'utiliser :

  1. Identité des utilisateurs
  2. Identité du plan de contrôle
  3. Identité du plan de données

Utilisateur de l'API Dataproc (identité d'utilisateur)

Exemple : nom_utilisateur@example.com

Il s'agit de l'utilisateur qui appelle le service Dataproc pour créer des clusters, envoyer des tâches et envoyer d'autres requêtes au service. C'est généralement un utilisateur individuel, mais il peut également s'agir d'un compte de service si Cloud Dataproc est appelé via un client API ou depuis un autre service Google Cloud, tel que Compute Engine, Cloud Functions ou Cloud Composer.

Rôles associés

Remarques

  • Les tâches Dataproc envoyées par l'API s'exécutent sous le compte root sous Linux.
  • Les clusters Dataproc héritent des métadonnées SSH Compute Engine à l'échelle du projet, sauf s'ils sont explicitement bloqués en définissant --metadata=block-project-ssh-keys=true lorsque vous créez votre cluster (consultez la section Métadonnées du cluster).

  • Les répertoires d'utilisateurs HDFS sont créés pour chaque utilisateur SSH au niveau du projet. Ces répertoires HDFS sont créés au moment du déploiement du cluster, et un nouvel utilisateur SSH (après le déploiement) ne se verra pas attribuer un répertoire HDFS sur les clusters existants.

Agent de service Dataproc (identité de plan de contrôle)

Exemple : service-project-number@dataproc-accounts.iam.gserviceaccount.com

Le compte de service de l'agent de service Dataproc Dataproc permet d'effectuer un grand nombre d'opérations système sur les ressources situées dans le projet où un cluster Dataproc est créé, y compris les suivantes :

  • Créer des ressources Compute Engine, telles que des instances de VM, des groupes d'instances et des modèles d'instances
  • Les opérations get et list pour confirmer la configuration des ressources telles que les images, les pare-feu, les actions d'initialisation Dataproc et les buckets Cloud Storage
  • Création automatique du bucket de préproduction et du bucket temporaire Dataproc s'il n'est pas spécifié par l'utilisateur
  • Écrire des métadonnées de configuration de cluster dans le bucket de préproduction
  • Accéder aux réseaux VPC dans un projet hôte

Rôles associés

Compte de service de la VM Dataproc (identité de plan de données)

Exemple : project-number-compute@developer.gserviceaccount.com

Votre code d'application s'exécute en tant que compte de service de VM sur les VM Dataproc.. Les tâches utilisateur se voient attribuer les rôles (et les autorisations associées) de ce compte de service.

Le compte de service de VM :

Rôles associés

Pour en savoir plus