Configurer un déploiement inter-projets

Vous pouvez configurer un déploiement interprojet pour Dataproc Metastore afin de séparer les ressources suivantes :

  • Service Dataproc Metastore
  • Cluster Dataproc associé au Dataproc Metastore Google Cloud.
  • Réseau utilisé par le cluster Dataproc.

Avant de commencer

Rôles requis

Pour obtenir les autorisations nécessaires pour créer un Dataproc Metastore et un cluster Dataproc, demandez à votre administrateur de vous accorder le rôles IAM suivants:

  • Pour accorder un contrôle complet sur les ressources Dataproc Metastore: Éditeur Dataproc Metastore (roles/metastore.editor) sur le projet de métastore.

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les autorisations et les rôles Dataproc Metastore spécifiques, consultez Gérer l'accès avec IAM.

À propos des déploiements inter-projets

Un déploiement inter-projets pour Dataproc Metastore peut se composer des configurations suivantes :

  • Deux projets:

    • Le premier projet contient le cluster Dataproc (le cluster projet).
    • Le deuxième projet contient le service Dataproc Metastore et le réseau (projet de métastore et projet de réseau).

  • Deux projets:

    • Le premier projet contient le cluster Dataproc.
    • Le deuxième projet contient le service Dataproc Metastore au réseau (projet de métastore et projet de réseau).

  • Deux projets :

    • Le premier projet contient le cluster Dataproc et le service Dataproc Metastore (projet de cluster et projet de métastore).
    • Le projet 2 contient le réseau (projet réseau).

  • Trois projets :

    • Le premier projet contient le cluster Dataproc (le cluster projet).
    • Le projet 2 contient le service Dataproc Metastore (projet de métastore).
    • Le troisième projet contient le réseau (projet réseau).

Le schéma suivant présente une vue d'ensemble des différents types de projets que vous pouvez utiliser.

Présentation des configurations de projet possibles lors du déploiement d'un cluster et d'un Metastore Dataproc

Autorisations multiprojet

Avant de configurer des autorisations inter-projets, déterminez si elles sont nécessaires pour votre configuration :

Vous devez configurer des autorisations inter-projets supplémentaires

  • Si votre cluster Dataproc et Dataproc Metastore dans des projets distincts.

  • Si votre service et votre réseau Dataproc Metastore se trouvent dans des projets distincts.

Configurer des autorisations inter-projets

Si le projet de cluster et le projet Metastore se trouvent dans des projets distincts, attribuez les rôles suivants :

  • roles/metastore.user au fichier Dataproc du projet de cluster Compte d'agent de service (inclus dans la stratégie IAM du projet de métastore). Cette configuration s'applique aux protocoles de point de terminaison Thrift et gRPC.

Si le projet réseau et le projet de métastore se trouvent dans des projets distincts, accordez les rôles suivants:

  • roles/metastore.serviceAgent vers l'agent de service du projet de métastore (inclus dans la stratégie IAM du projet réseau). Cette configuration uniquement s'applique au protocole de point de terminaison Thrift.

Console

Pour trouver votre numéro de projet :

  1. Accédez au tableau de bord Administrateur Onglet Paramètres.

  2. Dans la liste des projets en haut de la page, sélectionnez le projet que vous souhaitez utiliser pour créer le cluster Dataproc.

  3. Notez le numéro du projet.

Configurez les autorisations:

  1. Accédez à l'onglet IAM.

  2. Dans la liste des projets en haut de la page, sélectionnez le métastore. projet.

  3. Cliquez sur Ajouter.

  4. Saisissez le compte de service dans le champ Nouveaux comptes principaux.

  5. Dans le menu "Rôles", sélectionnez Dataproc Metastore > Lecteur Dataproc Metastore.

  6. Cliquez sur Ajouter.

Une fois les étapes précédentes terminées, vous pouvez créer un cluster Dataproc associé à un service Dataproc Metastore. Notez que pour ce faire, la configuration du réseau ou du sous-réseau du cluster Dataproc doit correspondre au réseau ou au sous-réseau de Dataproc Metastore.

Exemple :

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Étape suivante