Accéder aux points de terminaison gRPC pour Dataproc Metastore

Cette page explique comment accorder à un compte utilisateur Google Cloud ou à un compte de service l'accès à un service Dataproc Metastore qui utilise le protocole de point de terminaison gRPC.

À propos de l'attribution de rôles de métadonnées gRPC

Lorsque vous autorisez un compte à accéder à vos métadonnées, tenez compte des points suivants concepts:

  • Niveau d'accès à accorder Niveau d'accès que vous accordez aux contrôles les métadonnées auxquelles un compte peut accéder. Par exemple, vous pouvez choisir de fournir l'accès aux métadonnées stockées dans une base de données ou un tableau spécifiques, ou de fournir l'accès à l'ensemble de votre projet.

  • Compte principal nécessitant un accès. Vous utilisez des principaux IAM (identités) pour exécuter vos tâches. Par exemple, vous pouvez exécuter des tâches de cluster Dataproc avec des comptes utilisateur ou des comptes de service (généralement le compte de service de la VM Dataproc).

    Pour en savoir plus sur les comptes que vous pouvez utiliser avec Dataproc Metastore, consultez la section Comptes de service Dataproc.

Selon le niveau de contrôle requis, accordez au principal rôles IAM prédéfinis suivants:

  • Accorder un accès complet aux ressources de métadonnées. Rôle de propriétaire de métadonnées (roles/metastore.metadataOwner)
  • Pour accorder un accès en lecture/écriture aux métadonnées : rôle "Éditeur de métadonnées" (roles/metastore.metadataEditor)
  • Pour accorder un accès en lecture aux métadonnées : rôle Lecteur de métadonnées (roles/metastore.metadataViewer)

Avant de commencer

  • Activer Dataproc Metastore dans votre projet.
  • Créez un service de metastore qui utilise le protocole gRPC.

  • Vous devez comprendre la mise en réseau des exigences spécifiques à votre projet.

    • Exigences concernant gRPC et le cloud privé virtuel (VPC) Si vous utilisez gRPC, vous n'avez pas besoin de configurer un VPC partagé ni de définir de configurations réseau supplémentaires. Par défaut, les points de terminaison gRPC sont accessibles à partir de n'importe quel VPC.

    Il existe toutefois une exception. Si votre projet utilise un périmètre de service VPC-SC, les points de terminaison gRPC ne sont accessibles que depuis un VPC appartenant à des projets situés dans le périmètre. Pour en savoir plus, consultez la page VPC Service Contrôle avec Dataproc Metastore.

Rôles requis

Pour obtenir les autorisations nécessaires pour accorder à un compte principal l'accès aux métadonnées Dataproc Metastore, demandez à votre administrateur de vous accorder le les rôles IAM suivants sur votre projet, tout en suivant le principe du moindre privilège:

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour accorder à un compte principal l'accès aux métadonnées Dataproc Metastore. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour accorder à un principal un accès aux métadonnées Dataproc Metastore :

  • resourcemanager.projects.get
  • resourcemanager.projects.getIamPolicy
  • resourcemanager.projects.setIamPolicy

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les rôles et les autorisations spécifiques à Dataproc Metastore, consultez la page Présentation d'IAM de Dataproc Metastore.

Accorder à un compte principal l'accès aux métadonnées

Vous pouvez accorder à un compte principal l'accès aux métadonnées au niveau du projet, du service, de la base de données ou de la table.

Accorder l'accès au niveau du projet

Pour accorder l'accès à toutes les métadonnées Dataproc Metastore au niveau du projet, vous devez attribuer un rôle de métadonnées à votre compte principal.

CLI gcloud

Pour attribuer des rôles de métadonnées à tous les services Dataproc Metastore d'un projet spécifié, exécutez la commande gcloud projects add-iam-policy-binding suivante :

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=PRINCIPAL \
    --role=METASTORE_ROLE

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet Google Cloud auquel vous souhaitez accorder l'accès aux métadonnées.
  • PRINCIPAL: type et ID d'adresse e-mail (adresse e-mail) du compte principal.
    • Pour les comptes utilisateur : user:EMAIL_ID
    • Pour les comptes de service : serviceAccount:EMAIL_ID
    • Pour Google Groupes: group:EMAIL_ID
    • Pour les autres types de comptes principaux : Concepts liés à l'identité
  • METASTORE_ROLE : l'un des rôles suivants, en fonction du champ d'application des droits d'accès que vous souhaitez accorder au compte principal : roles/metastore.metadataViewer, roles/metastore.metadataEditor ou roles/metastore.metadataOwner.

Accorder l'accès au niveau du service

Pour accorder l'accès à toutes les métadonnées Dataproc Metastore au niveau du service, vous devez attribuer un rôle de métadonnées à votre compte principal.

CLI gcloud

Pour attribuer des rôles de métadonnées au niveau d'un seul service de métastore Dataproc Metastore, exécutez la commande suivante : gcloud metastore services add-iam-policy-binding commande:

gcloud metastore services add-iam-policy-binding SERVICE_ID \
  --location=LOCATION \
  --member=PRINCIPAL \
  --role=METASTORE_ROLE

Remplacez les éléments suivants :

  • SERVICE_ID : ID ou identifiant complet de votre service Dataproc Metastore.
  • LOCATION : région du Dataproc Metastore à laquelle vous accordez l'accès.
  • PRINCIPAL : type et ID de messagerie (adresse e-mail) du compte principal :
    • Pour les comptes utilisateur : user:EMAIL_ID
    • Pour les comptes de service: serviceAccount:EMAIL_ID
    • Pour Google Groupes: group:EMAIL_ID
    • Pour les autres types de comptes principaux : Concepts liés à l'identité
  • METASTORE_ROLE : l'un des rôles suivants, en fonction du champ d'application des droits d'accès que vous souhaitez accorder au compte principal : roles/metastore.metadataViewer, roles/metastore.metadataEditor ou roles/metastore.metadataOwner.

Accorder l'accès au niveau de la base de données

Pour accorder l'accès à toutes les métadonnées Dataproc Metastore d'une base de données spécifique, vous devez ajouter un rôle de métadonnées à votre compte principal.

CLI gcloud

Pour attribuer des rôles de métadonnées au niveau de précision d'une base de données spécifique, exécutez la vous suivez gcloud metastore services databases add-iam-policy-binding commande:

gcloud metastore services databases add-iam-policy-binding DATABASE_ID \
  --project=PROJECT \
  --location=LOCATION \
  --service=SERVICE_ID \
  --member=PRINCIPAL \
  --role=METASTORE_ROLE

Remplacez les éléments suivants :

  • DATABASE_ID : ID de la base de données à laquelle vous accordez l'accès aux métadonnées. Cet ID provient du schéma de votre base de données.
  • PROJECT: ID du projet Google Cloud contenant le Service Dataproc Metastore auquel vous accordez l'accès aux métadonnées.
  • LOCATION : région du service Dataproc Metastore auquel vous accordez l'accès.
  • SERVICE_ID: ID ou identifiant complet de votre service Dataproc Metastore.
  • PRINCIPAL : type et ID de messagerie (adresse e-mail) du compte principal :
    • Pour les comptes utilisateur : user:EMAIL_ID
    • Pour les comptes de service: serviceAccount:EMAIL_ID
    • Pour Google Groupes: group:EMAIL_ID
    • Pour les autres types de comptes principaux : Concepts liés à l'identité
  • METASTORE_ROLE : l'un des rôles suivants, en fonction du champ d'application des droits d'accès que vous souhaitez accorder au compte principal : roles/metastore.metadataViewer, roles/metastore.metadataEditor ou roles/metastore.metadataOwner.

Accorder un accès au niveau de la table

Pour accorder l'accès à toutes les métadonnées Dataproc Metastore d'une table spécifique, vous devez attribuer un rôle de métadonnées à votre compte principal.

CLI gcloud

Pour attribuer des rôles de métadonnées au niveau de la précision d'une table, exécutez la commande gcloud metastore services databases tables add-iam-policy-binding suivante:

gcloud metastore services databases tables add-iam-policy-binding TABLE_ID \
  --database=DATABASE_ID \
  --project=PROJECT \
  --location=LOCATION \
  --service=SERVICE_ID \
  --member=PRINCIPAL \
  --role=METASTORE_ROLE

Remplacez les éléments suivants :

  • TABLE_ID: ID de la table à laquelle vous accordez l'accès. Vous obtenez cet ID à partir du schéma de votre base de données.
  • DATABASE_ID: ID de la base de données contenant la table à laquelle vous accordez l'accès aux métadonnées. Cet ID provient du schéma de votre base de données.
  • PROJECT : ID du projet Google Cloud contenant le service Dataproc Metastore auquel vous autorisez l'accès aux métadonnées.
  • LOCATION: région du service Dataproc Metastore à laquelle vous accordez l'accès aux métadonnées.
  • SERVICE_ID : ID ou identifiant complet de votre service Dataproc Metastore.
  • PRINCIPAL : type et ID de messagerie (adresse e-mail) du compte principal :
    • Pour les comptes utilisateur : user:EMAIL_ID
    • Pour les comptes de service: serviceAccount:EMAIL_ID
    • Pour Google Groupes : group:EMAIL_ID
  • METASTORE_ROLE: l'un des rôles suivants, en fonction du niveau d'accès que vous souhaitez accorder au compte principal: roles/metastore.metadataViewer, roles/metastore.metadataEditor ou roles/metastore.metadataOwner.

Après avoir accordé l'accès à vos métadonnées

Après avoir attribué les rôles requis à vos comptes de service, vous pouvez connecter votre métastore Dataproc à un cluster Dataproc. Votre cluster utilise ensuite le service Dataproc Metastore en tant que métastore Hive.

Étape suivante