Configurer Kerberos pour les points de terminaison gRPC de Dataproc Metastore

Cette page explique comment configurer Kerberos pour votre service Dataproc Metastore qui utilise le protocole de point de terminaison gRPC. Si votre service Dataproc Metastore utilise le protocole de point de terminaison Thrift, consultez la section Configurer Kerberos pour les points de terminaison Thrift.

Avant de commencer

  • Comprendre les principes de base de Kerberos

    Dans ces instructions, vous allez utiliser un cluster Dataproc pour créer les composants Kerberos suivants:

    • Un fichier Keytab
    • Un fichier krb5.conf.
    • Un principal Kerberos.

    Pour en savoir plus sur le fonctionnement de ces éléments Kerberos avec un service Dataproc Metastore, consultez À propos de Kerberos.

  • Créez et hébergez votre propre KDC Kerberos, ou découvrez comment utiliser le KDC local d'un cluster Dataproc.

  • Créez un bucket Cloud Storage ou accédez à un bucket existant. Vous devez stocker votre fichier krb5.conf dans ce bucket.

Rôles requis

Pour obtenir l'autorisation dont vous avez besoin pour créer un métastore Dataproc configuré avec Kerberos, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet, conformément au principe du moindre privilège:

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient l'autorisation metastore.services.create, qui est requise pour créer un métastore Dataproc configuré avec Kerberos .

Vous pouvez également obtenir cette autorisation avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les rôles et les autorisations spécifiques de Dataproc Metastore, consultez Gérer les accès avec IAM.

Pour en savoir plus, consultez la page IAM et contrôle des accès Dataproc Metastore.

Configurer Kerberos pour Dataproc Metastore

Les instructions suivantes vous expliquent comment configurer Kerberos pour un service Dataproc Metastore qui utilise le point de terminaison gRPC.

Commencez par créer un métastore Dataproc qui utilise le point de terminaison gRPC. Vous créez ensuite un cluster Dataproc configuré avec Kerberos et vous vous y connectez.

Créer un service Dataproc Metastore avec le point de terminaison gRPC

Pour créer un métastore Dataproc qui utilise le point de terminaison gRPC, exécutez la commande gcloud metastore services create suivante:

gcloud

gcloud metastore services create SERVICE \
     --instance-size=medium \
     --endpoint-protocol=grpc

Remplacez :

  • SERVICE: nom de votre service Dataproc Metastore

Créer un cluster Dataproc et vous connecter à votre service

Pour créer un Dataproc configuré avec Kerberos, exécutez la commande gcloud dataproc clusters create suivante.

Dans cette commande, l'option --enable-kerberos crée le fichier keytab Kerberos, le fichier krb5.conf et le principal. Ces valeurs sont toutes créées à l'aide des noms et des paramètres par défaut définis par le cluster Dataproc.

gcloud

gcloud dataproc clusters create CLUSTER_NAME \
    --project PROJECT_ID \
    --region REGION \
    --image-version 2.0-debian10 \
    --dataproc-metastore DATAPROC_METASTORE_NAME \
    --enable-kerberos \
    --scopes 'https://www.googleapis.com/auth/cloud-platform'

Remplacez :

  • CLUSTER_NAME: nom de votre cluster Dataproc.
  • PROJECT_ID : ID de votre projet Google Cloud.
  • REGION: région Google Cloud dans laquelle vous souhaitez créer votre cluster Dataproc.
  • DATAPROC_METASTORE_NAME: nom du service Dataproc Metastore que vous associez au cluster, au format suivant: projects/<my_project>/locations/<location>/services/<service_id>.

Configurer Dataproc avant d'envoyer des tâches

Pour exécuter vos tâches Dataproc, vous devez ajouter l'utilisateur hive à la propriété allowed.system.users dans le fichier container-executor.cfg Hadoop. Cela permet aux utilisateurs d'exécuter des requêtes pour accéder aux données, comme select * from.

Les instructions suivantes vous expliquent comment vous connecter en SSH à votre cluster Dataproc principal associé à votre service Dataproc Metastore et mettre à jour le fichier container-executor.cfg.

  1. Dans la console Google Cloud, accédez à la page Instances de VM.

  2. Dans la liste des instances de machine virtuelle, cliquez sur SSH sur la ligne du nœud principal Dataproc (your-cluster-name-m).

    Une fenêtre de navigateur s'ouvre dans votre répertoire de base sur le nœud.

  3. Dans la session SSH, ouvrez le fichier container-executor.cfg Hadoop.

    sudo vim /etc/hadoop/conf/container-executor.cfg

    Ajoutez la ligne suivante sur chaque nœud Dataproc.

    allowed.system.users=hive

Obtenir un ticket Kerberos

Les instructions suivantes vous expliquent comment générer un ticket Kerberos.

  1. Dans la session SSH du cluster Dataproc, générez un ticket Kerberos et connectez-vous à votre service Dataproc Metastore.

    Cette commande utilise le nom de keytab par défaut généré par votre cluster Dataproc.

    sudo klist -kte /etc/security/keytab/hive.service.keytab
sudo kinit -kt /etc/security/keytab/hive.service.keytab hive/_HOST@${realm}
sudo klist # gets the ticket information.

    La valeur _HOST est récupérée lorsque le fichier keytab est listé à l'aide de la commande klist -kte. Il contient le nom d'hôte du nœud principal.

(Facultatif) Ajouter une entité principale

  1. Pour ajouter un principal, exécutez la commande suivante :

    sudo kadmin.local -q "addprinc -randkey PRINCIPAL"
sudo kadmin.local -q "ktadd -k /etc/security/keytab/hive.service.keytab PRINCIPAL"

  2. Obtenez le ticket Kerberos.

    sudo klist -kte /etc/security/keytab/hive.service.keytab
sudo kinit -kt /etc/security/keytab/hive.service.keytab PRINCIPAL
sudo klist
sudo hive

Étape suivante