Mettre à jour un service Dataproc Metastore

Cette page explique comment mettre à jour un service Dataproc Metastore.

Vous pouvez mettre à jour votre service Dataproc Metastore pour modifier les paramètres de configuration, ou pour activer ou désactiver des fonctionnalités facultatives.

Avant de commencer

Rôles requis

Pour obtenir l'autorisation nécessaire pour mettre à jour un service Dataproc Metastore, demandez à votre administrateur de vous attribuer les rôles IAM suivants sur votre projet, selon le principe du moindre privilège:

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Ce rôle prédéfini contient l'autorisation metastore.services.update, nécessaire pour mettre à jour un service Dataproc Metastore.

Vous pouvez également obtenir cette autorisation avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur des rôles et des autorisations spécifiques à Dataproc Metastore, consultez la page Présentation du service IAM de Dataproc Metastore.

À propos de la mise à jour d'un service

Vous pouvez mettre à jour les paramètres Dataproc Metastore suivants.

  • Numéro de port : Mettez à jour le numéro de port TCP de l'interface Apache Thrift.
  • Niveau de service : Basculez entre le niveau de service Developer (Développeur) ou Enterprise (Entreprise). Ces niveaux ont une incidence sur la capacité du service.
  • Synchronisation de Data Catalog Activez ou désactivez la fonctionnalité de synchronisation Data Catalog.
  • Intervalle de maintenance : Modifiez la fréquence de l'intervalle de maintenance, y compris Jour de la semaine et Heure de la journée.
  • Kerberos : Activer ou désactiver l'authentification Kerberos. Si cette option est déjà activée, vous pouvez mettre à jour vos fichiers de configuration Kerberos.
  • Configurations de métastore Hive Mettez à jour l'emplacement du répertoire de votre entrepôt Hive.
  • Configuration de la version auxiliaire (preview). Activez, désactivez ou ajoutez des versions auxiliaires supplémentaires.
  • Libellés. Ajoutez ou supprimez des libellés facultatifs décrivant vos métadonnées.
  • Facteur de scaling. Modifiez le facteur de scaling. Vous pouvez activer ou désactiver l'autoscaling et mettre à jour les facteurs de scaling minimal ou maximal.

Mettre à jour un service

Avant d'exécuter une mise à jour, tenez compte des points suivants:

  • Vous ne pouvez exécuter qu'un seul job de mise à jour à la fois (pour chaque service Dataproc Metastore).
  • Vous pouvez mettre à jour plusieurs paramètres en une seule tâche de mise à jour.
  • Vous pouvez continuer à utiliser Dataproc Metastore pendant la mise à jour.

Une fois la mise à jour effectuée, Dataproc Metastore passe automatiquement à l'état actif. Si la mise à jour échoue, le service Dataproc Metastore revient à son état opérationnel précédent.

Les instructions suivantes expliquent comment mettre à jour un service Dataproc Metastore.

Console

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore:

    Ouvrir Dataproc Metastore

  2. Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez mettre à jour.

    La page Détails du service s'ouvre.

    Page d'information sur le service
    Page d'informations sur le service Dataproc Metastore

  3. Dans l'onglet Configuration, cliquez sur Modifier.

    La page Modifier le service s'ouvre.

  4. Choisissez les valeurs que vous souhaitez mettre à jour pour votre service.

  5. Cliquez sur Envoyer.

    Revenez à la page Dataproc Metastore et vérifiez que votre service a bien été mis à jour.

gcloud CLI

  1. Pour mettre à jour un service, exécutez la commande gcloud metastore services update suivante:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Remplacez les éléments suivants :

    • SERVICE: nom de votre service Dataproc Metastore.
    • LOCATION: région Google Cloud dans laquelle se trouve votre service Dataproc Metastore.
    • PORT : (facultatif) port TCP de l'interface Thrift que vous utilisez avec votre service Dataproc Metastore.
    • TIER : (facultatif) niveau de capacité de votre service Dataproc Metastore.
    • MAINTENANCE_WINDOW_DAY : (facultatif) jour de la semaine où la fenêtre du service commence.
    • MAINTENANCE_WINDOW_HOUR (facultatif) : heure de la journée à laquelle la fenêtre du service commence.
    • KERBEROS_PRINCIPAL : (facultatif) un compte principal Kerberos qui existe à la fois dans le keytab et dans le KDC. Un compte principal typique se présente sous la forme "primary/instance@REALM", mais il n'existe pas de format exact.
    • KEYTAB (facultatif) : fichier keytab Kerberos utilisé pour authentifier un principal de service auprès d'un centre de distribution de clés Kerberos.
    • KRB5_CONFIG : (facultatif) le fichier krb5.config spécifie les informations du KDC et du domaine Kerberos, qui incluent les emplacements des KDC et les valeurs par défaut du domaine et des applications Kerberos.
    • [KEY, ...] : (facultatif) les configurations de métastore Hive que vous souhaitez mettre à jour. Si une variable existe dans ce champ, sa valeur est mise à jour. Sinon, une variable est créée. Si cet indicateur est défini, -clear-hive-metastore-configs est également défini automatiquement.
    • [KEY, ...] : (facultatif) les configurations de métastore Hive que vous souhaitez supprimer.
    • [KEY=VALUE, ...] (facultatif) : libellés ou configurations de paires clé/valeur du métastore Hive que vous souhaitez mettre à jour.
    • [KEY, ...] : (facultatif) les libellés ou les configurations de paire clé-valeur de métastore Hive que vous souhaitez supprimer.

  2. Vérifiez que la mise à jour a bien été effectuée.

REST

Suivez les instructions de l'API pour mettre à jour un service à l'aide de l'explorateur d'API.

Mettre à jour la configuration de l'entrepôt de métastore Hive

Si votre répertoire d'entrepôt Hive se trouve sur Cloud Storage, vous devez définir un remplacement de configuration du métastore. Ce remplacement définit votre entrepôt de données spécifique comme répertoire d'entrepôt par défaut pour Dataproc Metastore.

Avant de définir ce forçage, assurez-vous que votre service Dataproc Metastore dispose d'autorisations de lecture et d'écriture des objets pour accéder au répertoire de l'entrepôt. Pour en savoir plus, consultez la section Répertoire d'entrepôt Hive.

Les instructions suivantes vous expliquent comment mettre à jour un remplacement de configuration du métastore Hive.

Console

  1. Dans la console Google Cloud, ouvrez la page "Dataproc Metastore" :

    Ouvrir Dataproc Metastore

  2. Sur la page Dataproc Metastore, cliquez sur le nom du service à mettre à jour.

    La page Détails du service s'ouvre.

  3. Dans l'onglet Configuration, cliquez sur Modifier.

    La page Modifier le service s'ouvre.

  4. Dans Remplacements de configuration du métastore, saisissez la commande suivante:

    • Clé : saisissez la valeur hive.metastore.warehouse.dir.
    • Valeur: emplacement Cloud Storage du répertoire de votre entrepôt. Par exemple, gs://my-bucket/path/to/location.

  5. Cliquez sur Envoyer.

    Revenez à la page Dataproc Metastore et vérifiez que votre service a bien été mis à jour.

gcloud

  1. Pour mettre à jour un service, exécutez la commande gcloud metastore services update suivante:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Remplacez les éléments suivants :

    • SERVICE: nom de votre service Dataproc Metastore.
    • LOCATION: région Google Cloud dans laquelle se trouve votre service Dataproc Metastore.
    • CUSTOMER_DIR: emplacement Cloud Storage du répertoire de votre entrepôt. Par exemple : gs://my-bucket/path/to/location

  2. Vérifiez que la mise à jour a bien été effectuée.

Étapes suivantes