Mettre à jour un service Dataproc Metastore

Cette page explique comment mettre à jour un service Dataproc Metastore.

Vous pouvez mettre à jour votre service Dataproc Metastore pour modifier les paramètres de configuration, ou pour activer ou désactiver des fonctionnalités facultatives.

Avant de commencer

Rôles requis

Pour obtenir l'autorisation dont vous avez besoin pour mettre à jour un service Dataproc Metastore, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet, conformément au principe du moindre privilège :

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient l'autorisation metastore.services.update, qui est requise pour mettre à jour un service Dataproc Metastore.

Vous pouvez également obtenir cette autorisation avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les rôles et les autorisations spécifiques de Dataproc Metastore, consultez la page Présentation de l'IAM Dataproc Metastore.

À propos de la mise à jour d'un service

Vous pouvez mettre à jour les paramètres Dataproc Metastore suivants.

  • Numéro de port Mettez à jour le numéro de port TCP de l'interface Apache Thrift.
  • Niveau de service Basculez entre le niveau de service Développeur et Enterprise. Ces niveaux ont une incidence sur la capacité du service.
  • Synchronisation Data Catalog Activez ou désactivez la fonctionnalité de synchronisation de Data Catalog.
  • Intervalle de maintenance : Modifiez la fréquence de votre intervalle de maintenance, y compris le jour de la semaine et l'heure de la journée.
  • Kerberos Activer ou désactiver l'authentification Kerberos Si cette option était activée précédemment, vous pouvez mettre à jour vos fichiers de configuration Kerberos.
  • Configurations du métastore Hive Modifiez l'emplacement de votre répertoire d'entrepôt Hive.
  • Configuration de la version auxiliaire (preview). Activez, désactivez ou ajoutez des versions auxiliaires supplémentaires.
  • Étiquettes. Ajoutez ou supprimez des libellés facultatifs qui décrivent vos métadonnées.
  • Facteur de scaling. Modifiez le facteur de scaling. Vous pouvez activer ou désactiver l'autoscaling, et mettre à jour les facteurs de scaling minimal ou maximal.

Mettre à jour un service

Avant d'exécuter une mise à jour, tenez compte des points suivants :

  • Vous ne pouvez exécuter qu'un seul job de mise à jour à la fois (pour chaque service Dataproc Metastore).
  • Vous pouvez mettre à jour plusieurs paramètres dans une seule tâche de mise à jour.
  • Vous pouvez continuer à utiliser votre Dataproc Metastore pendant la mise à jour.

Une fois la mise à jour terminée, Dataproc Metastore passe automatiquement à l'état active. Si la mise à jour échoue, le service Dataproc Metastore revient à son état opérationnel précédent.

Les instructions suivantes vous expliquent comment mettre à jour un service Dataproc Metastore.

Console

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore:

    Ouvrir Dataproc Metastore

  2. Sur la page Dataproc Metastore, cliquez sur le nom de service du que vous souhaitez mettre à jour.

    La page Détails du service s'ouvre.

    Page d'information sur le service
    Page d'informations du service Dataproc Metastore

  3. Dans l'onglet Configuration, cliquez sur Modifier.

    La page Modifier le service s'affiche.

  4. Choisissez les valeurs que vous souhaitez mettre à jour pour votre service.

  5. Cliquez sur Envoyer.

    Revenez à la page Dataproc Metastore. vérifier que votre service a bien été mis à jour.

CLI gcloud

  1. Pour mettre à jour un service, exécutez la commande gcloud metastore services update suivante:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Remplacez les éléments suivants :

    • SERVICE: nom de votre service Dataproc Metastore.
    • LOCATION: région Google Cloud dans laquelle se trouve votre service Dataproc Metastore.
    • PORT : (facultatif) port TCP de l'interface Thrift que vous utilisez avec votre service Dataproc Metastore.
    • TIER : (facultatif) niveau de capacité de votre service Dataproc Metastore.
    • MAINTENANCE_WINDOW_DAY : jour de la semaine (facultatif) au cours duquel la période de service commence.
    • MAINTENANCE_WINDOW_HOUR : (facultatif) Heure de la journée du début de la période de service.
    • KERBEROS_PRINCIPAL: facultatif: un Kerberos principal existant à la fois dans le keytab et dans le KDC. Un principal se présente généralement sous la forme "primary/instance@REALM", mais il n'existe pas de format strictement défini.
    • KEYTAB : (facultatif) fichier keytab Kerberos utilisé pour authentifier un compte principal de service avec un centre de distribution de clés Kerberos.
    • KRB5_CONFIG : (facultatif) le fichier krb5.config spécifie les informations du KDC et du domaine Kerberos, qui incluent les emplacements des KDC et les valeurs par défaut du domaine et des applications Kerberos.
    • [KEY, ...] : métastore Hive (facultatif) que vous souhaitez mettre à jour. Si une variable existe dans ce champ, sa valeur est mise à jour. Sinon, une nouvelle variable est créée. Si cet indicateur est défini, -clear-hive-metastore-configs est également défini automatiquement.
    • [KEY, ...] : métastore Hive (facultatif) que vous souhaitez supprimer.
    • [KEY=VALUE, ...] : (facultatif) les libellés ou La paire clé-valeur de métastore Hive vous mettre à jour.
    • [KEY, ...] : (facultatif) libellés ou configurations de paires clé-valeurs du métastore Hive que vous souhaitez supprimer.

  2. Vérifiez que la mise à jour a bien été effectuée.

REST

Suivez les instructions de l'API pour mettre à jour un service à l'aide de l'explorateur d'API.

Mettre à jour la configuration de l'entrepôt de métastore Hive

Si votre répertoire d'entrepôt Hive se trouve sur Cloud Storage, vous devez définir un métastore par défaut. Ce forçage définit votre entrepôt de données spécifique comme répertoire d'entrepôt par défaut pour Dataproc Metastore

Avant de définir ce forçage, assurez-vous que votre service Dataproc Metastore dispose d'autorisations de lecture et d'écriture sur les objets pour accéder au répertoire de l'entrepôt. Pour en savoir plus, consultez la section Répertoire d'entrepôt Hive.

Les instructions suivantes vous expliquent comment mettre à jour un remplacement de configuration de métastore Hive.

Console

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore:

    Ouvrir Dataproc Metastore

  2. Sur la page Dataproc Metastore, cliquez sur le nom de service du que vous souhaitez mettre à jour.

    La page Informations sur le service s'ouvre.

  3. Dans l'onglet Configuration, cliquez sur Modifier.

    La page Modifier le service s'affiche.

  4. Dans Remplacements de configuration du metastore, saisissez les éléments suivants :

    • Clé : saisissez la valeur suivante : hive.metastore.warehouse.dir.
    • Valeur: emplacement Cloud Storage de votre répertoire d'entrepôt. Par exemple, gs://my-bucket/path/to/location.

  5. Cliquez sur Envoyer.

    Revenez sur la page Dataproc Metastore et vérifiez que votre service a bien été mis à jour.

gcloud

  1. Pour mettre à jour un service, exécutez la commande gcloud metastore services update suivante:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Remplacez les éléments suivants :

    • SERVICE: nom de votre service Dataproc Metastore.
    • LOCATION : région Google Cloud dans laquelle se trouve votre service Dataproc Metastore.
    • CUSTOMER_DIR : emplacement Cloud Storage de votre répertoire d'entrepôt. Par exemple : gs://my-bucket/path/to/location

  2. Vérifiez que la mise à jour a bien été effectuée.

Étape suivante