Gérer un service

Cette page explique comment mettre à jour et supprimer un service Dataproc Metastore existant.

Avant de commencer

• La plupart des commandes gcloud metastore nécessitent un emplacement. Vous pouvez le spécifier à l'aide de l'option --location ou en définissant l'emplacement par défaut.

Contrôle des accès

• Pour mettre à jour et supprimer un service, vous devez demander des rôles IAM contenant respectivement les autorisations IAM metastore.services.update et metastore.services.delete. Les rôles roles/metastore.admin et roles/metastore.editor propres à Dataproc Metastore incluent des autorisations de mise à jour et de suppression.

• Vous pouvez accorder des autorisations de mise à jour et de suppression aux utilisateurs ou aux groupes à l'aide des anciens rôles roles/owner et roles/editor.

Pour en savoir plus, consultez la page IAM et contrôle des accès Dataproc Metastore.

Mettre à jour un service

Vous pouvez mettre à jour un service en modifiant les paramètres du service dans l'onglet "Configuration" de la page "Détails du service" ouverte dans un navigateur local, à l'aide de la CLI Google Cloud CLI ou en émettant une méthode services.patch pour l'API Dataproc Metastore.

Vous ne pouvez effectuer qu'une seule tâche de mise à jour à la fois, et chaque tâche peut effectuer plusieurs mises à jour de propriété. Vous pouvez continuer à utiliser le service pendant l'exécution des mises à jour.

Vous pouvez mettre à jour les paramètres de service suivants:

• Numéro du port
• Niveau de service
• Synchronisation Data Catalog
• Intervalle de maintenance
• Champs Kerberos
• Configurations du métastore Hive
• Libellés

Remarque: Si votre entrepôt de données est hébergé sur Cloud Storage, nous vous recommandons de définir un remplacement de configuration du métastore. Cela définit votre entrepôt de données comme répertoire d'entrepôt par défaut pour Dataproc Metastore.

Assurez-vous que votre service Dataproc Metastore dispose d'autorisations en lecture/écriture sur les objets pour accéder au répertoire de l'entrepôt. Pour en savoir plus, consultez la page Répertoire d'entrepôt Hive.

• À l'aide de la console: saisissez hive.metastore.warehouse.dir dans le champ Clé et votre répertoire Cloud Storage dans le champ Valeur.
• Avec la commande gcloud: incluez l'option --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR" dans la commande gcloud metastore services update.

Vous devez recréer un service si vous souhaitez modifier les paramètres de service qui ne peuvent pas être mis à jour.

Les instructions suivantes montrent comment mettre à jour un service Dataproc Metastore:

Console

1. Dans Google Cloud Console, ouvrez la page Dataproc Metastore:

   Ouvrir Dataproc Metastore dans Google Cloud Console

2. Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez modifier. La page Service detail (Informations sur le service) s'ouvre pour ce service.

   

3. Dans l'onglet Configuration, cliquez sur le bouton Edit (Modifier). La page Mettre à jour le service s'ouvre.

4. Choisissez les valeurs de paramètre de service mises à jour.

5. Cliquez sur le bouton Envoyer pour mettre à jour le service.

6. Vérifiez que vous êtes revenu sur la page Dataproc Metastore et que votre service mis à jour apparaît dans la liste.

gcloud

1. Exécutez la commande gcloud metastore services update suivante pour mettre à jour un service:

   gcloud metastore services update SERVICE \
       --location=LOCATION \
       --port=PORT \
       --tier=TIER \
       --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
       --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
       --kerberos_principal=KERBEROS_PRINCIPAL \
       --keytab=KEYTAB \
       --krb5-config=KRB5_CONFIG \
       --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
       --clear-hive-metastore-configs \
       --remove-hive-metastore-configs=[KEY, ...] \
       --update-labels=[KEY=VALUE, ...] \
       --clear-labels \
       --remove-labels=[KEY, ...]
   

   • --update-hive-metastore-configs-from-file : si une variable existe, sa valeur est mise à jour. Sinon, une nouvelle variable est créée.
   • --clear-hive-metastore-configs : cette erreur se produit en premier si le paramètre update-hive-metastore-configs-from-file est également défini.

   Remplacez les éléments suivants :

   • SERVICE : nom du service.
   • LOCATION : fait référence à une région Google Cloud.
   • PORT : (facultatif) port TCP sur lequel l'interface Thrift de Dataproc Metastore est disponible.
   • TIER : capacité du niveau du service.
   • MAINTENANCE_WINDOW_DAY : jour de la semaine du début de la période.
   • MAINTENANCE_WINDOW_HOUR : heure de la journée du début de la période.
   • KERBEROS_PRINCIPAL : (facultatif) principal Kerberos existant dans le fichier keytab et le KDC. Un principal se présente généralement sous la forme "primary/instance@REALM", mais il n'existe pas de format strictement défini.
   • KEYTAB : (facultatif) fichier keytab Kerberos pouvant être utilisé pour authentifier un compte principal de service avec un centre de distribution de clés Kerberos.
   • KRB5_CONFIG : (facultatif) le fichier krb5.config spécifie les informations du KDC et du domaine Kerberos, qui incluent les emplacements des KDC et les valeurs par défaut du domaine et des applications Kerberos.
   • [KEY, ...] : (facultatif) configurations du métastore Hive utilisées.
   • [KEY=VALUE, ...] : (facultatif) libellés ou configurations de paires clé-valeurs du métastore Hive utilisées.

2. Vérifiez que la mise à jour a bien été effectuée.

REST

Suivez les instructions de l'API pour mettre à jour un service à l'aide de l'explorateur d'API.

Une fois la mise à jour réussie, le service passe automatiquement en mode actif. En cas d'échec, le service revient à son état opérationnel précédent.

Supprimer un service

Vous pouvez supprimer un service en cliquant sur "Supprimer" sur la page "Détails du service" ouverte dans un navigateur local, à l'aide de la CLI Google Cloud ou en émettant une méthode d'API Dataproc Metastore services.delete.

Vous pouvez être amené à supprimer votre service si vos configurations (telles que le nom du service, le réseau ou la version du métastore Hive) sont incorrectes et ne peuvent pas être modifiées.

Remarque : Votre bucket Cloud Storage n'est pas supprimé lorsque vous supprimez votre service. Si vous le souhaitez, vous devez le supprimer explicitement.

Les instructions suivantes montrent comment supprimer un service Dataproc Metastore:

Attention : La suppression est définitive. Une fois supprimés, les services ne peuvent pas être restaurés. Cependant, vous pouvez créer rapidement des services Dataproc Metastore selon vos besoins.

Console

1. Dans Google Cloud Console, ouvrez la page Dataproc Metastore:

   Ouvrir Dataproc Metastore dans Google Cloud Console

2. Sélectionnez le service en cochant la case située à gauche de son nom.

3. En haut de la page Dataproc Metastore, cliquez sur Supprimer pour supprimer le service.

4. Dans la boîte de dialogue, cliquez sur Supprimer pour confirmer la suppression.

Vous pouvez également supprimer votre service sur la page d'informations sur le service.

1. Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez mettre à jour. La page Service detail (Informations sur le service) s'ouvre pour ce service.

   

2. En haut de la page, dans l'onglet Configuration, cliquez sur Supprimer le service.

3. Dans la boîte de dialogue, cliquez sur Supprimer pour confirmer la suppression.

4. Vérifiez que vous êtes revenu sur la page Dataproc Metastore et que votre service supprimé n'apparaît plus dans la liste.

gcloud

1. Exécutez la commande gcloud metastore services delete suivante pour supprimer un service:

   gcloud metastore services delete SERVICE \
       --location=LOCATION
   

   Remplacez les éléments suivants :

   • SERVICE : nom du nouveau service.
   • LOCATION : fait référence à une région Google Cloud.

2. Vérifiez que la suppression a bien été effectuée.

REST

Suivez les instructions de l'API pour supprimer un service à l'aide de l'explorateur d'API.

Toutes les suppressions sont effectives immédiatement.

Étapes suivantes

• Cloud Audit Logging
• IAM et contrôle des accès Dataproc Metastore
• Accès aux services