Restaurer Dataproc Metastore à partir d'une sauvegarde

Cette page explique comment restaurer un service Dataproc Metastore à partir d'une sauvegarde.

Une sauvegarde est un instantané des paramètres de configuration et des métadonnées stockés dans un service Dataproc Metastore. Vous pouvez utiliser la fonctionnalité de restauration pour configurer rapidement un nouveau service Dataproc Metastore les données précédemment enregistrées dans une sauvegarde.

Avant de commencer

Rôles requis

Pour obtenir les autorisations nécessaires pour restaurer un service Dataproc Metastore à partir d'une sauvegarde, demandez à votre administrateur de vous accorder le rôles IAM suivants:

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour restaurer un service Dataproc Metastore à partir d'une sauvegarde. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour restaurer un service Dataproc Metastore à partir d'une sauvegarde :

  • Pour restaurer un service de métadonnées: metastore.services.restore, metastore.backups.use
  • Pour utiliser l'objet Cloud Storage :
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les rôles et les autorisations spécifiques à Dataproc Metastore, consultez la page Présentation d'IAM de Dataproc Metastore.

À propos de la restauration à partir d'une sauvegarde

Lorsque vous restaurez un service à partir d'une sauvegarde, vous pouvez choisir l'une des options suivantes :

  • Restaurez toutes les métadonnées et les paramètres de configuration enregistrés dans la sauvegarde.

  • Restaurez toutes les métadonnées, mais ne restaurez pas les paramètres de configuration enregistrés dans la sauvegarde. À la place, votre service conserve vos paramètres de configuration actuels.

    Les paramètres de configuration incluent les paramètres Dataproc Metastore tels que le nom du service, le numéro de port et les paramètres réseau. Métadonnées : inclut toutes les informations de la base de données et de la table stockées dans un Service Dataproc Metastore.

Remarques

  • Lorsqu'une opération de restauration est en cours d'exécution, vous ne pouvez pas mettre à jour votre service. Par exemple, vous ne pouvez pas modifier les paramètres de configuration. Toutefois, vous pouvez toujours utiliser votre service pour les opérations normales, par exemple pour accéder à ses métadonnées à partir de clusters Dataproc ou autogérés associés.

  • Les libellés Dataproc Metastore ne sont pas restaurés.

  • Les données stockées dans le répertoire de l'entrepôt ne sont pas restaurées.

  • La restauration à partir d'une sauvegarde ne restaure ni ne remplace les règles IAM précises.

  • Pour restaurer à partir d'une sauvegarde planifiée, votre sauvegarde doit se trouver dans un bucket Cloud Storage.

Restaurer à partir d'une sauvegarde

Pour restaurer un service Dataproc Metastore à partir d'une sauvegarde, procédez comme suit :

  • Si vous utilisez la console Google Cloud, vous ne pouvez restaurer les métadonnées qu'à partir d'un sauvegarde créée dans le même projet et la même région que votre nouveau service.

  • Si vous utilisez la Google Cloud CLI ou les API Dataproc Metastore, vous pouvez restaurer des métadonnées à partir d'une sauvegarde créée dans un autre projet et une autre région (sauvegarde interservices).

Console

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore :

    Ouvrir Dataproc Metastore

  2. Sur la page Dataproc Metastore, cliquez sur le nom du service. que vous souhaitez restaurer à partir d'une sauvegarde.

    La page Informations sur le service s'ouvre.

    Page d'information sur le service
    Figure 1 Dataproc Metastore page d'informations sur le service

  3. Pour afficher vos sauvegardes, cliquez sur l'onglet Sauvegarde/Restauration.

  4. Sélectionnez la sauvegarde que vous souhaitez utiliser. Pour ce faire, cliquez sur l'icône de menu , puis sélectionnez Restore (Rétablir).

    La page Restaurer s'ouvre.

    Vous pouvez également restaurer votre service sur la page Détails de la sauvegarde. Pour ce faire, cliquez sur le nom de la sauvegarde, puis sur Restaurer.

  5. Sélectionnez l'opération de restauration appropriée:

    • Restaurer les données du métastore Restaure toutes les métadonnées, mais ne les restaure pas les paramètres de configuration enregistrés dans la sauvegarde
    • Restaurer les données de métastore et la configuration du service Restaure toutes les métadonnées et tous les paramètres de configuration enregistrés dans sauvegarde.

  6. Pour mettre à jour le service, cliquez sur Restaurer.

    Revenez à la page Dataproc Metastore. vérifier que votre service a bien été sauvegardé.

    Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que vous recherchiez mais la restauration n'a pas abouti.

CLI gcloud

  1. Pour restaurer un service Dataproc Metastore, exécutez la commande gcloud metastore services restore suivante :

    gcloud metastore services restore SERVICE  \
    --project=PROJECT_ID \
    --location=LOCATION \
    --backup=BACKUP \
    --restore-type=RESTORE_TYPE \
    --backup-location=BACKUP_LOCATION

    Remplacez les éléments suivants :

    • SERVICE: nom de votre Service Dataproc Metastore.
    • PROJECT_ID : ID du projet Google Cloud dans lequel se trouve votre service Dataproc Metastore.
    • LOCATION: région Google Cloud dans laquelle le service Dataproc Metastore réside.
    • BACKUP : facultatif : identifiant du fichier de sauvegarde à partir duquel vous effectuez la restauration. Cette valeur peut être l'ID de sauvegarde, une valeur URL qualifiée ou le nom relatif au format suivant: projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}
    • RESTORE_TYPE: type d'opération de restauration à effectuer. Les valeurs acceptées sont metadata-only et full. La valeur par défaut est metadata-only.
    • BACKUP_LOCATION : (facultatif) emplacement Cloud Storage de votre sauvegarde planifiée. Exemple : gs://my-bucket/path/to/location.

  2. Vérifiez que l'opération de restauration a réussi.

    Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que vous recherchiez mais la restauration n'a pas abouti.

REST

Suivez les instructions de l'API pour restaurer des métadonnées dans un service à l'aide de l'explorateur d'API.

Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.

Afficher l'historique des restaurations

Pour afficher l'historique de restauration d'un service Dataproc Metastore dans la console Google Cloud, procédez comme suit :

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore.

  2. Dans la barre de navigation, cliquez sur Sauvegarder/Restaurer.

    L'historique des restaurations s'affiche dans un tableau sous Restaurer.

    L'historique affiche les 25 dernières restaurations que vous avez effectuées.

    La suppression d'un service Dataproc Metastore entraîne également la suppression de l'ensemble de l'historique de restauration associé.

Résoudre les problèmes courants

Étape suivante