Restaurer Dataproc Metastore à partir d'une sauvegarde

Cette page explique comment restaurer un service Dataproc Metastore à partir d'une sauvegarde.

Une sauvegarde est un instantané des paramètres de configuration et des métadonnées stockés dans un service Dataproc Metastore. La fonctionnalité de restauration vous permet de configurer rapidement un nouveau service Dataproc Metastore avec les données précédemment enregistrées dans une sauvegarde.

Avant de commencer

Rôles requis

Pour obtenir les autorisations nécessaires pour restaurer un service Dataproc Metastore à partir d'une sauvegarde, demandez à votre administrateur de vous attribuer les rôles IAM suivants:

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Ces rôles prédéfinis contiennent les autorisations requises pour restaurer un service Dataproc Metastore à partir d'une sauvegarde. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour restaurer un service Dataproc Metastore à partir d'une sauvegarde:

  • Pour restaurer un service de métadonnées : metastore.services.restore, metastore.backups.use
  • Pour utiliser l'objet Cloud Storage :
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur des rôles et des autorisations spécifiques à Dataproc Metastore, consultez la page Présentation du service IAM de Dataproc Metastore.

À propos de la restauration à partir d'une sauvegarde

Lorsque vous restaurez un service à partir d'une sauvegarde, vous pouvez choisir l'une des options suivantes:

  • Restaurez toutes les métadonnées et les paramètres de configuration enregistrés dans la sauvegarde.
  • Restaurez toutes les métadonnées, mais ne restaurez pas les paramètres de configuration enregistrés dans la sauvegarde. À la place, votre service conserve vos paramètres de configuration actuels.

    Les paramètres de configuration incluent des paramètres Dataproc Metastore tels que le nom du service, le numéro de port et les paramètres réseau. Métadonnées : inclut toutes les informations sur les bases de données et les tables stockées dans un service Dataproc Metastore.

Remarques

  • Lorsqu'une opération de restauration est en cours d'exécution, vous ne pouvez pas mettre à jour votre service. Par exemple, vous ne pouvez pas modifier les paramètres de configuration. Toutefois, vous pouvez toujours utiliser votre service pour des opérations normales, par exemple pour accéder à ses métadonnées à partir de clusters Dataproc associés ou autogérés.

  • Les libellés Dataproc Metastore ne sont pas restaurés.

  • Les données stockées dans le répertoire de l'entrepôt ne sont pas restaurées.

  • La restauration à partir d'une sauvegarde ne restaure pas et ne remplace pas des stratégies IAM précises.

  • Pour effectuer une restauration à partir d'une sauvegarde planifiée, celle-ci doit se trouver dans un bucket Cloud Storage.

Restaurer à partir d'une sauvegarde

Pour restaurer un service Dataproc Metastore à partir d'une sauvegarde, procédez comme suit.

  • Si vous utilisez la console Google Cloud, vous ne pouvez restaurer les métadonnées qu'à partir d'une sauvegarde créée dans le même projet et la même région que votre nouveau service.

  • Si vous utilisez les API Google Cloud CLI ou Dataproc Metastore, vous pouvez restaurer les métadonnées à partir d'une sauvegarde créée dans un projet et une région différents (sauvegarde multiservice).

Console

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore:

    Ouvrir Dataproc Metastore

  2. Sur la page Dataproc Metastore, cliquez sur le nom du service que vous souhaitez restaurer à partir d'une sauvegarde.

    La page Détails du service s'ouvre.

    Page d'information sur le service
    Figure 1. Page d'informations sur le service Dataproc Metastore
  3. Pour afficher vos sauvegardes, cliquez sur l'onglet Sauvegarde/Restauration.

  4. Sélectionnez la sauvegarde que vous souhaitez utiliser. Pour ce faire, cliquez sur l'icône de menu et sélectionnez Restaurer.

    La page Restaurer s'ouvre.

    Vous pouvez également restaurer votre service sur la page Détails de la sauvegarde. Pour ce faire, cliquez sur le nom de la sauvegarde, puis sur Restaurer.

  5. Sélectionnez l'opération de restauration appropriée:

    • Restaurer les données du métastore Restaure toutes les métadonnées, mais ne restaure pas les paramètres de configuration enregistrés dans la sauvegarde
    • Restaurer les données et la configuration du service du métastore Restaure toutes les métadonnées et tous les paramètres de configuration enregistrés dans la sauvegarde.
  6. Pour mettre à jour le service, cliquez sur Restaurer.

    Revenez à la page Dataproc Metastore et vérifiez que votre service a bien été sauvegardé.

    Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.

gcloud CLI

  1. Pour restaurer un service Dataproc Metastore, exécutez la commande gcloud metastore services restore suivante:

    gcloud metastore services restore SERVICE  \
        --project=PROJECT_ID \
        --location=LOCATION \
        --backup=BACKUP \
        --restore-type=RESTORE_TYPE \
        --backup-location=BACKUP_LOCATION
    

    Remplacez les éléments suivants :

    • SERVICE: nom de votre service Dataproc Metastore.
    • PROJECT_ID: ID du projet Google Cloud dans lequel se trouve Dataproc Metastoreservice.
    • LOCATION: région Google Cloud hébergeant votre service Dataproc Metastore.
    • BACKUP: identifiant du fichier de sauvegarde à partir duquel vous effectuez la restauration. Cette valeur peut être l'ID de sauvegarde, une URL complète ou le nom relatif au format suivant : projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}.
    • RESTORE_TYPE: type d'opération de restauration à effectuer. Les valeurs acceptées sont metadata-only et full. La valeur par défaut est metadata-only.
    • BACKUP_LOCATION : emplacement Cloud Storage de votre sauvegarde planifiée (facultatif). Exemple : gs://my-bucket/path/to/location.
  2. Vérifiez que l'opération de restauration a réussi.

    Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait réussi ou non.

REST

Suivez les instructions de l'API pour restaurer les métadonnées dans un service à l'aide d'APIs Explorer.

Une fois la restauration terminée, Dataproc Metastore revient automatiquement à l'état actif, que la restauration ait abouti ou non.

Afficher l'historique des restaurations

Pour afficher l'historique des restaurations d'un service Dataproc Metastore dans la console Google Cloud, procédez comme suit:

  1. Dans la console Google Cloud, ouvrez la page Dataproc Metastore.
  2. Dans la barre de navigation, cliquez sur Sauvegarder/Restaurer.

    L'historique des restaurations s'affiche dans un tableau sous Restaurer.

    L'historique affiche les 25 dernières restaurations effectuées.

    La suppression d'un service Dataproc Metastore entraîne également la suppression de tout l'historique de restauration associé.

Résoudre les problèmes courants

Étapes suivantes