Esegui il backup di un servizio Dataproc Metastore

In questa pagina viene spiegato come creare un backup di un servizio Dataproc Metastore.

Un backup crea uno snapshot del servizio salvando le impostazioni di configurazione attuali e tutti i metadati archiviati.

Dopo aver creato un backup, puoi utilizzare la funzionalità Ripristina da un backup per completare un nuovo servizio Dataproc Metastore con i dati salvati nello snapshot.

Prima di iniziare

• Abilita Dataproc Metastore nel progetto.
• Crea un servizio Dataproc Metastore.
• (Facoltativo) Importare i metadati in Dataproc Metastore.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per il backup di un servizio Dataproc Metastore, chiedi all'amministratore di concederti i ruoli IAM seguenti:

• Per concedere il controllo completo sulle risorse Dataproc Metastore per completare un backup, puoi:
  • Dataproc Metastore Editor (roles/metastore.editor) sul servizio metadati.
  • Amministratore Dataproc Metastore (roles/metastore.admin) sul progetto.
• Per concedere l'accesso in lettura e modifica a metadati specifici di database e tabelle: Operatore metadati Dataproc Metastore (roles/metastore.metadataOperator) sul servizio metadati
• Per utilizzare l'oggetto Cloud Storage in cui sono archiviati i backup pianificati: Utente oggetto Cloud Storage (roles/storage.objectUser) sull'agente di servizio Dataproc Metastore

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per eseguire il backup di un servizio Dataproc Metastore. Per visualizzare le autorizzazioni esatte necessarie, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per eseguire il backup di un servizio Dataproc Metastore, sono necessarie le seguenti autorizzazioni:

• Per eseguire il backup di un servizio di metadati: metastore.backups.create
• Per utilizzare l'oggetto Cloud Storage:
  • orgpolicy.policy.get
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • storage.managedFolders.create
  • storage.managedFolders.delete
  • storage.managedFolders.get
  • storage.managedFolders.list
  • storage.multipartUploads.*
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.get
  • storage.objects.list
  • storage.objects.restore
  • storage.objects.update

Potresti anche essere in grado di ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Panoramica IAM di Dataproc Metastore.

Considerazioni sul backup

Prima di eseguire un'operazione di backup, tieni presente quanto segue:

• Per ogni servizio Dataproc Metastore, puoi creare e archiviare fino a sette backup alla volta. Se provi a superare i sette backup, il processo non va a buon fine. Se vuoi creare un altro backup, devi prima eliminare manualmente uno dei file di backup archiviati.
• Mentre è in esecuzione un'operazione di backup, non puoi aggiornare il servizio Dataproc Metastore, ad esempio non puoi modificare le impostazioni di configurazione. Puoi comunque utilizzare il servizio per le normali operazioni, ad esempio per accedere ai metadati da Dataproc collegati o da cluster autogestiti.
• Puoi creare backup pianificati eseguiti a vari intervalli cron, ad esempio ogni giorno.

Crea backup

Per eseguire il backup di un servizio Dataproc Metastore, completa i passaggi in una delle seguenti schede:

Console

1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

   Apri Dataproc Metastore

2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio di cui vuoi eseguire il backup.

   Viene visualizzata la pagina Dettagli servizio.

   

   Figura 1. La pagina dei dettagli del servizio Dataproc Metastore.

3. Nella parte superiore della pagina, fai clic su Backup.

   Si apre la pagina Backup.

4. Inserisci il Nome backup.

5. (Facoltativo) Inserisci una descrizione del backup.

6. Per avviare l'operazione di backup, fai clic su Backup.

   Torna alla pagina Dataproc Metastore e verifica che il backup del servizio sia stato eseguito correttamente.

   Al termine del backup, Dataproc Metastore torna automaticamente allo stato attivo, indipendentemente dal fatto che il backup sia andato a buon fine o meno.

Interfaccia a riga di comando gcloud

1. Per eseguire il backup di un servizio Dataproc Metastore, esegui questo comando gcloud metastore services backups create:

   gcloud metastore services backups create BACKUP \
       --location=LOCATION \
       --service=SERVICE \
       --description=DESCRIPTION
   

   Sostituisci quanto segue:

   • BACKUP: l'ID o l'identificatore completo per il backup.
   • LOCATION: la regione Google Cloud in cui risiede il servizio Dataproc Metastore.
   • SERVICE: il nome del tuo servizio Dataproc Metastore.
   • DESCRIPTION: una descrizione del backup.

2. Verifica che il backup del servizio sia stato eseguito correttamente.

   Al termine del backup, Dataproc Metastore torna automaticamente allo stato attivo, indipendentemente dal fatto che il backup sia andato a buon fine o meno.

REST

Segui le istruzioni dell'API per eseguire il backup dei metadati da un servizio utilizzando Explorer API.

Al completamento del backup, Dataproc Metastore torna automaticamente allo stato attivo, indipendentemente dal fatto che il backup sia riuscito o meno.

Visualizzare la cronologia dei backup

Per visualizzare la cronologia del backup di un servizio Dataproc Metastore nella console Google Cloud, completa questi passaggi:

1. Nella console della console Google Cloud, apri la pagina Dataproc Metastore.

2. Nella barra di navigazione, fai clic su Backup/Ripristino.

   La cronologia dei backup viene visualizzata in una tabella nella sezione Backup.

   La cronologia mostra gli ultimi 7 backup.

   L'eliminazione di un servizio Dataproc Metastore comporta anche l'eliminazione di tutta la cronologia dei backup associata.

Eliminare un backup

Per eliminare un backup di Dataproc Metastore nella console Google Cloud, segui questi passaggi:

1. Nella console Google Cloud, apri la pagina Dataproc Metastore.
2. Nella barra di navigazione, fai clic su Backup/Ripristino.
3. Trova il backup che desideri eliminare e fai clic sul pulsante Impostazioni.
4. Fai clic su Elimina.

Pianificare un backup

I backup possono essere pianificati per l'esecuzione a intervalli di cron job specificati dall'utente, tra cui esecuzione giornaliera, settimanale o mensile. Una pianificazione cron utilizza il formato stringa unix-cron (* * * * *), ovvero un insieme di cinque campi in una riga che indicano quando deve essere eseguito il job.

Ad esempio, puoi impostare un intervallo personalizzato per creare un backup ogni settimana, ad esempio creando un backup ogni mercoledì alle 14:00 PST.

Considerazioni sul backup pianificato

• I backup pianificati devono specificare una posizione di backup, che deve essere un percorso Cloud Storage.
• I backup pianificati vengono sempre creati nel formato file Avro.
• Per impostazione predefinita, i backup pianificati vengono configurati nel fuso orario UTC. Puoi modificare il fuso orario quando crei il backup per la prima volta.
• I backup pianificati possono essere impostati per l'esecuzione a intervalli giornalieri, settimanali o mensili.

Crea un backup pianificato

Le pianificazioni dei backup possono essere impostate quando crei il servizio per la prima volta o aggiunte in un secondo momento quando lo aggiorni.

Per creare un servizio Dataproc Metastore 2 con un backup pianificato, completa i passaggi in una delle seguenti schede:

Console

1. Nella console Google Cloud, apri la pagina Dataproc Metastore.

2. Nella parte superiore della pagina Dataproc Metastore, fai clic sul pulsante Crea.

   Viene visualizzata la pagina Crea servizio.

3. Seleziona Dataproc Metastore 2.

4. In Backup pianificati, imposta l'opzione di attivazione/disattivazione su Attiva.

5. In Posizione, seleziona la località di Cloud Storage in cui vuoi archiviare il backup pianificato.

6. (Facoltativo) Nella pianificazione, seleziona quanto segue:

   1. Per Si ripete, seleziona la ricorrenza, ad esempio Giornaliera o Settimanale.
   2. Per Alla volta, seleziona l'ora della ricorrenza, ad esempio 00:00.
   3. Per Fuso orario, seleziona il fuso orario appropriato, ad esempio UTC-8.

7. Per le restanti opzioni di configurazione del servizio, utilizza i valori predefiniti indicati.

8. Fai clic su Invia.

Interfaccia a riga di comando gcloud

1. Per pianificare un backup di un servizio Dataproc Metastore, esegui questo comando gcloud metastore services backups create:

   gcloud metastore services create SERVICE \
      --location=LOCATION \
      --enable-scheduled-backup \
      --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
      --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION
   

   Sostituisci quanto segue:

   • SERVICE: l'ID o l'identificatore completo del backup.
   • LOCATION: la regione Google Cloud in cui si trova il servizio Dataproc Metastore.
   • SCHEDULED_BACKUP_CRON: la frequenza del backup specificata nel formato di data/ora cron. Ad esempio, un valore cron di 0 0 * * * pianifica un backup giornaliero.
   • SCHEDULED_BACKUP_LOCATION: il percorso di Cloud Storage del backup. Ad esempio: gs://my-bucket/path/to/location.

   o

   Puoi anche pianificare un backup memorizzando i valori precedenti in un file di configurazione:

   gcloud metastore services create SERVICE \
      --location=LOCATION \
      --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
   

   Sostituisci quanto segue:

   • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: un percorso a un file JSON contenente i valori di configurazione del backup enabled, cront_schedule, time_zone e backup_location.

   L'esempio seguente mostra un file di configurazione di backup che abilita i backup pianificati, imposta la pianificazione dei backup su ogni ora, specifica il fuso orario come PST e la località del backup come bucket Cloud Storage. Puoi scegliere i fusi orari dall'elenco dei fusi orari comuni del database tz.

   {
   "enabled": true,
   "cron_schedule": "0 0 * * *",
   "time_zone": "PST",
   "backup_location": "gs://my-bucket/path/to/location"
   }
   

REST

Segui le istruzioni dell'API per creare un backup pianificato utilizzando Explorer API.

Aggiorna un backup pianificato

Per aggiornare un servizio Dataproc Metastore 2 configurato con un backup pianificato, completa i passaggi in una delle seguenti schede:

Console

1. Nella console Google Cloud, apri la pagina Dataproc Metastore.

2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio per cui vuoi pianificare un backup.

3. In Backup pianificati, imposta il pulsante di attivazione/disattivazione su Enabled.

4. In Località, seleziona la località di Cloud Storage in cui vuoi archiviare il backup pianificato.

5. (Facoltativo) In Pianificazione, seleziona i valori per i seguenti campi:

   1. Per Si ripete, seleziona la ricorrenza, ad esempio Giornaliera o Settimanale.
   2. Per Alla volta, seleziona l'ora della ricorrenza, ad esempio 00:00.
   3. Per Fuso orario, seleziona il fuso orario appropriato, ad esempio UTC-8.

Interfaccia a riga di comando gcloud

1. Per pianificare un backup di un servizio Dataproc Metastore, esegui questo comando gcloud metastore services backups update:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --enable-scheduled-backup \
      --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
      --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \
   

   Sostituisci quanto segue:

   • SERVICE: l'ID o l'identificatore completo per il backup pianificato.
   • LOCATION: la regione Google Cloud in cui risiede il servizio Dataproc Metastore.
   • SCHEDULED_BACKUP_CRON: la frequenza del backup specificata nel formato di data/ora cron. Ad esempio, un valore cron di 0 0 * * * pianifica un backup giornaliero.
   • SCHEDULED_BACKUP_LOCATION: la località Cloud Storage del backup pianificato. Ad esempio: gs://my-bucket/path/to/location.

   Puoi anche aggiornare un backup pianificato utilizzando i valori precedenti archiviati in un file di configurazione:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
   

   Sostituisci quanto segue:

   • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: un percorso a un file JSON contenente la configurazione di backup.

   L'esempio seguente mostra un file di configurazione di backup che disabilita un backup pianificato.

   {
   "enabled": false,
   }
   

REST

Segui le istruzioni dell'API per aggiornare un backup pianificato utilizzando Explorer API.

Visualizzare un backup pianificato

Per visualizzare un servizio Dataproc Metastore 2 configurato con un backup pianificato, completa i passaggi in una delle seguenti schede:

Console

1. Nella console Google Cloud, apri la pagina Dataproc Metastore.

2. Nella parte superiore della pagina, fai clic su Backup.

   Si apre la pagina Backup che mostra i backup pianificati. Tieni presente che i backup vengono effettivamente archiviati nel bucket Cloud Storage che hai fornito nella configurazione del backup pianificato.

Interfaccia a riga di comando gcloud

1. Esegui questo comando gsutil ls:

   gsutil ls gs://BUCKET_NAME/SERVICE/LOCATION
   

   Sostituisci quanto segue:

   • BUCKET_NAME: il percorso del bucket Cloud Storage in cui è archiviato il backup pianificato che vuoi visualizzare.
   • SERVICE: l'ID o l'identificatore completo per il backup pianificato.
   • LOCATION: la regione Google Cloud in cui risiede il servizio Dataproc Metastore.

REST

Segui le istruzioni dell'API per visualizzare un backup pianificato utilizzando Explorer API.

Risolvere i problemi comuni

• L'agente di servizio o l'account utente non dispongono delle autorizzazioni necessarie.
• Per ulteriore assistenza per la risoluzione dei problemi più comuni, consulta Scenari di errore di backup e ripristino.

Passaggi successivi

• Ripristinare un servizio Dataproc Metastore da un backup
• Aggiornare ed eliminare un servizio Dataproc Metastore