Faça uma cópia de segurança de um serviço de Metastore do Dataproc

Esta página explica como criar uma cópia de segurança de um serviço do Dataproc Metastore.

Uma cópia de segurança tira um instantâneo do seu serviço, guarda as definições de configuração atuais e todos os metadados armazenados.

Depois de criar uma cópia de segurança, pode usar a funcionalidade Restaurar a partir de uma cópia de segurança para preencher um novo serviço Dataproc Metastore com os dados guardados na captura de ecrã.

Antes de começar

Funções necessárias

Para receber as autorizações de que precisa para fazer uma cópia de segurança de um serviço do Dataproc Metastore, peça ao seu administrador para lhe conceder as seguintes funções do IAM:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Estas funções predefinidas contêm as autorizações necessárias para fazer uma cópia de segurança de um serviço do Dataproc Metastore. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para fazer uma cópia de segurança de um serviço do Dataproc Metastore:

  • Para fazer uma cópia de segurança de um serviço de metadados: metastore.backups.create
  • Para usar o objeto do Cloud Storage:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Para mais informações sobre as funções e as autorizações específicas do Dataproc Metastore, consulte a vista geral do IAM do Dataproc Metastore.

Considerações sobre a cópia de segurança

Antes de executar uma operação de cópia de segurança, tenha em atenção as seguintes considerações:

  • Para cada serviço de Metastore do Dataproc, pode criar e armazenar até sete cópias de segurança em simultâneo. Se tentar exceder as sete cópias de segurança, o processo de cópia de segurança falha. Se quiser criar outra cópia de segurança, tem primeiro de eliminar manualmente um dos ficheiros de cópia de segurança armazenados.
  • Enquanto uma operação de cópia de segurança estiver em execução, não pode atualizar o serviço Dataproc Metastore. Por exemplo, não pode alterar as definições de configuração. No entanto, pode continuar a usar o seu serviço para operações normais, como aceder a metadados de clusters do Dataproc ou autogeridos anexados.
  • Pode criar cópias de segurança agendadas que são executadas em vários intervalos cron, como todos os dias.

Criar uma cópia de segurança

Para fazer uma cópia de segurança de um serviço Dataproc Metastore, conclua os passos num dos seguintes separadores:

Consola

  1. Na Google Cloud consola, abra a página Dataproc Metastore:

    Abra o Dataproc Metastore

  2. Na página Dataproc Metastore, clique no nome do serviço do qual quer fazer uma cópia de segurança.

    É apresentada a página Detalhes do serviço.

    Página de detalhes do serviço
    Figura 1. A página de detalhes do serviço do Dataproc Metastore

  3. Na parte superior da página, clique em Cópia de segurança.

    É aberta a página Cópia de segurança.

  4. Introduza o Nome da cópia de segurança.

  5. Opcional: introduza uma descrição da cópia de segurança.

  6. Para iniciar a operação de cópia de segurança, clique em Cópia de segurança.

    Regresse à página Dataproc Metastore e confirme se foi feita uma cópia de segurança do serviço com êxito.

    Quando a cópia de segurança estiver concluída, o Dataproc Metastore regressa automaticamente ao estado ativo, independentemente de a cópia de segurança ter sido bem-sucedida ou não.

CLI gcloud

  1. Para fazer uma cópia de segurança de um serviço do Dataproc Metastore, execute o seguinte comando gcloud metastore services backups create:

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    Substitua o seguinte:

    • BACKUP: o ID ou o identificador totalmente qualificado da cópia de segurança.
    • LOCATION: a região em que o seu serviço de Dataproc Metastore reside. Google Cloud
    • SERVICE: o nome do seu serviço do Dataproc Metastore.
    • DESCRIPTION: uma descrição da sua cópia de segurança.

  2. Verifique se foi feita uma cópia de segurança do seu serviço com êxito.

    Quando a cópia de segurança estiver concluída, o Dataproc Metastore volta automaticamente ao estado ativo, independentemente de a cópia de segurança ter sido bem-sucedida ou não.

REST

Siga as instruções da API para fazer uma cópia de segurança dos metadados de um serviço através do APIs Explorer.

Quando a cópia de segurança estiver concluída, o Dataproc Metastore volta automaticamente ao estado ativo, independentemente de a cópia de segurança ter sido bem-sucedida ou não.

Veja o histórico de cópias de segurança

Para ver o histórico de cópias de segurança de um serviço do Dataproc Metastore na consola Google Cloud , conclua os seguintes passos:

  1. Na Google Cloud Google Cloud Console, abra a página Dataproc Metastore.

  2. Na barra de navegação, clique em Cópia de segurança/restauro.

    O histórico de cópias de segurança é apresentado numa tabela em Cópias de segurança.

    O histórico apresenta até às 7 cópias de segurança mais recentes.

    A eliminação de um serviço do Dataproc Metastore também elimina todo o histórico de cópias de segurança associado.

Elimine uma cópia de segurança

Para eliminar uma cópia de segurança do Dataproc Metastore na Google Cloud consola, conclua os seguintes passos:

  1. Na Google Cloud consola, abra a página Dataproc Metastore.
  2. Na barra de navegação, clique em Cópia de segurança/restauro.
  3. Encontre a cópia de segurança que quer eliminar e clique no botão de definições.
  4. Clique em Eliminar.

Agende uma cópia de segurança

Pode agendar a execução de cópias de segurança em intervalos de tarefas cron especificados pelo utilizador, incluindo a execução diária, semanal ou mensal. Uma agenda cron usa o formato de string unix-cron (* * * * *), que é um conjunto de cinco campos numa linha, indicando quando a tarefa deve ser executada.

Por exemplo, pode definir um intervalo personalizado para criar uma cópia de segurança todas as semanas, como criar uma cópia de segurança todas as quartas-feiras às 14:00 PST.

Considerações sobre a cópia de segurança agendada

  • As cópias de segurança agendadas têm de especificar uma localização de cópia de segurança, que tem de ser um caminho do Cloud Storage.
  • As cópias de segurança agendadas são sempre criadas no formato de ficheiro Avro.
  • As cópias de segurança agendadas são configuradas no fuso horário UTC por predefinição. Pode alterar o fuso horário quando criar a cópia de segurança pela primeira vez.
  • Pode definir a execução de cópias de segurança agendadas em intervalos horários, diários, semanais ou mensais. O intervalo mínimo por hora que pode definir é de 4 horas.

Crie uma cópia de segurança agendada

Pode definir programações de cópias de segurança quando criar o serviço pela primeira vez ou adicioná-las mais tarde quando atualizar o serviço.

Para criar um serviço Dataproc Metastore 2 com uma cópia de segurança agendada, conclua os passos num dos seguintes separadores:

Consola

  1. Na Google Cloud consola, abra a página Dataproc Metastore.

  2. Na parte superior da página Dataproc Metastore, clique no botão Criar.

    É apresentada a página Criar serviço.

  3. Selecione Dataproc Metastore 2.

  4. Em Cópias de segurança agendadas, defina o botão para Ativar.

  5. Em Localização, selecione a localização de armazenamento na nuvem onde quer armazenar a cópia de segurança agendada.

  6. Opcional: em agendamento, selecione o seguinte:

    1. Em Repete-se, selecione a recorrência, como Diariamente ou Semanalmente.
    2. Em À hora, selecione a hora de recorrência, como 00:00.
    3. Para Fuso horário, selecione o fuso horário adequado, como UTC-8.

  7. Para as restantes opções de configuração do serviço, use as predefinições fornecidas.

  8. Clique em Enviar.

CLI gcloud

  1. Para agendar uma cópia de segurança de um serviço do Dataproc Metastore, execute o seguinte comando gcloud metastore services backups create:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    Substitua o seguinte:

    • SERVICE: o ID ou o identificador totalmente qualificado da cópia de segurança.
    • LOCATION: a região em que o seu serviço de Dataproc Metastore reside. Google Cloud
    • SCHEDULED_BACKUP_CRON: a frequência da sua cópia de segurança, especificada no formato de hora cron. Por exemplo, um valor cron de 0 0 * * * agenda uma cópia de segurança diária.
    • SCHEDULED_BACKUP_LOCATION: a localização do Cloud Storage da sua cópia de segurança. Por exemplo: gs://my-bucket/path/to/location.

    ou

    Também pode agendar uma cópia de segurança armazenando os valores anteriores num ficheiro de configuração:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Substitua o seguinte:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: um caminho para um ficheiro JSON que contém os valores de configuração da cópia de segurança enabled, cront_schedule, time_zone e backup_location.

    O exemplo seguinte mostra um ficheiro de configuração de cópia de segurança que ativa as cópias de segurança agendadas, define o agendamento de cópias de segurança para a cada hora, especifica o fuso horário como PST e define a localização da cópia de segurança como um contentor do Cloud Storage. Pode escolher fusos horários na lista de fusos horários da base de dados tz comuns.

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

Siga as instruções da API para criar uma cópia de segurança agendada através do APIs Explorer.

Atualize uma cópia de segurança agendada

Para atualizar um serviço Dataproc Metastore 2 configurado com uma cópia de segurança agendada, conclua os passos num dos seguintes separadores:

Consola

  1. Na Google Cloud consola, abra a página Dataproc Metastore.

  2. Na página Dataproc Metastore, clique no nome do serviço para o qual quer agendar uma cópia de segurança.

  3. Em Cópias de segurança agendadas, defina o botão para Ativado.

  4. Em localização, selecione a localização do Cloud Storage onde quer armazenar a cópia de segurança agendada.

  5. Opcional: em Agendar, selecione valores para os seguintes campos:

    1. Em Repete-se, selecione a recorrência, como Diariamente ou Semanalmente.
    2. Em À hora, selecione a hora de recorrência, como 00:00.
    3. Para Fuso horário, selecione o fuso horário adequado, como UTC-8.

CLI gcloud

  1. Para agendar uma cópia de segurança de um serviço do Dataproc Metastore, execute o seguinte comando gcloud metastore services backups update:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    Substitua o seguinte:

    • SERVICE: o ID ou o identificador totalmente qualificado da cópia de segurança agendada.
    • LOCATION: a região em que o seu serviço de Dataproc Metastore reside. Google Cloud
    • SCHEDULED_BACKUP_CRON: a frequência da sua cópia de segurança, especificada no formato de hora cron. Por exemplo, um valor cron de 0 0 * * * agenda uma cópia de segurança diária.
    • SCHEDULED_BACKUP_LOCATION: a localização do Cloud Storage da sua cópia de segurança agendada. Por exemplo: gs://my-bucket/path/to/location.

    Também pode atualizar uma cópia de segurança agendada através dos valores anteriores armazenados num ficheiro de configuração:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Substitua o seguinte:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: um caminho para um ficheiro JSON que contém a configuração da cópia de segurança.

    O exemplo seguinte mostra um ficheiro de configuração de cópia de segurança que desativa uma cópia de segurança agendada.

    {
"enabled": false,
}

REST

Siga as instruções da API para atualizar uma cópia de segurança agendada através do APIs Explorer.

Veja uma cópia de segurança agendada

Para ver um serviço do Dataproc Metastore 2 configurado com uma cópia de segurança agendada, conclua os passos num dos seguintes separadores:

Consola

  1. Na Google Cloud consola, abra a página Dataproc Metastore.

  2. Na parte superior da página, clique em Cópia de segurança.

    A página Cópia de segurança é aberta e apresenta as suas cópias de segurança agendadas. Tenha em atenção que as cópias de segurança são efetivamente armazenadas no contentor do Cloud Storage que indicou na configuração da cópia de segurança agendada.

CLI gcloud

  1. Execute o seguinte comando gcloud storage ls:

    gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION

    Substitua o seguinte:

    • BUCKET_NAME: o caminho para o contentor do Cloud Storage que armazena a cópia de segurança agendada que quer ver.
    • SERVICE: o ID ou o identificador totalmente qualificado da cópia de segurança agendada.
    • LOCATION: a Google Cloud região em que o seu serviço de Dataproc Metastore reside.

REST

Siga as instruções da API para ver uma cópia de segurança agendada através do Explorador de APIs.

Resolva problemas comuns

O que se segue?