Restaurar o Metastore do Dataproc de um backup

Esta página explica como restaurar um serviço do metastore do Dataproc de um backup.

Um backup é um snapshot das configurações e dos metadados armazenados em um serviço do Dataproc Metastore. Você pode usar o recurso de restauração para configurar rapidamente um novo serviço do Dataproc Metastore com os dados salvos anteriormente em um backup.

Antes de começar

Funções exigidas

Para receber as permissões necessárias para restaurar um serviço do Dataproc Metastore a partir de um backup, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para restaurar um serviço do Dataproc Metastore de um backup. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para restaurar um serviço do Dataproc Metastore de um backup:

  • Para restaurar um serviço de metadados: metastore.services.restore, metastore.backups.use
  • Para usar o objeto do Cloud Storage:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre papéis e permissões específicos do Dataproc Metastore, consulte Visão geral do IAM do Dataproc Metastore.

Sobre a restauração de um backup

Ao restaurar um serviço de um backup, você pode escolher uma das seguintes opções:

  • Restaure todos os metadados e as configurações salvas no backup.

  • Restaura todos os metadados, mas não restaura as configurações salvas no backup. Em vez disso, o serviço mantém as configurações de configuração atuais.

    As configurações incluem parâmetros do metastore do Dataproc, como nome do serviço, número da porta e configurações de rede. Os metadados incluem todas as informações de banco de dados e tabela armazenadas em um serviço do Dataproc Metastore.

Considerações

  • Enquanto uma operação de restauração estiver em execução, não será possível atualizar seu serviço. Por exemplo, não será possível mudar as configurações. No entanto, ainda é possível usar o serviço para operações normais, como acessar os metadados dele em clusters autogerenciados ou do Dataproc anexados.

  • Os rótulos do metastore do Dataproc não são restaurados.

  • Os dados armazenados no diretório do repositório não são restaurados.

  • A restauração de um backup não restaura nem substitui políticas IAM detalhadas.

  • Para restaurar de um backup programado, ele precisa estar localizado em um bucket do Cloud Storage.

Restaurar a partir de um backup

Para restaurar um serviço do Metastore do Dataproc de um backup, siga as etapas abaixo.

  • Se você estiver usando o console do Google Cloud, só será possível restaurar metadados de um backup criado no mesmo projeto e região que o novo serviço.

  • Se você usar a Google Cloud CLI ou as APIs do metastore do Dataproc, será possível restaurar metadados de um backup criado em um projeto e região diferentes (backup entre serviços).

Console

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Metastore do Dataproc aberta

  2. Na página Metastore do Dataproc, clique no nome do serviço que você quer restaurar de um backup.

    A página Detalhes do serviço é aberta.

    Página de detalhes do serviço
    Figura 1. Página de detalhes do serviço do Dataproc Metastore

  3. Para conferir seus backups, clique na guia Backup/Restauração.

  4. Selecione o backup que você quer usar. Para fazer isso, clique no ícone de menu e selecione Restaurar.

    A página Restaurar é aberta.

    Também é possível restaurar o serviço na página Detalhes do backup. Para isso, clique no nome do backup e em Restaurar.

  5. Selecione a operação de restauração adequada:

    • Restaure os dados da metastore. Restaura todos os metadados, mas não restaura as configurações salvas no backup
    • Restaure dados do metastore e a configuração do serviço. Restaura todos os metadados e as configurações salvas no backup.

  6. Para atualizar o serviço, clique em Restaurar.

    Volte para a página Metastore do Dataproc e verifique se o serviço foi feito backup.

    Quando a restauração é concluída, o Dataproc Metastore retorna automaticamente ao estado ativo, independentemente de a restauração ter sido bem-sucedida ou não.

CLI da gcloud

  1. Para restaurar um serviço do metastore do Dataproc, execute o seguinte comando gcloud metastore services restore:

    gcloud metastore services restore SERVICE  \
    --project=PROJECT_ID \
    --location=LOCATION \
    --backup=BACKUP \
    --restore-type=RESTORE_TYPE \
    --backup-location=BACKUP_LOCATION

    Substitua:

    • SERVICE: o nome do serviço do metastore do Dataproc.
    • PROJECT_ID: o ID do projeto do Google Cloud em que o Dataproc Metastoreservice está localizado.
    • LOCATION: a região do Google Cloud em que o serviço do Dataproc Metastore está localizado.
    • BACKUP: opcional: o identificador do arquivo de backup que você está restaurando. Esse valor pode ser o ID do backup, um URL totalmente qualificado ou o nome relativo no seguinte formato: projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}.
    • RESTORE_TYPE: o tipo de operação de restauração a ser realizada. Os valores aceitos incluem metadata-only ou full. O valor padrão é metadata-only.
    • BACKUP_LOCATION: opcional: o local do Cloud Storage do backup programado. Por exemplo, gs://my-bucket/path/to/location.

  2. Verifique se a operação de restauração foi concluída.

    Quando a restauração é concluída, o Dataproc Metastore retorna automaticamente ao estado ativo, independentemente de a restauração ter sido bem-sucedida ou não.

REST

Siga as instruções da API para restaurar metadados em um serviço usando o APIs Explorer.

Quando a restauração é concluída, o Metastore do Dataproc retorna automaticamente ao estado ativo, independentemente de a restauração ter sido bem-sucedida ou não.

Conferir o histórico de restauração

Para conferir o histórico de restauração de um serviço do metastore do Dataproc no console do Google Cloud, siga estas etapas:

  1. No console do Google Cloud, abra a página Metastore do Dataproc.

  2. Na barra de navegação, clique em Backup/Restauração.

    O histórico de restauração aparece em uma tabela em Restauração.

    O histórico mostra até as últimas 25 restaurações que você concluiu.

    A exclusão de um serviço do metastore do Dataproc também exclui todo o histórico de restauração associado.

Resolver problemas comuns

A seguir