Restaurar o metastore do Dataproc usando um backup

Nesta página, explicamos como restaurar um serviço do metastore do Dataproc usando um backup.

Um backup é um snapshot das definições de configuração e dos metadados armazenados em um serviço Metastore do Dataproc. Use o recurso de restauração para configurar rapidamente um novo serviço do Dataproc Metastore com os dados salvos anteriormente em um backup.

Antes de começar

Funções exigidas

Para receber as permissões necessárias para restaurar um serviço do Metastore do Dataproc a partir de um backup, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esses papéis predefinidos contêm as permissões necessárias para restaurar um serviço Metastore do Dataproc a partir de um backup. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para restaurar um serviço do Metastore do Dataproc de um backup:

  • Para restaurar um serviço de metadados: metastore.services.restore, metastore.backups.use
  • Para usar o objeto do Cloud Storage:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Talvez você também consiga receber essas permissões com papéis personalizados ou outros papéis predefinidos.

Para mais informações sobre permissões e papéis específicos do metastore do Dataproc, consulte Visão geral do IAM do metastore do Dataproc.

Sobre a restauração de um backup

Ao restaurar um serviço de um backup, você pode escolher uma das seguintes opções:

  • Restaure todos os metadados e as definições de configuração salvas no backup.
  • Restaure todos os metadados, mas não restaure as definições de configuração salvas no backup. Em vez disso, o serviço mantém suas definições de configuração atuais.

    As definições de configuração incluem parâmetros do metastore do Dataproc, como o nome do serviço, o número da porta e as configurações de rede. Metadados incluem todas as informações de banco de dados e tabela armazenadas em um serviço Metastore do Dataproc.

Considerações

  • Enquanto uma operação de restauração estiver em execução, não será possível atualizar seu serviço. Por exemplo, não é possível alterar as configurações. No entanto, você ainda pode usar o serviço para operações normais, como usá-lo para acessar os metadados do Dataproc anexado ou de clusters autogerenciados.

  • Os rótulos do metastore do Dataproc não são restaurados.

  • Os dados armazenados no diretório de warehouse não são restaurados.

  • A restauração de um backup não restaura nem substitui políticas de IAM refinadas.

  • A restauração de um backup programado requer que ele esteja localizado em um bucket do Cloud Storage.

Restaurar a partir de um backup

Para restaurar um serviço Metastore do Dataproc a partir de um backup, conclua as etapas a seguir.

  • Se você estiver usando o console do Google Cloud, só poderá restaurar metadados de um backup criado no mesmo projeto e região do novo serviço.

  • Se você usa a Google Cloud CLI ou as APIs metastore do Dataproc, é possível restaurar metadados de um backup criado em um projeto e uma região diferentes (backup entre serviços).

Console

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Abrir o metastore do Dataproc

  2. Na página Metastore do Dataproc, clique no nome do serviço que você quer restaurar de um backup.

    A página Detalhes do serviço é aberta.

    Página de detalhes do serviço
    Figura 1. Página de detalhes do serviço do metastore do Dataproc
  3. Para visualizar seus backups, clique na guia Backup/restauração.

  4. Selecione o backup que você quer usar. Para fazer isso, clique no ícone de menu e selecione Restaurar.

    A página Restaurar é aberta.

    Também é possível restaurar o serviço na página Detalhes do backup. Para fazer isso, clique no nome do backup e depois em Restaurar.

  5. Selecione a operação de restauração adequada:

    • Restaure dados do metastore. Restaura todos os metadados, mas não restaura as definições de configuração salvas
    • Restaure a configuração do serviço e dos dados do metastore. Restaura todos os metadados e todas as configurações salvas no backup.
  6. Para atualizar o serviço, clique em Restaurar.

    Volte para a página Metastore do Dataproc e verifique se o backup do serviço foi concluído.

    Quando a restauração é concluída, o metastore do Dataproc retorna automaticamente ao estado ativo, independentemente de a restauração ter sido bem-sucedida ou não.

CLI da gcloud

  1. Para restaurar um serviço Metastore do Dataproc, execute o seguinte comando gcloud metastore services restore:

    gcloud metastore services restore SERVICE  \
        --project=PROJECT_ID \
        --location=LOCATION \
        --backup=BACKUP \
        --restore-type=RESTORE_TYPE \
        --backup-location=BACKUP_LOCATION
    

    Substitua:

    • SERVICE: o nome do serviço Metastore do Dataproc.
    • PROJECT_ID: o ID do projeto do Google Cloud em que o metastoreservice do Dataproc reside.
    • LOCATION: a região do Google Cloud em que o serviço Metastore do Dataproc reside.
    • BACKUP: o identificador do arquivo de backup do qual você está restaurando. Esse valor pode ser o ID do backup, um URL totalmente qualificado ou o nome relativo no seguinte formato: projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}.
    • RESTORE_TYPE: o tipo de operação de restauração a ser realizada. Os valores aceitos incluem metadata-only ou full. O valor padrão é metadata-only.
    • BACKUP_LOCATION (opcional): o local do Cloud Storage do backup programado. Por exemplo, gs://my-bucket/path/to/location.
  2. Verifique se a operação de restauração foi bem-sucedida.

    Quando a restauração é concluída, o metastore do Dataproc retorna automaticamente ao estado ativo, independentemente de a restauração ter sido bem-sucedida ou não.

REST

Siga as instruções da API para restaurar os metadados em um serviço usando o APIs Explorer.

Quando a restauração é concluída, o metastore do Dataproc retorna automaticamente ao estado ativo, independentemente de a restauração ter sido bem-sucedida.

Mostrar histórico de restauração

Para ver o histórico de restauração de um serviço Metastore do Dataproc no Console do Google Cloud, siga estas etapas:

  1. No console do Console do Google Cloud, abra a página Metastore do Dataproc.
  2. Na barra de navegação, clique em Backup/restauração.

    O histórico de restauração aparece em uma tabela em Restaurar.

    O histórico mostra até as 25 restaurações mais recentes que você concluiu.

    A exclusão de um serviço do Dataproc Metastore também exclui todo o histórico de restauração associado.

Resolver problemas comuns

A seguir