Restaurar o metastore do Dataproc de um backup

Nesta página, explicamos como restaurar um serviço do Dataproc Metastore de um backup.

Um backup é um instantâneo das definições de configuração e dos metadados armazenados no um serviço do Dataproc Metastore. Você pode usar o recurso de restauração para configurar rapidamente um novo serviço do Dataproc Metastore com os dados salvos anteriormente em um backup.

Antes de começar

Funções exigidas

Para ter as permissões necessárias para restaurar um serviço do metastore do Dataproc a partir de um backup, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esses papéis predefinidos têm as permissões necessárias para restaurar um serviço do Dataproc Metastore a partir de um backup. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para restaurar um serviço do metastore do Dataproc a partir de um backup:

  • Para restaurar um serviço de metadados: metastore.services.restore, metastore.backups.use
  • Para usar o objeto do Cloud Storage:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre papéis e permissões específicos do metastore do Dataproc, consulte Visão geral do IAM do metastore do Dataproc.

Sobre a restauração de um backup

Ao restaurar um serviço de um backup, você pode escolher uma das opções seguintes opções:

  • Restaure todos os metadados e as definições de configuração salvas no backup.

  • Restaurar todos os metadados, mas não restaurar as definições de configuração salvas em o backup. Em vez disso, o serviço mantém as configurações atuais.

    As definições de configuração incluem parâmetros do Dataproc Metastore. como nome do serviço, número da porta e configurações de rede. Metadados incluem todas as informações do banco de dados e da tabela armazenadas em um serviço Metastore do Dataproc.

Considerações

  • Durante a execução de uma operação de restauração, não é possível atualizar serviço. Por exemplo, não é possível alterar as definições de configuração. No entanto, ainda pode usar o serviço para operações normais, como para acessar os metadados de clusters do Dataproc anexados ou autogerenciados.

  • Os rótulos do metastore do Dataproc não são restaurados.

  • Os dados armazenados no diretório do warehouse não são restaurados.

  • A restauração de um backup não restaura nem substitui detalhes políticas do IAM.

  • A restauração de um backup programado exige que ele esteja localizado em um do bucket do Cloud Storage.

Restaurar a partir de um backup

Para restaurar um serviço do Dataproc Metastore a partir de um backup, conclua as etapas a seguir.

  • No console do Google Cloud, só é possível restaurar metadados usando um que foi criado no mesmo projeto e região seu novo serviço.

  • Se você usa a Google Cloud CLI ou as APIs Dataproc Metastore, é possível restaurar metadados de um backup criado em um projeto diferente e região (backup entre serviços).

Console

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Abra o metastore do Dataproc

  2. Na página Metastore do Dataproc, clique no nome do serviço. que você quer restaurar a partir de um backup.

    A página Detalhes do serviço é aberta.

    Página de detalhes do serviço
    Figura 1. Metastore do Dataproc página de detalhes do serviço
    .

  3. Para ver seus backups, clique na guia Backup/restauração.

  4. Selecione o backup que você quer usar. Para fazer isso, clique no ícone de menu e selecione Restaurar.

    A página Restaurar é aberta.

    Também é possível restaurar seu serviço na página Detalhes do backup. Para fazer isso, clique no nome do backup e em Restaurar.

  5. Selecione a operação de restauração apropriada:

    • Restaurar dados de metastore. Restaura todos os metadados, mas não restaura as definições de configuração salvas no backup
    • Restaure os dados do metastore e a configuração do serviço. Restaura todos os metadados e todas as definições de configuração salvas no backup.

  6. Para atualizar o serviço, clique em Restaurar.

    Volte para a página Metastore do Dataproc e Verifique se o backup do serviço foi concluído.

    Quando a restauração for concluída, o metastore do Dataproc retorna automaticamente ao estado ativo, independentemente de se a restauração foi bem-sucedida.

CLI da gcloud

  1. Para restaurar um serviço do Dataproc Metastore, execute o seguinte comando gcloud metastore services restore:

    gcloud metastore services restore SERVICE  \
    --project=PROJECT_ID \
    --location=LOCATION \
    --backup=BACKUP \
    --restore-type=RESTORE_TYPE \
    --backup-location=BACKUP_LOCATION

    Substitua:

    • SERVICE: o nome do serviço Metastore do Dataproc.
    • PROJECT_ID: o ID do projeto do Google Cloud. projeto em que o Dataproc Metastoreservice reside.
    • LOCATION: a região do Google Cloud em que seu serviço do Dataproc Metastore.
    • BACKUP (opcional): o identificador do arquivo de backup. do qual está restaurando. Esse valor pode ser o ID de backup, um valor URL qualificado ou o nome relativo no seguinte formato: projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}:
    • RESTORE_TYPE: o tipo de operação de restauração que devem ser realizadas. Os valores aceitos incluem metadata-only ou full. O valor padrão é metadata-only.
    • BACKUP_LOCATION (opcional): o Cloud Storage local do backup programado. Por exemplo, gs://my-bucket/path/to/location.

  2. Verifique se a operação de restauração foi bem-sucedida.

    Quando a restauração for concluída, o metastore do Dataproc retorna automaticamente ao estado ativo, independentemente de se a restauração foi bem-sucedida.

REST

Siga as instruções da API para restaurar metadados em um serviço. usando a ferramenta APIs Explorer.

Quando a restauração for concluída, o metastore do Dataproc automaticamente retorna ao estado ativo, independentemente de a restauração bem-sucedido.

Ver histórico de restauração

Para acessar o histórico de restauração de um serviço do metastore do Dataproc em no console do Google Cloud, siga estas etapas:

  1. No console do Google Cloud, abra o Metastore do Dataproc. página.

  2. Na barra de navegação, clique em Fazer backup/Restaurar.

    O histórico de restauração aparece em uma tabela na seção Restaurar.

    O histórico mostra as últimas 25 restaurações concluídas.

    A exclusão de um serviço do Dataproc Metastore também exclui todos histórico de restauração associado.

Resolver problemas comuns

A seguir