Nesta página, explicamos como restaurar um serviço do Dataproc Metastore a partir de um backup.
Um backup é um snapshot das definições de configuração e dos metadados armazenados em um serviço do Dataproc Metastore. É possível usar o recurso de restauração para configurar rapidamente um novo serviço do Dataproc Metastore com os dados salvos anteriormente em um backup.
Antes de começar
- Ative o metastore do Dataproc no seu projeto.
- Crie um serviço do Dataproc Metastore.
- Faça backup de um serviço do Dataproc Metastore.
Funções exigidas
Para receber as permissões necessárias para restaurar um serviço do Dataproc Metastore a partir de um backup, peça ao administrador para conceder a você os seguintes papéis do IAM:
-
Para conceder controle total dos recursos do metastore do Dataproc para concluir um backup:
-
Editor do metastore do Dataproc (
roles/metastore.editor
) no serviço de metadados. -
Administrador do metastore do Dataproc (
roles/metastore.admin
) no projeto.
-
Editor do metastore do Dataproc (
-
Para usar o objeto do Cloud Storage que armazena backups programados:
Usuário do objeto do Cloud Storage (
roles/storage.objectUser
) no agente de serviço do Dataproc Metastore
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Esses papéis predefinidos contêm as permissões necessárias para restaurar um serviço do Dataproc Metastore a partir de um backup. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para restaurar um serviço do metastore do Dataproc a partir de um backup:
-
Para restaurar um serviço de metadados:
metastore.services.restore, metastore.backups.use
-
Para usar o objeto do Cloud Storage:
-
orgpolicy.policy.get
-
resourcemanager.projects.get
-
resourcemanager.projects.list
-
storage.managedFolders.create
-
storage.managedFolders.delete
-
storage.managedFolders.get
-
storage.managedFolders.list
-
storage.multipartUploads.*
-
storage.objects.create
-
storage.objects.delete
-
storage.objects.get
-
storage.objects.list
-
storage.objects.restore
-
storage.objects.update
-
Também é possível receber essas permissões com papéis personalizados ou outros papéis predefinidos.
Para mais informações sobre papéis e permissões específicos do metastore do Dataproc, consulte Visão geral do IAM do metastore do Dataproc.Sobre a restauração de um backup
Ao restaurar um serviço de um backup, você pode escolher uma das seguintes opções:
- Restaure todos os metadados e as definições de configuração salvas no backup.
Restaure todos os metadados, mas não restaure as definições de configuração salvas no backup. Em vez disso, o serviço mantém as configurações atuais.
As definições de configuração incluem parâmetros do Dataproc Metastore, como nome do serviço, número da porta e configurações de rede. Os metadados incluem todas as informações do banco de dados e da tabela armazenadas em um serviço do metastore do Dataproc.
Considerações
Enquanto uma operação de restauração está em execução, não é possível atualizar o serviço. Por exemplo, não é possível alterar as definições de configuração. No entanto, ainda é possível usar o serviço para operações normais, como para acessar os metadados do Dataproc anexado ou de clusters autogerenciados.
Os rótulos do metastore do Dataproc não são restaurados.
Os dados armazenados no diretório do warehouse não são restaurados.
A restauração de um backup não restaura nem substitui políticas detalhadas do IAM.
A restauração de um backup programado exige que ele esteja localizado em um bucket do Cloud Storage.
Restaurar a partir de um backup
Para restaurar um serviço do Dataproc Metastore de um backup, conclua as etapas a seguir.
Se você estiver usando o console do Google Cloud, só poderá restaurar metadados de um backup criado no mesmo projeto e região que o novo serviço.
Se você usa a Google Cloud CLI ou as APIs Dataproc Metastore, é possível restaurar metadados de um backup criado em um projeto e uma região diferentes (backup entre serviços).
Console
No console do Google Cloud, abra a página Metastore do Dataproc:
Na página Metastore do Dataproc, clique no nome do serviço que você quer restaurar de um backup.
A página Detalhes do serviço é aberta.
Figura 1. A página de detalhes do serviço do Dataproc Metastore Para ver seus backups, clique na guia Backup/restauração.
Selecione o backup que você quer usar. Para fazer isso, clique no ícone de menu
e selecione Restaurar.A página Restaurar é aberta.
Também é possível restaurar seu serviço na página Detalhes do backup. Para fazer isso, clique no nome do backup e em Restaurar.
Selecione a operação de restauração apropriada:
- Restaurar dados de metastore. Restaura todos os metadados, mas não restaura as definições de configuração salvas no backup
- Restaure os dados do metastore e a configuração do serviço. Restaura todos os metadados e todas as definições de configuração salvas no backup.
Para atualizar o serviço, clique em Restaurar.
Volte para a página Metastore do Dataproc e verifique se o backup do seu serviço foi realizado.
Quando a restauração é concluída, o metastore do Dataproc retorna automaticamente ao estado ativo, independentemente de ter sido bem-sucedida ou não.
CLI da gcloud
Para restaurar um serviço do Dataproc Metastore, execute o seguinte comando
gcloud metastore services restore
:gcloud metastore services restore SERVICE \ --project=PROJECT_ID \ --location=LOCATION \ --backup=BACKUP \ --restore-type=RESTORE_TYPE \ --backup-location=BACKUP_LOCATION
Substitua:
SERVICE
: o nome do serviço do metastore do Dataproc.PROJECT_ID
: o ID do projeto do Google Cloud em que o Dataproc Metastoreservice reside.LOCATION
: a região do Google Cloud em que o serviço Metastore do Dataproc reside.BACKUP
(opcional): o identificador do arquivo de backup que você está restaurando. Esse valor pode ser o ID do backup, um URL totalmente qualificado ou o nome relativo neste formato:projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}
.RESTORE_TYPE
: o tipo de operação de restauração a ser executada. Os valores aceitos incluemmetadata-only
oufull
. O valor padrão émetadata-only
.BACKUP_LOCATION
(opcional): o local do backup programado no Cloud Storage. Por exemplo,gs://my-bucket/path/to/location
.
Verifique se a operação de restauração foi bem-sucedida.
Quando a restauração é concluída, o metastore do Dataproc retorna automaticamente ao estado ativo, independentemente de ter sido bem-sucedida ou não.
REST
Siga as instruções da API para restaurar metadados em um serviço usando o APIs Explorer.
Quando a restauração é concluída, o metastore do Dataproc retorna automaticamente ao estado ativo, independentemente de ter sido ou não concluída.
Ver histórico de restauração
Para ver o histórico de restauração de um serviço do Dataproc Metastore no Console do Google Cloud, conclua as seguintes etapas:
- No console do Google Cloud, abra a página Metastore do Dataproc.
Na barra de navegação, clique em Fazer backup/Restaurar.
O histórico de restauração aparece em uma tabela na seção Restaurar.
O histórico mostra as últimas 25 restaurações concluídas.
A exclusão de um serviço do Dataproc Metastore também remove todo o histórico de restauração associado.
Resolver problemas comuns
- O agente de serviço ou a conta de usuário não tem as permissões necessárias.
- Para mais ajuda na solução de problemas comuns, consulte Cenários de erro de backup e restauração.