Migrar um metastore autogerenciado do MySQL para o metastore do Dataproc

Migrar um metastore autogerenciado do MySQL para o metastore do Dataproc

Nesta página, você aprenderá como migrar seu metastore MySQL autogerenciado externo para o metastore do Dataproc. Para isso, crie um arquivo dump MySQL e importe os metadados para um serviço existente do metastore do Dataproc.

Antes de começar

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

4. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

5. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

6. Ative a API Dataproc Metastore.

   Ative a API

Papéis necessários

Para receber as permissões necessárias para criar um metastore do Dataproc e importar um metastore MYSQL, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Para criar um serviço e importar metadados:
  • Editor do Metastore do Dataproc (roles/metastore.editor) no projeto
  • Administrador do Metastore do Dataproc (roles/metastore.admin) no projeto.
• Para usar o objeto do Cloud Storage (arquivo dump SQL) para importação:
  • Leitor de objetos do Storage (roles/storage.objectViewer) no agente de serviço do metastore do Dataproc. Por exemplo, [e-mail].
  • Leitor de objetos do Storage (roles/storage.objectViewer) na conta de usuário.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esses papéis predefinidos contêm as permissões necessárias para criar um metastore do Dataproc e importar um metastore MYSQL. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para criar um metastore do Dataproc e importar um metastore MYSQL:

• Para criar um serviço: metastore.services.create no projeto.
• Para importar metadados: metastore.imports.create no projeto.
• Para usar o objeto do Cloud Storage (arquivo dump SQL) para importação:
  • storage.objects.get no agente de serviço do Dataproc Metastore. Por exemplo, [e-mail]
  • storage.objects.get na conta de usuário.

Talvez você também consiga receber essas permissões com papéis personalizados ou outros papéis predefinidos.

Para saber mais sobre papéis e permissões específicos do Dataproc Metastore, consulte Gerenciar o acesso ao Dataproc com o IAM.

Criar um serviço Metastore do Dataproc

As instruções a seguir demonstram como criar um serviço do Dataproc Metastore para o qual é possível migrar o arquivo dump SQL.

Console

1. No console do Google Cloud, abra a página Criar serviço:

   Acessar "Criar serviço"

   

   A página "Criar serviço" do metastore do Dataproc

2. No campo Nome da conta de serviço, insira example-service.

3. Selecione o Local dos dados. Para informações sobre como selecionar uma região, consulte Locais do Cloud.

4. Para outras opções de configuração do ambiente, use os padrões fornecidos.

5. Para criar e iniciar o serviço, clique no botão Enviar.

Seu novo serviço aparecerá na lista Service.

gcloud

Execute o comando gcloud metastore services create a seguir para criar uma identidade de serviço:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Substitua LOCATION pela região do Compute Engine em que você planeja criar o serviço. Verifique se o Metastore do Dataproc está disponível na região.

REST

Siga as instruções da API para criar um serviço usando a API Explorer.

Preparar para a migração

Prepare os metadados armazenados no banco de dados do metastore do Hive para importação. Para isso, crie um arquivo dump MySQL e coloque-o em um bucket do Cloud Storage.

Consulte Preparar os arquivos de importação antes da importação para conhecer as etapas de preparo para a migração.

Importar os metadados

Agora que você preparou o arquivo dump, importe-o para o serviço Metastore do Dataproc.

Consulte Importar os arquivos para o Dataproc Metastore para conhecer as etapas de importação dos metadados para o serviço example-service.

Observação :se você estiver usando o VPC Service Controls, só vai ser possível importar dados de um bucket do Cloud Storage que resida no mesmo perímetro de serviço que o metastore do Dataproc.

Criar e anexar um cluster do Dataproc

Depois de importar os metadados para o serviço example-service do metastore do Dataproc, crie e anexe um cluster do Dataproc que use o serviço como o metastore Hive.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. No Console do Google Cloud, acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Se o projeto que você planeja excluir estiver anexado a uma organização, expanda a lista Organização na coluna Nome.
3. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
4. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Como alternativa, é possível excluir os recursos usados neste tutorial:

1. Exclua o serviço Metastore do Dataproc.

   Console

   1. No console do Google Cloud, abra a página do metastore do Dataproc:

      Abra o metastore do Dataproc no Console do Google Cloud

   2. À esquerda do nome do serviço, selecione example-service para marcar a caixa.

   3. Na parte superior da página Metastore do Dataproc, clique em Excluir para excluir o serviço.

   4. Na caixa de diálogo, clique em Excluir para confirmar a remoção.

   Seu serviço não aparece mais na lista de serviços.

   gcloud

   Execute o seguinte comando gcloud metastore services delete para excluir um serviço:

    gcloud metastore services delete example-service \
        --location=LOCATION

   Substitua LOCATION pela região do Compute Engine em que você criou o serviço.

   REST

   Siga as instruções da API para excluir um serviço usando a API Explorer.

   Todas as exclusões foram feitas imediatamente.

   Observação: a exclusão do próprio serviço exclui todas as importações aninhadas correspondentes.

2. Exclua o bucket do Cloud Storage para o serviço Metastore do Dataproc.

   Observação: a exclusão do metastore do Dataproc não exclui o bucket.

A seguir

• O que é o metastore do Dataproc?
• Importar metadados para um serviço
• Anexar um cluster do Dataproc ou um cluster autogerenciado