Migrar um metastore MySQL autogerenciado para o metastore do Dataproc

Migrar um metastore MySQL autogerenciado para o metastore do Dataproc

Nesta página, você aprenderá como migrar seu metastore MySQL autogerenciado externo para o metastore do Dataproc. Para isso, crie um arquivo dump MySQL e importe os metadados para um serviço existente do metastore do Dataproc.

Antes de começar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Dataproc Metastore API.

   Enable the API

Papéis necessários

Para receber as permissões necessárias para criar uma metastore do Dataproc e importar uma metastore do MYSQL, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Para criar um serviço e importar metadados:
  • Editor do metastore do Dataproc (roles/metastore.editor) no projeto
  • Administrador do metastore do Dataproc (roles/metastore.admin) no projeto.
• Para usar o objeto do Cloud Storage (arquivo dump SQL) para importação:
  • Leitor de objetos do Storage (roles/storage.objectViewer) no agente de serviço do metastore do Dataproc. Por exemplo, [e-mail].
  • Leitor de objetos do Storage (roles/storage.objectViewer) na conta de usuário.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para criar uma metastore do Dataproc e importar uma metastore do MYSQL. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para criar um metastore do Dataproc e importar um metastore do MYSQL:

• Para criar um serviço: metastore.services.create no projeto.
• Para importar metadados: metastore.imports.create no projeto.
• Para usar o objeto do Cloud Storage (arquivo dump SQL) para importação:
  • storage.objects.get no agente de serviço do Metastore do Dataproc. Por exemplo, [e-mail]
  • storage.objects.get na conta do usuário.

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre papéis e permissões específicos do Dataproc Metastore, consulte Gerenciar o acesso ao Dataproc com o IAM.

Criar um serviço Metastore do Dataproc

As instruções a seguir demonstram como criar um serviço do metastore do Dataproc para migrar seu arquivo dump SQL.

Console

1. No Console do Google Cloud, abra a página Criar serviço:

   Acessar "Criar serviço"

   

   O Metastore do DataprocA página "Criar serviço"

2. No campo Nome da conta de serviço, insira example-service.

3. Selecione o Local dos dados. Para informações sobre como selecionar uma região, consulte Locais do Cloud.

4. Para outras opções de configuração do ambiente, use os padrões fornecidos.

5. Para criar e iniciar o serviço, clique no botão Enviar.

Seu novo serviço aparecerá na lista Service.

gcloud

Execute o comando gcloud metastore services create a seguir para criar uma identidade de serviço:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Substitua LOCATION pela região do Compute Engine em que você planeja criar o serviço. Verifique se o Metastore do Dataproc está disponível na região.

REST

Siga as instruções da API para criar um serviço usando a API Explorer.

Preparar para a migração

Prepare os metadados armazenados no banco de dados do metastore do Hive para importação. Para isso, crie um arquivo dump MySQL e coloque-o em um bucket do Cloud Storage.

Consulte Preparar os arquivos de importação antes da importação para conferir as etapas de preparação para a migração.

Importar os metadados

Agora que você preparou o arquivo dump, importe-o para o serviço Metastore do Dataproc.

Consulte Importar os arquivos para o Metastore do Dataproc para conferir as etapas de importação de metadados para o serviço example-service.

Observação: se você estiver usando o VPC Service Controls, só será possível importar dados de um bucket do Cloud Storage que esteja no mesmo perímetro de serviço que o serviço Metastore do Dataproc.

Criar e anexar um cluster do Dataproc

Depois de importar os metadados para o serviço example-service do metastore do Dataproc, crie e anexe um cluster do Dataproc que use o serviço como o metastore Hive.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

Como alternativa, é possível excluir os recursos usados neste tutorial:

1. Exclua o serviço Metastore do Dataproc.

   Console

   1. No console do Google Cloud, abra a página Metastore do Dataproc:

      Abra o Dataproc Metastore no console do Google Cloud

   2. À esquerda do nome do serviço, selecione example-service para marcar a caixa.

   3. Na parte superior da página Metastore do Dataproc, clique em Excluir para excluir o serviço.

   4. Na caixa de diálogo, clique em Excluir para confirmar a remoção.

   Seu serviço não aparece mais na lista de serviços.

   gcloud

   Execute o seguinte comando gcloud metastore services delete para excluir um serviço:

    gcloud metastore services delete example-service \
        --location=LOCATION

   Substitua LOCATION pela região do Compute Engine em que você criou o serviço.

   REST

   Siga as instruções da API para excluir um serviço usando a API Explorer.

   Todas as exclusões foram feitas imediatamente.

   Observação: a exclusão do próprio serviço exclui todas as importações aninhadas correspondentes.

2. Exclua o bucket do Cloud Storage para o serviço Metastore do Dataproc.

   Observação: a exclusão do metastore do Dataproc não exclui o bucket.

A seguir

• O que é o metastore do Dataproc?
• Importar metadados para um serviço
• Anexar um cluster do Dataproc ou autogerenciado