Criar um cluster e um serviço do metastore do Dataproc

Guia de início rápido: criar um serviço e cluster do Metastore do Dataproc

Criar um cluster e um serviço do metastore do Dataproc

Nesta página, mostramos como criar um serviço do metastore do Dataproc e um cluster do Dataproc que usa o serviço como o metastore Hive.

Antes de começar

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como verificar se o faturamento está ativado em um projeto.

4. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

5. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como verificar se o faturamento está ativado em um projeto.

6. Ative a API Dataproc Metastore.

   Ative a API

Controle de acesso

• Para criar um serviço, é preciso solicitar um papel do IAM que contenha a permissão do IAM metastore.services.create. Os papéis específicos roles/metastore.admin e roles/metastore.editor do metastore do Dataproc incluem permissão de criação.

• É possível conceder permissão de criação a usuários ou grupos usando os papéis legados roles/owner e roles/editor.

Para receber e definir políticas do IAM, use o seguinte:

• Console do Google Cloud: consulte Controle de acesso por meio do Console do Google Cloud.
• APIs REST: consulte Controle de acesso por meio da API.
• Linha de comando gcloud: consulte Controle de acesso por meio da CLI do Google Cloud.

Para mais informações, consulte IAM e Dataproc de controle de acesso.

Criar um serviço do metastore do Dataproc

Veja nas instruções a seguir como criar um serviço do metastore do Dataproc usando o Console do Google Cloud, a CLI gcloud ou a API Metastore do Dataproc.

Console

1. No Console do Cloud, abra a página Criar serviço:

   Abra a página "Criar serviço" no Console do Cloud

   

2. No campo Nome da conta de serviço, insira example-service.

3. Selecione o Local dos dados. Para informações sobre como selecionar uma região, consulte Locais do Cloud.

4. Para outras opções de configuração do ambiente, use os padrões fornecidos.

5. Para criar e iniciar o serviço, clique no botão Enviar.

Seu novo serviço aparecerá na lista Service.

gcloud

Execute o comandogcloud metastore services create a seguir para criar uma identidade de serviço.

 gcloud metastore services create example-service \
     --location=LOCATION
 

Substitua LOCATION pela região do Compute Engine em que o serviço será criado. Verifique se o Metastore do Dataproc está disponível no local.

REST

Siga as instruções da API para criar um serviço usando a API Explorer.

Criar um cluster do Dataproc que usa o serviço

Depois de criar um serviço, é possível criar e anexar um cluster do Dataproc que usa o serviço como o metastore do Hive.

A imagem do Dataproc e a versão do Hivestore do metastore precisam ser compatíveis. Verifique as seguintes páginas de controle de versão de imagem para garantir que a versão do Hive seja compatível:

• Versões de lançamento do Dataproc 2.0.x
• Versões de lançamento 1.5.x do Dataproc
• Versões de lançamento 1.4.x do Dataproc

Para mais informações, consulte a Lista de versões de imagem do Dataproc.

Console

1. No Console do Cloud, abra a página Criar um cluster do Dataproc.

   Abra a página "Criar um cluster" no Console do Cloud

2. No campo Nome do cluster, insira example-cluster.

3. Nos menus Região e Zona, selecione uma região e uma zona para o cluster. É possível selecionar uma região distinta, para isolar recursos e locais de armazenamento de metadados na região especificada. Se você selecionar uma região distinta, poderá selecionar "Sem preferência" para a zona a fim de permitir que o Dataproc escolha uma zona dentro da região selecionada para o cluster (consulte Colocação em zona automática do Dataproc).

   Observação: é necessário criar o cluster do Dataproc na mesma região do metastore do Dataproc para otimizar a conectividade de rede.

4. Use os padrões fornecidos para todas as demais opções.

5. Clique na guia Personalizar cluster.

6. Na seção Configuração de rede, selecione a mesma rede especificada durante a criação do serviço metastore.

7. Na seção Metastore do Dataproc, selecione example-service.

8. Clique em Criar para criar o cluster.

O novo cluster aparecerá na lista de clusters. O status é listado como "Provisioning" até que o cluster esteja pronto para uso. Seu status muda para "Em execução".

gcloud

Execute o seguinte comando gcloud dataproc clusters create para criar um cluster.

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION
 

Substitua PROJECT_ID pelo ID do projeto em que você criou o serviço Metastore do Dataproc.

Substitua LOCATION pela região especificada para o serviço Metastore do Dataproc.

Observação: é necessário criar o cluster do Dataproc na mesma região do serviço do metastore do Dataproc para otimizar a conectividade de rede. Além disso, o cluster do Dataproc precisa estar na mesma rede que o serviço Metastore do Dataproc.

REST

Siga as instruções da API para criar um cluster usando a API Explorer.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas:

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para seguir este tutorial, a exclusão dele incluirá quaisquer outras ações feitas no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar vários tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. No console do Cloud, acesse a página Gerenciar recursos:

   Acessar "Gerenciar recursos"

2. Se o projeto que você planeja excluir estiver anexado a uma organização, expanda a lista Organização na coluna Nome.
3. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
4. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Como alternativa, é possível excluir os recursos usados neste tutorial:

1. Exclua o serviço Metastore do Dataproc.

   Console

   1. No Console do Cloud, abra a página do metastore do Dataproc:

      Abra o metastore do Dataproc no Console do Cloud

   2. À esquerda do nome do serviço, selecione example-service para marcar a caixa.

   3. Na parte superior da página Metastore do Dataproc, clique em Excluir para excluir o serviço.

   4. Na caixa de diálogo, clique em Excluir para confirmar a remoção.

   Seu serviço não aparece mais na lista de serviços.

   gcloud

   Execute o seguinte comando gcloud metastore services delete para excluir um serviço:

    gcloud metastore services delete example-service \
        --location=LOCATION
    

   Substitua LOCATION pela região do Compute Engine em que o serviço foi criado.

   REST

   Siga as instruções da API para excluir um serviço usando a API Explorer.

   Todas as exclusões foram feitas imediatamente.

2. Exclua o bucket do Cloud Storage para o serviço Metastore do Dataproc.

   Observação: a exclusão do serviço Metastore do Dataproc não exclui seu bucket.

3. Exclua o cluster do Dataproc que usou o serviço Metastore do Dataproc.

A seguir

• O que é o metastore do Dataproc?
• Criar um serviço
• Importar metadados para um serviço