O Dataproc Metastore é um metastore do Apache Hive (HMS) totalmente gerenciado, altamente disponível, com recuperação automática e sem servidor que é executado no Google Cloud.
Para gerenciar totalmente seus metadados, o metastore do Dataproc mapeia seus dados para as tabelas do Apache Hive.
Versões compatíveis do Apache Hive
O metastore do Dataproc só oferece suporte a versões específicas do Apache Hive. Para mais informações, consulte a política de versões do Hive.
Como o Hive processa metadados
Como o Dataproc Metastore é um metastore do Hive, é importante entender como ele gerencia seus metadados.
Por padrão, todos os aplicativos Hive podem ter tabelas internas gerenciadas ou tabelas externas não gerenciadas. Ou seja, os metadados que você armazena em um O serviço Metastore do Dataproc pode existir em tabelas internas e externas.
Ao modificar dados, um serviço do Dataproc Metastore (Hive) trata entre tabelas internas e externas.
- Tabelas internas. Gerencia metadados e dados de tabela.
- Tabelas externas. Só gerencia metadados.
Por exemplo, se você excluir uma definição de tabela usando o SQL do Hive DROP TABLE
declaração:
drop table foo
Tabelas internas. O Metastore do Dataproc exclui todos os metadados. Ele também exclui os arquivos associados à tabela.
Tabelas externas. O metastore do Dataproc exclui apenas os metadados. Ele mantém os dados associados à tabela.
Diretório de depósito do Hive
O Metastore do Dataproc usa o diretório de armazenamento do Hive para gerenciar suas tabelas internas. O diretório do data warehouse do Hive é onde os dados reais são armazenados.
Quando você usa um serviço do Dataproc Metastore, o diretório de armazenamento do Hive padrão é um bucket do Cloud Storage. Somente metastore do Dataproc oferece suporte ao uso de buckets do Cloud Storage para o diretório de armazém. Em comparação, ele é diferente de um HMS no local, em que o armazenamento do Hive diretório aponta para um diretório local.
Esse bucket é criado automaticamente para você sempre que você cria um serviço do metastore do Dataproc. Para alterar esse valor, configure
uma substituição da configuração do Hive Metastore no hive.metastore.warehouse.dir
.
Buckets do Cloud Storage de artefatos
O bucket de artefatos armazena os artefatos do Metastore do Dataproc, como metadados exportados e dados de tabelas gerenciadas.
Quando você cria um serviço Metastore do Dataproc, um bucket do Cloud Storage é criado automaticamente no projeto para você. Por padrão, o bucket de artefatos e o diretório do repositório apontam para o mesmo bucket. Você não alterar o local do bucket de artefatos. No entanto, alterar o local do diretório do warehouse do Hive.
O bucket de artefatos está localizado no seguinte local:
gs://your-artifacts-bucket/hive-warehouse- Por exemplo,
gs://gcs-your-project-name-0825d7b3-0627-4637-8fd0-cc6271d00eb4
Acessar o diretório de depósito do Hive
Depois que o bucket for criado automaticamente, verifique se as contas de serviço do Dataproc têm permissão para acessar o diretório de armazenamento do Hive.
Para acessar o diretório de armazenamento no nível do objeto (por exemplo, gs://mybucket/object), conceda às contas de serviço do Dataproc acesso de leitura e gravação ao objeto de armazenamento do bucket usando o papel
roles/storage.objectAdmin. Esse papel precisa ser definido no nível do bucket ou superior.Para acessar o diretório do repositório de dados quando você usa uma pasta de nível superior (por exemplo, gs://mybucket), conceda às contas de serviço do Dataproc acesso de leitura e gravação ao objeto de armazenamento do bucket usando o papel
roles/storage.storageAdmin.
Se o diretório do armazenamento do Hive não estiver no mesmo projeto que o
metastore do Dataproc, verifique se o agente de serviço do metastore do Dataproc
tem permissão para acessar o diretório do armazenamento do Hive. O serviço
agente para um projeto do metastore do Dataproc
service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com:
Conceda ao agente de serviço o acesso de leitura e gravação ao bucket usando o papel roles/storage.objectAdmin.
Encontre o diretório do warehouse do Hive
- Abra a página Metastore do Dataproc.
Clique no nome do serviço.
A página "Detalhes do serviço" é aberta.
Na tabela de configuração, encontre Modificações de configuração do metastore > hive.metastore.warehouse.dir.
Encontre o valor que começa com
gs://.Esse valor é o local do diretório do armazenamento do Hive.
Mudar o diretório do warehouse do Hive
Para usar seu próprio bucket do Cloud Storage com o metastore do Dataproc: defina uma substituição da configuração do Hive Metastore para apontar para o novo local do bucket.
Se você alterar o diretório padrão do warehouse, siga estas recomendações.
Não use a raiz do bucket do Cloud Storage (
gs://mybucket) para armazenar tabelas Hive.Verifique se a conta de serviço da VM do Dataproc Metastore tem permissão para acessar o diretório de armazenamento do Hive.
Para melhores resultados, use os buckets do Cloud Storage localizados na mesma região do serviço Metastore do Dataproc. Embora o metastore do Dataproc permita buckets entre regiões, os recursos colocalizados têm melhor desempenho. Por exemplo, um bucket multirregional da UE não funciona bem com um serviço
us-central1. O acesso entre regiões resulta em maior latência, falta de isolamento da falha regional e cobranças pela largura de banda da rede entre regiões.
Para mudar o diretório de depósito do Hive
- Abra a página Metastore do Dataproc.
Clique no nome do seu serviço.
A página de detalhes do serviço é aberta.
Na tabela de configuração, encontre as Substituições de configuração do Metastore > seção hive.metastore.warehouse.dir.
Mude o valor
hive.metastore.warehouse.dirpara o local do seu novo bucket. Por exemplo,gs://my-bucket/path/to/location.
Excluir seu bucket
A exclusão do serviço Metastore do Dataproc não exclui automaticamente o bucket de artefatos do Cloud Storage. O bucket não é configurado automaticamente excluído porque pode conter dados pós-serviço úteis. Para excluir o bucket: executar uma operação de exclusão do Cloud Storage.