O Dataproc Metastore é um metastore do Apache Hive (HMS) totalmente gerenciado, altamente disponível, com recuperação automática e sem servidor que é executado no Google Cloud.
Para gerenciar totalmente seus metadados, o metastore do Dataproc mapeia seus dados para as tabelas do Apache Hive.
Versões compatíveis do Apache Hive
O metastore do Dataproc só é compatível com versões específicas do Apache Hive. Para mais informações, consulte a política de versões do Hive.
Como o Hive processa metadados
Como o metastore do Dataproc é um metastore do Hive, é importante entender como ele gerencia seus metadados.
Por padrão, todos os aplicativos Hive podem ter tabelas internas gerenciadas ou tabelas externas não gerenciadas. Ou seja, os metadados armazenados em um serviço do Metastore do Dataproc podem existir em tabelas internas e externas.
Ao modificar dados, um serviço do Metastore do Dataproc (Hive) trata tabelas internas e externas de maneira diferente.
- Tabelas internas. Gerencia metadados e dados de tabela.
- Tabelas externas. Gerencia apenas metadados.
Por exemplo, se você excluir uma definição de tabela usando a instrução DROP TABLE do Hive SQL:
drop table foo
Tabelas internas. O Metastore do Dataproc exclui todos os metadados. Ele também exclui os arquivos associados à tabela.
Tabelas externas. O Metastore do Dataproc exclui apenas os metadados. Ele mantém os dados associados à tabela.
Diretório de depósito do Hive
O Metastore do Dataproc usa o diretório de armazenamento do Hive para gerenciar suas tabelas internas. O diretório do data warehouse do Hive é onde os dados reais são armazenados.
Quando você usa um serviço do Dataproc Metastore, o diretório de armazenamento do Hive padrão é um bucket do Cloud Storage. O Metastore do Dataproc só oferece suporte ao uso de buckets do Cloud Storage para o diretório do armazém. Em comparação, isso é diferente de um HMS local, em que o diretório de armazém do Hive normalmente aponta para um diretório local.
Esse bucket é criado automaticamente para você sempre que você cria um serviço do metastore do Dataproc. Esse valor pode ser alterado definindo
uma substituição de configuração do metastore do Hive na propriedade
hive.metastore.warehouse.dir.
Buckets do Cloud Storage de artefatos
O bucket de artefatos armazena os artefatos do Metastore do Dataproc, como metadados exportados e dados de tabelas gerenciadas.
Quando você cria um serviço Metastore do Dataproc, um bucket do Cloud Storage é criado automaticamente no projeto para você. Por padrão, o bucket de artefatos e o diretório do repositório apontam para o mesmo bucket. Não é possível mudar o local do bucket de artefatos, mas é possível mudar o local do diretório do repositório do Hive.
O bucket de artefatos está localizado neste local:
gs://your-artifacts-bucket/hive-warehouse- Por exemplo,
gs://gcs-your-project-name-0825d7b3-0627-4637-8fd0-cc6271d00eb4
Acessar o diretório de depósito do Hive
Depois que o bucket for criado automaticamente, verifique se as contas de serviço do Dataproc têm permissão para acessar o diretório de armazenamento do Hive.
Para acessar o diretório do armazenamento no nível do objeto (por exemplo, gs://mybucket/object), conceda às contas de serviço do Dataproc acesso de leitura e gravação ao objeto de armazenamento do bucket usando o papel
roles/storage.objectAdmin. Esse papel precisa ser definido no nível do bucket ou superior.Para acessar o diretório do repositório ao usar uma pasta de nível superior (por exemplo, gs://mybucket), conceda às contas de serviço do Dataproc acesso de leitura e gravação ao objeto de armazenamento do bucket usando o papel
roles/storage.storageAdmin.
Se o diretório do armazenamento do Hive não estiver no mesmo projeto que o
metastore do Dataproc, verifique se o agente de serviço do metastore do Dataproc
tem permissão para acessar o diretório do armazenamento do Hive. O agente de serviço
para um projeto do Metastore do Dataproc é
service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com.
Conceda ao agente de serviço o acesso de leitura e gravação ao bucket usando o papel roles/storage.objectAdmin.
Encontrar o diretório de depósito do Hive
- Abra a página Metastore do Dataproc.
Clique no nome do serviço.
A página de detalhes do serviço é aberta.
Na tabela de configuração, encontre Modificações de configuração do metastore > hive.metastore.warehouse.dir.
Encontre o valor que começa com
gs://.Esse valor é o local do diretório do depósito do Hive.
Mudar o diretório de depósito do Hive
Para usar seu próprio bucket do Cloud Storage com o Metastore do Dataproc, defina uma substituição de configuração do Metastore do Hive para apontar para o novo local do bucket.
Se você mudar o diretório de armazém padrão, siga estas recomendações.
Não use a raiz do bucket do Cloud Storage (
gs://mybucket) para armazenar tabelas Hive.Verifique se a conta de serviço da VM do Dataproc Metastore tem permissão para acessar o diretório de armazenamento do Hive.
Para melhores resultados, use os buckets do Cloud Storage localizados na mesma região do serviço Metastore do Dataproc. Embora o metastore do Dataproc permita buckets entre regiões, os recursos colocalizados têm melhor desempenho. Por exemplo, um bucket multirregional da UE não funciona bem com um serviço
us-central1. O acesso entre regiões resulta em maior latência, falta de isolamento da falha regional e cobranças pela largura de banda da rede entre regiões.
Para mudar o diretório de depósito do Hive
- Abra a página Metastore do Dataproc.
Clique no nome do serviço.
A página de detalhes do serviço é aberta.
Na tabela de configuração, encontre a seção Modificações de configuração do metastore > hive.metastore.warehouse.dir.
Mude o valor de
hive.metastore.warehouse.dirpara o local do seu novo bucket. Por exemplo,gs://my-bucket/path/to/location.
Excluir seu bucket
A exclusão do serviço Metastore do Dataproc não exclui automaticamente o bucket de artefatos do Cloud Storage. Seu bucket não é excluído automaticamente, porque pode conter dados úteis pós-serviço. Para excluir o bucket, execute uma operação de exclusão do Cloud Storage.