O metastore do Dataproc é um metastore Apache Hive (HMS) totalmente gerenciado, altamente disponível, de recuperação automática, sem servidor que é executado no Google Cloud.
Para gerenciar totalmente seus metadados, o metastore do Dataproc mapeia seus dados para as tabelas do Apache Hive.
Versões compatíveis do Apache Hive
O metastore do Dataproc só oferece suporte a versões específicas do Apache Hive. Para mais informações, consulte a política de versões do Hive.
Como o Hive lida com metadados
Como o metastore do Dataproc é um metastore do Hive, é importante entender como ele gerencia os metadados.
Por padrão, todos os aplicativos Hive podem ter tabelas internas gerenciadas ou tabelas externas não gerenciadas. Ou seja, os metadados que você armazena em um serviço Metastore do Dataproc podem existir em tabelas internas e externas.
Ao modificar dados, um serviço Metastore do Dataproc (Hive) trata as tabelas internas e externas de maneira diferente.
- Tabelas internas. Gerencia metadados e dados de tabelas.
- Tabelas externas. Gerencia apenas metadados.
Por exemplo, se você excluir uma definição de tabela usando a instrução SQL DROP TABLE do Hive:
drop table foo
Tabelas internas. O metastore do Dataproc exclui todos os metadados. Os arquivos associados à tabela também são excluídos.
Tabelas externas. O metastore do Dataproc exclui apenas os metadados. Mantém os dados associados à tabela.
Diretório de depósito do Hive
O metastore do Dataproc usa o diretório de armazenamento do Hive para gerenciar as tabelas internas. Os dados reais são armazenados no diretório de armazenamento do Hive.
Quando você usa um serviço Metastore do Dataproc, o diretório de armazenamento padrão do Hive é um bucket do Cloud Storage. O metastore do Dataproc só aceita o uso de buckets do Cloud Storage para o diretório de warehouse. Em comparação, é diferente de um HMS local, em que o diretório warehouse Hive geralmente aponta para um diretório local.
Esse bucket será criado automaticamente sempre que você criar um
serviço Metastore do Dataproc. Esse valor pode ser alterado definindo uma substituição de configuração do Metastore do Hive na propriedade hive.metastore.warehouse.dir.
Buckets do Cloud Storage de artefatos
O bucket de artefatos armazena os artefatos do metastore do Dataproc, como metadados exportados e dados de tabela internos gerenciados.
Quando você cria um serviço Metastore do Dataproc, um bucket do Cloud Storage é criado automaticamente no projeto para você. Por padrão, o bucket de artefatos e o diretório de warehouse apontam para o mesmo bucket. Não é possível alterar o local do bucket de artefatos, mas você pode alterar o local do diretório de armazenamento do Hive.
O bucket de artefatos está localizado no seguinte local:
gs://your-artifacts-bucket/hive-warehouse.- Por exemplo,
gs://gcs-your-project-name-0825d7b3-0627-4637-8fd0-cc6271d00eb4
Acessar o diretório de warehouse do Hive
Depois que o bucket for criado automaticamente, verifique se as contas de serviço do Dataproc têm permissão para acessar o diretório de armazenamento do Hive.
Para acessar o diretório warehouse no nível do objeto (por exemplo, gs://mybucket/object), conceda às contas de serviço do Dataproc acesso de leitura e gravação ao objeto de armazenamento do bucket usando o papel
roles/storage.objectAdmin. Esse papel precisa ser definido no nível do bucket ou superior.Para acessar o diretório warehouse ao usar uma pasta de nível superior (por exemplo, gs://mybucket), conceda às contas de serviço do Dataproc o acesso de leitura e gravação ao objeto de armazenamento do bucket, usando o papel
roles/storage.storageAdmin.
Se o diretório de armazenamento do Hive não estiver no mesmo projeto que o Metastore do Dataproc, verifique se o agente de serviço do Metastore do Dataproc tem permissão para acessar o diretório de armazenamento do Hive. O agente de serviço de um projeto do Dataproc Metastore é service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com.
Conceda ao agente de serviço acesso de leitura e gravação ao bucket usando o
papel roles/storage.objectAdmin.
Encontre o diretório de warehouse do Hive
- Abra a página Metastore do Dataproc.
Clique no nome do seu serviço.
A página "Detalhes do serviço" é aberta.
Na tabela de configuração, encontre Substituições de configuração do Metastore > hive.metastore.warehouse.dir.
Encontre o valor que começa com
gs://.Esse valor é o local do diretório de warehouse do Hive.
Alterar o diretório de warehouse do Hive
Para usar seu próprio bucket do Cloud Storage com o metastore do Dataproc, defina uma substituição da configuração do metastore do Hive para apontar para o novo local do bucket.
Se você alterar o diretório padrão do warehouse, siga estas recomendações.
Não use a raiz do bucket do Cloud Storage (
gs://mybucket) para armazenar as tabelas do Hive.Verifique se a conta de serviço de VM do Dataproc Metastore tem permissão para acessar o diretório de armazenamento do Hive.
Para melhores resultados, use os buckets do Cloud Storage localizados na mesma região do serviço Metastore do Dataproc. O metastore do Dataproc permite buckets entre regiões, mas os recursos colocalizados têm um desempenho melhor. Por exemplo, um bucket multirregional da UE não funciona bem com um serviço
us-central1. O acesso entre regiões resulta em maior latência, falta de isolamento de falhas regionais e cobranças por largura de banda de rede entre regiões.
Para alterar o diretório de warehouse do Hive
- Abra a página Metastore do Dataproc.
Clique no nome do seu serviço.
A página "Detalhes do serviço" é aberta.
Na tabela de configuração, encontre a seção Substituições de configuração do Metastore > hive.metastore.warehouse.dir.
Mude o valor de
hive.metastore.warehouse.dirpara o local do novo bucket. Por exemplo,gs://my-bucket/path/to/location.
Excluir o bucket
A exclusão do serviço Metastore do Dataproc não exclui automaticamente o bucket de artefatos do Cloud Storage. O bucket não é excluído automaticamente porque pode conter dados pós-serviço úteis. Para excluir o bucket, execute uma operação de exclusão do Cloud Storage.