Visão geral do metastore do Dataproc

O Dataproc Metastore é um metastore Apache Hive (HMS) totalmente gerenciado que é executado no Google Cloud. Um HMS é o padrão estabelecido no ecossistema de dados de código aberto para gerenciamento de metadados técnicos, como esquemas, partições e estatísticas de colunas em um banco de dados relacional.

O metastore do Dataproc é altamente disponível, com recuperação automática e sem servidor. Use para gerenciar data lake os metadados e fornecer interoperabilidade entre os vários mecanismos de processamento de dados e as ferramentas que você usa.

Como o Dataproc Metastore funciona

É possível usar um serviço do metastore do Dataproc conectando-o a um cluster do Dataproc. Um cluster do Dataproc inclui componentes que dependem de um HMS para impulsionar o planejamento e a execução de consultas.

Essa integração permite manter as informações da tabela entre jobs ou disponibilizar os metadados para outros clusters e mecanismos de processamento.

Por exemplo, implementar um metastore pode ajudar você a designar que um subconjunto de seus arquivos contém dados de receita, em vez de rastrear manualmente os nomes dos arquivos. Nesse caso, é possível definir uma tabela para esses arquivos e armazenar os metadados no Metastore do Dataproc. Depois, é possível conectá-lo a um cluster do Dataproc e consultar a tabela em busca de informações usando o Hive, Spark SQL ou outros serviços de consulta.

Versões do metastore do Dataproc

Ao criar um serviço do Metastore do Dataproc, você pode usar um serviço do Metastore do Dataproc 2 ou um serviço do Metastore do Dataproc 1.

  • O Metastore do Dataproc 2 é a nova geração do serviço que oferece escalonamento horizontal, além dos recursos do Metastore do Dataproc 1. Para mais informações, consulte recursos e benefícios.

  • O Dataproc Metastore 2 tem um plano de preços diferente do Dataproc Metastore. Para mais informações, consulte planos de preços e configurações de escalonamento.

Casos de uso comuns

Todos os casos de uso listados nesta seção são compatíveis com o metastore do Dataproc 2 e Dataproc Metastore 1, salvo indicação em contrário.

  • Atribua significado aos seus dados. Crie um repositório de metadados centralizado que seja compartilhado entre muitos clusters temporários do Dataproc. Use diferentes mecanismos de software de código aberto (OSS, na sigla em inglês), como o [Apache Hive](https://hive.apache.org), o Apache Spark e o Presto.

  • Crie uma visualização unificada dos seus dados. Oferecer interoperabilidade entre os serviços do Google Cloud, como Dataproc, Dataplex e BigQuery, ou usar outras ofertas de parceiros baseadas em código aberto no Google Cloud.

Recursos e benefícios

Todos os recursos listados nesta seção têm suporte do metastore do Dataproc 2 e do Dataproc Metastore 1, a menos que indicado de outra forma.

  • Compatibilidade com OSS. Conecte-se aos mecanismos de processamento de dados atuais, como Apache Hive, Apache Spark e Presto.

  • Gerenciamento. Crie ou atualize um metastore em minutos, complete com tarefas de monitoramento e operação totalmente configuradas.

  • Integração. Integrar com outros produtos do Google Cloud, como usando o BigQuery como origem dos metadados de um cluster.

  • Segurança integrada. Usar protocolos de segurança estabelecidos do Google Cloud, como o Identity and Access Management (IAM) e a autenticação Kerberos.

  • Importação simples. Importar metadados existentes armazenados em um metastore Hive externo metastore em um serviço do Dataproc Metastore.

  • Backups automáticos. Configure backups automáticos do metastore para evitar perda de dados.

  • Monitoramento de desempenho. Defina níveis de desempenho para responder dinamicamente a picos e cargas de trabalho com alto consumo de dados, sem pré-aquecimento ou armazenamento em cache.

  • Alta disponibilidade (HA):

    • Metastore do Dataproc 2. Oferece alta disponibilidade zonal (HA, na sigla em inglês) sem exigir nenhuma configuração específica ou gerenciamento contínuo. Isso é feito replicando automaticamente os bancos de dados de back-end e os servidores do HMS em várias zonas na região escolhida. Além do HA regional, o Dataproc Metastore 2 oferece suporte a HA regional e recuperação de desastres (DR).
    • Metastore do Dataproc 1. Por padrão, fornece alto alta disponibilidade (HA, na sigla em inglês) sem precisar de configurações específicas de projetos. Isso é feito replicando automaticamente bancos de dados de back-end e servidores HMS em diversas zonas na região escolhida

  • Dimensionamento.

    • Metastore do Dataproc 2. Use um fator de escalonamento horizontal para determinar quantos recursos seu serviço precisa usar em um determinado momento. O fator de escalonamento pode ser controlado manualmente ou definido como escalonamento automático quando necessário.
    • Metastore do Dataproc 1. Escolha entre um nível de desenvolvedor ou nível empresarial durante a configuração do serviço. Esse nível determina como muitos recursos que seu serviço precisa usar em um determinado momento.

  • Suporte. Aproveite os SLAs e canais de suporte padrão do Google Cloud.

Integrações com o Google Cloud

Todas as integrações listadas nesta seção são compatíveis com o metastore do Dataproc 1 e Dataproc Metastore 2, salvo indicação em contrário.

  • Dataproc. Conecte-se a um cluster do Dataproc para fornecer metadados para cargas de trabalho de Big Data do OSS.
  • BigQuery. consulte conjuntos de dados do BigQuery no Dataproc do Google Cloud.
  • Dataplex. Consulte dados estruturados e semiestruturados descobertos em um do Dataplex.
  • Data Catalog. Sincronize o Metastore do Dataproc com o Data Catalog para permitir a pesquisa e a descoberta de metadados.
  • Logging e Monitoring. Integrar o metastore do Dataproc com produtos Cloud Monitoring e Logging.
  • Autenticação e IAM. Confie na autenticação OAuth padrão usada por outros produtos do Google Cloud, que permitem o uso de papéis granulares do Identity and Access Management para ativar o controle de acesso de recursos individuais.

Próximas etapas