Visão geral do metastore do Dataproc

O Dataproc Metastore é um metastore Apache Hive (HMS) totalmente gerenciado que é executado no Google Cloud. Um HMS é o padrão estabelecido no ecossistema de dados de código aberto para gerenciamento de metadados técnicos, como esquemas, partições e estatísticas de colunas em um banco de dados relacional.

O metastore do Dataproc é altamente disponível, com recuperação automática e sem servidor. Use-o para gerenciar os metadados do data lake e fornecer interoperabilidade entre os vários mecanismos de processamento de dados e ferramentas que você usa.

Como o Dataproc Metastore funciona

É possível usar um serviço do metastore do Dataproc conectando-o a um cluster do Dataproc. Um cluster do Dataproc inclui componentes que dependem de um HMS para impulsionar o planejamento e a execução de consultas.

Essa integração permite manter as informações da tabela entre jobs ou disponibilizar os metadados para outros clusters e mecanismos de processamento.

Por exemplo, a implementação de uma metastore pode ajudar a designar que um subconjunto dos arquivos contém dados de receita, em vez de rastrear manualmente os nomes de arquivos. Nesse caso, é possível definir uma tabela para esses arquivos e armazenar os metadados no Metastore do Dataproc. Depois, conecte-o a um cluster do Dataproc e consulte a tabela para obter informações usando o Hive, o Spark SQL ou outros serviços de consulta.

Versões do metastore do Dataproc

Ao criar um serviço do Metastore do Dataproc, você pode usar um serviço do Metastore do Dataproc 2 ou um serviço do Metastore do Dataproc 1.

  • O Metastore do Dataproc 2 é a nova geração do serviço que oferece escalonamento horizontal, além dos recursos do Metastore do Dataproc 1. Para mais informações, consulte recursos e benefícios.

  • O Dataproc Metastore 2 tem um plano de preços diferente do Dataproc Metastore. Para mais informações, consulte planos de preços e configurações de escalonamento.

Casos de uso comuns

Todos os casos de uso listados nesta seção têm suporte do metastore do Dataproc 2 e do Dataproc Metastore 1, a menos que indicado de outra forma.

  • Atribua significado aos seus dados. Crie um repositório de metadados centralizado que seja compartilhado entre muitos clusters temporários do Dataproc. Use diferentes mecanismos de software de código aberto (OSS, na sigla em inglês), como o [Apache Hive](https://hive.apache.org), o Apache Spark e o Presto.

  • Crie uma visualização unificada dos seus dados. Oferecer interoperabilidade entre os serviços do Google Cloud, como Dataproc, Dataplex e BigQuery, ou usar outras ofertas de parceiros baseadas em código aberto no Google Cloud.

Recursos e benefícios

Todos os recursos listados nesta seção têm suporte do Dataproc Metastore 2 e do Dataproc Metastore 1, a menos que indicado de outra forma.

  • Compatibilidade com OSS. Conecte-se aos mecanismos de processamento de dados atuais, como Apache Hive, Apache Spark e Presto.

  • Gerenciamento. Crie ou atualize uma metastore em minutos, com tarefas de monitoramento e operação totalmente configuradas.

  • Integração. Integração com outros produtos do Google Cloud, como usar o BigQuery como a fonte de metadados de um cluster do Dataproc.

  • Segurança integrada. Use protocolos de segurança estabelecidos do Google Cloud, como o Identity and Access Management (IAM) e a autenticação Kerberos.

  • Importação simples. Importe metadados armazenados em um metastore externo do Hive para um serviço do metastore do Dataproc.

  • Backups automáticos. Configure backups automáticos do metastore para evitar perda de dados.

  • Monitoramento de desempenho. Defina níveis de desempenho para responder dinamicamente a picos e cargas de trabalho de alta intensidade, sem pré-aquecimento ou armazenamento em cache.

  • Alta disponibilidade (HA).

    • Metastore do Dataproc 2. Oferece alta disponibilidade zonal (HA, na sigla em inglês) sem exigir nenhuma configuração específica ou gerenciamento contínuo. Isso é feito replicando automaticamente os bancos de dados de back-end e os servidores do HMS em várias zonas na região escolhida. Além do HA regional, o Dataproc Metastore 2 oferece suporte a HA regional e recuperação de desastres (DR).
    • Metastore do Dataproc 1. Por padrão, oferece alta disponibilidade (HA, na sigla em inglês) zonal sem exigir nenhuma configuração específica ou gerenciamento contínuo. Isso é feito replicando automaticamente os bancos de dados de back-end e os servidores do HMS em várias zonas na região escolhida.

  • Dimensionamento.

    • Metastore do Dataproc 2. Use um fator de escalonamento horizontal para determinar quantos recursos seu serviço precisa usar em um determinado momento. O fator de escalonamento pode ser controlado manualmente ou definido como escalonamento automático quando necessário.
    • Metastore do Dataproc 1. Escolha entre um nível de desenvolvedor ou empresa ao configurar seu serviço. Esse nível determina quantos recursos seu serviço precisa usar em um determinado momento.

  • Suporte. Aproveite os SLAs e canais de suporte padrão do Google Cloud.

Integrações com o Google Cloud

Todas as integrações listadas nesta seção têm suporte do Dataproc Metastore 1 e do Dataproc Metastore 2, a menos que indicado de outra forma.

  • Dataproc. Conecte-se a um cluster do Dataproc para fornecer metadados para cargas de trabalho de Big Data do OSS.
  • BigQuery. Consultar conjuntos de dados do BigQuery nas suas cargas de trabalho do Dataproc
  • Dataplex. Consultar dados estruturados e semiestruturados descobertos em um data lake do Dataplex.
  • Data Catalog. Sincronize o Metastore do Dataproc com o Data Catalog para permitir a pesquisa e a descoberta de metadados.
  • Geração de registros e monitoramento. Integre o Dataproc Metastore a produtos do Cloud Monitoring e do Logging.
  • Autenticação e IAM. Dependem da autenticação OAuth padrão usada por outros produtos do Google Cloud, que oferece suporte ao uso de funções granulares do Identity and Access Management para permitir o controle de acesso de recursos individuais.

Próximas etapas