Componente HBase opcional do Dataproc

A instalação do componente opcional HBase é limitada a clusters do Dataproc criados com a versão de imagem 1.5 ou 2.0.

Embora o Google Cloud forneça muitos serviços que permitem implantar o Apache HBase autogerenciado, o Bigtable é geralmente a melhor opção, porque fornece uma API aberta com HBase e portabilidade de carga de trabalho. As tabelas de banco de dados do HBase podem ser migradas para o Bigtable para o gerenciamento dos dados subjacentes, enquanto os aplicativos que anteriormente interoperavam com o HBase, como o Spark, podem permanecer no Dataproc e se conectar com segurança ao Bigtable. Neste guia, apresentamos as etapas de alto nível para começar a usar o Bigtable e fornecemos referências para migrar dados de implantações do Dataproc HBase para o Bigtable.

Começar a usar o Bigtable

O Cloud Bigtable é uma plataforma NoSQL altamente escalonável e de alto desempenho que fornece compatibilidade de cliente da API Apache HBase e portabilidade para cargas de trabalho do HBase. O cliente é compatível com as versões 1.x e 2.x da API HBase e pode ser incluído com o aplicativo existente para leitura e gravação no Bigtable. Os aplicativos HBase podem adicionar a biblioteca de cliente HBase do Bigtable para ler e gravar dados armazenados no Bigtable.

Consulte Bigtable e a API HBase para mais informações sobre como configurar o aplicativo HBase com o Bigtable.

Criar um cluster do Bigtable

Para começar a usar o Bigtable, crie um cluster e tabelas para armazenar dados que foram armazenados anteriormente no HBase. Siga as etapas na documentação do Bigtable para criar uma instância, um cluster e tabelas com o mesmo esquema das tabelas do HBase. Para a criação automatizada de tabelas a partir de DDLs de tabela do HBase, consulte a ferramenta de conversão de esquema.

Abra a instância do Bigtable no console do Google Cloud para visualizar a tabela e os gráficos de monitoramento do lado do servidor, incluindo linhas por segundo, latência e capacidade, para gerenciar a tabela recém-provisionada. Para mais informações, consulte a página Monitoramento.

Migrar dados do Dataproc para o Bigtable

Depois de criar as tabelas no Bigtable, é possível importar e validar os dados seguindo as orientações em Migrar o HBase no Google Cloud para o Bigtable. Depois de migrar os dados, será possível atualizar os aplicativos para enviar leituras e gravações ao Bigtable.

A seguir