Conector Bigtable Beam

O conector de Beam do Bigtable (BigtableIO) é um conector de E/S do Apache Beam de código aberto que pode ajudar a realizar operações em lote e de streaming no Bigtable em um pipeline usando o Dataflow.

Se você estiver migrando do HBase para o Bigtable ou estiver executando um aplicativo que usa a API HBase em vez das APIs do Bigtable, use o Conector HBase Beam do Bigtable (CloudBigtableIO) em vez do conector descrito nesta página.

Detalhes do conector

O conector Bigtable Beam é um componente do repositório do Apache Beam no GitHub (em inglês). O Javadoc está disponível em Class BigtableIO.

Antes de criar um pipeline do Dataflow, verifique o suporte ao ambiente de execução do Apache Beam para garantir que você esteja usando uma versão do Java compatível com o Dataflow. Use a versão com suporte mais recente do Apache Beam.

O conector Bigtable Beam é usado em conjunto com o cliente do Bigtable para Java, uma biblioteca de cliente que chama as APIs do Bigtable. Você escreve o código para implantar um pipeline que usa o conector para o Dataflow, que processa o provisionamento e o gerenciamento de recursos e ajuda na escalonabilidade e na confiabilidade do processamento de dados.

Para mais informações sobre o modelo de programação do Apache Beam, consulte a documentação do Beam.

Controle de fluxo de gravação em lote

Ao enviar gravações em lote a uma tabela usando o conector Bigtable Beam, é possível ativar o controle de fluxo de gravação em lote. Quando esse recurso é ativado, o Bigtable faz automaticamente o seguinte:

  • Limite o tráfego para evitar sobrecarregar o cluster do Bigtable
  • Garante que o cluster esteja sob carga suficiente para acionar o escalonamento automático do Bigtable (se ativado), para que mais nós sejam adicionados automaticamente ao cluster quando necessário.

Veja mais detalhes em Controle de fluxo de gravação em lote.

A seguir