Conector Bigtable Beam

O conector de Beam do Bigtable (BigtableIO) é um conector de E/S do Apache Beam de código aberto que pode ajudar a realizar operações em lote e de streaming em dados do Bigtable em um pipeline usando o Dataflow.

Se você estiver migrando do HBase para o Bigtable ou estiver executando um aplicativo que usa a API HBase em vez das APIs do Bigtable, use o Conector HBase Beam do Bigtable (CloudBigtableIO) em vez do conector descrito nesta página.

Detalhes do conector

O conector Bigtable Beam é um componente do repositório do Apache Beam no GitHub (em inglês). O Javadoc está disponível em Class BigtableIO.

Antes de criar um pipeline do Dataflow, verifique o suporte ao ambiente de execução do Apache Beam para garantir que você esteja usando uma versão do Java compatível com o Dataflow. Use a versão com suporte mais recente do Apache Beam.

O conector Bigtable Beam é usado em conjunto com o cliente Bigtable para Java, uma biblioteca de cliente que chama as APIs Bigtable. Você escreve o código para implantar um pipeline que usa o conector para o Dataflow, que processa o provisionamento e o gerenciamento de recursos e ajuda na escalonabilidade e na confiabilidade do processamento de dados.

Para mais informações sobre o modelo de programação do Apache Beam, consulte a documentação do Beam.

Controle de fluxo de gravação em lote

Ao enviar gravações em lote (incluindo solicitações de exclusão) para uma tabela usando o conector Bigtable Beam, é possível ativar o controle de fluxo de gravação em lote. Quando esse recurso é ativado, o Bigtable faz automaticamente o seguinte:

  • Limite o tráfego para evitar sobrecarregar o cluster do Bigtable
  • Garante que o cluster esteja sob carga suficiente para acionar o escalonamento automático do Bigtable (se ativado), para que mais nós sejam adicionados automaticamente ao cluster quando necessário.

Para mais informações, consulte Controle de fluxo de gravação em lote. Para conferir um exemplo de código, consulte Ativar o controle de fluxo de gravação em lote.

A seguir