Conetor do Bigtable Beam

O conetor Bigtable Beam (BigtableIO) é um conetor de código aberto Apache Beam I/O que pode ajudar a realizar operações em lote e de streaming em dados do Bigtable num pipeline através do Dataflow.

Se estiver a migrar do HBase para o Bigtable ou estiver a executar uma aplicação que usa a API HBase em vez das APIs Bigtable, use o conetor Bigtable HBase Beam (CloudBigtableIO) em vez do conetor descrito nesta página.

Detalhes do conetor

O conector Bigtable Beam é um componente do repositório do Apache Beam GitHub. O Javadoc está disponível em Class BigtableIO.

Antes de criar um pipeline do Dataflow, verifique a compatibilidade de tempo de execução do Apache Beam para se certificar de que está a usar uma versão do Java suportada pelo Dataflow. Use o lançamento suportado mais recente do Apache Beam.

O conetor Bigtable Beam é usado em conjunto com o cliente Bigtable para Java, uma biblioteca cliente que chama as APIs Bigtable. Escreve código para implementar um pipeline que usa o conetor para o Dataflow, que processa o aprovisionamento e a gestão de recursos, e ajuda na escalabilidade e fiabilidade do processamento de dados.

Para mais informações sobre o modelo de programação do Apache Beam, consulte a documentação do Beam.

Controlo do fluxo de gravação em lote

Quando envia gravações em lote (incluindo pedidos de eliminação) para uma tabela através do conetor Bigtable Beam, pode ativar o controlo de fluxo de gravação em lote. Quando esta funcionalidade está ativada, o Bigtable faz automaticamente o seguinte:

  • Limita a taxa de tráfego para evitar a sobrecarga do cluster do Bigtable
  • Garante que o cluster está sob carga suficiente para acionar o redimensionamento automático do Bigtable (se ativado), para que sejam adicionados automaticamente mais nós ao cluster quando necessário

Para mais informações, consulte o artigo Controlo do fluxo de gravação em lote. Para ver um exemplo de código, consulte o artigo Ative o controlo de fluxo de gravação em lote.

O que se segue?