Conector de Beam de Bigtable

El conector de Bigtable Beam (BigtableIO) es un conector de E/S de Apache Beam de código abierto que puede ayudarte a realizar operaciones por lotes y de transmisión en datos de Bigtable en una canalización mediante Dataflow.

Si migras de HBase a Bigtable o si ejecutas una aplicación que usa la API de HBase en lugar de las APIs de Bigtable, usa el conector de Bigtable HBase Beam (CloudBigtableIO) en lugar del conector descrito en esta página.

Detalles del conector

El conector de Bigtable Beam es un componente del repositorio de GitHub de Apache Beam. Javadoc está disponible en Class BigtableIO.

Antes de crear una canalización de Dataflow, verifica la compatibilidad con el entorno de ejecución de Apache Beam para asegurarte de usar una versión de Java compatible con Dataflow. Usa la versión compatible más reciente de Apache Beam.

El conector de Bigtable Beam se usa junto con el cliente de Bigtable para Java, una biblioteca cliente que llama a las API de Bigtable. Debes escribir código para implementar una canalización que use el conector a Dataflow, que controla el aprovisionamiento y la administración de recursos, y ayuda con la escalabilidad y confiabilidad del procesamiento de datos.

Para obtener más información sobre el modelo de programación de Apache Beam, consulta la documentación de Beam.

Control de flujo de escritura por lotes

Cuando envías escrituras por lotes a una tabla mediante el conector de Bigtable Beam, puedes habilitar el control de flujo de escritura por lotes. Cuando se habilita esta función, Bigtable hace lo siguiente de forma automática:

  • Limita el tráfico para evitar la sobrecarga de tu clúster de Bigtable
  • Garantiza que el clúster tenga suficiente carga para activar el ajuste de escala automático de Bigtable (si está habilitado), de modo que se agreguen más nodos automáticamente cuando sea necesario.

Para obtener más detalles, consulta Control de flujo de escritura por lotes.

¿Qué sigue?