Conector de Beam para Bigtable

El conector de Beam de Bigtable (BigtableIO) es un conector de E/S de Apache Beam de código abierto que puede ayudarte a realizar operaciones por lotes y de transmisión en datos de Bigtable en una canalización con Dataflow.

Si migras de HBase a Bigtable o ejecutas una aplicación que usa la API de HBase en lugar de las APIs de Bigtable, usa el conector de Beam de Bigtable HBase (CloudBigtableIO) en lugar del conector que se describe en esta página.

Detalles del conector

El conector de Beam para Bigtable es un componente del repositorio de GitHub de Apache Beam. El Javadoc está disponible en Class BigtableIO.

Antes de crear una canalización de Dataflow, consulta la compatibilidad del entorno de ejecución de Apache Beam para asegurarte de usar una versión de Java compatible con Dataflow. Usa la versión compatible más reciente de Apache Beam.

El conector de Bigtable Beam se usa junto con el cliente de Bigtable para Java, una biblioteca cliente que llama a las APIs de Bigtable. Escribes código para implementar una canalización que usa el conector a Dataflow, que controla el aprovisionamiento y la administración de recursos, y ayuda con la escalabilidad y la confiabilidad del procesamiento de datos.

Para obtener más información sobre el modelo de programación de Apache Beam, consulta la documentación de Beam.

Control de flujo de escritura por lotes

Cuando envías operaciones de escritura por lotes (incluidas las solicitudes de eliminación) a una tabla con el conector de Bigtable Beam, puedes habilitar el control de flujo de operaciones de escritura por lotes. Cuando esta función está habilitada, Bigtable hace lo siguiente de forma automática:

  • Limita la tasa de tráfico para evitar sobrecargar tu clúster de Bigtable
  • Garantiza que el clúster tenga suficiente carga para activar el ajuste de escala automático de Bigtable (si está habilitado), de modo que se agreguen más nodos automáticamente al clúster cuando sea necesario.

Para obtener más información, consulta Control de flujo de escritura por lotes. Para ver una muestra de código, consulta Habilita el control de flujo de escritura por lotes.

¿Qué sigue?