Connecteur Bigtable Beam

Le connecteur Beam Bigtable (BigtableIO) est un connecteur d'E/S Apache Beam Open Source qui peut vous aider à effectuer des opérations par lot et par flux sur les données Bigtable dans un pipeline à l'aide de Dataflow.

Si vous migrez de HBase vers Bigtable ou si vous exécutez une application qui utilise l'API HBase au lieu des API Bigtable, utilisez le connecteur Beam Bigtable HBase (CloudBigtableIO) au lieu du connecteur décrit sur cette page.

Informations sur le connecteur

Le connecteur Beam Bigtable est un composant du dépôt GitHub d'Apache Beam. La documentation Javadoc est disponible sur Class BigtableIO.

Avant de créer un pipeline Dataflow, vérifiez la compatibilité avec l'environnement d'exécution Apache Beam pour vous assurer que vous utilisez une version de Java compatible avec Dataflow. Utilisez la dernière version compatible d'Apache Beam.

Le connecteur Bigtable Beam est utilisé avec le client Bigtable pour Java, une bibliothèque cliente qui appelle les API Bigtable. Vous écrivez du code pour déployer un pipeline qui utilise le connecteur vers Dataflow, qui gère le provisionnement et la gestion des ressources, et facilite l'évolutivité et la fiabilité du traitement des données.

Pour en savoir plus sur le modèle de programmation Apache Beam, consultez la documentation Beam.

Contrôle de flux d'écriture par lot

Lorsque vous envoyez des écritures par lot (y compris des requêtes de suppression) à une table à l'aide du connecteur Bigtable Beam, vous pouvez activer la gestion du flux d'écriture par lot. Lorsque cette fonctionnalité est activée, Bigtable effectue automatiquement les opérations suivantes:

  • Limite le débit du trafic pour éviter de surcharger votre cluster Bigtable
  • S'assure que le cluster est suffisamment chargé pour déclencher l'autoscaling Bigtable (si activé), afin que d'autres nœuds soient automatiquement ajoutés au cluster si nécessaire

Pour en savoir plus, consultez la section Contrôle du flux d'écriture par lot. Pour obtenir un exemple de code, consultez Activer la gestion du flux d'écriture par lot.

Étape suivante