Connecteur Bigtable Beam

Le connecteur Bigtable Beam (BigtableIO) est un connecteur d'E/S Apache Beam Open Source qui peut vous aider à effectuer des opérations par lot et par flux sur des données Bigtable dans un pipeline à l'aide de Dataflow.

Si vous migrez de HBase vers Bigtable ou si vous exécutez une application qui utilise l'API HBase au lieu des API Bigtable, utilisez le connecteur Bigtable HBase Beam (CloudBigtableIO) au lieu du connecteur décrit sur cette page.

Détails du connecteur

Le connecteur Bigtable Beam est un composant du dépôt GitHub d'Apache Beam. Le Javadoc est disponible à l'adresse Class BigtableIO.

Avant de créer un pipeline Dataflow, vérifiez la compatibilité de l'environnement d'exécution Apache Beam pour vous assurer que vous utilisez une version de Java compatible avec Dataflow. Utilisez la dernière version compatible d'Apache Beam.

Le connecteur Bigtable Beam est utilisé conjointement avec le client Bigtable pour Java, une bibliothèque cliente qui appelle les API Bigtable. Vous écrivez le code permettant de déployer un pipeline qui utilise le connecteur pour Dataflow, qui gère le provisionnement et la gestion des ressources, et contribue à l'évolutivité et à la fiabilité du traitement des données.

Pour en savoir plus sur le modèle de programmation Apache Beam, consultez la documentation de Beam.

Contrôle du flux d'écriture par lot

Lorsque vous envoyez des écritures par lot dans une table à l'aide du connecteur Bigtable Beam, vous pouvez activer le contrôle de flux d'écriture par lot. Lorsque cette fonctionnalité est activée, Bigtable effectue automatiquement les opérations suivantes:

  • Limite le débit du trafic pour éviter de surcharger votre cluster Bigtable
  • Permet de s'assurer que la charge du cluster est suffisamment chargée pour déclencher l'autoscaling Bigtable (s'il est activé), de sorte que davantage de nœuds soient automatiquement ajoutés au cluster si nécessaire

Pour en savoir plus, consultez Contrôle de flux d'écriture par lot.

Étapes suivantes