Connecteur Bigtable Beam
Le connecteur Bigtable Beam (BigtableIO
) est un connecteur d'E/S Apache Beam Open Source qui peut vous aider à effectuer des opérations par lot et par flux sur des données Bigtable dans un pipeline à l'aide de Dataflow.
Si vous migrez de HBase vers Bigtable ou si vous exécutez une application qui utilise l'API HBase au lieu des API Bigtable, utilisez le
connecteur Bigtable HBase Beam
(CloudBigtableIO
) au lieu du connecteur décrit sur cette page.
Détails du connecteur
Le connecteur Bigtable Beam est un composant du dépôt GitHub d'Apache Beam. Le Javadoc est disponible à l'adresse Class
BigtableIO
.
Avant de créer un pipeline Dataflow, vérifiez la compatibilité de l'environnement d'exécution Apache Beam pour vous assurer que vous utilisez une version de Java compatible avec Dataflow. Utilisez la dernière version compatible d'Apache Beam.
Le connecteur Bigtable Beam est utilisé conjointement avec le client Bigtable pour Java, une bibliothèque cliente qui appelle les API Bigtable. Vous écrivez le code permettant de déployer un pipeline qui utilise le connecteur pour Dataflow, qui gère le provisionnement et la gestion des ressources, et contribue à l'évolutivité et à la fiabilité du traitement des données.
Pour en savoir plus sur le modèle de programmation Apache Beam, consultez la documentation de Beam.
Contrôle du flux d'écriture par lot
Lorsque vous envoyez des écritures par lot dans une table à l'aide du connecteur Bigtable Beam, vous pouvez activer le contrôle de flux d'écriture par lot. Lorsque cette fonctionnalité est activée, Bigtable effectue automatiquement les opérations suivantes:
- Limite le débit du trafic pour éviter de surcharger votre cluster Bigtable
- Permet de s'assurer que la charge du cluster est suffisamment chargée pour déclencher l'autoscaling Bigtable (s'il est activé), de sorte que davantage de nœuds soient automatiquement ajoutés au cluster si nécessaire
Pour en savoir plus, consultez Contrôle de flux d'écriture par lot.
Étapes suivantes
- Consultez une présentation des requêtes d'écriture Bigtable.
- Consultez la liste des modèles Dataflow compatibles avec Bigtable.