Intégrations avec Bigtable

Cette page décrit les intégrations entre Bigtable et d'autres produits et services.

Services Google Cloud

Cette section décrit les services Google Cloud auxquels Bigtable est intégré.

BigQuery

BigQuery correspond à l'entrepôt de données d'analyse de Google, entièrement géré à l'échelle du pétaoctet et à faible coût. Vous pouvez utiliser BigQuery avec Bigtable aux fins suivantes:

  • Vous pouvez créer une table BigQuery externe, puis l'utiliser pour interroger votre table Bigtable et joindre les données dans les tables BigQuery. Pour en savoir plus, consultez la section Interroger Bigtable

  • Vous pouvez exporter vos données BigQuery vers Bigtable à l'aide d'un processus ETL inversé (RETL) de BigQuery Bigtable. Pour en savoir plus, consultez Exporter des données vers Bigtable.

Inventaire des éléments cloud

L'inventaire des éléments cloud, qui fournit des services d'inventaire basés sur une base de données de séries temporelles, est compatible avec les types de ressources Bigtable, qu'il énumère. Pour obtenir la liste complète, consultez la page Types de ressources acceptés.

Data Catalog

Data Catalog est une fonctionnalité de Dataplex qui catalogue les métadonnées concernant les ressources Bigtable. Les informations de Data Catalog sur vos données peuvent faciliter l'analyse, la réutilisation des données, le développement d'applications et la gestion des données. Pour plus informations, consultez l'article Gérer les éléments de données à l'aide de Data Catalog

Dataflow

Dataflow est un service cloud et un modèle de programmation destiné au traitement big data. Dataflow est compatible avec le traitement par lot et le traitement en flux continu. Vous pouvez utiliser Dataflow pour traiter les données stockées dans Bigtable ou pour stocker le résultat de votre pipeline Dataflow. Vous pouvez également vous servir de modèles Dataflow pour exporter et importer vos données sous forme de fichiers Avro, Parquet ou SequenceFiles.

Pour commencer, consultez la page Connecteur Bigtable Beam.

Vous pouvez également utiliser Bigtable comme outil de recherche clé-valeur pour enrichir les données. dans un pipeline. Pour en savoir plus, consultez la page Enrichir le streaming données. Pour accéder à un tutoriel, consultez Utiliser Apache Beam et Bigtable pour enrichir les données.

Dataproc

Dataproc fournit Apache Hadoop et les produits associés sous forme de service géré dans le cloud. Grâce à Dataproc, vous pouvez exécuter des tâches Hadoop qui lisent des données depuis Bigtable et écrivent des données dans Bigtable.

Pour obtenir un exemple de tâche Hadoop MapReduce qui utilise Bigtable, accédez au répertoire /java/dataproc-wordcount dans le dépôt GitHub GoogleCloudPlatform/cloud-bigtable-examples.

Vertex AI Vector Search est une technologie qui peuvent effectuer des recherches à partir de milliards d'éléments sémantiquement similaires ou connexes. Il est utile pour implémenter des moteurs de recommandations, des chatbots la classification.

Vous pouvez utiliser Bigtable pour stocker des embeddings vectoriels, les exporter dans un index de recherche vectorielle, puis interroger l'index pour trouver des éléments similaires. Pour obtenir un tutoriel illustrant un exemple de workflow, consultez Bigtable to Vertex AI Vector Search Export (Exportation de Bigtable vers Vertex AI Vector Search) dans le dépôt GitHub workflows-demos.

Big data

Cette section décrit les produits big data auxquels Bigtable s'intègre.

Apache Beam

Apache Beam est un modèle unifié permettant de définir le traitement parallèle des données par lot et par flux des pipelines de traitement. Le connecteur Bigtable Beam (BigtableIO) vous aide à effectuer des opérations par lot et de streaming sur les données Bigtable dans un pipeline.

Pour accéder à un tutoriel montrant comment utiliser le connecteur Bigtable Beam pour déployer un pipeline de données vers Dataflow, consultez la page Traiter une table Bigtable flux de modifications.

Apache Hadoop

Apache Hadoop est un framework qui permet le traitement distribué de grands ensembles de données par des clusters d'ordinateurs. Vous pouvez utiliser Dataproc pour créer un cluster Hadoop, puis exécuter des tâches MapReduce qui lisent des données depuis Bigtable et écrivent des données dans Bigtable.

Pour obtenir un exemple de tâche Hadoop MapReduce qui utilise Bigtable, accédez au répertoire /java/dataproc-wordcount dans le dépôt GitHub GoogleCloudPlatform/cloud-bigtable-examples.

StreamSets Data Collector

StreamSets Data Collector est une application de streaming de données que vous pouvez configurer pour écrire des données dans Bigtable. StreamSets fournit une bibliothèque Bigtable dans son dépôt GitHub sous streamsets/datacollector.

Bases de données de graphes

Cette section décrit les bases de données de graphes auxquelles Bigtable s'intègre.

HGraphDB

HGraphDB est une couche cliente qui permet d'utiliser Apache HBase ou Bigtable en tant que base de données de graphes. Elle met en œuvre les interfaces Apache TinkerPop 3.

Pour en savoir plus sur l'exécution de HGraphDB avec l'assistance Bigtable, consultez la documentation de HGraphDB.

JanusGraph

JanusGraph est une base de données de graphes évolutive. Elle est optimisée pour stocker et interroger des graphes contenant des centaines de milliards de sommets et d'arêtes.

Pour en savoir plus sur l'exécution de JanusGraph avec Bigtable, consultez la page Running JanusGraph avec Bigtable ou la documentation JanusGraph.

Gestion des infrastructures

Cette section décrit les outils de gestion d'infrastructures auxquels Bigtable s'intègre.

Pivotal Cloud Foundry

Pivotal Cloud Foundry est une plate-forme de développement et de déploiement d'applications qui permet de lier une application à Bigtable.

Terraform

Terraform est un outil Open Source qui codifie les API dans des fichiers de configuration déclaratifs. Ces fichiers peuvent être partagés par les membres d'une équipe, traités comme du code, édités, révisés et versionnés.

Pour plus d'informations sur l'utilisation de Bigtable avec Terraform, consultez les pages Instance Bigtable et Table Bigtable dans la documentation de Terraform.

Bases de données de séries temporelles et surveillance

Cette section décrit les bases de données de séries temporelles et les outils de surveillance avec lesquels Bigtable s'intègre.

Heroic

Heroic est un système de surveillance et une base de données de séries temporelles. Heroic peut utiliser Bigtable pour stocker ses données.

Pour en savoir plus sur Heroic, consultez le dépôt GitHub spotify/heroic, ainsi que la documentation sur la configuration de Bigtable et la configuration de métriques.

OpenTSDB

OpenTSDB est une base de données de séries temporelles pouvant utiliser Bigtable pour le stockage. La documentation OpenTSDB fournit des informations pour vous aider à démarrer.