Intégrations avec Bigtable

Cette page décrit les intégrations entre Bigtable et d'autres produits et services.

Services Google Cloud

Cette section décrit les services Google Cloud auxquels Bigtable est intégré.

BigQuery

BigQuery correspond à l'entrepôt de données d'analyse de Google, entièrement géré à l'échelle du pétaoctet et à faible coût. Vous pouvez utiliser BigQuery avec Bigtable aux fins suivantes:

  • Vous pouvez créer une table BigQuery externe, puis l'utiliser pour interroger votre table Bigtable et joindre les données à d'autres tables BigQuery. Pour en savoir plus, consultez la page Interroger des données Bigtable.

  • Vous pouvez exporter vos données BigQuery vers une table Bigtable à l'aide du processus ETL inversé (RETL) inversé de BigQuery vers Bigtable. Pour en savoir plus, consultez la section Exporter des données vers Bigtable (Preview).

Inventaire des éléments cloud

L'inventaire des éléments cloud, qui fournit des services d'inventaire basés sur une base de données de séries temporelles, est compatible avec les types de ressources Bigtable, qu'il énumère. Pour obtenir la liste complète, consultez la page Types de ressources acceptés.

Cloud Functions

Cloud Functions est une plate-forme de calcul sans serveur basée sur des événements, qui s'intègre à Bigtable.

Le tutoriel Utiliser Bigtable avec Cloud Functions vous montre comment écrire, déployer et déclencher une table HTTP Bigtable en Node.js, Python et Go.

Data Catalog

Data Catalog est une fonctionnalité de Dataplex qui catalogue automatiquement les métadonnées concernant les ressources Bigtable. Les informations Data Catalog relatives à vos données peuvent faciliter l'analyse, la réutilisation des données, le développement d'applications et la gestion des données. Pour en savoir plus, consultez la page Gérer des éléments de données à l'aide de Data Catalog.

Dataflow

Dataflow est un service cloud et un modèle de programmation destiné au traitement big data. Dataflow est compatible avec le traitement par lot et le traitement en flux continu. Vous pouvez utiliser Dataflow pour traiter les données stockées dans Bigtable ou pour stocker le résultat de votre pipeline Dataflow. Vous pouvez également utiliser des modèles Dataflow pour exporter et import vos données au format Avro, Parquet ou SequenceFiles.

Pour commencer, consultez la page Connecteur Bigtable Beam .

Vous pouvez également utiliser Bigtable comme recherche clé-valeur pour enrichir les données dans un pipeline. Pour en savoir plus, consultez la section Enrichir les données par flux. Pour suivre un tutoriel, consultez la page Utiliser Apache Beam et Bigtable pour enrichir des données.

Dataproc

Dataproc fournit Apache Hadoop et les produits associés sous forme de service géré dans le cloud. Grâce à Dataproc, vous pouvez exécuter des tâches Hadoop qui lisent des données depuis Bigtable et écrivent des données dans Bigtable.

Pour obtenir un exemple de tâche Hadoop MapReduce qui utilise Bigtable, accédez au répertoire /java/dataproc-wordcount dans le dépôt GitHub GoogleCloudPlatform/cloud-bigtable-examples.

Vertex AI Vector Search est une technologie qui permet d'effectuer des recherches parmi des milliards d'éléments sémantiquement similaires ou sémantiquement liés. Il est utile pour implémenter des moteurs de recommandations, des chatbots et la classification de texte.

Vous pouvez utiliser Bigtable pour stocker des représentations vectorielles continues de vecteurs, les exporter dans un index Vector Search, puis l'interroger pour trouver des éléments similaires. Pour accéder à un tutoriel qui présente un exemple de workflow, consultez la section Bigtable to Vertex AI Vector Search Export (Exportation de données Cloud Bigtable vers Vertex AI Vector Search) dans le dépôt GitHub workflows-demos.

Big data

Cette section décrit les produits big data auxquels Bigtable s'intègre.

Apache Beam

Apache Beam est un modèle unifié permettant de définir des pipelines de traitement parallèle des données par lot et par flux. Le connecteur Bigtable Beam (BigtableIO) vous permet d'effectuer des opérations par lot et par flux sur les données Bigtable d'un pipeline.

Pour accéder à un tutoriel montrant comment utiliser le connecteur Bigtable Beam pour déployer un pipeline de données sur Dataflow, consultez la page Traiter un flux de modification Bigtable.

Apache Hadoop

Apache Hadoop est un framework qui permet le traitement distribué de grands ensembles de données par des clusters d'ordinateurs. Vous pouvez utiliser Dataproc pour créer un cluster Hadoop, puis exécuter des tâches MapReduce qui lisent des données depuis Bigtable et écrivent des données dans Bigtable.

Pour obtenir un exemple de tâche Hadoop MapReduce qui utilise Bigtable, accédez au répertoire /java/dataproc-wordcount dans le dépôt GitHub GoogleCloudPlatform/cloud-bigtable-examples.

StreamSets Data Collector

StreamSets Data Collector est une application de streaming de données que vous pouvez configurer pour écrire des données dans Bigtable. StreamSets fournit une bibliothèque Bigtable dans son dépôt GitHub sous streamsets/datacollector.

Bases de données de graphes

Cette section décrit les bases de données de graphes auxquelles Bigtable s'intègre.

HGraphDB

HGraphDB est une couche cliente qui permet d'utiliser Apache HBase ou Bigtable en tant que base de données de graphes. Elle met en œuvre les interfaces Apache TinkerPop 3.

Pour en savoir plus sur l'exécution de HGraphDB avec l'assistance Bigtable, consultez la documentation de HGraphDB.

JanusGraph

JanusGraph est une base de données de graphes évolutive. Elle est optimisée pour stocker et interroger des graphes contenant des centaines de milliards de sommets et d'arêtes.

Pour en savoir plus sur l'exécution de JanusGraph avec Bigtable, consultez la page Running JanusGraph avec Bigtable ou la documentation JanusGraph.

Gestion des infrastructures

Cette section décrit les outils de gestion d'infrastructures auxquels Bigtable s'intègre.

Pivotal Cloud Foundry

Pivotal Cloud Foundry est une plate-forme de développement et de déploiement d'applications qui permet de lier une application à Bigtable.

Terraform

Terraform est un outil Open Source qui codifie les API dans des fichiers de configuration déclaratifs. Ces fichiers peuvent être partagés par les membres d'une équipe, traités comme du code, édités, révisés et versionnés.

Pour plus d'informations sur l'utilisation de Bigtable avec Terraform, consultez les pages Instance Bigtable et Table Bigtable dans la documentation de Terraform.

Bases de données de séries temporelles et surveillance

Cette section décrit les bases de données de séries temporelles et les outils de surveillance avec lesquels Bigtable s'intègre.

Heroic

Heroic est un système de surveillance et une base de données de séries temporelles. Heroic peut utiliser Bigtable pour stocker ses données.

Pour en savoir plus sur Heroic, consultez le dépôt GitHub spotify/heroic, ainsi que la documentation sur la configuration de Bigtable et la configuration de métriques.

OpenTSDB

OpenTSDB est une base de données de séries temporelles pouvant utiliser Bigtable pour le stockage. La page Surveiller des données de séries temporelles avec OpenTSDB sur Bigtable et GKE explique comment utiliser OpenTSDB pour collecter, enregistrer et surveiller les données de séries temporelles sur Google Cloud. La documentation OpenTSDB fournit des informations supplémentaires pour vous aider à démarrer.