与 Bigtable 集成

本页面介绍了 Bigtable 与其他产品和服务之间的集成。

Google Cloud 服务

本部分介绍了 Bigtable 集成的 Google Cloud 服务。

BigQuery

BigQuery 是 Google 推出的全面托管型低成本分析数据仓库，可提供 PB 级数据规模。您可以将 BigQuery 与 Bigtable 搭配使用，有如下目的：

  • 您可以创建 BigQuery 外部表，然后使用该表查询您的 Bigtable 表并将数据联接到其他 BigQuery 表。如需了解详情，请参阅查询 Bigtable 数据。

  • 您可以使用从 BigQuery 的反向 ETL (RETL) 到 Bigtable 来将 BigQuery 数据导出到 Bigtable 表。如需了解详情，请参阅将数据导出到 Bigtable（预览版）。

Cloud Asset Inventory

Cloud Asset Inventory 基于时序数据库提供库存服务，支持并返回 Bigtable 资源类型。如需完整列表，请参阅支持的资源类型。

Cloud Functions

Cloud Functions 是 Bigtable 可集成的事件驱动型无服务器计算平台。

将 Bigtable 与 Cloud Functions 搭配使用教程演示了如何使用 Node.js、Python 和 Go 编写、部署和触发 HTTP Bigtable。

Data Catalog

Data Catalog 是 Dataplex 的一项功能，可自动对有关 Bigtable 资源的元数据进行编目。有关数据的 Data Catalog 信息有助于分析、数据重复使用、应用开发和数据管理。如需了解详情，请参阅使用 Data Catalog 管理数据资产。

Dataflow

Dataflow 是一种云端服务和编程模型，适用于大数据处理。Dataflow 支持批处理和流式处理。您可以使用 Dataflow 处理存储在 Bigtable 中的数据或存储 Dataflow 流水线的输出。您还可以使用 Dataflow 模板将数据导出和import为 Avro、Parquet 或 SequenceFile。

如需开始使用，请参阅 Bigtable Beam 连接器。

您还可以使用 Bigtable 作为键值对查询，以丰富流水线中的数据。如需查看概览，请参阅丰富流式数据。如需获取教程，请参阅使用 Apache Beam 和 Bigtable 丰富数据。

Dataproc

Dataproc 以云端托管服务形式提供了 Apache Hadoop 和相关产品。借助 Dataproc，您可以运行 Hadoop 作业来对 Bigtable 执行读写操作。

如需查看使用 Bigtable 的 Hadoop MapReduce 作业示例，请参阅 GitHub 代码库 GoogleCloudPlatform/cloud-bigtable-examples 中的 /java/dataproc-wordcount 目录。

Vertex AI Vector Search 是一项技术，可以从数十亿语义相似或语义相关的项中进行搜索。它对于实现推荐引擎、聊天机器人和文本分类很有用。

您可以使用 Bigtable 存储向量嵌入，将其导出到向量搜索索引，然后在索引中查询相似项。如需获取演示示例工作流的教程，请参阅 workflows-demos GitHub 代码库中的 Bigtable 到 Vertex AI 向量搜索导出。

大数据

本部分介绍 Bigtable 可集成的各项 Big Data 产品。

Apache Beam

Apache Beam 是一种用于定义批量数据和流式数据并行处理流水线的统一模型。 Bigtable Beam 连接器 (BigtableIO) 可帮助您在流水线中对 Bigtable 数据执行批量操作和流式操作。

有关如何使用 Bigtable Beam 连接器将数据流水线部署到 Dataflow 的教程，请参阅处理 Bigtable 更改流。

Apache Hadoop

Apache Hadoop 是一种框架，可让您跨计算机集群对大型数据集进行分布式处理。您可以使用 Dataproc 创建 Hadoop 集群，然后运行 MapReduce 作业对 Bigtable 执行读写操作。

如需查看使用 Bigtable 的 Hadoop MapReduce 作业示例，请参阅 GitHub 代码库 GoogleCloudPlatform/cloud-bigtable-examples 中的 /java/dataproc-wordcount 目录。

StreamSets 数据收集器

StreamSets 数据收集器是一种数据流应用，您可以将其配置为将数据写入 Bigtable。StreamSets 在其 GitHub 代码库 streamsets/datacollector 中提供 Bigtable 库。

图形数据库

本部分介绍了 Bigtable 可集成的图形数据库。

HGraphDB

HGraphDB 是使用 Apache HBase 或 Bigtable 作为图形数据库的客户端层。它实现了 Apache TinkerPop 3 接口。

如需详细了解如何运行支持 Bigtable 的 HGraphDB，请参阅 HGraphDB 文档。

JanusGraph

JanusGraph 是一种可扩展的图形数据库。它最适用于存储和查询包含数千亿顶点和边的图形。

如需详细了解如何运行支持 Bigtable 的 JanusGraph，请参阅运行支持 Bigtable 的 JanusGraph 或 JanusGraph 文档.。

基础架构管理

本部分介绍了 Bigtable 可集成的基础架构管理工具。

Pivotal Cloud Foundry

Pivotal Cloud Foundry 是一个应用开发和部署平台，可以将应用绑定到 Bigtable。

Terraform

Terraform 是一种开源工具，可将 API 编码为声明式配置文件。您可以将这些文件分享给团队成员，将它们作为代码来处理，还可对它们进行修改、审核和版本控制。

如需详细了解如何将 Bigtable 与 Terraform 结合使用，请参阅 Terraform 文档中的 Bigtable 实例和 Bigtable 表。

时间序列数据库和监控

本部分介绍 Bigtable 可集成的时间序列数据库和监控工具。

Heroic

Heroic 是一种监控系统和时间序列数据库。Heroic 可以使用 Bigtable 存储其数据。

如需详细了解 Heroic，请参阅 GitHub 代码库中的 Spotify/hero，以及关于配置 Bigtable 和配置指标的文档。

OpenTSDB

OpenTSDB 是一种时间序列数据库，可使用 Bigtable 进行存储。在 Bigtable 和 GKE 上使用 OpenTSDB 监控时间序列数据展示了如何使用 OpenTSDB 在 Google Cloud 上收集、记录和监控时间序列数据。OpenTSDB 文档提供了可帮助您入门的其他信息。