与 Bigtable 集成
本页面介绍了 Bigtable 与其他产品以及 服务。
Google Cloud 服务
本部分介绍了 Bigtable 集成的 Google Cloud 服务。
BigQuery
BigQuery 是 Google 推出的全面托管型低成本分析数据仓库,可提供 PB 级数据规模。您可以将 BigQuery 与 Bigtable 搭配使用,以实现以下目的:
您可以创建 BigQuery 外部表,然后使用该表查询 Bigtable 表并将数据联接到其他 BigQuery 表。如需了解详情,请参阅查询 Bigtable 数据。
您可以使用 BigQuery 到 Bigtable 的反向 ETL (RETL) 将 BigQuery 数据导出到 Bigtable 表。如需了解详情,请参阅将数据导出到 Bigtable。
Cloud Asset Inventory
Cloud Asset Inventory 基于时间序列数据库提供库存服务,支持并返回 Bigtable 资源类型。如需完整列表,请参阅支持的资源类型。
Data Catalog
Data Catalog 是 Dataplex 的一项功能,可自动对 Bigtable 资源的元数据编目。数据的 Data Catalog 信息可协助分析、数据重复使用、应用开发和数据管理。如需了解详情,请参阅使用 Data Catalog 管理数据资源。
Dataflow
Dataflow 是一种云端服务和编程模型,适用于大数据处理。Dataflow 支持批处理和流式处理。您可以使用 Dataflow 处理存储在 Bigtable 中的数据或存储 Dataflow 流水线的输出。您还可以使用 Dataflow 模板 导出和import您的 作为 Avro、Parquet 或 SequenceFile 发送。
如需开始使用,请参阅 Bigtable Beam 连接器。
您还可以使用 Bigtable 作为键值对查找来丰富数据 流水线中。如需简要了解,请参阅丰富流式数据。如需查看教程,请参阅使用 Apache Beam 以及 Bigtable 来丰富数据 数据。
Dataproc
Dataproc 以云端托管服务形式提供了 Apache Hadoop 和相关产品。借助 Dataproc,您可以运行 Hadoop 作业来对 Bigtable 执行读写操作。
如需查看使用 Bigtable 的 Hadoop MapReduce 作业示例,请参阅 GitHub 代码库 GoogleCloudPlatform/cloud-bigtable-examples 中的 /java/dataproc-wordcount
目录。
Vertex AI Vector Search
Vertex AI 矢量搜索是一项技术, 可以从数十亿个语义相似或语义相关的项中进行搜索。 它对于实现推荐引擎、聊天机器人和文本分类非常有用。
您可以使用 Bigtable 存储向量嵌入,将其导出到向量搜索索引,然后对索引进行查询以查找类似项。如需查看演示示例工作流的教程,请参阅 workflows-demos
GitHub 代码库中的 Bigtable to Vertex AI Vector Search Export。
大数据
本部分介绍 Bigtable 可集成的各项 Big Data 产品。
Apache Beam
Apache Beam 是定义批量和流式数据并行的统一模型
处理流水线。Bigtable Beam 连接器 (BigtableIO
) 可帮助您在流水线中对 Bigtable 数据执行批量和流式操作。
有关如何使用 Bigtable Beam 连接器部署 请参阅处理 Bigtable 数据, 变更数据流。
Apache Hadoop
Apache Hadoop 是一种框架,可让您跨计算机集群对大型数据集进行分布式处理。您可以使用 Dataproc 创建 Hadoop 集群,然后运行 MapReduce 作业对 Bigtable 执行读写操作。
如需查看使用 Bigtable 的 Hadoop MapReduce 作业示例,请参阅 GitHub 代码库 GoogleCloudPlatform/cloud-bigtable-examples 中的 /java/dataproc-wordcount
目录。
StreamSets 数据收集器
StreamSets 数据收集器是一种数据流应用,您可以将其配置为将数据写入 Bigtable。StreamSets 在其 GitHub 代码库 streamsets/datacollector 中提供 Bigtable 库。
图形数据库
本部分介绍了 Bigtable 可集成的图形数据库。
HGraphDB
HGraphDB 是使用 Apache HBase 或 Bigtable 作为图形数据库的客户端层。它实现了 Apache TinkerPop 3 接口。
如需详细了解如何运行支持 Bigtable 的 HGraphDB,请参阅 HGraphDB 文档。
JanusGraph
JanusGraph 是一种可扩展的图形数据库。它最适用于存储和查询包含数千亿顶点和边的图形。
如需详细了解如何运行支持 Bigtable 的 JanusGraph,请参阅运行支持 Bigtable 的 JanusGraph 或 JanusGraph 文档.。
基础架构管理
本部分介绍了 Bigtable 可集成的基础架构管理工具。
Pivotal Cloud Foundry
Pivotal Cloud Foundry 是一个应用开发和部署平台,可以将应用绑定到 Bigtable。
Terraform
Terraform 是一种开源工具,可将 API 编码为声明式配置文件。您可以将这些文件分享给团队成员,将它们作为代码来处理,还可对它们进行修改、审核和版本控制。
如需详细了解如何将 Bigtable 与 Terraform 结合使用,请参阅 Terraform 文档中的 Bigtable 实例和 Bigtable 表。
时间序列数据库和监控
本部分介绍 Bigtable 可集成的时间序列数据库和监控工具。
Heroic
Heroic 是一种监控系统和时间序列数据库。Heroic 可以使用 Bigtable 存储其数据。
如需详细了解 Heroic,请参阅 GitHub 代码库中的 Spotify/hero,以及关于配置 Bigtable 和配置指标的文档。
OpenTSDB
OpenTSDB 是一种时间序列数据库,可使用 Bigtable 进行存储。OpenTSDB 文档提供了可帮助您入门的信息。