与 Bigtable 集成

本页面介绍了 Bigtable 与其他产品以及 服务。

Google Cloud 服务

本部分介绍了 Bigtable 集成的 Google Cloud 服务。

BigQuery

BigQuery 是 Google 推出的全面托管型低成本分析数据仓库,可提供 PB 级数据规模。您可以将 BigQuery 与 将 Bigtable 用于以下用途:

  • 您可以创建 BigQuery 外部表,然后将其用于 查询 Bigtable 表,并将数据联接到 BigQuery 表。有关详情,请参阅查询 Bigtable 数据

  • 您可以将 BigQuery 数据导出到 Bigtable 从 BigQuery 使用反向 ETL (RETL) 到 Bigtable。如需了解详情,请参阅将数据导出到 Bigtable预览版)。

Cloud Asset Inventory

Cloud Asset Inventory 基于时间序列数据库提供库存服务,支持并返回 Bigtable 资源类型。如需完整列表,请参阅支持的资源类型

Data Catalog

Data Catalog 是 Dataplex 的一项功能,可自动 目录元数据。 有关您的数据的 Data Catalog 信息有助于 分析、数据重用、应用开发和数据管理。有关 信息,请参阅使用 Data Catalog 的数据。

Dataflow

Dataflow 是一种云端服务和编程模型,适用于大数据处理。Dataflow 支持批处理和流式处理。您可以使用 Dataflow 处理存储在 Bigtable 中的数据或存储 Dataflow 流水线的输出。您还可以使用 Dataflow 模板 导出导入您的 作为 Avro、Parquet 或 SequenceFile 发送。

如需开始使用,请参阅 Bigtable Beam 连接器

您还可以使用 Bigtable 作为键值对查找来丰富数据 流水线中。有关概览,请参阅丰富流式传输 数据。如需查看教程,请参阅使用 Apache Beam 以及 Bigtable 来丰富数据 数据

Dataproc

Dataproc 以云端托管服务形式提供了 Apache Hadoop 和相关产品。借助 Dataproc,您可以运行 Hadoop 作业来对 Bigtable 执行读写操作。

如需查看使用 Bigtable 的 Hadoop MapReduce 作业示例,请参阅 GitHub 代码库 GoogleCloudPlatform/cloud-bigtable-examples 中的 /java/dataproc-wordcount 目录。

Vertex AI 矢量搜索是一项技术, 可以从数十亿个语义相似或语义相关的项中进行搜索。 这对于实现商品推荐引擎、聊天机器人和 分类。

您可以使用 Bigtable 存储矢量嵌入,并将其导出到 矢量搜索索引,然后查询相似项的索引。对于 请参阅演示示例工作流的教程,请参阅 Bigtable 来 Vertex AI Vector Search Export workflows-demos GitHub 代码库。

大数据

本部分介绍 Bigtable 可集成的各项 Big Data 产品。

Apache Beam

Apache Beam 是定义批量和流式数据并行的统一模型 处理流水线。通过 Bigtable Beam 连接器 (BigtableIO) 可帮助您在 Bigtable 上执行批处理和流处理操作。 流水线中的数据。

本教程介绍了如何使用 Bigtable Beam 连接器部署 请参阅处理 Bigtable 数据, 变更数据流

Apache Hadoop

Apache Hadoop 是一种框架,可让您跨计算机集群对大型数据集进行分布式处理。您可以使用 Dataproc 创建 Hadoop 集群,然后运行 MapReduce 作业对 Bigtable 执行读写操作。

如需查看使用 Bigtable 的 Hadoop MapReduce 作业示例,请参阅 GitHub 代码库 GoogleCloudPlatform/cloud-bigtable-examples 中的 /java/dataproc-wordcount 目录。

StreamSets 数据收集器

StreamSets 数据收集器是一种数据流应用,您可以将其配置为将数据写入 Bigtable。StreamSets 在其 GitHub 代码库 streamsets/datacollector 中提供 Bigtable 库。

图形数据库

本部分介绍了 Bigtable 可集成的图形数据库。

HGraphDB

HGraphDB 是使用 Apache HBase 或 Bigtable 作为图形数据库的客户端层。它实现了 Apache TinkerPop 3 接口。

如需详细了解如何运行支持 Bigtable 的 HGraphDB,请参阅 HGraphDB 文档

JanusGraph

JanusGraph 是一种可扩展的图形数据库。它最适用于存储和查询包含数千亿顶点和边的图形。

如需详细了解如何运行支持 Bigtable 的 JanusGraph,请参阅运行支持 Bigtable 的 JanusGraphJanusGraph 文档.。

基础架构管理

本部分介绍了 Bigtable 可集成的基础架构管理工具。

Pivotal Cloud Foundry

Pivotal Cloud Foundry 是一个应用开发和部署平台,可以将应用绑定到 Bigtable

Terraform

Terraform 是一种开源工具,可将 API 编码为声明式配置文件。您可以将这些文件分享给团队成员,将它们作为代码来处理,还可对它们进行修改、审核和版本控制。

如需详细了解如何将 Bigtable 与 Terraform 结合使用,请参阅 Terraform 文档中的 Bigtable 实例Bigtable 表

时间序列数据库和监控

本部分介绍 Bigtable 可集成的时间序列数据库和监控工具。

Heroic

Heroic 是一种监控系统和时间序列数据库。Heroic 可以使用 Bigtable 存储其数据。

如需详细了解 Heroic,请参阅 GitHub 代码库中的 Spotify/hero,以及关于配置 Bigtable配置指标的文档。

OpenTSDB

OpenTSDB 是一种时间序列数据库,可使用 Bigtable 进行存储。OpenTSDB 文档 提供的信息,以帮助您快速入门。