Bigtable 和 BigQuery 组合可构建高性能的可伸缩实时分析数据库。在一个集成式平台上构建应用,这个平台可简化开发流程,使实时分析可供各种工具使用,并帮助将 AI 引入运营工作流,从而通过更快的数据和 AI 洞见提高客户体验。
实时分析数据库会在数据创建的瞬间处理数据,从而提供即时数据分析和行动建议。此类数据库可以将企业知识与运营工作流相结合,解锁具有时间敏感性或需要将 AI 注入日常业务运营的功能。
实时分析有着广泛的应用,包括个性化推荐、智能设备反应、预测性维护、数据网格、流程自动化、网络安全和防欺诈等。对于依赖于访问最新信息的生成式 AI 工作流,实时分析数据库至关重要。
过去,构建这类应用十分复杂并且需要耗费大量资源,但 Bigtable 和 BigQuery 功能上的新突破使这一过程得以简化。
无缝集成
Bigtable 和 BigQuery 可将实时数据分析与历史数据结合,而无需运行自行管理的 ETL 作业。两者之间的统一 SQL 方言还可提供一致的开发体验。
内置实时功能
专用的实时功能可协同工作,共同提供全面的实时分析数据库,即使是 TB 级或 PB 级数据和极高的每秒查询次数 (QPS) 也不在话下。
简化运营,事半功倍
全托管式的企业级实时分析解决方案,通过业界领先的服务等级协议 (SLA) 最大限度地降低运营开销,确保提供值得信赖的可靠性和性能。
Google Cloud 提供强大的流式分析生态系统,可处理来自各种来源的连续数据流。BigQuery 是已知架构的理想注入来源,其 Storage Write API 和持续查询可实现直接数据注入,最大限度地提高仓库中数据的新鲜度,并允许您连接到其他来源。另一方面,Bigtable 提供全局线性扩缩和内置数据同步功能,非常适合需要即时的写后读一致性的灵活且动态的架构。Bigtable 还提供开箱即用的基于时间戳的版本控制和自动存留时间 (TTL) 保留政策,使其成为流式事件的理想存储和分析选项。您需要流式传输的数据量也是一个考虑因素。在美国和欧盟多区域,BigQuery 可以以每秒 1 GB 的速度流式传输数据,在其他区域,可以以每秒数百 MB 的速度流式传输数据。Bigtable 可更灵活地捕获流式数据,在 Bigtable 支持的任何区域中,线性扩缩能力为每节点每秒 14,000 次写入。
通过使用 BigQuery 和 Bigtable 的组合,您无需进行权衡,而是可以根据使用场景选择合适的注入技术。
对于大多数数据库,您必须在快速行检索和大规模分析处理之间做出选择。Bigtable 和 BigQuery 结合各自的不同用途,提供完整的实时分析数据库,并且适用于各种查询类型。
Bigtable 是一款出色的存储引擎,可极速检索单个行或一系列数据,非常适合需要实时响应的面向用户的应用,例如应用内图表、资料查询、时序分析、流式传输数据指标(如点击次数)或任何其他可预测且需要高容量、低延迟响应的查询。 Bigtable 基于日志结构引擎 (LSM 树),使用内存中存储和分解式磁盘存储的组合以及提供同步和异步访问的专用客户端库,针对高性能进行了优化。Bigtable 灵活的架构和自行管理功能进一步提高了其对于要求严苛的应用的适用性。相比之下,BigQuery 在分析工作负载方面更胜一筹,它通过复杂的汇总、与 Vertex AI 的集成和转换,提供强大的工具来查询和分析大型数据集。
通过使用 Bigtable 和 BigQuery 的组合,您无需在单个行查询和大型数据集的全面分析处理之间做出选择。无缝集成使您可以轻松使用任一存储模式来为实时应用提供支持。Bigtable 通常用作 BigQuery 规模数据集高性价比的缓存解决方案。例如,BigQuery 可用于批量生成嵌入,然后在 Bigtable 中提供这些嵌入,以支持检索增强生成 (RAG) 应用。
Bigtable 提供专用数据类型,可在数据写入时对数据进行预处理,为您提供即时结果和数据分析。您可以使用内置的全局复制功能,在数据写入时计算总和、最小值、最大值和近似的不同计数,从而在整个应用中获得一致的结果。这些数据类型还可与可从 BigQuery 加载的仓库数据完全互操作。
实时数据汇总有助于创建全面的机器学习功能,从而做出准确的预测来即时吸引用户。
Bigtable 已集成到 BigQuery 分析生态系统中,您可以轻松访问实时数据以进行更多数据流分析。您可以使用外部表查询 Bigtable 数据并将其与 BigQuery 中的其他数据集联接,直接在 Bigtable 数据上使用开源 Spark 分析或 Apache Beam 流水线,并写回结果。此分析访问权限还可以使用 Bigtable 的 Data Boost 来获取高性能分析,而不会影响您的实时应用性能。此外,借助变更数据捕获 (CDC) 和 Dataplex,您可以轻松导出和发现 Bigtable 数据,而无需执行复杂或自定义的数据同步任务。