Dataflow 合作伙伴关系与集成

Google Cloud 合作伙伴将 Dataflow 与业界领先的数据分析和处理产品集成在一起。集成是通过 Dataflow 开源 API 实现的。

Dataflow 服务集成

Confluent 徽标

Confluent Cloud 是一款基于开放源代码 Apache Kafka 的全托管式流式数据服务。想要构建流式应用的工程师只需几分钟即可开始使用完全构建好的 Kafka 集群和相关服务。Confluent Cloud 提供业界最高的服务等级协议 (SLA),并以 Apache Kafka 的创建者的丰富经验为基础,可让您以任何规模和最高置信度部署业务关键应用。Dataflow 可与 Apache Kafka 完全集成,作为流处理流水线的来源/接收器,并且 Confluent Cloud 可帮助进一步降低流处理基础架构的管理开销。

Talend 徽标

Talend Cloud 在公有云、私有云和混合云以及本地环境中提供用于处理简单和复杂数据集成任务的单个平台,并促进 IT 和业务团队之间的协作。将 SaaS 应用中的自助解决方案和数百个预建连接器结合使用,Talend 可让您以经济高效的方式满足各种需求以因应不断增加的数据量、用户和使用场景。Talend Cloud 为开发者提供了可视化编辑器,用于构建使用 Dataflow 服务执行的数据流水线。

Snowplow 徽标

您可以使用 Snowplow 从所有平台和产品中收集丰富的高质量活动数据。您的数据可实时提供给 BigQuery 或您选择的数据仓库,以便与其他数据集轻松联接,用于强化 BI 工具、自定义报告或机器学习模型。

Snowplow 流水线使用 Dataflow 来处理数据,并在 Google Cloud 项目中运行,让您拥有完整的数据所有权和控制权。在这里查看端对端示例。

Dataflow SDK 运行程序

Ververica 徽标

Ververica 通过它的开源平台 Apache Flink 为大众启用数据流分析,Apache Flink 是一个流式处理引擎,该引擎为数据流上的分布式计算提供了数据分布、通信和容错功能。Apache Flink 为使用 Apache Beam(Dataflow 的开源 SDK)编写的程序提供便携的后端数据。在这里或通过在 GitHub 上查看来进一步了解 Flink 运行程序。