概念

• Apache Beam 编程模型

  此处概述了批量和流式数据处理的 Apache Beam 统一编程模型。您可在此了解编程模型基础知识，包括流水线、PCollection、转换和流水线 I/O。

• 流处理流水线

  简要介绍 Dataflow 如何处理流式数据。

• Dataflow 模板

  简要介绍如何使用 Dataflow 模板在 Google Cloud 上暂存流水线，并使用 Google Cloud Console、Google Cloud CLI 或 REST API 调用运行这些流水线。

• 安全性和权限

  简要介绍 Dataflow 如何处理数据及流水线的托管云资源的安全性和权限。

• 使用 IAM 进行访问权限控制

  简要介绍 Dataflow 如何控制项目用户对 Dataflow 专用资源的访问权限。

• SDK 和工作器依赖项

  简要介绍 Apache Beam 和 Dataflow SDK 的依赖项和工作器软件包。

• 区域端点

  简要介绍 Dataflow 的区域性端点，这些区域性端点可用于指定区域以部署 Dataflow 作业。

• 使用 Pub/Sub 进行流式传输

  简要介绍 Dataflow 与 Pub/Sub 的集成。

• GPU 支持

  简要介绍 GPU 如何与 Dataflow 搭配使用。

• 执行详细信息

  简要介绍 Web 监控界面中的执行详细信息标签页。

• 审核日志记录

  简要介绍 Cloud Audit Logs 中由 Dataflow 创建的审核日志。