本页介绍了管理已部署流水线的配置的方法。
准备工作
本页内容需要您具备一些关于计算配置文件和流水线性能的背景知识。
计算配置文件配置
您可以更改计算配置文件，也可以自定义运行流水线的默认计算配置文件的参数。如需了解详情，请参阅管理计算配置文件和 Dataproc 预配程序属性。
流水线配置
对于每个流水线，您可以启用或停用插桩（例如时间测量指标）。默认情况下，插桩处于开启状态。如果启用了插桩，当您运行流水线时，Cloud Data Fusion 会为每个流水线节点生成指标。每个节点的 Metrics 标签页上都会显示以下指标。来源、转换和接收器指标略有不同。
- 记录输出
- 记录在
- 错误总数
- 每秒发送的记录数
- 最短处理时间（一条记录）
- 最长处理时间（一条记录）
- 标准差
- 平均处理时间
除非环境资源不足，否则我们建议您始终启用插桩。
对于流处理流水线，您还可以为流式数据设置批处理间隔时间（秒/分钟）。
引擎配置
Apache Spark 是默认的执行引擎。您可以为 Spark 传递自定义参数。如需了解详情，请参阅并行处理。
资源
您可以为 Spark 驱动程序和执行程序指定内存和 CPU 数量。驱动程序会编排 Spark 作业。执行器在 Spark 中处理数据。如需了解详情，请参阅资源管理。
流水线警报
您可以将流水线配置为在流水线运行完成后发送提醒并启动后处理任务。您可以在设计流水线时创建流水线提醒。部署流水线后，您可以查看提醒。您可以修改流水线以更改提醒设置。如需了解详情，请参阅创建提醒。
转换推送
如果您希望流水线在 BigQuery 中执行特定转换，可以启用转换推送。如需了解详情，请参阅将转换推送到 BigQuery。