本页面介绍了管理已部署流水线配置的方法。
准备工作
本页面需要您具备一些有关计算配置文件和流水线性能的背景知识。
计算配置文件配置
您可以更改计算配置文件，也可以自定义运行流水线的默认计算配置文件的参数。如需了解详情，请参阅管理计算配置文件和 Dataproc 预配工具属性。
流水线配置
对于每个流水线，您可以启用或停用插桩，例如时间指标。默认情况下，插桩处于启用状态。如果启用了插桩，则当您运行流水线时，Cloud Data Fusion 会为每个流水线节点生成指标。以下指标会显示在每个节点的指标标签页中。来源、转换和接收器指标略有不同。
- 记录输出
- 中的记录
- 错误总数
- 每秒输出的条数
- 最短处理时间（一条记录）
- 处理时间上限（一条记录）
- 标准差
- 平均处理时间
除非环境资源不足，否则我们建议您始终启用插桩。
对于流处理流水线，您还可以设置流式数据的批处理间隔（秒/分钟）。
引擎配置
Apache Spark 是默认执行引擎。您可以为 Spark 传递自定义参数。如需了解详情，请参阅并行处理。
资源
您可以为 Spark 驱动程序和执行器指定内存和 CPU 数量。驱动程序编排 Spark 作业。Executor 处理 Spark 中的数据处理。如需了解详情，请参阅资源管理。
流水线提醒
您可以将流水线配置为在流水线运行完成后发送提醒并开始后处理任务。您需要在设计流水线时创建流水线提醒。部署流水线后，您可以查看提醒。您可以修改流水线以更改提醒设置。如需了解详情，请参阅创建提醒。
转换推送
如果希望流水线在 BigQuery 中执行某些转换，可以启用转换下推。如需了解详情，请参阅转换下推概览。