管理宏、偏好设置和运行时参数

本页介绍了如何在 Cloud Data Fusion 流水线中设置偏好设置、宏和运行时参数。

关键词

宏是 Cloud Data Fusion 插件配置中的占位符。它们由 ${ } 括起来的变量表示,例如 ${input_file_path}。宏可让您使用占位符值(这些值会在运行时替换为实际值),从而为您的流水线引入灵活性。这样,您就可以为参数(例如文件路径和表名称)启用动态配置。
偏好设置
偏好设置是预定义的配置,适用于 Cloud Data Fusion 中的各个级别,包括系统本身、命名空间、应用(包含流水线)以及流水线中的各个程序。借助偏好设置,您可以为常用的配置设置默认值。默认值可供更低级别的流水线和程序继承,从而减少重复的配置任务。
运行时参数
运行时参数是键值对,用于在您部署或运行流水线时为宏提供值,并可能替换偏好设置。它们高度可自定义,可让您按流水线运行调整配置,而无需修改底层流水线或偏好设置。

设置宏

如需为插件属性值使用宏,请按以下步骤操作:

  1. 在 Cloud Data Fusion Studio 中,前往插件节点,然后点击“属性”。
  2. 前往要使用宏的字段,然后点击该字段旁边的** M**。
  3. 输入宏的键。例如,在文件源的插件属性中,在“格式”字段中输入以下键:${format.type}

设置宏值

在预览流水线的数据和运行流水线之前,请先为宏设置值。您可以在以下位置设置宏值:

  • 参数设置器插件
  • 运行时参数
  • 应用偏好设置
  • 命名空间偏好设置
  • 系统偏好设置

使用宏运行流水线会执行以下操作:

  • Cloud Data Fusion 会先检查流水线是否包含参数设置器插件:
    • 如果它具有参数设置器,Cloud Data Fusion 会使用其中的宏值。
    • 如果没有参数设置器,或者参数设置器中未分配宏,Cloud Data Fusion 将改用流水线运行时参数中的值。
  • 运行时参数会继承应用偏好设置中的宏。
  • 应用偏好设置会从命名空间偏好设置继承宏
  • 命名空间偏好设置会继承系统偏好设置中的宏。

示例

宏的常见用途是在路径字段中使用。您可以使用动态路径,而不是使用硬编码路径。例如,在 Cloud Storage 源插件中,您可以将路径值替换为多个宏。以下值用于划分存储分区、文件夹和文件元素:gs://${bucket.name}/${folder}/${file.name}

以下示例会从静态存储分区和名称不静态的文件加载数据,输入存储分区的名称,并使用宏作为文件名:gs://<BUCKET_NAME>/${folder}/${file.name}

如需了解详情,请参阅宏和宏函数

设置偏好

以下部分介绍了偏好设置层次结构,其中包含偏好设置的设置、继承或替换方式。

设置系统偏好设置

您可以为系统设置偏好设置。由于宏名称必须是唯一的,因此每个偏好设置都会应用于使用该宏的所有流水线。

例如,您有一个包含数据库源的流水线,并使用宏来设置数据库名称和用户名。您可以在系统偏好设置中设置数据库和用户名偏好设置。该实例中的每个命名空间和每个流水线都会继承这些偏好设置。

如需设置系统偏好设置,请按以下步骤操作:

  1. 在 Cloud Data Fusion Studio 中,依次点击系统管理 > 配置
  2. 依次点击 系统偏好设置 > 修改系统偏好设置
  3. 偏好设置对话框中,输入新偏好设置或修改现有偏好设置。
  4. 点击保存并关闭。这些偏好设置适用于所有命名空间、应用和流水线。

设置命名空间偏好设置

您可以为各个命名空间设置偏好设置。

设置命名空间偏好设置后,系统会显示所有继承的系统偏好设置。为命名空间设置偏好设置时,您可以通过设置不同的值来替换继承的偏好设置。您还可以添加新的命名空间偏好设置。

如需设置命名空间偏好设置,请按以下步骤操作:

  1. 在 Cloud Data Fusion Studio 中,依次点击系统管理 > 配置
  2. 点击 命名空间,然后选择一个命名空间以打开其配置页面。
  3. 如需修改继承的偏好设置或添加新偏好设置,请前往“偏好设置”标签页,然后点击修改。系统随即会打开 Preferences 对话框,您可以在其中输入新偏好设置,或替换继承的系统偏好设置。点击 <span class="material-icons">add</span> Add(添加),然后输入宏的键和新值。
  4. 点击保存并关闭。系统会使用新值创建命名空间偏好设置,该值优先于系统偏好设置。

设置应用偏好设置

您可以为命名空间中每个已部署的流水线设置偏好设置。设置应用偏好设置后,系统会显示所有继承的系统和命名空间偏好设置。为应用设置偏好设置时,您可以通过设置不同的值替换继承的偏好设置,也可以为应用添加新的偏好设置:

  1. 在 Cloud Data Fusion Studio 中,点击 ,然后点击 Namespace(命名空间)菜单,选择要添加应用偏好的命名空间。
  2. 点击控制中心
  3. 点击“设定偏好设置”扳手图标。系统随即会显示“偏好设置”页面,其中列出了所有继承的偏好设置。
  4. 如需修改继承的偏好设置或添加新偏好设置,请前往“偏好设置”标签页,然后点击修改。系统随即会打开 Preferences 对话框,您可以在其中输入新偏好设置,或替换继承的系统偏好设置。点击 <span class="material-icons">add</span> Add(添加),然后输入宏的键和新值。
  5. 点击保存并关闭。系统会使用新值创建应用偏好设置,该值会覆盖系统偏好设置或命名空间偏好设置。运行已部署的流水线时,应用偏好设置会显示为运行时参数,您可以根据需要对其进行修改。

设置运行时参数

设置运行时参数,以便在部署或运行流水线时为宏提供值,并可能替换偏好设置。

用于预览数据的运行时参数

如需在 Cloud Data Fusion Studio 中预览数据时为流水线中的每个宏设置值,请依次点击列表 > 配置

用于运行已部署流水线的运行时参数

如果流水线包含宏,则在部署流水线后,您需要添加运行时参数,以设置宏的值。

部署包含宏的流水线时,点击运行旁边的 下拉菜单,打开运行时参数对话框,然后为每个宏设置值。

设置流水线偏好设置

如需为流水线设置偏好设置,请按以下步骤操作:

  1. 在 Cloud Data Fusion Studio 中,依次点击列表 > 已部署,然后选择要查看的已部署流水线。
  2. 在“流水线”画布中,点击运行旁边的 下拉菜单。系统随即会打开运行时参数对话框。
  3. 在随即打开的运行时参数对话框中,为流水线中的每个宏指定值。

偏好设置、宏和运行时参数概览

您可以在以下级别设置偏好设置:

  • 系统偏好设置:您可以在此最高级别设置整个实例的偏好设置(例如默认值)。
  • 命名空间偏好设置:从系统偏好设置继承偏好设置。您可以为特定命名空间设置偏好设置。
  • 应用偏好设置:从命名空间偏好设置继承偏好设置。它们可以是特定于各个应用(包含流水线)的。
  • 运行时参数:用于替换更高级别偏好设置的键值对。

如果您在系统偏好设置级别设置偏好设置,系统会自动在命名空间偏好设置、应用偏好设置和运行时参数中填充宏值。

如果您在命名空间级设置偏好设置,这些偏好设置会显示在应用偏好设置中的继承偏好设置列表中。如果流水线使用在偏好设置中定义的宏,则运行时参数会使用偏好设置中定义的键值对。您可以在每个偏好设置级别和运行时参数中替换偏好设置的值。

在以下用例中使用偏好设置、宏和运行时参数:

  • 开发流水线。在需要为插件属性提供动态值的位置嵌入宏。
  • 可选:设置偏好设置。在不同级别的偏好设置中为宏设置默认值。
  • 部署和运行流水线。运行流水线时,会发生以下情况:
    • 系统会应用相关级别的偏好设置,例如系统偏好设置或命名空间偏好设置。
    • 您提供的任何运行时参数都会替换在偏好设置中分配给宏的值。
    • Cloud Data Fusion 会通过从运行时参数(如果未提供运行时参数,则为偏好设置)中替换宏的值来解析宏。

示例

流水线有一个 BigQuery 接收器,其表名称值必须动态更改。如需进行此设置,请执行以下操作:

  1. 设置宏。在接收器的属性中,在表名称字段中使用以下宏:${output_table}.
  2. **设置偏好设置。**在应用偏好设置中,为 ${output_table} 设置一个偏好设置,并为其设置以下默认值:data_staging
  3. 设置运行时参数。运行流水线时,请提供运行时参数,例如 output_table=final_analytics_data

在流水线执行期间,宏 ${output_table}, 会替换为 final_analytics_data

后续步骤