AI Platform Pipelines 提供了一个平台,您可以利用该平台将机器学习 (ML) 工作流作为流水线自动执行。通过将机器学习流程作为流水线运行,您可以:
- 临时运行流水线。
- 安排周期性运行,以定期重新训练您的模型。
- 通过使用不同的超参数集、训练步数或迭代次数等运行流水线来进行实验。然后比较实验结果。
本指南将介绍如何运行流水线和安排周期性运行。本指南还提供了一些资源,供您详细了解 Kubeflow Pipelines 界面。
准备工作
本指南将介绍如何使用 Kubeflow Pipelines 界面来运行流水线。您必须先设置 AI Platform Pipelines 集群并确保有足够的权限来访问 AI Platform Pipelines 集群,然后才能运行流水线。
运行机器学习流水线
请按照以下说明在您的 AI Platform Pipelines 集群上运行机器学习流水线。
在 Google Cloud 控制台中打开 AI Platform Pipelines。
如需查看您的 Kubeflow Pipelines 集群情况,请点击打开流水线信息中心。Kubeflow Pipelines 界面将在新标签页中打开。
在左侧导航面板中,点击流水线。
点击要运行的流水线的名称。如果您尚未加载流水线,请点击示例流水线的名称,例如 [Demo] TFX - Taxi Tip 预测模式训练程序。系统随即会打开一个显示流水线步骤的图表。
如需运行或安排流水线,请点击创建运行。系统会打开一个表单,您可以在其中输入运行详情。
在运行流水线之前,您必须指定运行详情、运行类型和运行参数。
在运行详情部分中,指定以下内容:
- 流水线:选择要运行的流水线。
- 流水线版本:选择要运行的流水线版本。
- 运行名称:输入此运行的唯一名称。然后您可以使用该名称来查找此运行。
- 说明:(可选)输入说明以提供有关此运行的详细信息。
- 实验:(可选)如需将相关运行组合在一起,请选择一个实验。
在运行类型部分,指明执行该运行的频率。
- 选择这是一次性还是周期性运行。
如果这是周期性运行,请指定运行触发器:
- 触发器类型:选择是定期还是按照 cron 日程表触发此运行。
- 最大并发运行次数:输入一次可激活的最大运行次数。
- 包含开始日期:请选中包含开始日期,然后输入开始日期和开始时间以指定此触发器应何时开始创建运行。
- 包含结束日期:请选中包含结束日期,然后输入结束日期和结束时间以指定此触发器应何时停止创建运行。
- 每运行一次:选择触发新运行的频率。 如果此运行是基于 cron 日程表触发的,请选中允许编辑 cron 表达式以直接输入 cron 表达式。
在运行参数中,自定义此运行的流水线参数。您可以使用参数来设置加载训练数据或存储工件的路径、超参数、训练迭代次数等值。流水线参数是在构建流水线时定义的。
如果您正在运行 [演示] TFX - Taxi Tip 预测模式训练程序流水线,请指定以下内容:
pipeline-root:pipeline-root 参数指定流水线输出应存储在何处。该流水线将运行工件保存到 AI Platform Pipelines 默认的 Cloud Storage 存储桶。
您可以覆盖此值,以指定您的集群可以访问的其他 Cloud Storage 存储桶的路径。详细了解如何创建 Cloud Storage 存储桶。
data-root:data-root 参数用于指定流水线训练数据的路径。使用默认值。
module-file:module-file 参数指定此流水线中使用的模块的源代码路径。使用默认值。
通过从 Cloud Storage 存储桶加载代码,您可以快速更改组件的行为,而无需重新构建组件的容器映像。
点击启动。流水线信息中心会显示流水线运行列表。
在流水线运行列表中,点击运行名称。此时会显示您的运行的图表。在您的运行的进行过程中,图表会随着每个步骤的执行而变化。
点击流水线步骤以浏览运行的输入、输出、日志等。
了解 Kubeflow Pipelines 界面
请参考以下资源,详细了解 Kubeflow Pipelines 界面。