运行机器学习流水线

AI Platform Pipelines 提供了一个平台,您可以利用该平台将机器学习 (ML) 工作流作为流水线自动执行。通过将机器学习流程作为流水线运行,您可以:

  • 临时运行流水线。
  • 安排周期性运行,以定期重新训练您的模型。
  • 通过使用不同的超参数集、训练步数或迭代次数等运行流水线来进行实验。然后比较实验结果。

本指南将介绍如何运行流水线和安排周期性运行。本指南还提供了一些资源,供您详细了解 Kubeflow Pipelines 界面。

准备工作

本指南将介绍如何使用 Kubeflow Pipelines 界面来运行流水线。您必须先设置 AI Platform Pipelines 集群确保有足够的权限来访问 AI Platform Pipelines 集群,然后才能运行流水线。

运行机器学习流水线

请按照以下说明在您的 AI Platform Pipelines 集群上运行机器学习流水线。

  1. 在 Google Cloud 控制台中打开 AI Platform Pipelines。

    打开 AI Platform Pipelines

  2. 如需查看您的 Kubeflow Pipelines 集群情况,请点击打开流水线信息中心。Kubeflow Pipelines 界面将在新标签页中打开。

  3. 在左侧导航面板中,点击流水线

  4. 点击要运行的流水线的名称。如果您尚未加载流水线,请点击示例流水线的名称,例如 [Demo] TFX - Taxi Tip 预测模式训练程序。系统随即会打开一个显示流水线步骤的图表。

  5. 如需运行或安排流水线,请点击创建运行。系统会打开一个表单,您可以在其中输入运行详情。

  6. 在运行流水线之前,您必须指定运行详情、运行类型和运行参数。

    • 运行详情部分中,指定以下内容:

      1. 流水线:选择要运行的流水线。
      2. 流水线版本:选择要运行的流水线版本。
      3. 运行名称:输入此运行的唯一名称。然后您可以使用该名称来查找此运行。
      4. 说明:(可选)输入说明以提供有关此运行的详细信息。
      5. 实验:(可选)如需将相关运行组合在一起,请选择一个实验。
    • 运行类型部分,指明执行该运行的频率。

      1. 选择这是一次性还是周期性运行。
      2. 如果这是周期性运行,请指定运行触发器:

        1. 触发器类型:选择是定期还是按照 cron 日程表触发此运行。
        2. 最大并发运行次数:输入一次可激活的最大运行次数。
        3. 包含开始日期:请选中包含开始日期,然后输入开始日期开始时间以指定此触发器应何时开始创建运行。
        4. 包含结束日期:请选中包含结束日期,然后输入结束日期结束时间以指定此触发器应何时停止创建运行。
        5. 每运行一次:选择触发新运行的频率。 如果此运行是基于 cron 日程表触发的,请选中允许编辑 cron 表达式以直接输入 cron 表达式
    • 运行参数中,自定义此运行的流水线参数。您可以使用参数来设置加载训练数据或存储工件的路径、超参数、训练迭代次数等值。流水线参数是在构建流水线时定义的。

      如果您正在运行 [演示] TFX - Taxi Tip 预测模式训练程序流水线,请指定以下内容:

      1. pipeline-rootpipeline-root 参数指定流水线输出应存储在何处。该流水线将运行工件保存到 AI Platform Pipelines 默认的 Cloud Storage 存储桶。

        您可以覆盖此值,以指定您的集群可以访问的其他 Cloud Storage 存储桶的路径。详细了解如何创建 Cloud Storage 存储桶

      2. data-rootdata-root 参数用于指定流水线训练数据的路径。使用默认值。

      3. module-filemodule-file 参数指定此流水线中使用的模块的源代码路径。使用默认值。

        通过从 Cloud Storage 存储桶加载代码,您可以快速更改组件的行为,而无需重新构建组件的容器映像。

  7. 点击启动。流水线信息中心会显示流水线运行列表。

  8. 在流水线运行列表中,点击运行名称。此时会显示您的运行的图表。在您的运行的进行过程中,图表会随着每个步骤的执行而变化。

  9. 点击流水线步骤以浏览运行的输入、输出、日志等。

了解 Kubeflow Pipelines 界面

请参考以下资源,详细了解 Kubeflow Pipelines 界面。

后续步骤