使用 AI Platform Pipelines 设置机器学习流水线

本快速入门简要介绍了 AI Platform Pipelines。在本指南中，您将在新的 Google Kubernetes Engine（GKE）集群上安装具有 TensorFlow Extended 的 Kubeflow 流水线，然后运行示例流水线。

本主题针对不熟悉 AI Platform Pipelines 的用户。

准备工作

在按照本指南执行操作之前，请检查您的 Google Cloud 项目是否已正确设置，以及您是否有足够的权限来部署 AI Platform Pipelines。

  1. 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手，请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. 确保您的 Google Cloud 项目已启用结算功能。

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. 确保您的 Google Cloud 项目已启用结算功能。

  6. 请按照以下说明检查您是否已获得部署 AI Platform Pipelines 所需的角色。

    1. 打开 Cloud Shell 会话。

      打开 Cloud Shell

      Cloud Shell 在 Google Cloud Console 底部的框架中打开。

    2. 您必须对项目具有 Viewer (roles/viewer) 和 Kubernetes Engine Admin (roles/container.admin) 角色，或者对项目具有其他包含相同权限的角色（例如 Owner roles/owner 角色），才能部署 AI Platform Pipelines。在 Cloud Shell 中运行以下命令，以列出具有 Viewer 和 Kubernetes Engine Admin 角色的主账号。

      gcloud projects get-iam-policy PROJECT_ID \
  --flatten="bindings[].members" --format="table(bindings.role, bindings.members)" \
  --filter="bindings.role:roles/container.admin OR bindings.role:roles/viewer"

      将 PROJECT_ID 替换为您的 Google Cloud 项目的 ID。

      使用此命令的输出来验证您的账号是否具有 Viewer 和 Kubernetes Engine Admin 角色。

    3. 如果您未获授予所需的角色，请与您的 Google Cloud 项目管理员联系以获取更多帮助。

      详细了解如何授予 Identity and Access Management 角色。

设置您的 AI Platform Pipelines 实例

按照以下说明即可在新的 GKE 集群上设置 AI Platform Pipelines。

  1. 在 Google Cloud Console 中打开 AI Platform Pipelines。

    转到 AI Platform Pipelines

  2. 点击选择项目。随即将出现一个对话框，提示您选择 Google Cloud 项目。

  3. 选择您要用于本快速入门的 Google Cloud 项目，然后点击打开。

  4. 在 AI Platform Pipelines 工具栏中，点击新建实例。 Kubeflow Pipelines 将在 Google Cloud Marketplace 中打开。

  5. 点击配置。系统随即会打开一个表单，供您配置 Kubeflow 流水线部署。

  6. 如果显示创建新集群链接，请点击创建新集群。否则，请继续下一步操作。

  7. 选择 us-central1-a 作为应在其中创建 GKE 集群的集群地区。

  8. 勾选允许访问以下 Cloud API，以便为 GKE 集群上运行的应用授予对 Google Cloud 资源的访问权限。勾选此复选框即表示您授予集群对 https://www.googleapis.com/auth/cloud-platform 访问权限范围的访问权限。此访问权限范围可提供对您已在项目中启用的 Google Cloud 资源的完全访问权限。以这种方式授予集群对 Google Cloud 资源的访问权限可省去创建 Kubernetes Secret 的麻烦。

  9. 点击创建集群以创建 GKE 集群。此过程需要几分钟才能完成。

  10. 创建集群后，请提供以下信息：

    • 命名空间：选择 default 作为命名空间。
    • 应用实例名称：输入 pipelines-quickstart 作为实例名称。

  11. 点击部署，以将 Kubeflow 流水线部署到新的 GKE 集群上。

部署过程需要几分钟才能完成。部署过程完成后，请继续查看下一部分。

运行示例流水线

使用以下说明即可在新的 AI Platform Pipelines 实例中运行示例流水线。

  1. 在 Google Cloud Console 中打开 AI Platform Pipelines。

    转到 AI Platform Pipelines

  2. 找到名为 pipelines-quickstart 的 AI Platform Pipelines 集群，然后点击打开流水线信息中心以打开 Kubeflow 流水线。系统随即会打开 Kubeflow 流水线信息中心，其中显示了使用入门页面。

  3. 您可以使用信息中心中的使用入门页面详细了解 Kubeflow 流水线随附的流水线演示和教程，或详细了解如何创建流水线。

    在左侧导航面板中，点击流水线。

  4. Kubeflow 流水线提供了几个示例流水线。点击 [教程] 在 python 组件中传递数据 （[Tutorial] Data passing in python components）。系统随即会打开一个显示流水线步骤的图表。

  5. 如需运行流水线一次，请点击创建运行 （Create run）。在 Kubeflow 流水线中，运行是指流水线的单次执行。系统会打开一个表单，您可以在其中输入运行详情。

  6. 输入“Quickstart pipeline run”作为运行名称。

  7. 点击启动。流水线信息中心会在实验页面上显示流水线运行列表。在 Kubeflow 流水线中，您可以使用实验将流水线运行整理到逻辑组中。

  8. 点击名为 Quickstart pipeline run 的运行。此时会显示运行图表。在运行过程中，图表会随着每个步骤的执行而变化。

  9. 点击流水线步骤以浏览运行的输入、输出、日志等。

现在，您已在 AI Platform Pipelines 实例中运行了示例流水线。

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用，请按照以下步骤操作。

为避免您的 Google Cloud 账号产生更多费用，请使用 按照说明删除 AI Platform Pipelines 实例， 您在前面部分中创建的 GKE 集群。

  1. 在 Google Cloud Console 中打开 AI Platform Pipelines。

    转到 AI Platform Pipelines

  2. 勾选名为 pipelines-quickstart 的 AI Platform Pipelines 实例对应的复选框。

  3. 在 AI Platform Pipelines 工具栏中，点击删除。

  4. 在从集群删除 Kubeflow 流水线对话框中，勾选删除集群复选框。勾选此复选框表示您要删除您为本快速入门创建的 GKE 集群。

  5. 点击删除以删除您的 AI Platform Pipelines 实例和 GKE 集群。

后续步骤