您可以使用 AI Platform 大规模训练机器学习模型,在云端托管经过训练的模型,以及使用模型预测新数据。
机器学习工作流中适合使用 AI Platform 的阶段
下图简要介绍了机器学习工作流的各个阶段。蓝色背景框表示 AI Platform 提供托管式服务和 API 的阶段:
如图所示,您可以使用 AI Platform 管理机器学习工作流中的以下阶段:
使用您的数据训练机器学习模型:
- 训练模型
- 评估模型准确率
- 调整超参数
部署经过训练的模型。
向模型发送预测请求:
- 在线预测
- 批量预测(仅适用于 TensorFlow)
持续监控预测。
管理模型和模型版本。
AI Platform 的组件
本部分介绍 AI Platform 的组件以及各个组件的主要用途。
训练服务
通过 AI Platform 训练服务,您可以使用各种不同的自定义选项训练模型。
您可以选择多种不同的机器类型为您的训练作业提供支持、启用分布式训练、使用超参数调节,以及使用 GPU 和 TPU 加快速度。
您还可以选择其他方式来自定义训练应用。您可以提交用于 AI Platform 的输入数据,以使用内置算法(测试版)进行训练。如果内置算法不适合您的使用场景,您可以提交自己的训练应用以在 AI Platform 上运行,或者使用您的训练应用及其依赖项构建自定义容器以在 AI Platform 上运行。
预测服务
通过 AI Platform 预测服务,无论模型是否是在 AI Platform 上训练的,您都可以根据经过训练的模型来执行预测。
数据标签服务
通过 AI Platform 数据标签服务(测试版),您可以请求以人工方式为计划用于训练自定义机器学习模型的数据集加标签。您可以提交为视频、图片或文本数据添加标签的请求。
要提交添加标签请求,您需要提供已加标签的数据的代表性样本,指定数据集的所有可能标签,并提供一些如何应用这些标签的说明。标签添加人员将会按您的说明添加标签。当添加标签请求完成后,您将获得添加了注释的数据集,可将其用于训练机器学习模型。
与 AI Platform 进行交互的工具
本部分介绍与 AI Platform 交互时所使用的工具。
Google Cloud 控制台
在 Google Cloud 控制台中,您可以将模型部署到云端,以及管理模型、版本和作业。此选项为您提供了用于处理机器学习资源的界面。作为 Google Cloud 的一部分,您的 AI Platform 资源与 Cloud Logging 和 Cloud Monitoring 等实用工具相关联。
Google Cloud CLI
您可以使用 gcloud ai-platform
命令行工具在命令行中管理模型和版本、提交作业以及完成其他 AI Platform 任务。
对于大多数 AI Platform 任务,建议使用 gcloud
命令;对于在线预测,建议使用 REST API(请参阅下文)。
REST API
AI Platform REST API 提供了 RESTful 服务,用于管理作业、模型和版本,以及在 Google Cloud 上使用托管模型进行预测。
您可以使用 Python 版 Google API 客户端库访问 API。使用该客户端库时,请使用 API 所用的资源和对象的 Python 表示法。与直接处理 HTTP 请求相比,这种方式更简单易行,所需的代码更少。
我们尤其建议使用 REST API 来处理在线预测。
Vertex AI Workbench 用户管理的笔记本
利用 Vertex AI Workbench 用户管理的笔记本实例,您可以创建和管理预封装了 JupyterLab 的深度学习虚拟机 (VM) 实例。
用户管理的笔记本实例中预安装了一套深度学习软件包,包括 TensorFlow 和 PyTorch 框架支持。您可以配置仅限 CPU 的实例或支持 GPU 的实例。
用户管理的笔记本实例受 Google Cloud 身份验证和授权功能的保护,并且可以通过用户管理的笔记本实例网址提供。用户管理的笔记本实例还与 GitHub 集成,并且可以与 GitHub 代码库同步。
如需了解详情,请参阅用户管理的笔记本文档。
Deep Learning VM
Deep Learning VM Image 是一组针对数据科学和机器学习任务进行了优化的虚拟机器映像。所有映像都预安装了关键机器学习框架和工具。您可以在配备了 GPU 的实例上开箱即用,从而加快数据处理任务的速度。
Deep Learning VM 映像可用于支持框架和处理器的许多组合。目前有支持 TensorFlow Enterprise、TensorFlow、PyTorch 和通用高性能计算的映像,并且有仅适用于 CPU 和适用于支持 GPU 的工作流的版本。
要查看可用的框架列表,请参阅选择映像。
如需了解详情,请参阅 Deep Learning VM 文档。
后续步骤
- 通过 Keras 开始使用 AI Platform Training 和 AI Platform Prediction。
- 了解如何使用自定义容器进行训练。
- 了解如何在不编写代码的情况下使用 AI Platform 内置算法训练 TensorFlow 和 XGBoost 模型。
- 了解如何使用自定义预测例程为在线预测请求添加预处理和后处理。
- 将自定义代码和自定义 scikit-learn 转换添加到在线预测流水线中。
- 详细了解 AI Platform Training 和 AI Platform Prediction。