Vertex AI Jupyter 笔记本教程

本文档包含所有 Vertex AI Jupyter 笔记本教程的列表。这些端到端的教程展示如何预处理数据、训练、部署和使用模型以进行推断。

Jupyter 笔记本可以在多种环境中托管。您可以:

  • 从 GitHub 下载这些脚本并在本地机器上运行它们
  • 从 GitHub 下载这些脚本,并在本地网络的 Jupyter 或 JupyterLab 服务器上运行它们
  • 使用 Colaboratory (Colab)Vertex AI Workbench 等服务在云中运行这些脚本。

Colab

在 Colab 中运行 Jupyter 笔记本是一种快速开始上手的方法。

如需在 Colab 中打开笔记本教程,请点击笔记本列表中的 Colab 链接。Colab 会创建一个具有所有所需依赖项的虚拟机实例,启动 Colab 环境并加载笔记本。

Vertex AI Workbench

您还可以使用用户管理的笔记本运行笔记本。使用 Vertex AI Workbench 创建用户管理的笔记本实例时,您可以完全控制托管虚拟机。您可以指定托管虚拟机的配置和环境。

如需在 Vertex AI Workbench 实例中打开笔记本教程,请执行以下操作:

  1. 点击笔记本列表中的 Vertex AI Workbench 链接。该链接会打开 Vertex AI Workbench 控制台。
  2. 部署到笔记本屏幕中,输入新 Vertex AI Workbench 实例的名称,然后点击创建
  3. 该实例启动后,系统会显示准备好打开笔记本对话框,点击打开
  4. Confirm deployment to notebook server(确认部署到笔记本服务器)页面上,选择确认
  5. 在运行笔记本之前,请选择 Kernel > Restart Kernel and Clear all Outputs(内核 > 重启内核并清除所有输出)。

笔记本列表

服务 说明 打开方式
表格数据分类
AutoML 表格训练和预测
了解如何对基于表格数据集的 AutoML 模型进行训练并用其来进行预测。详细了解表格数据分类

教程步骤

  • 创建 Vertex AI 模型训练作业。
  • 训练 AutoML 表格模型。
  • 将模型资源部署到服务端点资源。
  • 发送数据以进行预测。
  • 取消部署模型资源。
Colab
GitHub
Vertex AI Workbench
文本数据分类
创建、训练和部署 AutoML 文本分类模型
了解如何使用 AutoML 对文本分类模型进行训练。详细了解文本数据分类

教程步骤

  • 创建 Vertex AI 数据集。
  • 训练 AutoML 文本分类模型资源。
  • 获取模型资源的评估指标。
  • 创建端点资源。
  • 将模型资源部署到端点资源。
  • 进行在线预测
  • 进行批量预测
Colab
GitHub
Vertex AI Workbench
从图片分类模型获取预测结果
适用于批量预测的 AutoML 训练图片分类模型
在本教程中,您将通过 Python 脚本创建一个 AutoML 图片分类模型,然后使用 Vertex AI SDK 进行批量预测。详细了解从图片分类模型获取预测结果

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
从图片分类模型获取预测结果
适用于在线预测的 AutoML 训练图片分类模型
在本教程中,您将创建一个 AutoML 图片分类模型,并使用 Vertex AI SDK 通过 Python 脚本进行部署以进行在线预测。详细了解从图片分类模型获取预测结果

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 将模型资源部署到服务端点资源。
  • 进行预测。
  • 取消部署模型。
Colab
GitHub
Vertex AI Workbench
AutoML
用于导出到边缘的 AutoML 训练图片对象检测模型
在本教程中,您将使用 Vertex AI SDK 通过 Python 脚本创建一个 AutoML 图片对象检测模型,然后将该模型导出为 TFLite 格式的 Edge 模型。

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 将 Edge 模型从模型资源导出到 Cloud Storage。
  • 在本地下载模型。
  • 进行本地预测。
Colab
GitHub
Vertex AI Workbench
图片数据的对象检测
适用于在线预测的 AutoML 训练图片对象检测模型
在本教程中,您将创建一个 AutoML 图片对象检测模型,并使用 Vertex AI SDK 通过 Python 脚本进行部署以进行在线预测。详细了解图片数据的对象检测

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 将模型资源部署到服务端点资源。
  • 进行预测。
  • 取消部署模型。
Colab
GitHub
Vertex AI Workbench
适用于 E2E AutoML 的表格工作流
AutoML 表格工作流流水线
了解如何使用从 Google Cloud 流水线组件下载的 Vertex AI Pipelines 创建两个回归模型。详细了解适用于 E2E AutoML 的表格工作流

教程步骤

  • 创建一个训练流水线,减少默认搜索空间,以此节省时间。
  • 创建另一个训练流水线,让其重复利用先前流水线获得的架构搜索结果,以此节省时间。
Colab
GitHub
Vertex AI Workbench
文本数据的实体提取
适用于批量预测的 AutoML 训练文本实体提取模型
在本教程中,您将通过 Python 脚本创建一个 AutoML 文本实体提取模型,然后使用 Vertex AI SDK 进行批量预测。详细了解文本数据的实体提取

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
AutoML
适用于批量预测的 AutoML 训练文本情感分析模型
在本教程中,您将通过 Python 脚本创建一个 AutoML 文本情感分析模型,然后使用 Vertex AI SDK 进行批量预测。

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
AutoML 训练
开始进行 AutoML 训练
了解如何通过 Vertex AI 使用 AutoML 进行训练。详细了解 AutoML 训练

教程步骤

  • 训练图片模型
  • 将图片模型作为 Edge 模型导出
  • 训练表格模型
  • 将表格模型作为 Cloud 模型导出
  • 训练文本模型
  • 训练视频模型
Colab
GitHub
Vertex AI Workbench
适用于表格数据的分层预测
适用于批量预测的 AutoML 训练分层预测
在本教程中,您将使用 Python 版 Vertex AI SDK 创建并部署 AutoML 分层预测模型,以进行批量预测。详细了解适用于表格数据的分层预测

教程步骤

  • 创建 Vertex AI TimeSeriesDataset 资源。
  • 训练模型。
  • 查看模型评估。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
图片数据的对象检测
适用于批量预测的 AutoML 训练图片对象检测模型
在本教程中,您将通过 Python 脚本创建 AutoML 图片对象检测模型,然后使用 Vertex AI SDK 进行批量预测。详细了解图片数据的对象检测

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
对表格数据进行预测
适用于批量预测的 AutoML 表格预测模型
了解如何通过 Python 脚本创建 AutoML 表格预测模型,然后使用 Vertex AI SDK 进行批量预测。详细了解表格数据预测

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练 AutoML 表格预测模型资源。
  • 获取模型资源的评估指标。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
表格数据的回归
适用于通过 BigQuery 进行批量预测的 AutoML 训练表格回归模型
了解如何使用 Python 版 Vertex AI SDK 创建并部署 AutoML 表格回归模型,以进行批量预测。详细了解表格数据的回归

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 将模型资源部署到服务端点资源。
  • 进行预测。
  • 取消部署模型。
Colab
GitHub
Vertex AI Workbench
表格数据的回归
适用于通过 BigQuery 进行在线预测的 AutoML 训练表格回归模型
了解如何使用 Vertex AI SDK 通过 Python 脚本创建并部署 AutoML 表格回归模型,以进行在线预测。详细了解表格数据的回归

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 将模型资源部署到服务端点资源。
  • 进行预测。
  • 取消部署模型。
Colab
GitHub
Vertex AI Workbench
文本数据的实体提取
适用于在线预测的 AutoML 训练文本实体提取模型
了解如何使用 Vertex AI SDK 通过 Python 脚本创建并部署 AutoML 文本实体提取模型,以进行在线预测。详细了解文本数据的实体提取

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 将模型资源部署到服务端点资源。
  • 进行预测。
  • 取消部署模型。
Colab
GitHub
Vertex AI Workbench
文本数据的情感分析
训练适用于在线预测的 AutoML 文本情感分析模型
了解如何使用 Vertex AI SDK 通过 Python 脚本创建并部署 AutoML 文本情感分析模型,以进行在线预测。详细了解文本数据的情感分析

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 为要对数据集应用的 AutoML 模型创建训练作业。
  • 查看模型评估指标。
  • 将 Vertex AI 模型资源部署到服务 Vertex AI 端点。
  • 向所部署的模型发出预测请求。
  • 从端点取消部署模型。
  • 执行清理过程。
Colab
GitHub
Vertex AI Workbench
视频数据的动作识别
适用于批量预测的 AutoML 训练视频动作识别模型
了解如何通过 Python 脚本创建 AutoML 视频动作识别模型,然后使用 Vertex AI SDK 进行批量预测。详细了解视频数据的动作识别

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
视频数据的分类
适用于批量预测的 AutoML 训练视频分类模型
了解如何通过 Python 脚本创建 AutoML 视频分类模型,然后使用 Vertex AI SDK 进行批量预测。详细了解视频数据的分类

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
视频数据的对象跟踪
适用于批量预测的 AutoML 训练视频对象跟踪模型
了解如何通过 Python 脚本创建 AutoML 视频对象跟踪模型,然后使用 Vertex AI SDK 进行批量预测。详细了解视频数据的对象跟踪

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
BigQuery ML
开始进行 BigQuery ML 训练
了解如何通过 Vertex AI 使用 BigQueryML 进行训练。详细了解 BigQuery ML

教程步骤

  • 在项目中创建本地 BigQuery 表
  • 训练 BigQuery ML 模型
  • 评估 BigQuery ML 模型
  • 将 BigQuery ML 模型作为 Cloud 模型导出
  • 将导出的模型作为 Vertex AI 模型资源上传
  • 使用 Vertex AI Vizier 对 BigQuery ML 模型进行超参数调节
  • 自动将 BigQuery ML 模型注册到 Vertex AI Model Registry
Colab
GitHub
Vertex AI Workbench
自定义训练
Vertex AI Prediction
使用 FastAPI 和 Vertex AI 自定义容器服务部署鸢尾花检测模型
了解如何在 Vertex AI 上创建、部署和提供自定义分类模型。详细了解自定义训练。详细了解 Vertex AI Prediction

教程步骤

  • 训练一个使用花朵测量值作为输入来预测鸢尾花类型的模型。
  • 保存模型及其序列化预处理器。
  • 构建一个 FastAPI 服务器来处理预测和健康检查。
  • 使用模型工件构建自定义容器。
  • 将自定义容器上传并部署到 Vertex AI 端点。
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
基于 BigQuery 数据训练 TensorFlow 模型
了解如何使用 Python 版 Vertex AI SDK 通过 Python 脚本在 Docker 容器中创建自定义训练的模型,然后发送数据,以通过所部署的模型进行预测。详细了解 Vertex AI Training

教程步骤

  • 创建用于训练模型的 Vertex AI 自定义 TrainingPipeline。
  • 训练 TensorFlow 模型。
  • 将模型资源部署到服务端点资源。
  • 进行预测。
  • 取消部署模型资源。
Colab
GitHub
Vertex AI Workbench
自定义训练
使用自定义训练容器并自动注册模型以进行自定义训练
在本教程中,您将使用 Vertex AI SDK 在自定义 Docker 容器中通过 Python 脚本创建一个自定义模型,并自动在 Vertex AI Model Registry 中注册该模型。详细了解自定义训练

教程步骤

  • 创建一个 Vertex AI 自定义作业来训练模型。
  • 使用自定义容器训练和注册 TensorFlow 模型。
  • 列出已在 Vertex AI Model Registry 中注册的模型。
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard Profiler
使用 Profiler 分析模型训练性能
了解如何为自定义训练作业启用 Vertex AI TensorBoard Profiler。详细了解 Vertex AI TensorBoard Profiler

教程步骤

  • 设置服务账号和 Cloud Storage 存储桶
  • 创建 Vertex AI TensorBoard 实例
  • 创建并运行自定义训练作业
  • 查看 Vertex AI TensorBoard Profiler 信息中心
Colab
GitHub
Vertex AI Workbench
自定义训练
Vertex AI Training for XGBoost 使用入门
了解如何使用 Vertex AI Training 训练 XGBoost 自定义模型。详细了解自定义训练

教程步骤

  • 使用 Python 软件包进行训练。
  • 报告超参数调节的准确性。
  • 使用 Cloud StorageFuse 将模型工件保存到 Cloud Storage。
  • 创建 Vertex AI 模型资源。
Colab
GitHub
Vertex AI Workbench
跨多个部署的共享资源
端点和共享虚拟机使用入门
了解如何使用部署资源池来部署模型。详细了解跨多个部署的共享资源

教程步骤

  • 将预训练的图片分类模型作为模型资源(模型 A)上传。
  • 将预训练的文本句子编码器模型作为模型资源(模型 B)上传。
  • 创建共享虚拟机部署资源池。
  • 列出共享虚拟机部署资源池。
  • 创建两个端点资源。
  • 使用部署资源池将第一个模型(模型 A)部署到第一个端点资源。
  • 使用部署资源池将第二个模型(模型 B)部署到第二个端点资源。
  • 使用部署的第一个模型(模型 A)发出预测请求。
  • 使用部署的第二个模型(模型 B)发出预测请求。
Colab
GitHub
Vertex AI Workbench
自定义训练
Vertex AI Batch Prediction
自定义训练和批量预测
了解如何使用 Vertex AI Training 创建自定义训练模型,并使用 Vertex AI 批量预测对训练模型进行批量预测。 详细了解自定义训练。详细了解 Vertex AI Batch Prediction

教程步骤

  • 创建一个 Vertex AI 自定义作业来训练 TensorFlow 模型。
  • 将经过训练的模型工件作为模型资源上传。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
自定义训练
Vertex AI Prediction
自定义训练和在线预测
了解如何使用 Vertex AI Training 通过 Python 脚本在 Docker 容器中创建自定义训练的模型,然后发送数据以使用 Vertex AI Prediction 通过所部署的模型进行预测。详细了解自定义训练。详细了解 Vertex AI Prediction

教程步骤

  • 创建一个 Vertex AI 自定义作业来训练 TensorFlow 模型。
  • 将经过训练的模型工件上传到模型资源。
  • 创建服务端点资源。
  • 将模型资源部署到服务端点资源。
  • 进行预测。
  • 取消部署模型资源。
Colab
GitHub
Vertex AI Workbench
BigQuery 数据集
适用于 BigQuery 用户使用的 Vertex AI
开始使用 BigQuery 数据集
了解如何使用 BigQuery 作为 Vertex AI 训练的数据集。详细了解 BigQuery 数据集。详细了解适用于 BigQuery 用户使用的 Vertex AI

教程步骤

  • 基于兼容 AutoML 训练的 BigQuery 表创建 Vertex AI 数据集资源。
  • 将数据集的副本从 BigQuery 提取到 Cloud Storage 中兼容 AutoML 训练或自定义训练的 CSV 文件。
  • 从 BigQuery 数据集中选择要转换为兼容自定义训练的 Pandas DataFrame 的行数据。
  • 从 BigQuery 数据集中选择要转换为兼容 TensorFlow 模型自定义训练的 tf.data.Dataset 的行数据。
  • 从提取的 CSV 文件中选择要转换为兼容 TensorFlow 模型自定义训练的 tf.data.Dataset 的行数据。
  • 基于 CSV 文件创建 BigQuery 数据集。
  • 将数据从 BigQuery 表提取到兼容 XGBoost 模型自定义训练的 DMatrix。
Colab
GitHub
Vertex AI Workbench
Vertex AI Data Labeling
Vertex AI Data Labeling 使用入门
了解如何使用 Vertex AI Data Labeling Service。详细了解 Vertex AI Data Labeling

教程步骤

  • 为数据标签添加者创建专家池。
  • 创建为数据加标签作业。
  • 提交为数据加标签作业。
  • 列出为数据加标签作业。
  • 取消数据标签作业。
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
Vertex ML Metadata
构建 Vertex AI 实验沿袭以进行自定义训练
了解如何在 Vertex AI 实验中集成预处理代码。详细了解 Vertex AI Experiments。详细了解 Vertex ML Metadata

教程步骤

  • 执行数据预处理模块
  • 创建数据集工件
  • 记录参数
  • 执行模型训练模块
  • 记录参数
  • 创建模型工件
  • 将跟踪沿袭分配给数据集、模型和参数
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
跟踪本地训练的模型的参数和指标
了解如何使用 Vertex AI Experiments 来比较和评估模型实验。详细了解 Vertex AI Experiments

教程步骤

  • 记录模型参数
  • 将每个周期的损失和指标记录到 Vertex AI TensorBoard
  • 记录评估指标
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
Vertex AI Pipelines
使用 Vertex AI Experiments 比较流水线运行
了解如何使用 Vertex AI Experiments 记录流水线作业及比较不同的流水线作业。详细了解 Vertex AI Experiments。详细了解 Vertex AI Pipelines

教程步骤

  • 规范化训练组件
  • 构建训练流水线
  • 运行多个流水线作业并记录其结果
  • 比较不同的流水线作业
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
删除 Vertex AI TensorBoard 中过时的实验
了解如何删除过时的 Vertex AI TensorBoard 实验以避免不必要的存储费用。详细了解 Vertex AI TensorBoard

教程步骤

  • 如何删除带有预定义键值对标签 <label_key, label_value=""></label_key,> 的 TB 实验
  • 如何删除在 create_time 之前创建的 TB 实验
  • 如何删除在 update_time 之前创建的 TB 实验
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
自定义训练自动日志记录 - 本地脚本
了解如何利用与 Vertex AI Experiments 的集成来自动记录通过 Vertex AI Training 运行的机器学习实验的参数和指标。详细了解 Vertex AI Experiments

教程步骤

  • 通过脚本规范化模型实验
  • 使用本地脚本通过 Vertex AI Training 运行模型训练
  • 在 Vertex AI Experiments 中查看机器学习实验的参数和指标
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
Vertex ML Metadata
自定义训练
Vertex AI Experiments 使用入门
了解如何在使用 Vertex AI 进行训练时使用 Vertex AI Experiments。详细了解 Vertex AI Experiments。详细了解 Vertex ML Metadata。详细了解自定义训练

教程步骤

  • 本地(笔记本)训练
  • 创建实验
  • 在实验中创建第一次运行
  • 记录参数和指标
  • 创建工件沿袭
  • 直观呈现实验结果
  • 执行第二次运行
  • 比较实验中的两次运行
  • Cloud (Vertex AI) Training
  • 在训练脚本中
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
自动日志记录
了解如何使用 Vertex AI 中的自动日志记录功能。

教程步骤

  • 在 Vertex AI SDK 中启用自动日志记录功能。
  • 训练 scikitlearn 模型,并查看在不设置实验运行的情况下,产生的实验运行的指标和参数是否自动记录到 Vertex AI Experiments。
  • 训练 TensorFlow 模型,并使用 aiplatform.start_run() 和 aiplatform.end_run() 手动设置实验运行,以检查自动记录到 Vertex AI Experiments 的指标和参数。
  • 在 Vertex AI SDK 中停用自动日志记录功能,训练一个 PyTorch 模型并检查是否没有记录任何参数或指标。
Colab
GitHub
Vertex AI Workbench
表格数据分类
Vertex Explainable AI
适用于批量解释的 AutoML 训练表格二元分类模型
了解如何使用 AutoML 通过 Python 脚本创建表格二元分类模型,然后使用 Vertex AI Batch Prediction 进行提供解释的预测。详细了解表格数据分类。详细了解 Vertex Explainable AI

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练 AutoML 表格二元分类模型。
  • 查看经过训练的模型的评估指标。
  • 发出具有可解释性的批量预测请求。
Colab
GitHub
Vertex AI Workbench
表格数据分类
Vertex Explainable AI
适用于在线解释的 AutoML 训练表格分类模型
了解如何使用 AutoML 通过 Python 脚本创建表格二元分类模型,然后使用 Vertex AI Online Prediction 进行提供解释的在线预测。详细了解表格数据分类。详细了解 Vertex Explainable AI

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练 AutoML 表格二元分类模型。
  • 查看经过训练的模型的评估指标。
  • 创建服务端点资源。
  • 将模型资源部署到服务端点资源。
  • 发出具有可解释性的在线预测请求。
  • 取消部署模型资源。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Batch Prediction
用于批量预测的自定义训练图片分类模型(包含说明)
了解如何使用 Vertex AI Training 和 Explainable AI 创建提供解释的自定义图片分类模型,然后使用 Vertex AI Batch Prediction 发出提供解释的批量预测请求。详细了解 Vertex Explainable AI。详细了解 Vertex AI Batch Prediction

教程步骤

  • 创建一个 Vertex AI 自定义作业来训练 TensorFlow 模型。
  • 查看经过训练的模型的评估。
  • 就何时部署模型设置解释参数。
  • 将经过训练的模型工件和解释参数作为模型资源上传。
  • 进行提供解释的批量预测。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Prediction
适用于在线预测的提供解释的自定义训练图片分类模型
了解如何使用 Vertex AI Training 和 Explainable AI 创建提供解释的自定义图片分类模型,然后使用 Vertex AI Prediction 发出提供解释的在线预测请求。详细了解 Vertex Explainable AI。详细了解 Vertex AI Prediction

教程步骤

  • 创建一个 Vertex AI 自定义作业来训练 TensorFlow 模型。
  • 查看经过训练的模型的评估。
  • 就何时部署模型设置解释参数。
  • 将经过训练的模型工件和解释作为模型资源上传。
  • 创建服务端点资源。
  • 将模型资源部署到服务端点资源。
  • 进行提供解释的预测。
  • 取消部署模型资源。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Batch Prediction
用于批量预测的自定义训练表格回归模型(包含说明)
了解如何使用 Vertex AI Training 和 Explainable AI 创建具有说明的自定义图片分类模型,然后了解如何使用 Vertex AI 批量预测发出包含说明的批量预测请求。详细了解 Vertex Explainable AI。详细了解 Vertex AI Batch Prediction

教程步骤

  • 创建一个 Vertex AI 自定义作业来训练 TensorFlow 模型。
  • 查看经过训练的模型的评估。
  • 就何时部署模型设置解释参数。
  • 将经过训练的模型工件和解释作为模型资源上传。
  • 进行提供解释的批量预测。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Prediction
用于在线预测的自定义训练表格的回归模型(包含说明)
了解如何使用 Vertex AI Training 和 Explainable AI 创建提供解释的自定义图片分类模型,然后使用 Vertex AI Prediction 发出提供解释的在线预测请求。详细了解 Vertex Explainable AI。详细了解 Vertex AI Prediction

教程步骤

  • 创建一个 Vertex AI 自定义作业来训练 TensorFlow 模型。
  • 查看经过训练的模型的评估。
  • 就何时部署模型设置解释参数。
  • 将经过训练的模型工件和解释作为模型资源上传。
  • 创建服务端点资源。
  • 将模型资源部署到服务端点资源。
  • 进行提供解释的预测。
  • 取消部署模型资源。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Prediction
用于使用 get_metadata 的可解释的在线预测的自定义训练表格回归模型
了解如何使用 Vertex AI SDK 通过 Google 预构建 Docker 容器中的 Python 脚本创建自定义模型,然后通过发送数据来对已部署的模型进行预测(包含说明)。详细了解 Vertex Explainable AI。详细了解 Vertex AI Prediction

教程步骤

  • 创建一个 Vertex 自定义作业来训练模型。
  • 训练 TensorFlow 模型。
  • 检索并加载模型工件。
  • 查看模型评估。
  • 设置解释参数。
  • 将模型作为 Vertex AI 模型资源上传。
  • 将模型资源部署到服务端点资源。
  • 进行提供解释的预测。
  • 取消部署模型资源。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Prediction
使用 Vertex Explainable AI 提供图片分类解释
了解如何在预训练图片分类模型上配置基于特征的解释,并进行提供解释的在线预测和批量预测。详细了解 Vertex Explainable AI。详细了解 Vertex AI Prediction

教程步骤

  • 从 TensorFlow Hub 下载预训练模型
  • 上传模型以进行部署
  • 部署模型以进行在线预测
  • 进行提供解释的在线预测
  • 进行提供解释的批量预测
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
使用 Vertex Explainable AI 提供文本分类解释
了解如何在 TensorFlow 文本分类模型上使用**采样 Shapley 方法**配置基于特征的解释,以进行提供解释的在线预测。详细了解 Vertex Explainable AI

教程步骤

  • 构建和训练 TensorFlow 文本分类模型
  • 上传模型以进行部署
  • 部署模型以进行在线预测
  • 进行提供解释的在线预测
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
流式导入 SDK
了解如何使用 Vertex AI SDK 中的 write_feature_values 方法将特征从 Pandas DataFrame 导入 Vertex AI Feature Store。 详细了解 Vertex AI Feature Store

教程步骤

  • 创建特征存储区。
  • 为特征存储区创建新的实体类型。
  • 将特征值从 Pandas DataFrame 导入特征存储区中的实体类型。
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
使用 Vertex AI Feature Store 对 BigQuery 数据进行在线特征传送和提取
了解如何创建和使用在线特征存储区实例,以通过 Vertex AI Feature Store 在特征值传送和提取用户体验历程的端到端工作流中托管和传送 BigQuery 中的数据。 详细了解 Vertex AI Feature Store

教程步骤

  • 预配在线特征存储区实例以托管和传送数据。
  • 向在线特征存储区实例注册 BigQuery 视图并设置同步作业。
  • 使用在线服务器提取特征值以进行在线预测。
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
使用 Vertex AI Feature Store 优化的传送对 BigQuery 数据进行在线特征传送和提取
了解如何创建和使用在线特征存储区实例,以通过 Vertex AI Feature Store 在特征值传送和提取的端到端工作流中托管和传送 BigQuery 中的数据。 详细了解 Vertex AI Feature Store

教程步骤

  • 预配在线特征存储区实例,以使用通过公共或专用端点进行优化的在线传送来托管和传送数据。
  • 向在线特征存储区实例注册 BigQuery 视图并设置同步作业。
  • 使用在线服务器提取特征值以进行在线预测。
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
使用 Vertex AI Feature Store 进行 BigQuery 数据的在线特征传送和向量检索
了解如何创建和使用在线特征存储区实例,以通过 Vertex AI Feature Store 在特征传送和向量检索用户体验历程的端到端工作流中托管和传送 BigQuery 中的数据。 详细了解 Vertex AI Feature Store

教程步骤

  • 预配在线特征存储区实例以托管和传送数据。
  • 创建在线特征存储区实例以传送 BigQuery 表。
  • 使用在线服务器搜索最邻近项。
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
将 Vertex AI Feature Store(旧版)与 Pandas DataFrame 搭配使用
了解如何将 Vertex AI Feature Store 与 Pandas DataFrame 搭配使用。 详细了解 Vertex AI Feature Store

教程步骤

  • 创建特征存储区、实体类型和特征资源。
  • 将特征值从 Pandas DataFrame 导入实体类型。
  • 将实体特征值从在线特征存储区读入 Pandas DataFrame。
  • 将特征值从特征存储区批量传送到 Pandas DataFrame 中。
  • 在线传送更新的特征值。
  • 提取用于训练的特征值时具备时间点正确性。
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
使用 Vertex AI Feature Store(旧版)进行在线预测和批量预测
了解如何使用 Vertex AI Feature Store 导入特征数据,然后访问这些特征数据以执行在线传送和离线任务(例如训练)。 详细了解 Vertex AI Feature Store

教程步骤

  • 创建特征存储区、实体类型和特征资源。
  • 将特征数据导入特征存储区资源。
  • 使用导入的特征处理在线预测请求。
  • 在一些离线作业(如训练作业)中使用导入的特征。
  • 使用流式导入功能导入少量数据。
Colab
GitHub
Vertex AI Workbench
Vertex AI 上的生成式 AI 支持概览
Vertex AI LLM 评估和批量推理
了解如何使用 Vertex AI 评估大语言模型。 详细了解 Vertex AI 上的生成式 AI 支持概览

教程步骤

  • 使用预定义的模板创建 Vertex AI 流水线作业以进行批量推理。
  • 使用 Vertex AI Pipelines 执行流水线。
  • 针对给定数据集的模型生成预测结果。
GitHub
Vertex AI Workbench
使用 RLHF 调优来调整文本模型
Vertex AI LLM 基于人类反馈的强化学习
在本教程中,您将使用 Vertex AI RLHF 调优和部署大语言模型。 详细了解如何使用 RLHF 调优来调整文本模型

教程步骤

  • 设置模型调优步数。
  • 使用预定义的模板创建 Vertex AI 流水线作业以进行调优。
  • 使用 Vertex AI Pipelines 执行流水线。
  • 使用调优后的模型执行在线预测。
Colab
GitHub
Vertex AI Workbench
文本嵌入
使用嵌入执行语义搜索
在本教程中,我们将演示如何创建根据文本生成的嵌入并执行语义搜索。 详细了解文本嵌入

教程步骤

  • 安装和导入
  • 创建嵌入数据集
  • 创建索引
  • 查询索引
Colab
GitHub
Vertex AI Workbench
文本嵌入 API
文本嵌入新 API
了解如何在两个新模型 textembedding-gecko@002 和 textembedding-gecko-multilingual@001 上调用文本嵌入最新 API: 详细了解文本嵌入 API

教程步骤

  • 安装和导入
  • 生成嵌入
Colab
GitHub
Vertex AI Workbench
使用监督式调优来调整文本模型
Vertex AI 调优 PEFT 模型
了解如何使用 Vertex AI LLM 调优和部署 PEFT 大语言模型。 详细了解如何使用监督式调优来调整文本模型

教程步骤

  • 获取 Vertex AI LLM 模型。
  • 调整模型。
  • 这会自动创建 Vertex AI 端点并将模型部署到该端点。
  • 使用 Vertex AI LLM 进行预测。
  • 使用 Vertex AI Prediction 进行预测
Colab
GitHub
Vertex AI Workbench
PaLM API
将 Vertex AI SDK 与大语言模型搭配使用
了解如何为 Vertex AI 上提供的大语言模型提供文本输入,以测试、调优和部署生成式 AI 语言模型。 详细了解 PaLM API

教程步骤

  • 使用 Vertex AI PaLM API 的预测端点接收对消息的生成式 AI 响应。
  • 使用文本嵌入端点接收消息的向量表示。
  • 根据输入/输出训练数据执行 LLM 提示调优。
Colab
GitHub
Vertex AI Workbench
Vector Search
使用 Vertex AI Multimodal Embeddings 和 Vector Search
了解如何对自定义文本嵌入进行编码、创建近似最近邻索引并针对索引进行查询。

教程步骤

  • 将图片数据集转换为嵌入
  • 创建索引
  • 将嵌入上传到索引
  • 创建索引端点
  • 将索引部署到索引端点
  • 执行在线查询
Colab
GitHub
Vertex AI Workbench
Vector Search
使用 Vector Search 处理 StackOverflow 问题
了解如何对自定义文本嵌入进行编码、创建近似最近邻索引并针对索引进行查询。详细了解 Vector Search

教程步骤

  • 创建 ANN 索引
  • 使用 VPC 网络创建索引端点
  • 部署 ANN 索引
  • 执行在线查询
Colab
GitHub
Vertex AI Workbench
Vector Search
Vertex AI Embeddings for Text
使用 Vector Search 和 Vertex AI Embeddings for Text 处理 StackOverflow 问题
了解如何对文本嵌入进行编码、创建近似最近邻索引并针对索引进行查询。详细了解 Vector Search。 详细了解适用于文本的 Vertex AI 嵌入

教程步骤

  • 将 BigQuery 数据集转换为嵌入
  • 创建索引
  • 将嵌入上传到索引
  • 创建索引端点
  • 将索引部署到索引端点
  • 执行在线查询
Colab
GitHub
Vertex AI Workbench
Vector Search
创建 Vector Search 索引
了解如何创建采用近似最邻近算法的索引、查询索引,并验证索引的性能。详细了解 Vector Search

教程步骤

  • 创建 ANN 索引和暴力破解索引
  • 使用 VPC 网络创建 IndexEndpoint
  • 部署 ANN 索引和暴力破解索引
  • 执行在线查询
  • 计算召回率
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
图片数据分类
AutoML Image Classification
了解如何使用 AutoML 来训练图片模型,并使用 Vertex AI Prediction 和 Vertex AI Batch Prediction 进行在线预测和批量预测。详细了解如何迁移到 Vertex AI。详细了解图片数据分类

教程步骤

  • 训练 AutoML 图片分类模型。
  • 进行批量预测。
  • 将模型部署到端点
  • 进行在线预测
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
图片数据的对象检测
AutoML 图片对象检测
了解如何使用 AutoML 来训练图片模型,并使用 Vertex AI Prediction 和 Vertex AI Batch Prediction 进行在线预测和批量预测。详细了解如何迁移到 Vertex AI。详细了解图片数据的对象检测

教程步骤

  • 训练 AutoML 对象检测模型。
  • 进行批量预测。
  • 将模型部署到端点
  • 进行在线预测
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
视频数据的对象跟踪
AutoML Video 对象跟踪
了解如何使用 AutoML 来训练视频模型,然后使用 Vertex AI Batch Prediction 进行批量预测。详细了解如何迁移到 Vertex AI。详细了解视频数据的对象跟踪

教程步骤

  • 训练 AutoML 视频对象跟踪模型。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
表格数据分类
AutoML 表格二元分类
在本教程中,您将使用 Vertex AI SDK 通过 Python 脚本创建并部署一个 AutoML 表格二元分类模型,以进行在线预测。详细了解如何迁移到 Vertex AI。详细了解表格数据分类

教程步骤

  • 创建 Vertex AI 数据集资源。
  • 训练模型。
  • 查看模型评估。
  • 将模型资源部署到服务端点资源。
  • 进行预测。
  • 取消部署模型
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
文本数据分类
AutoML Text Classification
此笔记本的目标是构建一个 AutoML 文本分类模型。详细了解如何迁移到 Vertex AI。详细了解文本数据分类

教程步骤

  • 设置任务名称和 Cloud Storage 前缀
  • 复制演示用 AutoML 文本训练数据以用其创建代管式数据集
  • 在 Vertex AI 上创建数据集。
  • 配置训练作业
  • 在 Vertex AI 上启动训练作业并创建模型
  • 复制演示用 AutoML 文本预测数据以用其创建批量预测作业
  • 通过模型执行批量预测作业
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
文本数据的实体提取
AutoML 文本实体提取
此笔记本的目标是构建一个 AutoML 文本实体提取模型。详细了解如何迁移到 Vertex AI。详细了解文本数据的实体提取

教程步骤

  • 设置任务名称和 Cloud Storage 前缀
  • 复制演示用 AutoML 视频训练数据以用其创建代管式数据集
  • 在 Vertex AI 上创建数据集。
  • 配置训练作业
  • 在 Vertex AI 上启动训练作业并创建模型
  • 复制演示用 AutoML 视频预测数据以用其创建批量预测作业
  • 通过模型执行批量预测作业
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
文本数据的情感分析
AutoML 文本情感分析
此笔记本的目标是构建一个 AutoML 文本情感分析模型。详细了解如何迁移到 Vertex AI。详细了解文本数据的情感分析

教程步骤

  • 复制演示用 AutoML 视频训练数据以用其创建代管式数据集
  • 在 Vertex AI 上创建数据集。
  • 配置训练作业
  • 在 Vertex AI 上启动训练作业并创建模型
  • 复制演示用 AutoML 视频预测数据以用其创建批量预测作业
  • 通过模型执行批量预测作业
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
视频数据分类
AutoML Video 分类
了解如何使用 AutoML 来训练视频模型,然后使用 Vertex AI Batch Prediction 进行批量预测。详细了解如何迁移到 Vertex AI。详细了解视频数据的分类

教程步骤

  • 训练 AutoML 视频分类模型。
  • 进行批量预测。
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
自定义训练
使用自定义训练容器进行自定义图片分类
了解如何使用自定义容器和 Vertex AI Training 来训练 TensorFlow 图片分类模型。详细了解如何迁移到 Vertex AI。详细了解自定义训练

教程步骤

  • 将训练代码封装到一个 Python 应用中。
  • 使用 Cloud Build 和 Artifact Registry 容器化该训练应用。
  • 在 Vertex AI 中创建一个自定义容器训练作业并运行该作业。
  • 评估通过该训练作业生成的模型。
  • 在 Vertex AI Model Registry 中为经过训练的模型创建模型资源。
  • 运行一个 Vertex AI 批量预测作业。
  • 将模型资源部署到 Vertex AI 端点。
  • 在模型资源上运行一个在线预测作业。
  • 清理创建的资源。
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
自定义训练
使用预构建训练容器进行自定义图片分类
了解如何使用预构建容器和 Vertex AI Training 来训练 TensorFlow 图片分类模型。详细了解如何迁移到 Vertex AI。详细了解自定义训练

教程步骤

  • 将训练代码封装到一个 Python 应用中。
  • 使用 Cloud Build 和 Artifact Registry 容器化该训练应用。
  • 在 Vertex AI 中创建一个自定义容器训练作业并运行该作业。
  • 评估通过该训练作业生成的模型。
  • 在 Vertex AI Model Registry 中为经过训练的模型创建模型资源。
  • 运行一个 Vertex AI 批量预测作业。
  • 将模型资源部署到 Vertex AI 端点。
  • 在模型资源上运行一个在线预测作业。
  • 清理创建的资源。
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
自定义训练
使用预构建训练容器来训练自定义 Scikit-Learn 模型
了解如何使用 Vertex AI Training 创建自定义训练模型,并使用 Vertex AI 批量预测对训练模型进行批量预测。 详细了解如何迁移到 Vertex AI。详细了解自定义训练

教程步骤

  • 创建一个 Vertex AI 自定义作业来训练 scikitlearn 模型。
  • 将经过训练的模型工件作为模型资源上传。
  • 进行批量预测。
  • 将模型部署到端点
  • 进行在线预测
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
自定义训练
使用预构建训练容器来训练自定义 XGBoost 模型
了解如何使用 Vertex AI Training 创建自定义训练模型,并使用 Vertex AI 批量预测对训练模型进行批量预测。 详细了解如何迁移到 Vertex AI。详细了解自定义训练

教程步骤

  • 创建一个 Vertex AI 自定义作业来训练 scikitlearn 模型。
  • 将经过训练的模型工件作为模型资源上传。
  • 进行批量预测。
  • 将模型部署到端点
  • 进行在线预测
Colab
GitHub
Vertex AI Workbench
迁移到 Vertex AI
自定义训练
超参数调节
了解如何使用 Vertex AI Hyperparameter 来创建和调整经过训练的自定义模型。详细了解如何迁移到 Vertex AI。详细了解自定义训练

教程步骤

  • 创建一个 Vertex AI 超参数调节作业来训练 TensorFlow 模型。
Colab
GitHub
Vertex AI Workbench
Google Artifact Registry 文档
Google Artifact Registry 使用入门
了解如何使用 Google Artifact Registry。 详细了解 Google Artifact Registry 文档

教程步骤

  • 创建私有 Docker 仓库。
  • 标记私有 Docker 仓库专用的容器映像。
  • 将容器映像推送到私有 Docker 仓库。
  • 从私有 Docker 仓库中拉取容器映像。
  • 删除私有 Docker 仓库。
Colab
GitHub
Vertex AI Workbench
Vertex ML Metadata
自定义训练
Vertex AI Experiments
跟踪自定义训练作业的参数和指标
了解如何使用 Python 版 Vertex AI SDK 执行以下操作: 详细了解 Vertex ML Metadata。 详细了解自定义训练。详细了解 Vertex AI Experiments

教程步骤

  • 跟踪自定义训练作业的训练参数和预测指标。
  • 提取并分析实验中的所有参数和指标。
Colab
GitHub
Vertex AI Workbench
Vertex ML Metadata
跟踪本地训练的模型的参数和指标
了解如何使用 Vertex ML Metadata 来跟踪训练参数和评估指标。详细了解 Vertex ML Metadata

教程步骤

  • 跟踪本地训练的模型的参数和指标。
  • 提取并分析实验中的所有参数和指标。
Colab
GitHub
Vertex AI Workbench
Vertex ML Metadata
Vertex AI Pipelines
使用 Vertex ML Metadata 跟踪各 Vertex AI Pipelines 流水线运行的工件和指标
了解如何使用 Vertex ML Metadata 跟踪各 Vertex AI Pipeline 流水线运行中的工件和指标。详细了解 Vertex ML Metadata。详细了解 Vertex AI Pipelines

教程步骤

  • 使用 Kubeflow Pipelines SDK 构建在 Vertex AI 上运行的机器学习流水线
  • 该流水线将创建一个数据集、训练一个 scikitlearn 模型,并将该模型部署到端点
  • 编写用于生成工件和元数据的自定义流水线组件
  • 比较 Cloud 控制台和编程中的 Vertex AI Pipelines 运行
  • 跟踪流水线生成的工件的沿袭
  • 查询流水线运行的元数据
Colab
GitHub
Vertex AI Workbench
Vertex AI 模型评估
表格数据分类
评估 AutoML 表格分类模型的批量预测结果
了解如何训练 Vertex AI AutoML 表格分类模型,并了解如何使用 google_cloud_pipeline_components 通过 Vertex AI 流水线作业对其进行评估: 详细了解 Vertex AI 模型评估。 详细了解表格数据分类

教程步骤

  • 创建 Vertex AI 数据集。
  • 基于数据集资源训练 AutoML 表格分类模型。
  • 将经过训练的 AutoML 模型资源导入流水线。
  • 运行批量预测作业。
  • 使用分类评估组件评估 AutoML 模型。
  • 将分类指标导入 AutoML 模型资源。
Colab
GitHub
Vertex AI Workbench
Vertex AI 模型评估
表格数据的回归
评估 AutoML 表格回归模型的批量预测结果
了解如何使用 google_cloud_pipeline_components 通过 Vertex AI 流水线作业评估 Vertex AI 模型资源: 详细了解 Vertex AI 模型评估。 详细了解表格数据的回归

教程步骤

  • 创建 Vertex AI 数据集
  • 配置 AutoMLTabularTrainingJob
  • 运行 AutoMLTabularTrainingJob 以返回模型
  • 将经过预训练的 AutoML 模型资源导入流水线
  • 在流水线中运行批量预测作业
  • 使用回归评估组件评估 AutoML 模型
  • 将回归指标导入 AutoML 模型资源
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Evaluation
文本数据的分类
使用 google-cloud-pipeline-components 的 AutoML 文本分类流水线
了解如何使用 Vertex AI Pipelines 和 Google Cloud 流水线组件构建和评估 AutoML 文本分类模型。 详细了解 Vertex AI Model Evaluation。 详细了解文本数据的分类

教程步骤

  • 创建 Vertex AI 数据集。
  • 基于数据集资源训练 AutoML 文本分类模型。
  • 将经过训练的 AutoML 模型资源导入流水线。
  • 运行批量预测作业。
  • 使用分类评估组件评估 AutoML 模型。
  • 将评估指标导入 AutoML 模型资源。
Colab
GitHub
Vertex AI Workbench
Vertex AI 模型评估
视频数据分类
评估 AutoML 视频分类模型的批量预测结果
了解如何训练 Vertex AI AutoML Video 分类模型,并了解如何使用 google_cloud_pipeline_components 通过 Vertex AI 流水线作业对其进行评估: 详细了解 Vertex AI 模型评估。 详细了解视频数据的分类

教程步骤

  • 创建 Vertex AI 数据集。
  • 基于 Vertex AI 数据集资源训练 AutoML 视频分类模型。
  • 将经过训练的 AutoML Vertex AI 模型资源导入流水线。
  • 在流水线中运行批量预测作业。
  • 使用分类评估组件评估 AutoML 模型。
  • 将分类指标导入 AutoML Vertex AI 模型资源。
Colab
GitHub
Vertex AI Workbench
Vertex AI 模型评估
Vertex AI Training
评估自定义表格分类模型的批量预测结果
在本教程中,您将训练一个 scikit-learn RandomForest 模型,将该模型保存到 Vertex AI Model Registry 中,并使用 google_cloud_pipeline_components 通过 Vertex AI 流水线作业对其进行评估。详细了解 Vertex AI Model Evaluation。 详细了解 Vertex AI Training

教程步骤

  • 从公共来源提取数据集。
  • 在本地预处理数据,并将测试数据保存在 BigQuery 中。
  • 使用 scikitlearn Python 软件包在本地训练 RandomForest 分类模型。
  • 在 Artifact Registry 中创建自定义容器以进行预测。
  • 将模型上传到 Vertex AI Model Registry。
  • 创建并运行 Vertex AI 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI 模型评估
自定义训练
评估自定义表格回归模型的批量预测结果
了解如何使用 google_cloud_pipeline_components 通过 Vertex AI 流水线作业评估 Vertex AI 模型资源: 详细了解 Vertex AI 模型评估。 详细了解自定义训练

教程步骤

  • 创建一个 Vertex AI CustomTrainingJob 来训练模型。
  • 运行 CustomTrainingJob
  • 检索并加载模型工件。
  • 查看模型评估。
  • 将模型作为 Vertex AI 模型资源上传。
  • 将经过预训练的 Vertex AI 模型资源导入流水线。
  • 在流水线中运行批量预测作业。
  • 使用回归评估组件评估模型。
  • 将回归指标导入 Vertex AI 模型资源。
Colab
GitHub
Vertex AI Workbench
Vertex AI 中的模型评估
使用入门:将自定义模型评估导入 Vertex AI Model Registry
了解如何构建自定义模型评估,并将自定义模型评估上传到 Vertex AI Model Registry 中的模型资源条目。详细了解 Vertex AI 中的模型评估

教程步骤

  • 将经过预训练的(绑定的)模型导入 Vertex AI Model Registry。
  • 构建一个自定义模型评估。
  • 将模型评估指标导入 Vertex AI Model Registry 中的相应模型。
  • 列出 Vertex AI Model Registry 中相应模型的模型评估。
  • 构建另一个自定义模型评估。
  • 将第二个模型评估的指标导入 Vertex AI Model Registry 中的相应模型。
  • 列出 Vertex AI Model Registry 中相应模型的第二个模型评估。
Colab
GitHub
Vertex AI Workbench
用于批量预测的 Vertex AI Model Monitoring
将 Vertex AI Batch Prediction 与 Model Monitoring 搭配使用
了解如何使用 Vertex AI Model Monitoring 服务检测批量预测中的偏移和异常。详细了解适用于批量预测的 Vertex AI Model Monitoring

教程步骤

  • 将预训练模型作为 Vertex AI 模型资源上传。
  • 生成批量预测请求。
  • 解读模型监控功能报告的统计信息、可视化和其他数据。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
适用于 AutoML 表格模型的 Vertex AI Model Monitoring
了解如何使用 Vertex AI Model Monitoring 服务检测 AutoML 表格模型的输入预测请求中的特征偏差和偏移。详细了解 Vertex AI Model Monitoring

教程步骤

  • 训练 AutoML 模型。
  • 将模型资源部署到端点资源。
  • 配置端点资源以进行模型监控。
  • 生成合成预测请求以监控其偏差。
  • 生成合成预测请求以监控其偏移。
  • 等待电子邮件提醒通知。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
适用于 AutoML 图片模型中的批量预测的 Vertex AI Model Monitoring
了解如何将 Vertex AI 模型监控和 Vertex AI 批量预测与 AutoML 图片分类模型搭配使用,以检测未分发的图片。详细了解 Vertex AI Model Monitoring

教程步骤

  • 1. 训练 AutoML 图片分类模型。
  • 2. 提交同时包含已分发和未分发图片的批量预测。
  • 3.使用模型监控功能计算每张图片的异常值分数。
  • 4.识别批量预测请求中未分发的图片。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
适用于 AutoML 图片模型中的在线预测的 Vertex AI Model Monitoring
了解如何将 Vertex AI 模型监控和 Vertex AI 在线预测与 AutoML 图片分类模型搭配使用,以检测未分发的图片。详细了解 Vertex AI Model Monitoring

教程步骤

  • 1. 训练 AutoML 图片分类模型。
  • 2. 创建端点。
  • 3.将模型部署到端点,并针对模型监控进行配置。
  • 4.提交包含已分发和未分发图片的在线预测。
  • 5. 使用模型监控功能计算每张图片的异常值分数。
  • 6. 识别在线预测请求中未分发的图片。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
适用于自定义表格模型的 Vertex AI Model Monitoring
了解如何使用 Vertex AI Model Monitoring 服务检测自定义表格模型的输入预测请求中的特征偏差和偏移。详细了解 Vertex AI Model Monitoring

教程步骤

  • 下载经过预训练的自定义表格模型。
  • 将经过预训练的模型作为模型资源上传。
  • 将模型资源部署到端点资源。
  • 配置端点资源以进行模型监控。
  • 生成合成预测请求以监控其偏差。
  • 等待电子邮件提醒通知。
  • 生成合成预测请求以监控其偏移。
  • 等待电子邮件提醒通知。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
适用于使用 TensorFlow Serving 容器的自定义表格模型的 Vertex AI Model Monitoring
了解如何使用 Vertex AI Model Monitoring 服务检测使用自定义部署容器的自定义表格模型的输入预测请求中的特征偏差和偏移。详细了解 Vertex AI Model Monitoring

教程步骤

  • 下载经过预训练的自定义表格模型。
  • 将经过预训练的模型作为模型资源上传。
  • 使用 TensorFlow Serving 服务二进制文件将模型资源部署到端点资源。
  • 配置端点资源以进行模型监控。
  • 生成合成预测请求以监控其偏差。
  • 等待电子邮件提醒通知。
  • 生成合成预测请求以监控其偏移。
  • 等待电子邮件提醒通知。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
适用于表格模型的设置的 Vertex AI 模型监控
了解如何设置 Vertex AI Model Monitoring 服务以检测输入预测请求中的特征偏差和偏移。详细了解 Vertex AI Model Monitoring

教程步骤

  • 下载经过预训练的自定义表格模型。
  • 将经过预训练的模型作为模型资源上传。
  • 将模型资源部署到端点资源。
  • 配置端点资源以进行模型监控。
  • 特征输入的偏差和偏移检测。
  • 特征归因的偏差和偏移检测。
  • 通过发送 1,000 个预测请求自动生成输入架构。
  • 列出、暂停、恢复和删除监控作业。
  • 对预定义的输入架构重启监控作业。
  • 查看记录的受监控数据。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
适用于 XGBoost 模型的 Vertex AI Model Monitoring
了解如何使用 Vertex AI Model Monitoring 服务检测 XGBoost 模型的输入预测请求中的特征偏差和偏移。详细了解 Vertex AI Model Monitoring

教程步骤

  • 下载经过预训练的 XGBoost 模型。
  • 将经过预训练的模型作为模型资源上传。
  • 将模型资源部署到端点资源。
  • 配置端点资源以进行模型监控
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
将 Vertex AI Model Monitoring 与 Explainable AI 特征归因搭配使用
了解如何使用 Vertex AI Model Monitoring 服务检测所部署 Vertex AI 模型资源的预测请求中的偏移和异常。详细了解 Vertex AI Model Monitoring

教程步骤

  • 将预训练模型作为 Vertex AI 模型资源上传。
  • 创建 Vertex AI 端点资源。
  • 将模型资源部署到端点资源。
  • 配置端点资源以进行模型监控。
  • 初始化基准分布以进行模型监控。
  • 生成合成预测请求。
  • 了解如何解读模型监控功能报告的统计信息、可视化和其他数据。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Registry
Vertex AI Model Registry 使用入门
了解如何使用 Vertex AI Model Registry 创建和注册模型的多个版本。详细了解 Vertex AI Model Registry

教程步骤

  • 创建模型的第一个版本并将其注册到 Vertex AI Model Registry。
  • 创建模型的第二个版本并将其注册到 Vertex AI Model Registry。
  • 更新默认的模型版本(绑定)。
  • 删除模型版本。
  • 重新训练下一个模型版本。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
AutoML 组件
表格数据分类
使用 google-cloud-pipeline-components 的 AutoML 表格流水线
了解如何使用 Vertex AI Pipelines 和 Google Cloud 流水线组件构建 AutoML 表格分类模型。详细了解 Vertex AI Pipelines。详细了解 AutoML 组件。详细了解表格数据分类

教程步骤

  • 创建 KFP 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI 中的模型评估
将模型部署到生产环境时可使用的挑战者与绑定项对比方法
了解如何构建一个 Vertex AI Pipelines 流水线来训练一个新的挑战者模型版本、评估该模型并将评估结果与生产环境中的现有绑定模型进行对比,以确定该挑战者模型能否成为生产环境中绑定模型的替代项。详细了解 Vertex AI Pipelines。详细了解 Vertex AI 中的模型评估

教程步骤

  • 将经过预训练的(绑定的)模型导入 Vertex AI Model Registry。
  • 将合成模型评估指标导入相应的(绑定)模型。
  • 创建 Vertex AI 端点资源
  • 将可靠模型部署到端点资源。
  • 创建 Vertex AI Pipelines 流水线
  • 获取绑定模型。
  • 导入预训练模型的另一个实例(挑战者)。
  • 将预训练(挑战者)模型注册为现有绑定模型的新版本。
  • 创建合成模型评估。
  • 将合成模型评估指标导入相应的挑战者模型。
  • 比较评估结果,并将绑定项或挑战者设为默认项。
  • 部署新的绑定模型。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
使用 KFP SDK 的流水线控制结构
了解如何使用 KFP SDK 构建使用循环和条件的流水线,包括相关嵌套示例。详细了解 Vertex AI Pipelines

教程步骤

  • 创建 KFP 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
自定义训练组件
使用预构建的 Google Cloud 流水线组件进行自定义训练
了解如何使用 Vertex AI Pipelines 和 Google Cloud 流水线组件构建自定义模型。详细了解 Vertex AI Pipelines。详细了解自定义训练组件

教程步骤

  • 创建 KFP 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI Batch Prediction 组件
使用 BigQuery 作为训练和批量预测的来源和目标的自定义表格分类模型
在本教程中,您将训练一个 scikit-learn 表格分类模型,并使用 google_cloud_pipeline_components 通过 Vertex AI 流水线为其创建批量预测作业。详细了解 Vertex AI Pipelines。详细了解 Vertex AI Batch Prediction 组件

教程步骤

  • 在 BigQuery 中创建数据集。
  • 从源数据集中预留出一些数据,以进行批量预测。
  • 为训练应用创建自定义 Python 软件包。
  • 将该 Python 软件包上传到 Cloud Storage。
  • 创建 Vertex AI Pipeline 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI 超参数调节
Vertex AI 超参数调节流水线组件使用入门
了解如何使用预构建的 Google Cloud 流水线组件进行 Vertex AI 超参数调节。详细了解 Vertex AI Pipelines。详细了解 Vertex AI 超参数调节

教程步骤

  • 构建流水线用于
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI Pipelines 的机器管理使用入门
了解如何将独立的自定义训练组件转换为 Vertex AI CustomJob,其中:

教程步骤

  • 使用独立的训练作业创建自定义组件。
  • 使用机器资源的组件级设置执行流水线
  • 将独立的训练组件转换为 Vertex AI CustomJob。
  • 使用机器资源的自定义作业级设置执行流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
AutoML 组件
使用 google-cloud-pipeline-components 的 AutoML 图片分类流水线
了解如何使用 Vertex AI Pipelines 和 Google Cloud 流水线组件构建 AutoML 图片分类模型。详细了解 Vertex AI Pipelines。详细了解 AutoML 组件

教程步骤

  • 创建 KFP 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
AutoML 组件
表格数据的回归
使用 google-cloud-pipeline-components 的 AutoML 表格回归流水线
了解如何使用 Vertex AI Pipelines 和 Google Cloud 流水线组件构建 AutoML 表格回归模型。详细了解 Vertex AI Pipelines。详细了解 AutoML 组件。详细了解表格数据的回归

教程步骤

  • 创建 KFP 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
AutoML 组件
使用 google-cloud-pipeline-components 的 AutoML 文本分类流水线
了解如何使用 Vertex AI Pipelines 和 Google Cloud 流水线组件构建 AutoML 文本分类模型。详细了解 Vertex AI Pipelines。详细了解 AutoML 组件

教程步骤

  • 创建 KFP 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
BigQuery ML 组件
使用 Swivel、BigQuery ML 和 Vertex AI Pipelines 训练流量获取预测模型
了解如何使用 Vertex AI 流水线构建简单的 BigQuery ML 流水线,以计算文章中内容的文本嵌入,并将其分类为“公司收购”类别。详细了解 Vertex AI Pipelines。详细了解 BigQuery ML 组件

教程步骤

  • 为 Dataflow 作业创建一个组件,以将数据注入到 BigQuery。
  • 创建一个组件,以预处理要对 BigQuery 中的数据运行的步骤。
  • 创建一个组件,以使用 BigQuery ML 训练逻辑回归模型。
  • 使用所创建的所有组件构建和配置一个 Kubeflow DSL 流水线。
  • 在 Vertex AI Pipelines 中编译和运行该流水线。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
自定义训练组件
使用 Google Cloud 流水线组件训练、上传和部署模型
了解如何使用 Vertex AI Pipelines 和 Google Cloud 流水线组件来构建和部署自定义模型。详细了解 Vertex AI Pipelines。详细了解自定义训练组件

教程步骤

  • 创建 KFP 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI Model 组件
使用 google-cloud-pipeline-components 上传、预测和评估模型
了解如何使用包含 google_cloud_pipeline_components 组件以及您构建的自定义流水线组件的流水线来评估自定义模型。 详细了解 Vertex AI Pipelines。详细了解 Vertex AI 模型组件

教程步骤

  • 将经过预训练的模型作为模型资源上传。
  • 使用标准答案数据在模型资源上运行 BatchPredictionJob。
  • 生成有关模型资源的评估指标工件。
  • 将评估指标与阈值进行比较。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
与 KFP 2.x 搭配使用的 Vertex AI Pipelines
了解如何将 Vertex AI Pipelines 与 KFP 2 搭配使用。

教程步骤

  • 创建 KFP 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
基于 Python 函数的轻量级组件及组件 I/O
了解如何使用 KFP SDK 构建基于 Python 函数的轻量级组件,然后使用 Vertex AI Pipelines 执行流水线。详细了解 Vertex AI Pipelines

教程步骤

  • 构建基于 Python 函数的 KFP 组件。
  • 构建 KFP 流水线。
  • 通过路径引用和值在组件之间传递工件和参数。
  • 使用 kfp.dsl.importer 方法。
  • 编译 KFP 流水线。
  • 使用 Vertex AI Pipelines 执行 KFP 流水线
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
使用 KFP SDK 直观呈现指标并对各运行进行比较
了解如何使用 KFP SDK 构建可生成评估指标的流水线。详细了解 Vertex AI Pipelines

教程步骤

  • 创建 KFP 组件
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
将模型部署到生产环境时可使用的多竞争者与冠军方法
了解如何构建一个 Vertex AI Pipelines 流水线来将已部署模型中的新生产数据与模型的其他版本进行比对评估,以确定该竞争者模型能否成为生产环境中冠军模型的替代项。

教程步骤

  • 将经过预训练的(冠军)模型导入 Vertex AI Model Registry。
  • 将合成模型训练评估指标导入相应的(冠军)模型。
  • 创建 Vertex AI 端点资源
  • 将冠军模型部署到端点资源。
  • 导入已部署模型的其他(竞争者)版本。
  • 将合成模型训练评估指标导入相应的(竞争者)模型。
  • 创建 Vertex AI Pipelines 流水线
  • 获取冠军模型。
  • (虚构)使用生产数据微调冠军模型
  • 导入冠军模型的合成训练和生产评估指标。
  • 获取竞争者模型。
  • (虚构)使用生产数据微调竞争者模型
  • 导入竞争者模型的合成训练和生产评估指标。
  • 将竞争者的评估结果与冠军进行比对,并将新冠军设置为默认项。
  • 部署新的冠军模型。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
KFP 的流水线简介
了解如何使用 KFP SDK 构建可生成评估指标的流水线。详细了解 Vertex AI Pipelines

教程步骤

  • 定义并编译 Vertex AI 流水线。
  • 指定要用于流水线运行的服务账号。
Colab
GitHub
Vertex AI Workbench
AutoML 组件
BigQuery ML 组件
BigQuery ML 和 AutoML - 使用 Vertex AI 进行实验
了解如何使用 Vertex AI Predictions 对模型进行快速原型设计。详细了解 AutoML 组件。详细了解 BigQuery ML 组件

教程步骤

  • 创建 BigQuery 和 Vertex AI 训练数据集。
  • 训练 BigQuery ML 和 AutoML 模型。
  • 从 BigQueryML 和 AutoML 模型中提取评估指标。
  • 选择训练效果最佳的模型。
  • 部署训练效果最佳的模型。
  • 测试所部署模型的基础架构。
Colab
GitHub
Vertex AI Workbench
Vertex AI Batch Prediction
启用特征过滤功能的自定义模型批量预测
了解如何使用 Python 版 Vertex AI SDK 通过 Python 脚本在 Docker 容器中创建自定义训练的模型,然后添加或排除特征列表,运行批量预测作业。详细了解 Vertex AI Batch Prediction

教程步骤

  • 创建用于训练模型的 Vertex AI 自定义 TrainingPipeline。
  • 训练 TensorFlow 模型。
  • 发送批量预测作业。
Colab
GitHub
Vertex AI Workbench
Vertex AI Prediction
NVIDIA Triton 服务器使用入门
了解如何将使用 Vertex AI 模型资源运行 Nvidia Triton 服务器的容器部署到 Vertex AI 端点以进行在线预测。 详细了解 Vertex AI Prediction

教程步骤

  • 从 TensorFlow Hub 下载模型工件。
  • 为模型创建 Triton 服务配置文件。
  • 使用 Triton 服务映像构建自定义容器,以进行模型部署。
  • 将模型作为 Vertex AI 模型资源上传。
  • 将 Vertex AI 模型资源部署到 Vertex AI 端点资源。
  • 发出预测请求
  • 取消部署模型资源并删除端点
Colab
GitHub
Vertex AI Workbench
Raw Predict
将 TensorFlow Serving 函数与 Vertex AI Raw Prediction 搭配使用的使用入门
了解如何在 Vertex AI 端点资源上使用 Vertex AI Raw Prediction。 详细了解 Raw Predict

教程步骤

  • 下载 TensorFlow 1.x Estimator 的预训练表格分类模型工件。
  • 将 TensorFlow Estimator 模型作为 Vertex AI 模型资源上传。
  • 创建端点资源。
  • 将模型资源部署到端点资源。
  • 对部署到端点资源的模型资源实例进行在线原始预测。
Colab
GitHub
Vertex AI Workbench
从自定义训练的模型获取预测结果
将 TensorFlow Serving 与 Vertex AI Prediction 搭配使用的使用入门
了解如何通过 TensorFlow Serving 服务二进制文件在 Vertex AI 端点资源上使用 Vertex AI Prediction。 详细了解如何从自定义训练的模型获取预测结果

教程步骤

  • 从 TensorFlow Hub 下载预训练的图片分类模型。
  • 创建服务函数以接收压缩图片数据,并为模型输入输出解压缩后的预处理数据。
  • 将 TensorFlow Hub 模型和服务函数作为 Vertex AI 模型资源上传。
  • 创建端点资源。
  • 使用 TensorFlow Serving 服务二进制文件将模型资源部署到端点资源。
  • 对部署到端点资源的模型资源实例进行在线预测。
  • 对模型资源实例进行批量预测。
Colab
GitHub
Vertex AI Workbench
专用端点
Vertex AI 专用端点使用入门
了解如何使用 Vertex AI 专用端点资源。 详细了解专用端点

教程步骤

  • 创建专用端点资源。
  • 配置 VPC 对等互连连接。
  • 配置模型资源的服务二进制文件,以部署到专用端点资源。
  • 将模型资源部署到专用端点资源。
  • 向专用端点发送预测请求
Colab
GitHub
Vertex AI Workbench
Vertex AI 语言模型
Vertex AI LLM 和流式预测
了解如何使用 Vertex AI LLM 下载预训练的 LLM 模型、进行预测并微调模型。 详细了解 Vertex AI 语言模型

教程步骤

  • 加载预训练的文本生成模型。
  • 进行非流式预测
  • 加载预训练的文本生成模型,该模型支持流式预测。
  • 进行流式预测
  • 加载预训练的聊天模型。
  • 进行本地交互式聊天会话。
  • 使用文本生成模型进行批量预测。
  • 使用文本嵌入模型进行批量预测。
Colab
GitHub
Vertex AI Workbench
用于预测的预构建容器
在 Vertex AI 上使用预构建容器提供 PyTorch 图片模型
了解如何使用预构建的 Vertex AI 容器和 TorchServe 打包和部署 PyTorch 图片分类模型,以进行在线预测和批量预测。详细了解用于预测的预构建容器

教程步骤

  • 从 PyTorch 下载预训练的图片模型
  • 创建自定义模型处理程序
  • 将模型工件打包到一个模型归档文件中
  • 上传模型以进行部署
  • 部署用于预测的模型
  • 进行在线预测
  • 进行批量预测
Colab
GitHub
Vertex AI Workbench
Vertex AI Prediction
在 Vertex AI 上使用预构建容器训练和部署 PyTorch 模型
了解如何使用预构建容器构建、训练和部署 PyTorch 图片分类模型,以进行自定义训练和预测。

教程步骤

  • 将训练应用打包到 Python 源分发包中
  • 在预构建容器中配置并运行训练作业
  • 将模型工件打包到一个模型归档文件中
  • 上传模型以进行部署
  • 使用预构建容器部署模型以进行预测
  • 进行在线预测
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
Vertex AI Reduction Server
使用 Vertex AI Reduction Server 的 PyTorch 分布式训练
了解如何创建使用 PyTorch 分布式训练框架和工具的 PyTorch 分布式训练作业,并在 Vertex AI Training 服务上通过 Reduction Server 运行该训练作业。详细了解 Vertex AI Training。详细了解 Vertex AI Reduction Server

教程步骤

  • 创建 PyTorch 分布式训练应用
  • 使用预构建容器封装训练应用
  • 在 Vertex AI 上通过 Reduction Server 创建自定义作业
  • 提交并监控作业
Colab
GitHub
Vertex AI Workbench
视频数据的分类
AutoML 视频分类示例
此笔记本的目标是构建一个 AutoML 视频分类模型。详细了解视频数据的分类

教程步骤

  • 设置任务名称和 Cloud Storage 前缀
  • 复制演示用 AutoML 视频训练数据以用其创建代管式数据集
  • 在 Vertex AI 上创建数据集。
  • 配置训练作业
  • 在 Vertex AI 上启动训练作业并创建模型
  • 复制演示用 AutoML 视频预测数据以用其创建批量预测作业
  • 通过模型执行批量预测作业
Colab
GitHub
Vertex AI Workbench
自定义训练
使用 Python 软件包、代管式文本数据集和 TF Serving 容器进行自定义训练
了解如何使用自定义训练 Python 软件包创建自定义模型,然后使用 TensorFlow-Serving 容器传送模型,以进行在线预测。详细了解自定义训练

教程步骤

  • 创建实用函数以下载数据并准备 csv 文件以创建 Vertex AI 代管式数据集
  • 下载数据
  • 准备 CSV 文件以创建代管式数据集
  • 创建自定义训练 Python 软件包
  • 创建 TensorFlow Serving 容器
  • 使用代管式文本数据集运行自定义训练 Python 软件包
  • 在 Vertex AI 上部署模型并创建端点
  • 在端点上进行预测
  • 在模型上创建批量预测作业
Colab
GitHub
Vertex AI Workbench
TabNet 的表格工作流
使用 TabNet 模型的 Vertex AI Explanations
了解如何提供示例绘图工具,以直观呈现 TabNet 的输出,这有助于解释算法。详细了解 TabNet 的表格工作流

教程步骤

  • 设置项目。
  • 下载 Syn2 数据的预训练模型的预测数据。
  • 根据掩码输出直观呈现和了解特征重要性。
  • 清理在本教程中创建的资源。
Colab
GitHub
Vertex AI Workbench
TabNet 的表格工作流
使用 TabNet 内置算法进行表格模型训练入门
了解如何运行 Vertex AI TabNet 构建的算法来训练自定义表格模型。详细了解 TabNet 的表格工作流

教程步骤

  • 获取训练数据。
  • 为 Vertex AI TabNet 容器配置训练参数。
  • 使用 CSV 数据通过 Vertex AI Training 训练模型。
  • 将模型作为 Vertex AI 模型资源上传。
  • 将 Vertex AI 模型资源部署到 Vertex AI 端点资源。
  • 使用已部署的模型进行预测。
  • 对 Vertex AI TabNet 模型进行超参数调节。
Colab
GitHub
Vertex AI Workbench
TabNet 的表格工作流
Vertex AI TabNet
了解如何在 Vertex AI 上运行 TabNet 模型。详细了解 TabNet 的表格工作流

教程步骤

  • 1. 设置
Colab
GitHub
Vertex AI Workbench
Google Cloud 流水线组件
适用于表格数据的 Prophet
使用 Vertex AI 表格工作流训练 Prophet 模型
了解如何使用 Google Cloud 流水线组件中的 Vertex AI Pipeline 训练流水线来创建多个 Prophet 模型,然后使用相应的预测流水线来进行批量预测。详细了解 Google Cloud 流水线组件。详细了解适用于表格数据的 Prophet

教程步骤

  • 1. 训练 Prophet 模型。
  • 1. 查看评估指标。
  • 1. 使用 Prophet 模型进行批量预测。
Colab
GitHub
Vertex AI Workbench
TabNet 的表格工作流
TabNet 流水线
了解如何使用两个 Vertex AI TabNet 表格工作流基于表格数据创建分类模型。 详细了解 TabNet 的表格工作流

教程步骤

  • 创建 TabNet CustomJob。如果您知道要用于训练的超参数,则这是最佳方案。
  • 创建 TabNet HyperparameterTuningJob。这样一来,您就可以获得数据集的最佳超参数集。
Colab
GitHub
Vertex AI Workbench
Wide & Deep 的表格工作流
Wide & Deep 流水线
了解如何使用 Vertex AI Wide & Deep 表格工作流创建两个分类模型。详细了解 Wide & Deep 的表格工作流

教程步骤

  • 创建 Wide & Deep CustomJob。如果您知道要用于训练的超参数,则这是最佳方案。
  • 创建 Wide & Deep HyperparameterTuningJob。这样一来,您就可以获得数据集的最佳超参数集。
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
自定义训练
使用自定义容器进行 Vertex AI TensorBoard 自定义训练
了解如何使用自定义容器创建自定义训练作业,并通过 Vertex AI TensorBoard 近乎实时地监控训练过程。详细了解 Vertex AI TensorBoard。详细了解自定义训练

教程步骤

  • 创建 Docker 代码库及配置。
  • 使用自定义训练代码创建自定义容器映像。
  • 设置服务账号和 Google Cloud Storage 存储桶。
  • 使用自定义容器创建并启动自定义训练作业。
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
自定义训练
使用预构建容器进行 Vertex AI TensorBoard 自定义训练
了解如何使用预构建容器创建自定义训练作业,并通过 Vertex AI TensorBoard 近乎实时地监控训练过程。详细了解 Vertex AI TensorBoard。详细了解自定义训练

教程步骤

  • 设置服务账号和 Google Cloud Storage 存储桶。
  • 编写自定义训练代码。
  • 封装训练代码并将其上传到 Google Cloud Storage
  • 创建并启动启用了 Vertex AI TensorBoard 的自定义训练作业,以实现近乎实时的监控。
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
使用 HParams 信息中心进行 Vertex AI TensorBoard 超参数调节
本教程介绍如何在 TensorFlow 中记录超参数实验结果,并在 Vertex AI TensorBoard 的 Hparams 信息中心直观呈现结果。详细了解 Vertex AI TensorBoard

教程步骤

  • 调整各 TensorFlow 运行,以记录它们的超参数和指标。
  • 执行各运行并将它们全部记录在同一个父目录下。
  • 在 Vertex AI TensorBoard 的 HParams 信息中心直观呈现结果。
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard Profiler
使用 Vertex AI TensorBoard Profiler 分析模型训练性能
了解如何为自定义训练作业启用 Vertex AI TensorBoard Profiler。详细了解 Vertex AI TensorBoard Profiler

教程步骤

  • 设置服务账号和 Cloud Storage 存储桶
  • 创建 Vertex AI TensorBoard 实例
  • 创建并运行启用了 Vertex AI TensorBoard Profiler 的自定义训练作业
  • 查看 Vertex AI TensorBoard Profiler 信息中心以调试模型训练性能
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard Profiler
在通过预构建容器进行的自定义训练中使用 Vertex AI TensorBoard Profiler 来分析模型训练性能
了解如何在 Vertex AI 中为通过预构建容器进行的自定义训练作业启用 Vertex AI TensorBoard Profiler。详细了解 Vertex AI TensorBoard Profiler

教程步骤

  • 准备自定义训练代码,并将训练代码作为 Python 软件包加载到预构建容器中
  • 创建并运行启用了 Vertex AI TensorBoard Profiler 的自定义训练作业
  • 查看 Vertex AI TensorBoard Profiler 信息中心以调试模型训练性能
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
Vertex AI Pipelines
将 Vertex AI TensorBoard 与 Vertex AI Pipelines 集成使用
了解如何使用 KFP SDK 创建训练流水线,然后在 Vertex AI Pipelines 中执行该流水线,并通过 Vertex AI TensorBoard 近乎实时地监控训练过程。详细了解 Vertex AI TensorBoard。详细了解 Vertex AI Pipelines

教程步骤

  • 设置服务账号和 Google Cloud Storage 存储桶。
  • 使用自定义训练代码构建 KFP 流水线。
  • 在 Vertex AI Pipelines 中编译和执行启用了 Vertex AI TensorBoard 的 KFP 流水线,以实现近乎实时的监控。
Colab
GitHub
Vertex AI Workbench
Vertex AI 超参数调节
分布式 Vertex AI 超参数调节
在此笔记本中,您将在一个 Docker 容器中通过 Python 脚本创建一个经过自定义训练的模型。详细了解 Vertex AI 超参数调节

教程步骤

  • 使用 Python 软件包进行训练。
  • 报告超参数调节的准确性。
  • 使用 Cloud StorageFuse 将模型工件保存到 Cloud Storage。
Colab
GitHub
Vertex AI Workbench
自定义训练
Vertex AI Training for LightGBM 使用入门
了解如何使用 Vertex AI Training 训练 LightGBM 自定义模型。 详细了解自定义训练

教程步骤

  • 使用 Python 软件包进行训练。
  • 使用 Cloud StorageFuse 将模型工件保存到 Cloud Storage。
  • 构建 FastAPI 预测服务器。
  • 构建 Dockerfile 部署映像。
  • 在本地测试部署映像。
  • 创建 Vertex AI 模型资源。
Colab
GitHub
Vertex AI Workbench
Vertex AI 分布式训练
Vertex AI 分布式训练使用入门
了解如何在使用 Vertex AI 进行训练时使用 Vertex AI 分布式训练。详细了解 Vertex AI 分布式训练

教程步骤

  • MirroredStrategy
Colab
GitHub
Vertex AI Workbench
Vertex AI 超参数调节
为 TensorFlow 模型运行超参数调节
了解如何为 TensorFlow 模型运行 Vertex AI 超参数调节作业。详细了解 Vertex AI 超参数调节

教程步骤

  • 修改训练应用代码以自动进行超参数调节。
  • 容器化训练应用代码。
  • 使用 Vertex AI Python SDK 配置并启动超参数调节作业。
Colab
GitHub
Vertex AI Workbench
Vertex AI 超参数调节
针对 XGBoost 的 Vertex AI 超参数调节
了解如何使用 Vertex AI 超参数调节来训练 XGBoost 自定义模型。详细了解 Vertex AI 超参数调节

教程步骤

  • 使用 Python 软件包进行训练。
  • 报告超参数调节的准确性。
  • 使用 Cloud StorageFuse 将模型工件保存到 Cloud Storage。
  • 创建 Vertex AI 模型资源。
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
通过使用自定义容器进行的 Vertex Training 在 CPU 上进行针对 PyTorch 图片分类的多节点分布式数据并行训练
了解如何使用 Python 版 Vertex AI SDK 和自定义容器创建分布式 PyTorch 训练作业。详细了解 Vertex AI Training

教程步骤

  • 设置您的 Google Cloud 项目
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
通过使用自定义容器进行的 Vertex 训练在 CPU 上进行针对 PyTorch 图片分类的多节点 NCCL 分布式数据并行训练
了解如何使用 Python 版 Vertex AI SDK 和自定义容器创建分布式 PyTorch 训练作业。详细了解 Vertex AI Training

教程步骤

  • 使用 Artifact Registry 和 Docker 构建自定义容器
  • 创建 Vertex AI TensorBoard 实例以存储 Vertex AI 实验
  • 运行 Vertex AI SDK CustomContainerTrainingJob
Colab
GitHub
Vertex AI Workbench
自定义训练
在 Vertex AI 上训练、调整和部署 PyTorch 文本情感分类模型
了解如何在 Vertex AI 上构建、训练、调整和部署 PyTorch 模型。详细了解自定义训练

教程步骤

  • 为文本分类模型创建训练软件包。
  • 在 Vertex AI 上对模型进行自定义训练。
  • 检查创建的模型工件。
  • 创建自定义容器以进行预测。
  • 将经过训练的模型部署到 Vertex AI 端点,并使用自定义容器进行预测。
  • 向所部署的模型发送在线预测请求并进行验证。
  • 清理在此笔记本中创建的资源。
Colab
GitHub
Vertex AI Workbench
Vertex AI 中的 PyTorch 集成
使用 Cloud Storage 中的数据在 Vertex AI 上训练 PyTorch 模型
了解如何使用 PyTorch 以及存储在 Cloud Storage 中的数据集创建训练作业。详细了解 Vertex AI 中的 PyTorch 集成

教程步骤

  • 编写自定义训练脚本来创建训练和测试数据集并训练模型。
  • 运行 Vertex AI SDK CustomTrainingJob
Colab
GitHub
Vertex AI Workbench
分布式训练
使用 PyTorch Torchrun 通过自定义容器简化多节点训练
在本教程中,您将了解如何在多个节点上使用 PyTorch 的 Torchrun 训练 Imagenet 模型。 详细了解分布式训练

教程步骤

  • 创建 Shell 脚本以在主节点上启动 ETCD 集群
  • 使用 PyTorch Elastic 的 GitHub 代码库中的代码创建训练脚本
  • 创建下载数据的容器,并在主机上启动 ETCD 集群
  • 使用具有 GPU 的多个节点训练模型
Colab
GitHub
Vertex AI Workbench
自定义训练
使用 Dask 进行分布式 XGBoost 训练
了解如何将 XGBoost 与 Dask 搭配使用来创建分布式训练作业。详细了解自定义训练

教程步骤

  • 为您的 Google Cloud 项目配置 PROJECT_ID 和 REGION 变量。
  • 创建 Cloud Storage 存储桶以存储模型工件。
  • 构建托管训练代码的自定义 Docker 容器,并将该容器映像推送到 Artifact Registry。
  • 运行 Vertex AI SDK CustomContainerTrainingJob
Colab
GitHub
Vertex AI Workbench
Vertex AI Vizier
使用 Vertex AI Vizier 优化多个目标
了解如何使用 Vertex AI Vizier 优化多目标研究。详细了解 Vertex AI Vizier

教程步骤

Colab
GitHub
Vertex AI Workbench
Vertex AI Vizier
Vertex AI Vizier 使用入门
了解如何使用 Vertex AI Vizier 进行 Vertex AI 训练。详细了解 Vertex AI Vizier

教程步骤

  • 使用随机算法进行超参数调节。
  • 使用 Vizier(贝叶斯)算法进行超参数调节。
  • 针对 Vizier 研究建议试验和更新结果
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex AI Training
训练多类别分类模型以进行广告定位
了解如何从 BigQuery 收集数据、预处理数据,以及对电子商务数据集训练多类别分类模型。详细了解 Vertex AI Workbench。 详细了解 Vertex AI Training

教程步骤

  • 从 BigQuery 中提取所需的数据
  • 预处理数据
  • 训练 TensorFlow (>=2.4) 分类模型
  • 评估经过训练的模型的损失
  • 使用执行程序功能自动执行笔记本
  • 将模型保存到 Cloud Storage 路径
  • 清理所创建的资源
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex Explainable AI
使用芝加哥出租车行程数据集预测出租车费用
此笔记本的目标是通过尝试解决出租车费用预测问题,简要介绍 Vertex AI 的最新功能(例如“Explainable AI”和“笔记本中的 BigQuery”)。详细了解 Vertex AI Workbench。 详细了解 Vertex Explainable AI

教程步骤

  • 使用“笔记本中的 BigQuery”加载数据集。
  • 对数据集执行探索性数据分析。
  • 特征选择和预处理。
  • 使用 scikitlearn 构建线性回归模型。
  • 为 Vertex Explainable AI 配置模型。
  • 将模型部署到 Vertex AI。
  • 测试所部署的模型。
  • 清理。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
使用 Vertex AI 和 BigQuery ML 预测零售需求
了解如何针对零售数据构建 BigQuery ML 中的 ARIMA(自动回归集成移动平均线)模型 详细了解 Vertex AI Workbench。详细了解 BigQuery ML

教程步骤

  • 探索数据
  • 使用 BigQuery 和 ARIMA 模型进行建模
  • 评估模型
  • 使用 BigQuery ML 评估模型结果(基于训练数据)
  • 评估模型结果 MAE、MAPE、MSE、RMSE(基于测试数据)
  • 使用执行程序功能
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
笔记本中 BigQuery 数据的交互式探索性分析
了解在 Jupyter 笔记本环境中探索 BigQuery 数据并从中获取数据洞见的各种方法。详细了解 Vertex AI Workbench。 详细了解 BigQuery ML

教程步骤

  • 使用 Python 和 SQL 在 BigQuery 中查询公共数据
  • 使用 BigQuery INFORMATION_SCHEMA 探索数据集
  • 创建交互式元素来帮助探索数据的相关部分
  • 进行一些探索性相关和时序分析
  • 在笔记本中创建静态输出和交互式输出(数据表和绘图)
  • 将一些输出保存到 Cloud Storage
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
自定义训练
在 Vertex AI 上构建欺诈检测模型
本教程演示了如何使用合成财务数据集进行数据分析和模型构建。详细了解 Vertex AI Workbench。 详细了解自定义训练

教程步骤

  • 安装必需的库
  • 从 Cloud Storage 存储桶读取数据集
  • 对数据集执行探索性分析
  • 预处理数据集
  • 使用 scikitlearn 训练随机森林模型
  • 将模型保存到 Cloud Storage 存储桶
  • 创建 Vertex AI 模型资源并将其部署到端点
  • 对测试数据运行 WhatIf 工具
  • 取消部署模型并清理模型资源
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
使用 Google Analytics(分析)4 和 BigQuery ML 为游戏开发者提供的 churn 预测功能
了解如何在 BigQuery ML 中训练和评估倾向模型。详细了解 Vertex AI Workbench。 详细了解 BigQuery ML

教程步骤

  • 探索在 BigQuery 上导出 Google Analytics(分析)4 数据的过程。
  • 使用受众特征、行为数据和标签(流失/不流失)准备训练数据。
  • 使用 BigQuery ML 训练 XGBoost 模型。
  • 使用 BigQuery ML 评估模型。
  • 使用 BigQuery ML 预测哪些用户将流失。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
使用 Vertex AI 根据电子商务数据进行库存预测
本教程介绍如何执行探索性数据分析、预处理数据、训练模型、评估模型、部署模型、配置 What-If 工具。

教程步骤

  • 使用“笔记本中的 BigQuery”集成从 BigQuery 加载数据集。
  • 分析数据集。
  • 预处理数据集中的特征。
  • 构建一个随机森林分类器模型,以预测商品在接下来的 60 天内是否会销售。
  • 评估此模型。
  • 使用 Vertex AI 部署模型。
  • 使用 WhatIf 工具进行配置和测试。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex AI Training
使用 Vertex AI 进行预测性维护
了解如何使用 Vertex AI Workbench 的执行程序功能来自动执行工作流,以训练和部署模型。详细了解 Vertex AI Workbench。 详细了解 Vertex AI Training

教程步骤

  • 从 Cloud Storage 存储桶加载所需的数据集。
  • 分析数据集中存在的字段。
  • 选择预测性维护模型所需的数据。
  • 训练 XGBoost 回归模型以预测剩余使用寿命。
  • 评估模型。
  • 使用执行程序将笔记本作为训练作业进行端到端运行。
  • 在 Vertex AI 上部署模型。
  • 清理。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
对 CDM 价格数据进行价格优化分析
此笔记本的目标是使用 BigQuery ML 构建一个价格优化模型。详细了解 Vertex AI Workbench。 详细了解 BigQuery ML

教程步骤

  • 从 Cloud Storage 存储桶加载所需的数据集。
  • 分析数据集中存在的字段。
  • 处理数据以构建模型。
  • 基于经过处理的数据构建 BigQuery ML 预测模型。
  • 从 BigQuery ML 模型获取预测值。
  • 解读预测结果以确定最佳价格。
  • 清理。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
对文本数据进行情感分析
使用 AutoML Natural Language 和 Vertex AI 进行情感分析
了解如何训练和部署 AutoML 情感分析模型并进行预测。详细了解 Vertex AI Workbench。 详细了解文本数据的情感分析

教程步骤

  • 加载所需的数据。
  • 预处理数据。
  • 选择模型所需的数据。
  • 将数据集加载到 Vertex AI 代管式数据集中。
  • 使用 AutoML Text 训练作业来训练情感模型。
  • 评估模型。
  • 在 Vertex AI 上部署模型。
  • 获取预测结果。
  • 清理。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Dataproc Serverless for Spark
使用 Dataproc 提取和分析 BigQuery 中的数据
此笔记本教程将运行一个 Apache Spark 作业,以从 BigQuery“GitHub 活动数据”数据集提取数据、查询数据,并将结果写回 BigQuery。详细了解 Vertex AI Workbench。 详细了解 Dataproc Serverless for Spark

教程步骤

  • 设置 Google Cloud 项目和 Dataproc 集群。
  • 配置 sparkbigqueryconnector。
  • 将数据从 BigQuery 注入到 Spark DataFrame。
  • 预处理注入的数据。
  • 查询 Monoglot 代码库中最常用的编程语言。
  • 查询 Monoglot 代码库中存储的每种语言的代码的平均大小 (MB)。
  • 查询在 Polyglot 代码库中最常一起打包出现的语言包文件。
  • 将查询结果写回 BigQuery。
  • 删除为此笔记本教程创建的资源。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Dataproc
将 SparkML 与 Dataproc 和 BigQuery 搭配使用
本教程运行一个 Apache SparkML 作业,从 BigQuery 数据集中提取数据、执行探索性数据分析、清理数据、执行特征工程、训练模型、评估模型、输出结果,并将模型保存到 Cloud Storage 存储桶。详细了解 Vertex AI Workbench。 详细了解 Dataproc

教程步骤

  • 设置 Google Cloud 项目和 Dataproc 集群。
  • 创建 Cloud Storage 存储桶和 BigQuery 数据集。
  • 配置 sparkbigqueryconnector。
  • 将 BigQuery 数据注入到 Spark DataFrame 中。
  • 执行探索性数据分析 (EDA)。
  • 通过示例直观呈现数据。
  • 清理数据。
  • 选择特征。
  • 训练模型。
  • 输出结果。
  • 将该模型保存到 Cloud Storage 存储桶。
  • 删除为教程创建的资源。
Colab
GitHub
Vertex AI Workbench