Vertex AI Feature Store 简介

Vertex AI Feature Store 提供了一个用于整理、存储和提供机器学习特征的集中式存储库。借助集中式的特征存储区,组织可以大规模并高效地地共享、发现和重复使用机器学习特征,从而加快组织开发和部署新机器学习应用的速度。Vertex AI Feature Store 是一个全代管式解决方案,它可以为您管理和扩缩底层基础架构,例如存储和计算资源。此解决方案意味着,数据科学家可以专注于特征计算逻辑,而无需操心如何将特征部署到生产环境中。

Vertex AI Feature Store 已集成到 Vertex AI 中。您可以单独使用 Vertex AI Feature Store,也可以将其作为 Vertex AI 工作流的一部分。例如,您可以从 Vertex AI Feature Store 提取数据,以在 Vertex AI 中训练自定义或 AutoML 模型。

概览

您可以使用 Vertex AI Feature Store 创建和管理资源,例如特征存储区。特征存储区是特征及其值的顶级容器。如果设置特征存储区,获得许可的用户无需额外的工程支持即可添加和共享其特征。用户可以定义特征,然后从各种数据源中提取(导入)特征值。

任何获得许可的用户均可从特征存储区搜索和检索值。例如,您可以找到特征,然后进行批量导出,以获得用于创建机器学习模型的训练数据。您还可以实时检索特征值,以执行快速在线预测。

优势

在使用 Vertex AI Feature Store 之前,您可能已计算特征值并保存在不同的位置,例如 BigQuery 中的表或 Cloud Storage 中的文件。此外,您可能为特征值的存储和使用分别构建并管理解决方案。相比之下,Vertex AI Feature Store 提供了一种统一的解决方案,可进行批量存储和在线存储,以及部署机器学习特征。以下部分详细介绍了 Vertex AI Feature Store 的优势。

在组织内共享特征

如果您在特征存储区中生成特征,则可以快速与其他人分享这些特征以用于训练或部署任务。团队无需为不同项目或使用场景重新构建特征。此外,由于可以通过中央代码库管理和部署特征,您可以保持特征(尤其是高价值的特征)在组织内的一致性并减少重复工作。

Vertex AI Feature Store 提供搜索和过滤功能,使其他用户可以轻松发现和重复使用现有特征。对于每个特征,您可以查看相关元数据以确定特征的质量和使用模式。例如,您可以查看具有某个特征有效值(也称为特征覆盖率)的实体的比例以及特征值的统计分布。

大规模在线部署的代管式解决方案

Vertex AI Feature Store 提供在线特征部署(低延迟部署)的代管式解决方案,这对于执行及时的在线预测至关重要。Vertex AI Feature Store 将替您构建和运行低延迟的数据部署基础架构,并根据需要进行扩缩。您只需编写生成特征的逻辑,部署特征的任务则无需您费心。由于管理工作由 Feature Store 代劳,新特征的构建将更为顺畅,这使数据科学家能够专注于自己的工作,无需操心如何部署。

缓解训练与部署的偏差

如果生产环境中使用的特征数据分布与训练模型时使用的特征数据分布不同,会出现训练与部署偏差。这种偏差通常会导致训练中的模型性能与生产环境中的模型性能有差异。以下示例介绍了 Vertex AI Feature Store 如何消除导致训练与部署偏差的潜在根源:

  • Vertex AI Feature Store 可确保仅将一个特征值提取到特征存储区一次,并对训练和部署重复使用该值。如果没有特征存储区,训练和部署的生成特征的代码路径可能会不同,因此,特征值可能在训练和部署之间有所不同。
  • Vertex AI Feature Store 提供时间点查找来为训练提取历史数据。通过这些查找,您可以通过仅提取预测之前可用的特征值,而不是之后的特征值,来减少数据泄露。

检测偏移

Vertex AI Feature Store 可帮助您检测特征数据分布随时间推移而发生的重大变化(也称为偏移)。Vertex AI Feature Store 会持续跟踪提取到特征存储区的特征值的分布。随着特征偏移的增加,您可能需要重新训练使用受影响特征的模型。如需了解详情,请参阅特征监控

配额和限制

Vertex AI Feature Store 实施配额和限制,以帮助您通过设置自己的用量限额来管理资源,并通过避免意外的用量激增来保护 Google Cloud 用户群体。为避免达到计划外的限制条件,请查看配额和限制页面上的 Vertex AI Feature Store 配额。例如,Vertex AI Feature Store 对在线部署节点的数量和每分钟可以发出的在线部署请求的数量设置了配额。

价格

Vertex AI Feature Store 价格取决于多种因素,例如您存储的数据量以及使用的特征存储区在线节点数量。创建特征存储区后,将立即开始计费。如需了解详情,请参阅 Vertex AI Feature Store 价格

后续步骤