本页面介绍了为 Vertex AI 表数据集整理数据时需要考虑的一些基本概念。但并非详尽的解决方案。
无论您是要创建用于自定义训练模型或 AutoML 模型的表格训练数据，其中一些最佳做法适用。其他则专用于 AutoML 表格模型。
简介
精心设计的数据可以提高生成的机器学习模型的质量。您可以使用本页面上的指南来提高训练数据和模型的质量。
如果您在为机器学习模型创建训练数据方面经验丰富，并且希望训练 AutoML 模型，请查看 AutoML 应用的转换。在您训练 AutoML 模型时，Vertex AI 会为您执行很多数据准备任务。
表格数据准备最佳做法
无论您是要创建适用于 AutoML 模型还是用于表格数据的自定义模型，以下最佳做法都适用。
避免目标泄露
当您的训练数据包含请求预测时无从获得的预测信息时，会发生目标泄露。目标泄露可能会导致模型显示出色的评估指标，但在实际数据上却表现不佳。
例如，假设您想知道您的商店明天将销售多少冰淇淋。您不能在训练数据中包含目标日的温度，因为您不会知道温度（尚未发生）。但是，您可以使用前一天预报的温度，该温度可以包含在预测请求中。
避免训练-应用偏差 (training-serving skew)
如果您生成训练数据所用的方式不同于请求预测时生成数据所用的方式，即会发生训练-应用偏差。
例如，如果您要使用平均值，在进行训练时使用 10 天的平均值，但请求预测时却使用上个月的平均值。
一般来讲，您应该检查生成训练数据的方式与生成应用数据（用于生成预测的数据）的方式之间的差异，以避免出现训练-应用偏差。
训练-应用偏差和数据分布
训练、验证和测试数据拆分中的数据分布也可能会导致训练-应用偏差。在生产环境中部署模型时的数据分布与训练模型的数据集的数据分布之间通常存在差异。例如，在生产环境中，模型可能应用于完全不同于训练期间所看到的用户群，或者模型可能用于在记录最终训练数据 30 天后进行预测。
为获得最佳结果，请确保用于创建模型的数据拆分的分布准确反映了训练数据，并且您将在生产环境中进行预测的数据。Vertex AI 可以生成非单调预测，如果生产数据的采样分布与训练数据之间存在非常大的差异，那么非单调预测不是很可靠。
此外，生产数据与训练数据之间的差异必须反映在验证数据拆分与训练数据拆分之间的差异上，以及测试数据拆分与验证数据拆分之间的差异上。
例如，如果您计划预测接下来 30 天的用户生命周期价值 (LTV)，请确保验证数据拆分中的数据是训练数据拆分中 30 天后的数据，并且测试数据拆分中的数据是验证数据拆分中 30 天后的数据。
同样，如果您希望调整模型以针对新用户进行一般性预测，请确保来自特定用户的数据仅包含在训练数据的单个拆分中。例如，有关 user1 的所有行位于训练数据拆分中，有关 user2 的所有行位于验证数据拆分中，有关 user3 的所有行位于测试数据拆分中。
提供时间信号
对于分类和回归模型，如果数据中的底层模式有可能随时间变化（不是随时间随机分布），请确保将该信息提供给 Vertex AI。您可以通过多种方式提供时间信号：
如果每行数据都有时间戳，请确保该列被包括在内，转换类型为
Timestamp，并在训练模型时设置为时间列。该排序用于拆分数据：将最新数据作为测试数据，最早的数据作为训练数据。了解详情。如果您的时间列没有很多不同值，则应使用手动拆分，而不是使用“时间”列来拆分数据。否则，您可能无法在每个数据集中获得足够的行数，从而导致训练失败。
如果时间信息未包含在单个列中，您可以使用手动数据拆分将最新数据用作测试数据，并将最早的数据用作训练数据。
在必要情况下明确信息
对于某些数据原语，您可以通过进行特征工程处理来提高模型质量。
例如，如果您的数据包含经度和纬度，则这些列将被视为数值，而不进行特殊计算。如果位置或距离可为您的问题提供有用信息，则必须提取一个明确提供该信息的特征。
一些可能需要进行特征工程的数据类型有：
- 经度/纬度
- 网址
- IP 地址
- 电子邮件地址
- 电话号码
- 其他地理代码（例如邮政编码）
在一行中包含计算或汇总数据
Vertex AI 仅使用单个行中的输入数据来预测该行的目标值。如果您计算或汇总了来自其他行或来源的数据，而这些数据在确定某个行的预测值时非常有用，请将这些数据包含在来源行中。请注意确保新列不会导致目标泄露或训练-应用偏差。
例如，如果您想要预测下周某种产品的需求，可以通过添加具有以下值的列来提高预测质量：
- 与该产品属于同一类别的库存商品总数。
- 与该产品属于同一类别的库存商品的平均价格。
- 请求预测时距已知节假日的天数。
- 等等…
另一个例子是，如果您想要预测某一特定用户是否会购买产品，则可以通过添加具有以下值的列来提高预测质量：
- 该特定用户的平均历史转化率或点击率。
- 当前该用户的购物车中有多少产品。
避免偏见
确保您的训练数据能够代表您将要预测的潜在数据的整个范围。例如，如果您的客户遍布全球，则不应仅使用来自一个国家/地区的训练数据。
AutoML 模型的表格数据准备最佳做法
以下最佳做法用于为 AutoML 表格模型创建表格训练数据。
适当表示 Null 值
如果从 CSV 导入数据，请使用空字符串表示 Null 值。如果从 BigQuery 导入则使用 Null 值。
如果您的数据使用特殊字符或数字来表示 Null 值（包括零），则这些值会被错误解读，从而降低模型质量。
尽可能避免缺失值
请检查您的数据是否存在缺失值。如果可能，请更正这些值。另外，您也可以将该值留空，并将其视为 null 值。
使用空格分隔文本
Vertex AI 对文本字符串进行分词，并可以从单个字词中获取训练信号。它使用空格来分隔字词；由其他字符分隔的字词被视为单个实体。
例如，如果您提供文本“红/绿/蓝”，该文本不会被标记化为“红”、“绿”和“蓝”。如果这些单独的字词对于训练模型可能很重要，则您应该在将文本加入训练数据之前将其转换为“红 绿 蓝”。
确保您的分类特征准确且干净
数据不一致可能导致类别被错误拆分。例如，如果您的数据包含“Brown”和“brown”，您可能将它们视为相同的值，但 Vertex AI 会将这些值用作单独的类别。拼写错误也会造成类似的后果。在创建训练数据之前，请确保从分类数据中消除这种不一致的现象。
特别注意分类模型的不平衡分类
如果您的分类不平衡（包含一个或多个罕见结果的分类问题），请查看以下提示。
为少数类提供充分的训练数据
某个类别的数据行数太少，会降低模型质量。如果可能，您应为每个类提供至少 100 行数据。
考虑使用手动拆分
Vertex AI 会随机（但确定性地）选择测试数据集的行。如果存在分类不平衡的情况，少数类在测试数据集中可能只有极小数量的（甚至完全没有）数据，从而导致训练失败。
如果您的类不平衡，您可能需要进行手动拆分，以确保每个拆分中的少数结果都有足够多的行。
提供足够多的训练数据
如果您没有提供足够多的训练数据，生成的模型可能会性能不佳。用于训练模型的列越多，您需要提供的数据就越多。
您的数据集必须始终包含至少 1000 行。
下表根据您的目标提供了一些启发式信息，以提供多少训练数据。
| 目标 | 建议的最小训练数据量 |
|---|---|
| 分类 | 行数至少为列数的 10 倍。 |
| 预测 | 用于训练模型的每一列至少有 10 个时序。 |
| 回归 | 行数至少为列数的 50 倍。 |
让 Vertex AI 执行所有其他预处理和转换工作
除非另有说明，否则在训练 AutoML 模型时，Vertex AI 会为您执行特征工程。AutoML 有权访问您的底层数据时效果最佳。如需查看 AutoML 按转换类型执行的所有转换的列表，请参阅 Vertex AI 转换。
预测数据准备最佳实践
用于预测模型的训练数据有一些特殊注意事项。
时序标识符
您必须将预测模型的训练数据中的一个列指定为时序标识符。预测训练数据通常包含多个时序，标识符告知 Vertex AI 训练数据中给定观察结果属于哪个时序。给定时序中的所有行在时序标识符列中具有相同的值。
一些常见的时序标识符可能是商品 ID、商店 ID 或区域。如果您的训练数据中有多个时序，则应该有特定列来区分它们。
您可以训练单个时序的预测模型（换句话说，时序标识符列包含所有行的相同值）。但是，Vertex AI 更适合包含两个或更多时序的训练数据。为获得最佳结果，用于训练模型的每一列都应至少有 10 个时序。
选择数据粒度时的注意事项
训练预测模型时，您需要指定数据粒度，也就是训练数据行之间的时间间隔。可以是每小时、每天、每周、每月或每年。此外，还可以是每 1 分钟、每 5 分钟、每 10 分钟、每 15 分钟或每 30 分钟。
训练数据和所有批量预测数据中的数据粒度必须保持一致。如果指定了每天粒度，并且两个训练数据行之间间隔 2 天，Vertex AI 会将中间的日期视为缺失数据，这可能会降低模型性能。如果同一时序中有多个行具有相同时间戳（由粒度确定），在训练时会被视为验证错误。
通常，数据收集做法决定了数据粒度。
手动拆分时序训练数据的最佳实践
如果默认的时间顺序 (80/10/10) 拆分不适合您的训练数据，您可以手动指定训练数据的哪些行用于哪个拆分。例如，您可能希望将不同百分比的训练数据用于拆分。如需了解详情，请参阅控制数据拆分。
请务必谨慎，以避免时序之间发生数据泄露；当同一日期的数据用于一个时序的一个集合以及另一个时序的另一个集合时，可能会发生上述情况。
设置上下文时段和预测范围的注意事项
您在训练预测模型时设置上下文时段和预测范围。
上下文时段设置模型在训练期间的回溯时间（用于预测）。换句话说，对于每个数据点，上下文时段会确定模型查找回溯模式的时间。
预测范围确定模型预测每行预测数据的目标值的未来时间。
增加上下文时段会产生以下影响：
增加训练时间。
具有更大的上下文时段后，该模型会在训练中使用更多数据点，从而增加训练时间。
增加预测数据所需的历史记录量
您的预测数据应提供与上下文时段值相同的历史数据点。
如果您预计不会有太多过去的预测数据（冷启动），请先将上下文时段设置为 0。否则，在预测水平大小与预测水平大小的 10 倍之间，都应让上下文时段保持良好的效果。
您可以尝试执行以下步骤来为您的数据找到合适的值：
对于第一次训练迭代，将上下文窗口和预测范围设置为相同的值，并将训练预算至少设置为 6 小时。
使用相同的训练预算再次训练模型，但将上下文时段的大小增加到预测范围的大小的 2 倍。
如果第二个模型的评估指标显示明显改进，则将上下文窗口增加到预测范围大小的 5 倍并再次训练模型。考虑成比例增加训练预算（如果您在第一步中训练了 10 小时，请将训练预算增加到 50 小时）。
继续增加上下文窗口，直至评估指标不再改善或者您已对结果感到满意。还原为生成可接受结果的上下文窗口的最低值。
在训练和预测期间如何使用上下文时段和预测范围
假设您的数据每月收集一次，上下文窗口为 5（个月）且预测范围为 5（个月）。使用 12 个月的数据训练模型将产生以下输入和预测结果：
[1-5]:[6-10][2-6]:[7-11][3-7]:[8-12]
训练后，该模型可用于预测第 13 个月到第 17 个月：
[8-12]:[13-17]
该模型仅使用上下文窗口中的数据进行预测。您可以提供更早的数据，但这不会影响预测：这些数据将被忽略。
收集第 13 个月的数据后，这些数据可用于预测到第 18 个月：
[9-13]:[14-18]
只要能获得良好的结果，就可以继续预测未来的数据。最终，您可以使用新数据重新训练模型。例如，如果您在额外增加 6 个月的数据后重新训练模型，则训练数据将按如下所示使用：
[2-6]:[7-11][3-7]:[8-12][4-8]:[9-13][5-9]:[10-14][6-10]:[11-15][7-11]:[12-16][8-12]:[13-17][9-13]:[14-18]
然后，您可以使用该模型来预测第 19 个月到第 23 个月：
[14-18]:[19-23]
关于数据格式
您可以使用宽格式或窄格式创建训练数据。对于回归和分类模型，宽格式被广泛使用，并且更易于汇编和审核。对于预测模型，使用窄格式可帮助您避免在数据和目标之间建立意外连接（泄露数据）。
创建训练数据以训练预测模型时，每一行应代表单个时序上的单个观察结果。您必须有一个表示您的时序标识符的列（用于区分时序），以及一个表示将要预测的值的列（您的目标）。然后，当您为目标请求预测时，用于训练模型的行中的每个其他值都必须存在。
考虑以下（简化和缩写）的示例训练数据：
| 日期 | Widget_1_Demand | Widget_2_Demand | Widget_3_Demand | 宣传 | 区域 |
|---|---|---|---|---|---|
| 01/01/2019 | 112 | 241 | 0 | 0 | CA |
| 01/02/2019 | 141 | 219 | 0 | 1 | CA |
| 01/03/2019 | 149 | 244 | 0 | 0 | CA |
| 01/01/2019 | 52 | 0 | 43 | 0 | IL |
| 01/02/2019 | 81 | 0 | 26 | 1 | IL |
| 01/03/2019 | 89 | 0 | 86 | 0 | IL |
此表使用宽格式按日期显示了业务数据，但无法用于当前形式的预测模型。没有单个目标列，也没有时序 ID 列，对于任何给定日期，您都不知道在预测时对其他微件的需求。
您可以将该表转换为以下格式：
| 日期 | 产品 | Region_CA_Demand | Region_IL_Demand | 宣传 |
|---|---|---|---|---|
| 01/01/2019 | Widget_1 | 112 | 52 | 0 |
| 01/02/2019 | Widget_1 | 141 | 81 | 1 |
| 01/03/2019 | Widget_1 | 149 | 89 | 0 |
| 01/01/2019 | Widget_2 | 241 | 0 | 0 |
| 01/02/2019 | Widget_2 | 219 | 0 | 1 |
| 01/03/2019 | Widget_2 | 244 | 0 | 0 |
| 01/01/2019 | Widget_3 | 0 | 43 | 0 |
| 01/02/2019 | Widget_3 | 0 | 26 | 1 |
| 01/03/2019 | Widget_3 | 0 | 86 | 0 |
现在，我们有一个潜在的时序 ID 列，产品。但是，此格式只能用于预测其中一个区域，并且在预测时需要知道另一个区域的数据。
解决方案是转换为窄格式，使每一行表示一个观察结果。系统会对每一行重复独立于时序的所有数据：
| 日期 | 需求 | 产品 | 宣传 | 区域 |
|---|---|---|---|---|
| 01/01/2019 | 112 | Widget_1 | 0 | CA |
| 01/02/2019 | 141 | Widget_1 | 1 | CA |
| 01/03/2019 | 149 | Widget_1 | 0 | CA |
| 01/01/2019 | 52 | Widget_1 | 0 | IL |
| 01/02/2019 | 81 | Widget_1 | 1 | IL |
| 01/03/2019 | 89 | Widget_1 | 0 | IL |
| 01/01/2019 | 241 | Widget_2 | 0 | CA |
| 01/02/2019 | 219 | Widget_2 | 1 | CA |
| 01/03/2019 | 244 | Widget_2 | 0 | CA |
| 01/01/2019 | 0 | Widget_2 | 0 | IL |
| 01/02/2019 | 0 | Widget_2 | 1 | IL |
| 01/03/2019 | 0 | Widget_2 | 0 | IL |
| 01/01/2019 | 0 | Widget_3 | 0 | CA |
| 01/02/2019 | 0 | Widget_3 | 1 | CA |
| 01/03/2019 | 0 | Widget_3 | 0 | CA |
| 01/01/2019 | 43 | Widget_3 | 0 | IL |
| 01/02/2019 | 26 | Widget_3 | 1 | IL |
| 01/03/2019 | 86 | Widget_3 | 0 | IL |
现在，我们有一个时间序列标识符（产品）、一个目标列（需求）和一个时间列（日期）。此外，每一行基于一个观察结果，可用于预测目标值。“区域”和“促销”列用作训练模型的特征。
在实际应用中，您的行数和列数将比示例多得多。但您必须按照此处的准则设计数据结构，以避免数据泄露。