基于自定义的提取

借助自定义模型训练和提取功能，您可以构建专门针对您的文档设计的模型，而无需使用生成式 AI。如果您不想使用生成式 AI，并且希望控制训练后模型的所有方面，那么此选项非常适合您。

数据集配置

必须使用文档数据集才能训练、追加训练或评估处理器版本。 Document AI 处理器可以像人类一样从示例中学习。数据集可提升处理器在性能方面的稳定性。

训练数据集

为了改进模型并提高其准确性，请使用您的文档训练数据集。模型由具有标准答案的文档组成。您至少需要三个文档才能训练新模型。

标准答案是由人工确定的正确标记的数据。

测试数据集

测试数据集是模型用于生成 F1 得分（准确率）的数据集。它由包含标准答案的文档组成。为了了解模型的正确率，系统会使用评估依据将模型的预测结果（从模型中提取的字段）与正确答案进行比较。测试数据集应至少包含 3 个文档。

准备工作

如果尚未这样做，请启用结算功能和 Document AI API。

构建和评估自定义模型

首先，构建一个自定义处理器，然后对其进行评估。

1. 创建处理器并定义要提取的字段，这一点非常重要，因为这会影响提取质量。

   注意： 默认处理器是基础模型。

2. 设置数据集位置：选择默认选项文件夹 Google 管理。 这可能会在创建处理器后不久自动完成。

3. 前往构建标签页，然后选择导入文档并启用自动加标签功能（请参阅使用基础模型自动加标签）。您需要在训练集中至少提供 10 个文档，在测试集中至少提供 10 个文档，才能训练自定义模型。

4. 训练模型：

   1. 选择训练新版本，然后为处理器版本命名。
   2. 前往显示高级选项，然后选择基于模型选项。

   

   注意： 训练需要一段时间才能完成。

5. 评估：

   • 前往评估和测试，选择您刚刚训练的版本，然后选择查看完整评估结果。

   

   • 现在，您可以看到整个文档和每个字段的指标，例如 F1 得分、精确率和召回率。
   • 确定性能是否符合您的生产目标。如果不符合，请重新评估训练集和测试集，通常是将无法很好解析的文档添加到训练测试集中。

6. 将新版本设为默认版本。

   1. 前往管理版本。
   2. 前往 菜单，然后选择设为默认。

   

您的模型现已部署，发送到此处理器的文档现在会使用您的自定义版本。您想评估模型的性能，以检查模型是否需要进一步训练。

评估参考

评估引擎可以执行完全匹配或模糊匹配。对于精确匹配，提取的值必须与标准答案完全一致，否则会被视为未命中。

即使模糊匹配提取结果存在细微差异（例如大小写差异），仍视为匹配。可以在评估界面中更改此设置。

使用基础模型自动添加标签

基础模型可以准确提取各种文档类型的字段，不过您也可以提供额外的训练数据，以提高模型针对特定文档结构的准确率。

Document AI 使用您定义的标签名称和之前的注解，通过自动添加标签功能为文档大规模添加标签。

1. 创建自定义处理器后，前往开始使用标签页。
2. 选择创建新字段。
3. 提供描述性名称并填写说明字段。借助属性说明，您可以为每个实体提供额外的背景信息、数据洞见和先验知识，从而提高提取准确性和性能。

注意： 良好的属性描述示例包括位置信息和属性值的文本模式，这些信息有助于消除文档中潜在的混淆来源，通过规则引导模型，确保提取结果更加可靠和一致，无论具体文档结构或内容如何变化。

1. 前往构建标签页，然后选择导入文档。

   

2. 选择文档的路径以及要将文档导入到的集合。选中“自动加标签”复选框，然后选择基础模型。

3. 在构建标签页中，选择管理数据集。您应该会看到导入的文档。选择您的某个证件。

   

现在，您会看到模型给出的预测结果以紫色突出显示。

1. 查看模型预测的每个标签，确保其正确无误。如果缺少字段，请一并添加。

注意： 请务必确保所有字段尽可能准确，否则模型性能可能会影响结果。详细了解如何添加标签。

1. 审核完文档后，选择标记为已加标签。 该文档现在可供模型使用。确保相应文档位于测试集或训练集中。