借助自定义模型训练和提取功能,您可以构建专门针对您的文档设计的模型,而无需使用生成式 AI。如果您不想使用生成式 AI,并且希望控制训练后模型的所有方面,那么此选项非常适合您。
数据集配置
必须使用文档数据集才能训练、追加训练或评估处理器版本。 Document AI 处理器可以像人类一样从示例中学习。数据集可提升处理器在性能方面的稳定性。训练数据集
为了改进模型并提高其准确性,请使用您的文档训练数据集。模型由具有标准答案的文档组成。您至少需要三个文档才能训练新模型。测试数据集
测试数据集是模型用于生成 F1 得分(准确率)的数据集。它由包含标准答案的文档组成。为了了解模型的正确率,系统会使用评估依据将模型的预测结果(从模型中提取的字段)与正确答案进行比较。测试数据集应至少包含 3 个文档。准备工作
如果尚未这样做,请启用结算功能和 Document AI API。
构建和评估自定义模型
首先,构建一个自定义处理器,然后对其进行评估。
设置数据集位置:选择默认选项文件夹 Google 管理。 这可能会在创建处理器后不久自动完成。
前往构建标签页,然后选择导入文档并启用自动加标签功能(请参阅使用基础模型自动加标签)。您需要在训练集中至少提供 10 个文档,在测试集中至少提供 10 个文档,才能训练自定义模型。
训练模型:
- 选择训练新版本,然后为处理器版本命名。
- 前往显示高级选项,然后选择基于模型选项。
评估:
- 前往评估和测试,选择您刚刚训练的版本,然后选择查看完整评估结果。
- 现在,您可以看到整个文档和每个字段的指标,例如 F1 得分、精确率和召回率。
- 确定性能是否符合您的生产目标。如果不符合,请重新评估训练集和测试集,通常是将无法很好解析的文档添加到训练测试集中。
将新版本设为默认版本。
- 前往管理版本。
- 前往 菜单,然后选择设为默认。
您的模型现已部署,发送到此处理器的文档现在会使用您的自定义版本。您想评估模型的性能,以检查模型是否需要进一步训练。
评估参考
评估引擎可以执行完全匹配或模糊匹配。对于精确匹配,提取的值必须与标准答案完全一致,否则会被视为未命中。
即使模糊匹配提取结果存在细微差异(例如大小写差异),仍视为匹配。可以在评估界面中更改此设置。
使用基础模型自动添加标签
基础模型可以准确提取各种文档类型的字段,不过您也可以提供额外的训练数据,以提高模型针对特定文档结构的准确率。
Document AI 使用您定义的标签名称和之前的注解,通过自动添加标签功能为文档大规模添加标签。
- 创建自定义处理器后,前往开始使用标签页。
- 选择创建新字段。
- 提供描述性名称并填写说明字段。借助属性说明,您可以为每个实体提供额外的背景信息、数据洞见和先验知识,从而提高提取准确性和性能。
前往构建标签页,然后选择导入文档。
选择文档的路径以及要将文档导入到的集合。选中“自动加标签”复选框,然后选择基础模型。
在构建标签页中,选择管理数据集。您应该会看到导入的文档。选择您的某个证件。
现在,您会看到模型给出的预测结果以紫色突出显示。
- 查看模型预测的每个标签,确保其正确无误。如果缺少字段,请一并添加。
- 审核完文档后,选择标记为已加标签。 该文档现在可供模型使用。确保相应文档位于测试集或训练集中。