评估模型

使用 Cloud Speech-to-Text 控制台的基准化分析功能来衡量 Speech-to-Text V2 API 中使用的任何转写模型的准确率。

Cloud Speech-to-Text 控制台为预训练模型和自定义 Speech-to-Text 模型提供可视化基准化分析。您可以通过比较多个转写模型中的字词错误率 (WER) 评估指标来检查识别质量，从而确定哪个模型最适合您的应用。

准备工作

确保您已注册 Google Cloud 账号、创建项目、训练自定义语音模型，并使用端点进行部署。

创建标准答案数据集

如需创建自定义基准化分析数据集，请收集能够准确反映转写模型在生产环境中将遇到的流量类型的音频样本。理想情况下，这些音频文件的汇总时长应至少持续 30 分钟，不超过 10 小时。如需汇编数据集，您需要执行以下操作：

  1. 在您选择的 Cloud Storage 存储桶中创建一个目录，用于存储数据集的音频和文本文件。
  2. 对于数据集中的每个音频文件，创建合理准确的转写。对于每个音频文件（例如 example_audio_1.wav），必须创建相应的标准答案文本文件 (example_audio_1.txt)。此服务在 Cloud Storage 存储桶中使用这些音频-文本配对来组合数据集。

对模型进行基准测试

如需使用自定义 Speech-to-Text 模型和基准化分析数据集来评估模型的准确率，请按照衡量并提高准确率指南进行操作。