Evaluar modelos

Usa la funcionalidad de comparativas de la consola de Cloud Speech-to-Text para medir la exactitud de cualquiera de los modelos de transcripción que se usan en la API de Speech-to-Text V2.

La consola de Cloud Speech-to-Text proporciona comparativas visuales para los modelos previamente entrenados y personalizados de Speech-to-Text. Puedes inspeccionar la calidad del reconocimiento mediante la comparación de las métricas de evaluación de la tasa de errores de palabras (WER) en varios modelos de transcripción para ayudarte a decidir qué modelo se adapta mejor a tu aplicación.

Antes de comenzar

Asegúrate de haberte registrado en una cuenta de Google Cloud , de haber creado un proyecto y de haber entrenado un modelo de voz personalizado y haberlo implementado con un extremo.

Crea un conjunto de datos de verdad fundamental

Para crear un conjunto de datos de comparativas personalizado, recopila muestras de audio que reflejen con precisión el tipo de tráfico que el modelo de transcripción encontrará en un entorno de producción. Lo ideal es que la duración total de estos archivos de audio abarque un mínimo de 30 minutos y no supere las 10 horas. Para ensamblar el conjunto de datos, necesitarás lo siguiente:

  1. Crea un directorio en un bucket de Cloud Storage de tu elección para almacenar los archivos de audio y texto del conjunto de datos.
  2. Para cada archivo de audio en el conjunto de datos, crea transcripciones razonablemente precisas. Para cada archivo de audio (como example_audio_1.wav), se debe crear el archivo de texto de verdad fundamental correspondiente (example_audio_1.txt). Este servicio usa estas vinculaciones de audio y texto en un bucket de Cloud Storage para ensamblar el conjunto de datos.

Compara el modelo

Con el modelo personalizado de Speech-to-Text y el conjunto de datos de comparativas para evaluar la exactitud de tu modelo, sigue la Guía de medición y mejora de la exactitud.