Améliorer les résultats de transcription grâce à l'adaptation vocale

Aperçu

Vous pouvez utiliser la fonctionnalité d'adaptation vocale pour permettre à Speech-to-Text de reconnaître des mots ou des expressions plus fréquents que d'autres options semblables qui pourraient être suggérées. Par exemple, supposons que vos données audio incluent souvent le terme "temps". Lorsque Speech-to-Text rencontre le mot "temps", vous souhaitez qu'il le transcrive plus souvent comme "temps" que comme "tant". Dans ce cas, vous pouvez utiliser l'adaptation vocale pour influencer Speech-to-Text afin qu'il reconnaisse le mot "temps".

L'adaptation vocale est particulièrement utile dans les cas d'utilisation suivants :

  • Améliorez la précision des mots et expressions qui apparaissent très souvent dans vos données audio. Par exemple, vous pouvez alerter le modèle de reconnaissance sur les commandes vocales qui sont fréquemment prononcées par vos utilisateurs.

  • Élargissez le panel des mots reconnus par Speech-to-Text. Speech-to-Text comprend un vocabulaire très vaste. Toutefois, si vos données audio contiennent souvent des mots rares dans le langage courant (tels que des noms propres ou spécifiques à un domaine), vous pouvez les ajouter à l'aide de l'adaptation vocale.

  • Améliorez la précision de la transcription vocale lorsque le contenu audio fourni comporte du bruit ou manque de clarté.

Vous pouvez éventuellement affiner la pondération du modèle de reconnaissance à l'aide de la fonctionnalité d'amélioration de l'adaptation vocale (bêta).

Améliorer la reconnaissance des mots spécifiés

Pour augmenter la probabilité que Speech-to-Text reconnaisse le mot "temps" pendant la transcription de vos données audio, ajoutez le mot "temps" dans le champ phrases d'un objet SpeechContext. Dans la requête que vous envoyez à l'API Speech-to-Text, attribuez l'objet SpeechContext au champ speechContexts de l'objet RecognitionConfig.

L'extrait de code suivant montre une partie d'une charge utile JSON envoyée à l'API Speech-to-Text. L'extrait de code JSON fournit le mot "temps" ("weather" en anglais) pour l'adaptation vocale.

"config": {
    "encoding":"LINEAR16",
    "sampleRateHertz": 8000,
    "languageCode":"en-US",
    "speechContexts": [{
      "phrases": ["weather"]
    }]
}

Améliorer la reconnaissance des expressions composées de plusieurs mots

Lorsque vous fournissez une expression composée de plusieurs mots, Speech-to-Text est plus susceptible de reconnaître ces mots dans l'ordre. L'ajout d'une expression augmente également la probabilité de reconnaissance de certaines parties de l'expression, y compris des mots individuels. Consultez la section Limites de contenu pour connaître les limites applicables au nombre et à la taille de ces expressions.

L'extrait de code suivant montre une partie d'une charge utile JSON envoyée à l'API Speech-to-Text. L'extrait de code JSON inclut un tableau d'expressions composées de plusieurs mots attribuées au champ phrases d'un objet SpeechContext.

"config": {
    "encoding":"LINEAR16",
    "sampleRateHertz": 8000,
    "languageCode":"en-US",
    "speechContexts": [{
      "phrases": ["weather is hot", "weather is cold"]
    }]
}

Améliorer la reconnaissance à l'aide de classes

Les classes représentent des concepts courants utilisés dans le langage naturel, tels que les unités monétaires et les dates. Une classe vous permet d'améliorer la précision de la transcription pour de grands groupes de mots associés à un concept commun, mais qui n'incluent pas toujours des mots ou des expressions identiques.

Par exemple, supposons que vos données audio incluent des enregistrements de personnes indiquant leur adresse. Vous disposez peut-être d'un enregistrement audio de quelqu'un disant "J'habite au 123 Main Street, dans la quatrième maison sur la gauche". Dans ce cas, vous souhaitez que Speech-to-Text reconnaisse la première séquence de chiffres ("123") comme une adresse plutôt que comme un ordinal ("cent vingt-troisième"). Toutefois, toutes les personnes ne vivent pas au "123 Main Street". Il est impossible de répertorier toutes les adresses postales possibles dans un objet SpeechContext. À la place, vous pouvez utiliser une classe pour indiquer qu'un numéro de rue doit être reconnu, quel que soit le numéro. Dans cet exemple, Speech-to-Text pourrait transcrire plus précisément des expressions telles que "123 Main Street" et "987 Grand Boulevard", car elles sont toutes deux identifiées comme des numéros d'adresse.

Jetons de classe

Pour utiliser une classe dans l'adaptation vocale, incluez un jeton de classe dans le champ phrases de l'objet SpeechContext. Consultez la liste des jetons de classe compatibles pour connaître les jetons disponibles pour votre langue. Par exemple, pour améliorer la transcription des numéros d'adresses figurant dans le contenu audio source, vous devez fournir la valeur $ADDRESSNUM dans votre objet SpeechContext.

Vous pouvez utiliser des classes en tant qu'éléments autonomes dans le tableau phrases, ou intégrer un ou plusieurs jetons de classe dans des expressions composées de plusieurs mots. Par exemple, vous pouvez indiquer un numéro d'adresse dans une expression plus longue en incluant le jeton de classe dans une chaîne : ["my address is $ADDRESSNUM"]. Toutefois, cette expression ne résout pas le problème lorsque l'audio contient une expression similaire, mais non identique, telle que "Je me trouve au 123 Main Street". Pour faciliter la reconnaissance des expressions similaires, il est important d'inclure le jeton de classe indépendamment : ["my address is $ADDRESSNUM", "$ADDRESSNUM"]. Si vous utilisez un jeton de classe non valide ou incorrect, Speech-to-Text ignore le jeton sans déclencher d'erreur, mais utilise le reste de l'expression pour déterminer le contexte.

L'extrait de code suivant présente un exemple de charge utile JSON envoyée à l'API Speech-to-Text. L'extrait de code JSON inclut un objet SpeechContext qui utilise un jeton de classe.

  "config": {
    "encoding":"LINEAR16",
    "sampleRateHertz": 8000,
    "languageCode":"en-US",
    "speechContexts": [{
      "phrases": ["$ADDRESSNUM"]
     }]
  }

Affiner les résultats de transcription grâce à l'adaptation améliorée (bêta)

Par défaut, l'adaptation vocale a un effet relativement faible, en particulier pour les expressions comportant un seul mot. La fonctionnalité d'amélioration de l'adaptation vocale vous permet d'augmenter la pondération du modèle de reconnaissance en attribuant plus d'importance à certaines expressions qu'à d'autres. Nous vous recommandons de mettre en œuvre la fonctionnalité d'amélioration si 1) vous avez déjà intégré l'adaptation vocale et 2) vous souhaitez ajuster les effets de l'adaptation vocale dans les résultats de transcription. Pour savoir si la fonctionnalité d'amélioration est disponible pour votre langue, consultez la page Langues acceptées.

Par exemple, supposons que vous disposez d'un grand nombre d'enregistrements de personnes interrogées à propos du "coût d'un lifting du cou", dans lesquels le mot "cou" revient plus fréquemment que "coût". Dans ce cas, vous pouvez utiliser l'adaptation vocale pour augmenter la probabilité que le modèle reconnaisse à la fois "coût" et "cou" en les ajoutant en tant qu'expressions dans un objet SpeechContext. Cela indique à Speech-to-Text de reconnaître "coût" et "cou" plus souvent que "sou" par exemple.

Toutefois, étant donné que "cou" revient plus souvent que "coût", vous souhaitez que le mot "cou" soit reconnu plus fréquemment. Vous avez peut-être déjà transcrit votre contenu audio à l'aide de l'API Speech-to-Text et vous avez trouvé un grand nombre d'erreurs de reconnaissance du bon mot ("cou"). Dans ce cas, vous pouvez utiliser la fonctionnalité d'amélioration pour attribuer une valeur d'amélioration plus élevée à "cou" par rapport à "coût". Si la valeur pondérée plus élevée est attribuée à "cou", l'API Speech-to-Text sélectionne "cou" plus fréquemment que "coût". Sans valeurs d'amélioration, le modèle de reconnaissance reconnaît "cou" et "coût" avec une probabilité égale.

Principes de base de l'adaptation améliorée

Lorsque vous utilisez la fonctionnalité d'amélioration, vous attribuez une valeur pondérée aux éléments phrases d'un objet SpeechContext. Speech-to-Text se réfère à cette valeur pondérée lors de la sélection d'une transcription possible pour les mots apparaissant dans vos données audio. Plus la valeur que vous définissez est élevée, plus vous augmentez la probabilité que Speech-to-Text sélectionne l'expression parmi les solutions possibles.

Si vous attribuez une valeur d'amélioration à une expression composée de plusieurs mots, la fonctionnalité d'amélioration est appliquée à l'ensemble de l'expression uniquement. Par exemple, vous souhaitez attribuer une valeur d'amélioration à l'expression "Mon exposition préférée au muséum d'Histoire naturelle est la baleine bleue". Si vous ajoutez cette phrase à un objet SpeechContext et que vous attribuez une valeur d'amélioration, le modèle de reconnaissance sera plus susceptible de reconnaître cette phrase dans son intégralité, mot pour mot.

Si vous n'obtenez pas les résultats escomptés, nous vous suggérons d'ajouter tous les bigrammes (deux mots, dans l'ordre) qui constituent l'expression en tant qu'éléments phrases supplémentaires et de leur attribuer à chacun des valeurs d'amélioration. Pour reprendre l'exemple ci-dessus, vous pourriez envisager d'ajouter d'autres bigrammes et éléments de fin (plus de deux mots) tels que "mon exposition", "mon exposition préférée", "exposition préférée", "mon exposition préférée au muséum d'Histoire naturelle", "muséum d'Histoire naturelle", "baleine bleue", etc. Le modèle de reconnaissance STT est alors plus susceptible de reconnaître des expressions associées dans votre fichier audio qui contiennent des parties de l'expression d'origine dont la valeur a été améliorée, mais qui ne correspondent pas à la recherche mot pour mot.

Définir des valeurs d'amélioration

Les valeurs d'amélioration doivent être des valeurs flottantes supérieures à 0. La limite maximale pratique pour les valeurs d'amélioration est de 20. Pour obtenir des résultats optimaux, augmentez et diminuez vos valeurs d'amélioration jusqu'à obtenir les résultats de transcription que vous souhaitez.

Des valeurs d'amélioration plus élevées peuvent réduire le nombre de faux négatifs, c'est-à-dire d'énoncés prononcés dans le contenu audio mais mal reconnus par Speech-to-Text. Cependant, la fonctionnalité d'amélioration peut également augmenter la probabilité de faux positifs, c'est-à-dire d'énoncés qui figurent dans la transcription alors qu'ils n'ont pas été prononcés dans le contenu audio.

Exemple d'amélioration de l'adaptation vocale

Pour définir différentes valeurs d'amélioration pour "cou" et "coût" dans votre requête de transcription vocale, définissez deux objets SpeechContext dans le tableau speechContexts de l'objet RecognitionConfig. Définissez une valeur d'amélioration (boost) sur une valeur flottante non négative pour chaque objet SpeechContext, l'un contenant le mot "cou" et l'autre contenant le mot "coût".

L'extrait de code suivant présente un exemple de charge utile JSON envoyée à l'API Speech-to-Text. L'extrait de code JSON inclut un objet RecognitionConfig qui utilise des valeurs d'amélioration pour pondérer différemment les mots "cou" et "coût".

"config": {
    "encoding":"LINEAR16",
    "sampleRateHertz": 8000,
    "languageCode":"en-US",
    "speechContexts": [{
      "phrases": ["fair"],
      "boost": 15
     }, {
      "phrases": ["fare"],
      "boost": 2
     }]
  }

Étape suivante