Miglioramento dei risultati della trascrizione con l'adattamento del modello

Panoramica

Puoi utilizzare la funzionalità di adattamento del modello per aiutare Speech-to-Text a riconoscere parole o frasi specifiche più spesso rispetto ad altre opzioni che potrebbero essere suggerite altrimenti. Supponiamo, ad esempio, che i tuoi dati audio includano spesso la parola "meteo". Quando Speech-to-Text rileva la parola "meteo", vuoi che trascriva la parola come "meteo" più spesso che con "se". In questo caso, puoi usare l'adattamento del modello per bilanciare Speech-to-Text e il riconoscimento del "meteo".

L'adattamento del modello è particolarmente utile nei seguenti casi d'uso:

• Migliorare la precisione di parole e frasi ricorrenti di frequente nei dati audio. Ad esempio, puoi avvisare il modello di riconoscimento dei comandi vocali generalmente pronunciati dagli utenti.

• Ampliare il vocabolario delle parole riconosciute da Speech-to-Text. Speech-to-Text include un vocabolario molto ampio. Tuttavia, se i tuoi dati audio spesso contengono parole rare nell'uso generico della lingua (ad esempio nomi propri o parole specifiche del dominio), puoi aggiungerle utilizzando l'adattamento del modello.

• Migliorare l'accuratezza della trascrizione del parlato quando l'audio fornito contiene rumore o non è molto chiaro.

Se vuoi, puoi perfezionare la differenziazione del modello di riconoscimento utilizzando la funzionalità di miglioramento dell'adattamento del modello.

Migliorare il riconoscimento di parole e frasi

Per aumentare la probabilità che Speech-to-Text riconosca la parola "meteo" quando trascrive i tuoi dati audio, puoi passare la singola parola "meteo" nell'oggetto PhraseSet in una risorsa SpeechAdaptation.

Quando fornisci una frase composta da più parole, è più probabile che l'API Speech-to-Text riconosca le parole in sequenza. Fornire una frase aumenta anche la probabilità di riconoscere parti della frase, incluse le singole parole. Consulta la pagina relativa ai limiti dei contenuti per conoscere i limiti relativi al numero e alle dimensioni di queste frasi.

Migliora il riconoscimento utilizzando i corsi

Le classi rappresentano concetti comuni che ricorrono nel linguaggio naturale, come le unità monetarie e le date del calendario. Una classe consente di migliorare la precisione della trascrizione per grandi gruppi di parole che corrispondono a un concetto comune, ma che non includono sempre parole o frasi identiche.

Ad esempio, supponiamo che i tuoi dati audio includano registrazioni di persone che dicono il loro indirizzo. Potresti avere una registrazione audio di qualcuno che dice "Casa mia è 123 Main Street, la quarta casa sulla sinistra". In questo caso, vuoi che Speech-to-Text riconosca la prima sequenza di numeri ("123") come indirizzo anziché come ordinale ("centoventitré"). Tuttavia, non tutti vivono in "123 Main Street". Non è pratico elencare ogni possibile via in una risorsa PhraseSet. Puoi invece utilizzare una classe per indicare che un numero civico deve essere riconosciuto indipendentemente dal numero effettivo. In questo esempio, Speech-to-Text potrebbe trascrivere in modo più accurato frasi come "123 Main Street" e "987 Grand Boulevard" perché sono entrambe riconosciute come numeri civici.

Token di classe

Per utilizzare una classe nell'adattamento del modello, includi un token della classe nel campo phrases di una risorsa PhraseSet. Consulta l'elenco dei token delle classi supportati per vedere quali sono disponibili per la tua lingua. Ad esempio, per migliorare la trascrizione dei numeri di indirizzo dell'audio di origine, fornisci il valore $ADDRESSNUM all'interno di una frase in un PhraseSet.

Puoi utilizzare le classi come elementi autonomi nell'array phrases o incorporare uno o più token di classe in frasi più lunghe con più parole. Ad esempio, puoi indicare un numero di indirizzo in una frase più grande includendo il token di classe in una stringa: ["my address is $ADDRESSNUM"]. Tuttavia, questa frase non è utile nei casi in cui l'audio contenga una frase simile ma non identica, ad esempio "Mi trovo all'indirizzo 123 Main Street". Per riconoscere più facilmente frasi simili, è importante includere anche il token della classe da solo: ["my address is $ADDRESSNUM", "$ADDRESSNUM"]. Se utilizzi un token di classe non valido o non valido, Speech-to-Text ignora il token senza attivare un errore, ma utilizza comunque il resto della frase per il contesto.

Nota: la disponibilità dei corsi varia in base al modello di trascrizione e alla lingua.

Classi personalizzate

Puoi anche creare il tuo CustomClass, una classe composta dal tuo elenco personalizzato di elementi o valori correlati. Ad esempio, vuoi trascrivere dati audio che potrebbero includere il nome di uno qualsiasi delle diverse centinaia di ristoranti regionali. I nomi dei ristoranti sono relativamente rari nel linguaggio generico e pertanto hanno meno probabilità di essere scelti come risposta "corretta" dal modello di riconoscimento. Puoi polarizzare il modello di riconoscimento in modo da identificare correttamente questi nomi quando appaiono nell'audio utilizzando una classe personalizzata.

Per utilizzare una classe personalizzata, crea una risorsa CustomClass che includa il nome di ogni ristorante come ClassItem. Le classi personalizzate funzionano come i token di classe predefiniti. Un elemento phrase può includere sia token di classe predefiniti sia classi personalizzate.

Perfeziona i risultati della trascrizione con l'ottimizzazione

L'adattamento predefinito del modello offre un effetto relativamente ridotto, soprattutto per le frasi con una sola parola. La funzionalità di adattamento del modello boost consente di aumentare il bias del modello di riconoscimento assegnando più peso ad alcune frasi rispetto ad altre. Ti consigliamo di implementare il booster se tutte le seguenti condizioni sono vere:

1. Hai già implementato l'adattamento del modello.
2. Vuoi regolare ulteriormente l'intensità degli effetti di adattamento del modello sui risultati della trascrizione. Per verificare se la funzionalità Boost è disponibile per la tua lingua, consulta la pagina di supporto delle lingue.

Ad esempio, hai molte registrazioni di persone che chiedono informazioni sulla "tariffa per entrare alla fiera di contea", dove la parola "fair" è più frequente di "fare". In questo caso, puoi utilizzare l'adattamento del modello per aumentare la probabilità che il modello riconosca sia le "fair" che le "fare" aggiungendole come phrases in una risorsa PhraseSet. In questo modo Speech-to-Text riconoscerà "fair" e "fare" più spesso di, ad esempio, "lepre" o "care".

Tuttavia, "fair" dovrebbe essere riconosciuto più spesso di "fare" per via delle sue apparizioni più frequenti nell'audio. Potresti aver già trascritto l'audio utilizzando l'API Speech-to-Text e aver trovato un numero elevato di errori nel riconoscere la parola corretta ("fair"). In questo caso, potresti voler utilizzare la funzionalità di boost per assegnare un valore di booster più elevato a "fair" rispetto a "fare". Il valore ponderato più elevato assegnato a "fair" associa l'API Speech-to-Text a scegliere "fair" più spesso di "fare". Senza valori di aumento, il modello di riconoscimento riconoscerà le parole "fair" e "fare" con la stessa probabilità.

Nozioni di base su Boost

Quando utilizzi il booster, assegni un valore ponderato a phrase elementi in una risorsa PhraseSet. Speech-to-Text fa riferimento a questo valore ponderato quando selezioni una possibile trascrizione per le parole nei tuoi dati audio. Più alto è il valore, più è probabile che Speech-to-Text scelga la parola o la frase tra le possibili alternative.

Se assegni un valore di boosting a una frase composta da più parole, il boost viene applicato all'intera frase e solo all'intera frase. Ad esempio, vuoi assegnare un valore di potenziamento alla frase "La mia mostra preferita all'American Museum of Natural History è la balenottera azzurra". Se aggiungi la frase a un oggetto phrase e assegni un valore di miglioramento, il modello di riconoscimento sarà più propenso a riconoscere la frase nella sua interezza.

Se non ottieni i risultati che stai cercando aumentando una frase composta da più parole, ti consigliamo di aggiungere tutti i bigram (due parole in ordine) che la compongono come elementi phrase aggiuntivi e di assegnare a ciascuno un valore di boosting. Proseguendo con l'esempio precedente, potresti cercare di aggiungere ulteriori bigram ed endgram (più di due parole), ad esempio "il mio preferito", "la mia esposizione preferita", "esposizione preferita", "la mia mostra preferita all'American Museum of Natural History", "American Museum of Natural History" e "balenottera azzurra". È quindi più probabile che il modello di riconoscimento STT riconosca nel tuo audio frasi correlate che contengono parti della frase potenziata originale ma non corrispondono parola per parola.

Imposta valori di boosting

I valori di boost devono essere un valore in virgola mobile maggiore di 0. Il limite massimo pratico per i valori di boosting è 20. Per ottenere risultati ottimali, sperimenta con i risultati della trascrizione aumentando o diminuendo i valori di aumento fino a ottenere risultati della trascrizione accurati.

Valori di boost più elevati possono comportare meno falsi negativi, nei casi in cui la parola o la frase si è verificata nell'audio, ma non sono state riconosciute correttamente da Speech-to-Text. Tuttavia, il boost può anche aumentare la probabilità di falsi positivi, ovvero nei casi in cui la parola o la frase compare nella trascrizione anche se non è presente nell'audio.

Esempio di caso d'uso in cui viene utilizzato l'adattamento del modello

L'esempio seguente illustra la procedura per utilizzare l'adattamento del modello per trascrivere una registrazione audio di una persona che dice "La parola fa pensare". In questo caso, senza adattamento vocale, Speech-to-Text identifica la parola "fair". Usando l'adattamento vocale Speech-to-Text può invece identificare la parola "fare".

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

4. Abilita le API Speech-to-Text.

   Abilita le API

5. Make sure that you have the following role or roles on the project: Cloud Speech Administrator

   Check for the roles

   1. In the Google Cloud console, go to the IAM page.

      Go to IAM
   2. Select the project.

   3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

   4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

   Grant the roles

   1. In the Google Cloud console, go to the IAM page.

      Vai a IAM
   2. Seleziona il progetto.
   3. Fai clic su Concedi l'accesso.

   4. Nel campo Nuove entità, inserisci l'identificatore utente. In genere si tratta dell'indirizzo email di un Account Google.

   5. Nell'elenco Seleziona un ruolo, seleziona un ruolo.
   6. Per concedere altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungiamo ogni altro ruolo.
   7. Fai clic su Salva.
   8. Install the Google Cloud CLI.

   9. To initialize the gcloud CLI, run the following command:

      gcloud init

      Note: If you installed the gcloud CLI previously, make sure you have the latest version by running gcloud components update.

   10. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

       Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

       Go to project selector

   11. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

   12. Abilita le API Speech-to-Text.

       Abilita le API

   13. Make sure that you have the following role or roles on the project: Cloud Speech Administrator

       Check for the roles

       1. In the Google Cloud console, go to the IAM page.

          Go to IAM
       2. Select the project.

       3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

       4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

       Grant the roles

       1. In the Google Cloud console, go to the IAM page.

          Vai a IAM
       2. Seleziona il progetto.
       3. Fai clic su Concedi l'accesso.

       4. Nel campo Nuove entità, inserisci l'identificatore utente. In genere si tratta dell'indirizzo email di un Account Google.

       5. Nell'elenco Seleziona un ruolo, seleziona un ruolo.
       6. Per concedere altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungiamo ogni altro ruolo.
       7. Fai clic su Salva.
       8. Install the Google Cloud CLI.

       9. To initialize the gcloud CLI, run the following command:

          gcloud init

          Note: If you installed the gcloud CLI previously, make sure you have the latest version by running gcloud components update.

       Le librerie client possono utilizzare le credenziali predefinite dell'applicazione per autenticarsi facilmente con le API di Google e inviare richieste a queste API. Con Credenziali predefinite dell'applicazione, puoi testare l'applicazione in locale ed eseguirne il deployment senza modificare il codice sottostante. Per ulteriori informazioni, consulta <atrack-type="common generate" l10n-attrs-original-order="href,track-type,track-name" l10n-encrypted-href="WDE63JFVMK0YqIWBqG8nCycgwkRfOeEqRvzYs1N+2tJUEhcZvE5WLink-reference for AuthenticatehcZvE5WLink-reference for Authenticate

       10. Create local authentication credentials for your user account:

           gcloud auth application-default login

       Assicurati inoltre di aver installato la libreria client.

       Migliora la trascrizione usando un PhraseSet

       1. L'esempio seguente crea un elemento PhraseSet con la frase "fare" e la aggiunge come inline_phrase_set in una richiesta di riconoscimento:

       Python

       from google.cloud.speech_v2 import SpeechClient
       from google.cloud.speech_v2.types import cloud_speech
       
       def adaptation_v2_inline_phrase_set(
           project_id: str,
           audio_file: str,
       ) -> cloud_speech.RecognizeResponse:
           # Instantiates a client
           client = SpeechClient()
       
           # Reads a file as bytes
           with open(audio_file, "rb") as f:
               content = f.read()
       
           # Build inline phrase set to produce a more accurate transcript
           phrase_set = cloud_speech.PhraseSet(phrases=[{"value": "fare", "boost": 10}])
           adaptation = cloud_speech.SpeechAdaptation(
               phrase_sets=[
                   cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                       inline_phrase_set=phrase_set
                   )
               ]
           )
           config = cloud_speech.RecognitionConfig(
               auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
               adaptation=adaptation,
               language_codes=["en-US"],
               model="short",
           )
       
           request = cloud_speech.RecognizeRequest(
               recognizer=f"projects/{project_id}/locations/global/recognizers/_",
               config=config,
               content=content,
           )
       
           # Transcribes the audio into text
           response = client.recognize(request=request)
       
           for result in response.results:
               print(f"Transcript: {result.alternatives[0].transcript}")
       
           return response
       
       

       1. In questo esempio viene creata una risorsa PhraseSet con la stessa frase e poi viene fatto riferimento in una richiesta di riconoscimento:

       Python

       from google.cloud.speech_v2 import SpeechClient
       from google.cloud.speech_v2.types import cloud_speech
       
       def adaptation_v2_phrase_set_reference(
           project_id: str,
           phrase_set_id: str,
           audio_file: str,
       ) -> cloud_speech.RecognizeResponse:
           """Transcribe audio files using a PhraseSet.
       
           Args:
               project_id: The GCP project ID.
               phrase_set_id: The ID of the PhraseSet to use.
               audio_file: The path to the audio file to transcribe.
       
           Returns:
               The response from the recognize call.
           """
           # Instantiates a client
           client = SpeechClient()
       
           # Reads a file as bytes
           with open(audio_file, "rb") as f:
               content = f.read()
       
           # Create a persistent PhraseSet to reference in a recognition request
           request = cloud_speech.CreatePhraseSetRequest(
               parent=f"projects/{project_id}/locations/global",
               phrase_set_id=phrase_set_id,
               phrase_set=cloud_speech.PhraseSet(phrases=[{"value": "fare", "boost": 10}]),
           )
       
           operation = client.create_phrase_set(request=request)
           phrase_set = operation.result()
       
           # Add a reference of the PhraseSet into the recognition request
           adaptation = cloud_speech.SpeechAdaptation(
               phrase_sets=[
                   cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                       phrase_set=phrase_set.name
                   )
               ]
           )
           config = cloud_speech.RecognitionConfig(
               auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
               adaptation=adaptation,
               language_codes=["en-US"],
               model="short",
           )
       
           request = cloud_speech.RecognizeRequest(
               recognizer=f"projects/{project_id}/locations/global/recognizers/_",
               config=config,
               content=content,
           )
       
           # Transcribes the audio into text
           response = client.recognize(request=request)
       
           for result in response.results:
               print(f"Transcript: {result.alternatives[0].transcript}")
       
           return response
       
       

       Migliora i risultati della trascrizione usando un CustomClass

       1. L'esempio seguente crea un elemento CustomClass con un articolo "fare" e il nome "fare". Quindi fa riferimento a CustomClass all'interno di un inline_phrase_set in una richiesta di riconoscimento:

       Python

       from google.cloud.speech_v2 import SpeechClient
       from google.cloud.speech_v2.types import cloud_speech
       
       def adaptation_v2_inline_custom_class(
           project_id: str,
           audio_file: str,
       ) -> cloud_speech.RecognizeResponse:
           """Transcribe audio file using inline custom class
       
           Args:
               project_id: The GCP project ID.
               audio_file: The audio file to transcribe.
       
           Returns:
               The response from the recognizer.
           """
           # Instantiates a client
           client = SpeechClient()
       
           # Reads a file as bytes
           with open(audio_file, "rb") as f:
               content = f.read()
       
           # Build inline phrase set to produce a more accurate transcript
           phrase_set = cloud_speech.PhraseSet(phrases=[{"value": "${fare}", "boost": 20}])
           custom_class = cloud_speech.CustomClass(name="fare", items=[{"value": "fare"}])
           adaptation = cloud_speech.SpeechAdaptation(
               phrase_sets=[
                   cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                       inline_phrase_set=phrase_set
                   )
               ],
               custom_classes=[custom_class],
           )
           config = cloud_speech.RecognitionConfig(
               auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
               adaptation=adaptation,
               language_codes=["en-US"],
               model="short",
           )
       
           request = cloud_speech.RecognizeRequest(
               recognizer=f"projects/{project_id}/locations/global/recognizers/_",
               config=config,
               content=content,
           )
       
           # Transcribes the audio into text
           response = client.recognize(request=request)
       
           for result in response.results:
               print(f"Transcript: {result.alternatives[0].transcript}")
       
           return response
       
       

       1. In questo esempio viene creata una risorsa CustomClass con lo stesso elemento. Crea quindi una risorsa PhraseSet con una frase che fa riferimento al nome della risorsa CustomClass. Quindi fa riferimento alla risorsa PhraseSet in una richiesta di riconoscimento:

       Python

       from google.cloud.speech_v2 import SpeechClient
       from google.cloud.speech_v2.types import cloud_speech
       
       def adaptation_v2_custom_class_reference(
           project_id: str,
           phrase_set_id: str,
           custom_class_id: str,
           audio_file: str,
       ) -> cloud_speech.RecognizeResponse:
           """Transcribe audio file using a custom class.
       
           Args:
               project_id: The GCP project ID.
               phrase_set_id: The ID of the phrase set to use.
               custom_class_id: The ID of the custom class to use.
               audio_file: The audio file to transcribe.
       
           Returns:
               The transcript of the audio file.
           """
           # Instantiates a client
           client = SpeechClient()
       
           # Reads a file as bytes
           with open(audio_file, "rb") as f:
               content = f.read()
       
           # Create a persistent CustomClass to reference in phrases
           request = cloud_speech.CreateCustomClassRequest(
               parent=f"projects/{project_id}/locations/global",
               custom_class_id=custom_class_id,
               custom_class=cloud_speech.CustomClass(items=[{"value": "fare"}]),
           )
       
           operation = client.create_custom_class(request=request)
           custom_class = operation.result()
       
           # Create a persistent PhraseSet to reference in a recognition request
           request = cloud_speech.CreatePhraseSetRequest(
               parent=f"projects/{project_id}/locations/global",
               phrase_set_id=phrase_set_id,
               phrase_set=cloud_speech.PhraseSet(
                   phrases=[{"value": f"${{{custom_class.name}}}", "boost": 20}]
               ),
           )
       
           operation = client.create_phrase_set(request=request)
           phrase_set = operation.result()
       
           # Add a reference of the PhraseSet into the recognition request
           adaptation = cloud_speech.SpeechAdaptation(
               phrase_sets=[
                   cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                       phrase_set=phrase_set.name
                   )
               ]
           )
           config = cloud_speech.RecognitionConfig(
               auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
               adaptation=adaptation,
               language_codes=["en-US"],
               model="short",
           )
       
           request = cloud_speech.RecognizeRequest(
               recognizer=f"projects/{project_id}/locations/global/recognizers/_",
               config=config,
               content=content,
           )
       
           # Transcribes the audio into text
           response = client.recognize(request=request)
       
           for result in response.results:
               print(f"Transcript: {result.alternatives[0].transcript}")
       
           return response
       
       

       Esegui la pulizia

       Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

       1. Facoltativo: revoca le credenziali di autenticazione che hai creato ed elimina il file delle credenziali locale.

          gcloud auth application-default revoke

       2. Facoltativo: revoca le credenziali dallgcloud CLI.

          gcloud auth revoke

       Console

       Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

       • L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
       • Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

       Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

       Nella console Google Cloud, vai alla pagina Gestisci risorse.

       Vai a Gestisci risorse

       Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.

       Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

       gcloud

       Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

       • L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
       • Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

       Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

       Elimina un progetto Google Cloud:

       gcloud projects delete PROJECT_ID

       Passaggi successivi

       • Consulta l'elenco dei token delle classi supportati.
       • Esercitati a trascrivere file audio brevi.
       • Scopri come trascrivere audio in streaming.
       • Scopri come trascrivere file audio lunghi.