Traduzione e pronuncia del testo da una foto con i glossari (funzionalità avanzata)

Questa pagina mostra come rilevare il testo in un'immagine, come personalizzare le traduzioni, e come generare sintesi vocale dal testo. Questo tutorial utilizza Cloud Vision per rilevare il testo in un file immagine. Quindi, questo tutorial mostra come utilizzare Cloud Translation per fornire una traduzione personalizzata del testo rilevato. Infine, questo tutorial utilizza Text-to-Speech per fornire dettatura automatica del testo tradotto.

Obiettivi

  1. Passa il testo riconosciuto dall'API Cloud Vision all'API Cloud Translation.

  2. Crea e utilizza i glossari di Cloud Translation per personalizzare traduzioni dell'API Cloud Translation.

  3. Crea una rappresentazione audio del testo tradotto utilizzando il metodo API Text-to-Speech.

Costi

Ogni API Google Cloud utilizza una struttura dei prezzi separata.

Per informazioni dettagliate sui prezzi, consulta la guida ai prezzi di Cloud Vision. la guida ai prezzi di Cloud Translation, e la guida ai prezzi di Text-to-Speech.

Prima di iniziare

Assicurati di avere:

Download degli esempi di codice

Questo tutorial utilizza il codice in samples/snippets/hybrid_glossaries directory del Librerie client Cloud per Python.

Per scaricare e andare al codice di questo tutorial, esegui questi comandi dal terminale.

git clone https://github.com/googleapis/python-translate.git
cd samples/snippets/hybrid_glossaries/

Configurazione delle librerie client

Questo tutorial utilizza Vision, Traduzione, e Text-to-Speech librerie client.

Per installare le librerie client pertinenti, esegui questi comandi dal terminale.

pip install --upgrade google-cloud-vision
pip install --upgrade google-cloud-translate
pip install --upgrade google-cloud-texttospeech

Configurazione delle autorizzazioni per la creazione del glossario

La creazione di glossari di traduzione richiede l'utilizzo di un account di servizio chiave con le autorizzazioni "Editor API Cloud Translation".

Per configurare una chiave dell'account di servizio con autorizzazioni Editor API Cloud Translation, procedi nel seguente modo: le seguenti:

  1. Crea un account di servizio:

    1. Nella console Google Cloud, vai alla pagina Account di servizio.

      Vai a Account di servizio

    2. Seleziona il progetto.

    3. Fai clic su Crea account di servizio.

    4. Nel campo Nome account di servizio, inserisci un nome. La La console Google Cloud compila il campo ID account di servizio in base a questo nome.

    5. (Facoltativo) Nel campo Descrizione account di servizio, inserisci una per l'account di servizio.

    6. Fai clic su Crea e continua.

    7. Fai clic sul campo Seleziona un ruolo e scegli Cloud Translation > Editor API Cloud Translation

    8. Fai clic su Fine per completare la creazione dell'account di servizio.

      Non chiudere la finestra del browser. Lo utilizzerai nel passaggio successivo.

  2. Scarica una chiave JSON per l'account di servizio che hai appena creato:

    1. Nella console Google Cloud, fai clic sull'indirizzo email del servizio che hai creato.
    2. Fai clic su Chiavi.
    3. Fai clic su Aggiungi chiave, quindi su Crea nuova chiave.

    4. Fai clic su Crea. Sul computer viene scaricato un file della chiave JSON.

      Assicurati di archiviare il file della chiave in modo sicuro, perché può essere utilizzato per di autenticarsi con il proprio account di servizio. Puoi spostare e rinominare questo file come desideri.

    5. Fai clic su Chiudi.

  3. Dalla cartella hybrid_glossaries nel terminale, imposta la variabile GOOGLE_APPLICATION_CREDENTIALS utilizzando il seguente comando. Sostituisci path_to_key con il percorso del file JSON scaricato contenente la nuova chiave dell'account di servizio.

    Linux o macOS

    export GOOGLE_APPLICATION_CREDENTIALS=path_to_key

    Windows

    set GOOGLE_APPLICATION_CREDENTIALS=path_to_key

Importazione delle librerie

Questo tutorial utilizza le seguenti importazioni di sistema e di libreria client.

import html
import os

# Imports the Google Cloud client libraries
from google.api_core.exceptions import AlreadyExists
from google.cloud import texttospeech
from google.cloud import translate_v3beta1 as translate
from google.cloud import vision

Impostazione dell'ID progetto

Devi associare un progetto Google Cloud a ogni richiesta a un'API Google Cloud. Specificare il progetto Google Cloud impostando la variabile di ambiente GOOGLE_CLOUD_PROJECT o nel terminale.

Nel comando seguente, sostituisci PROJECT_NUMBER_OR_ID con il numero o l'ID del tuo progetto Google Cloud. Esegui questo comando dal terminale.

Linux o macOS

export GOOGLE_CLOUD_PROJECT=PROJECT_NUMBER_OR_ID

Windows

set GOOGLE_CLOUD_PROJECT=PROJECT_NUMBER_OR_ID

Questo tutorial utilizza la seguente variabile ID progetto globale.

# extract GCP project id
PROJECT_ID = os.environ["GOOGLE_CLOUD_PROJECT"]

Utilizzo di Vision per rilevare il testo di un'immagine

Usa l'API Vision per rilevare ed estrarre il testo da un'immagine. L'API Vision utilizza il riconoscimento ottico dei caratteri (OCR) per supportare due funzioni di rilevamento testo: il rilevamento di testo denso o DOCUMENT_TEXT_DETECTION, e il rilevamento di testo sparso TEXT_DETECTION.

Il codice seguente mostra come utilizzare l'API Vision DOCUMENT_TEXT_DETECTION funzionalità per rilevare di testo in una foto con testo ad alta densità. 

def pic_to_text(infile: str) -> str:
    """Detects text in an image file

    Args:
    infile: path to image file

    Returns:
    String of text detected in image
    """

    # Instantiates a client
    client = vision.ImageAnnotatorClient()

    # Opens the input image file
    with open(infile, "rb") as image_file:
        content = image_file.read()

    image = vision.Image(content=content)

    # For dense text, use document_text_detection
    # For less dense text, use text_detection
    response = client.document_text_detection(image=image)
    text = response.full_text_annotation.text
    print(f"Detected text: {text}")

    return text

Utilizzare la funzionalità di traduzione con i glossari

Dopo aver estratto il testo da un'immagine, utilizza Glossari di traduzione per personalizzare la traduzione del testo estratto. I glossari forniscono traduzioni predefinite che sostituiscono l'API Cloud Translation le traduzioni dei termini designati.

I casi d'uso dei glossario includono:

  • Nomi di prodotti:ad esempio "Google Home". deve essere tradotto in "Google Home".

  • Parole ambigue: ad esempio, la parola "pipistrello". può essere un attrezzo sportivo o un animale. Se sai che stai traducendo parole relative allo sport, potresti utilizzare un glossario per alimentare la l'API Cloud Translation la traduzione sportiva di "pipistrello", non la traduzione animale.

  • Parole prese in prestito: ad esempio "bouillabaisse" in francese significa "bouillabaisse" in inglese; la lingua inglese ha preso in prestito la parola "bouillabaisse" dalla lingua francese. Una persona di lingua inglese priva di un contesto culturale francese potrebbe non sapere che la bouillabaisse è uno stufato di pesce francese. I glossari possono sostituire una traduzione in modo "bouillabaisse" in francese significa "stufato di pesce" in inglese.

Creazione di un file di glossario

L'API Cloud Translation accetta file di glossario TSV, CSV o TMX. Questo tutorial utilizza un file CSV in Cloud Storage per definire set di termini equivalenti.

Per creare un file CSV di glossario:

  1. Specifica la lingua di una colonna utilizzando uno standard ISO-639 o BCP-47 nella prima riga del file CSV. 

    fr,en,

  2. Elenca coppie di termini equivalenti in ogni riga del file CSV. Separa i termini con virgole. L'esempio seguente definisce la traduzione in inglese di diverse parole culinarie in francese. 

    fr,en,
chèvre,goat cheese,
crème brulée,crème brulée,
bouillabaisse,fish stew,
steak frites,steak with french fries,

  3. Definire le varianti di una parola. L'API Cloud Translation è sensibile alle maiuscole e sensibile ai caratteri speciali come le parole accentate. Assicurati che il glossario gestisca le varianti di una parola definendo esplicitamente l'ortografia diversa della parola. 

    fr,en,
chevre,goat cheese,
Chevre,Goat cheese,
chèvre,goat cheese,
Chèvre,Goat cheese,
crème brulée,crème brulée,
Crème brulée,Crème brulée,
Crème Brulée,Crème Brulée,
bouillabaisse,fish stew,
Bouillabaisse,Fish stew,
steak frites,steak with french fries,
Steak frites,Steak with french fries,
Steak Frites,Steak with French Fries,

  4. Carica il glossario in una Bucket Cloud Storage. Ai fini di questo tutorial, non è necessario caricare un file di glossario in un nel bucket Cloud Storage, né devi creare un bucket Cloud Storage. Utilizza invece il file di glossario disponibile pubblicamente creato per questo tutorial per evitare costi di Cloud Storage. Invia l'URI di un glossario in Cloud Storage all'API Cloud Translation per creare un risorsa del glossario. L'URI del file del glossario disponibile pubblicamente per questo tutorial è gs://cloud-samples-data/translation/bistro_glossary.csv Per scaricare il glossario, fai clic sul link URI riportato sopra, ma non aprirlo in una nuova scheda.

Creazione di una risorsa di glossario

Per utilizzare un glossario, devi creare una risorsa con l'API Cloud Translation. Per creare una risorsa di glossario, invia l'URI di un file del glossario in Cloud Storage l'API Cloud Translation.

Assicurati di utilizzare una chiave dell'account di servizio con Autorizzazioni "Editor API Cloud Translation" e assicurati di aver impostato l'ID progetto dal terminale.

La seguente funzione crea una risorsa di glossario. Con questa risorsa del glossario, puoi personalizzare la richiesta di traduzione nel prossimo passaggio di questo tutorial. 

def create_glossary(
    languages: list,
    project_id: str,
    glossary_name: str,
    glossary_uri: str,
) -> str:
    """Creates a GCP glossary resource
    Assumes you've already manually uploaded a glossary to Cloud Storage

    Args:
    languages: list of languages in the glossary
    project_id: GCP project id
    glossary_name: name you want to give this glossary resource
    glossary_uri: the uri of the glossary you uploaded to Cloud Storage

    Returns:
    name of the created or existing glossary
    """

    # Instantiates a client
    client = translate.TranslationServiceClient()

    # Designates the data center location that you want to use
    location = "us-central1"

    # Set glossary resource name
    name = client.glossary_path(project_id, location, glossary_name)

    # Set language codes
    language_codes_set = translate.Glossary.LanguageCodesSet(language_codes=languages)

    gcs_source = translate.GcsSource(input_uri=glossary_uri)

    input_config = translate.GlossaryInputConfig(gcs_source=gcs_source)

    # Set glossary resource information
    glossary = translate.Glossary(
        name=name, language_codes_set=language_codes_set, input_config=input_config
    )

    parent = f"projects/{project_id}/locations/{location}"

    # Create glossary resource
    # Handle exception for case in which a glossary
    #  with glossary_name already exists
    try:
        operation = client.create_glossary(parent=parent, glossary=glossary)
        operation.result(timeout=90)
        print("Created glossary " + glossary_name + ".")
    except AlreadyExists:
        print(
            "The glossary "
            + glossary_name
            + " already exists. No new glossary was created."
        )

    return glossary_name

Traduzione con i glossari

Dopo aver creato una risorsa glossario, puoi utilizzarla per personalizzare le traduzioni del testo inviato all'API Cloud Translation.

La seguente funzione utilizza il glossario creato in precedenza per personalizzare la traduzione del testo. 

def translate_text(
    text: str,
    source_language_code: str,
    target_language_code: str,
    project_id: str,
    glossary_name: str,
) -> str:
    """Translates text to a given language using a glossary

    Args:
    text: String of text to translate
    source_language_code: language of input text
    target_language_code: language of output text
    project_id: GCP project id
    glossary_name: name you gave your project's glossary
        resource when you created it

    Return:
    String of translated text
    """

    # Instantiates a client
    client = translate.TranslationServiceClient()

    # Designates the data center location that you want to use
    location = "us-central1"

    glossary = client.glossary_path(project_id, location, glossary_name)

    glossary_config = translate.TranslateTextGlossaryConfig(glossary=glossary)

    parent = f"projects/{project_id}/locations/{location}"

    result = client.translate_text(
        request={
            "parent": parent,
            "contents": [text],
            "mime_type": "text/plain",  # mime types: text/plain, text/html
            "source_language_code": source_language_code,
            "target_language_code": target_language_code,
            "glossary_config": glossary_config,
        }
    )

    # Extract translated text from API response
    return result.glossary_translations[0].translated_text

Utilizzo di Text-to-Speech con linguaggio di markup di sintesi vocale

Ora che hai personalizzato una traduzione di testo rilevato da un'immagine, sei pronto usare l'API Text-to-Speech. L'API Text-to-Speech possono creare sintetici del testo tradotto.

L'API Text-to-Speech genera audio sintetico da o una stringa di testo normale o una stringa di testo sottoposta a markup con lo Speech Synthesis Markup Language (SSML). SSML è un linguaggio di markup che supporta l'annotazione del testo con Tag SSML. Puoi utilizzare i tag SSML per influenzare il modo in cui l'API Text-to-Speech formati di sintesi vocale.

La seguente funzione converte una stringa di SSML in un file MP3 di sintesi vocale. 

def text_to_speech(text: str, outfile: str) -> str:
    """Converts plaintext to SSML and
    generates synthetic audio from SSML

    Args:

    text: text to synthesize
    outfile: filename to use to store synthetic audio

    Returns:
    String of synthesized audio
    """

    # Replace special characters with HTML Ampersand Character Codes
    # These Codes prevent the API from confusing text with
    # SSML commands
    # For example, '<' --> '&lt;' and '&' --> '&amp;'
    escaped_lines = html.escape(text)

    # Convert plaintext to SSML in order to wait two seconds
    #   between each line in synthetic speech
    ssml = "<speak>{}</speak>".format(
        escaped_lines.replace("\n", '\n<break time="2s"/>')
    )

    # Instantiates a client
    client = texttospeech.TextToSpeechClient()

    # Sets the text input to be synthesized
    synthesis_input = texttospeech.SynthesisInput(ssml=ssml)

    # Builds the voice request, selects the language code ("en-US") and
    # the SSML voice gender ("MALE")
    voice = texttospeech.VoiceSelectionParams(
        language_code="en-US", ssml_gender=texttospeech.SsmlVoiceGender.MALE
    )

    # Selects the type of audio file to return
    audio_config = texttospeech.AudioConfig(
        audio_encoding=texttospeech.AudioEncoding.MP3
    )

    # Performs the text-to-speech request on the text input with the selected
    # voice parameters and audio file type

    request = texttospeech.SynthesizeSpeechRequest(
        input=synthesis_input, voice=voice, audio_config=audio_config
    )

    response = client.synthesize_speech(request=request)

    # Writes the synthetic audio to the output file.
    with open(outfile, "wb") as out:
        out.write(response.audio_content)
        print("Audio content written to file " + outfile)

Riepilogo

Nei passaggi precedenti, hai definito funzioni in hybrid_glossaries.py che utilizzano Vision, Translation e Text-to-Speech. Ora è tutto pronto di utilizzare queste funzioni per generare la sintesi vocale del testo tradotto da la foto che segue.

Il seguente codice chiama le funzioni definite in hybrid_glossaries.py a:

  • crea una risorsa di glossario dell'API Cloud Translation

  • usa l'API Vision per rilevare il testo nell'immagine qui sopra

  • eseguire una traduzione del testo rilevato nel glossario dell'API Cloud Translation

  • generare Text-to-Speech voce sintetica del testo tradotto

def main() -> None:
    """This method is called when the tutorial is run in the Google Cloud
    Translation API. It creates a glossary, translates text to
    French, and speaks the translated text.

    Args:
    None

    Returns:
    None
    """
    # Photo from which to extract text
    infile = "resources/example.png"
    # Name of file that will hold synthetic speech
    outfile = "resources/example.mp3"

    # Defines the languages in the glossary
    # This list must match the languages in the glossary
    #   Here, the glossary includes French and English
    glossary_langs = ["fr", "en"]
    # Name that will be assigned to your project's glossary resource
    glossary_name = "bistro-glossary"
    # uri of .csv file uploaded to Cloud Storage
    glossary_uri = "gs://cloud-samples-data/translation/bistro_glossary.csv"

    created_glossary_name = create_glossary(
        glossary_langs, PROJECT_ID, glossary_name, glossary_uri
    )

    # photo -> detected text
    text_to_translate = pic_to_text(infile)
    # detected text -> translated text
    text_to_speak = translate_text(
        text_to_translate, "fr", "en", PROJECT_ID, created_glossary_name
    )
    # translated text -> synthetic audio
    text_to_speech(text_to_speak, outfile)

Esecuzione del codice

Per eseguire il codice, inserisci questo comando nel terminale nella tua directory hybrid_glossaries clonata: 

python hybrid_tutorial.py

Viene visualizzato il seguente output: 

Created glossary bistro-glossary.
Audio content written to file resources/example.mp3

Dopo aver eseguito hybrid_glossaries.py, accedi al resources dalla directory hybrid_glossaries. Controlla se nella directory delle risorse è presente un file example.mp3.

Ascolta il seguente clip audio per verificare che il file example.mp3 lo stesso suono.


Risoluzione dei problemi relativi ai messaggi di errore

esegui la pulizia

Utilizzare la console Google Cloud per eliminare il progetto se non ti serve. Eliminazione del progetto evita che al tuo account di fatturazione Cloud vengano addebitati costi aggiuntivi per utilizzate in questo tutorial.

Eliminazione del progetto

  1. Nella console Google Cloud, vai alla pagina Progetti.
  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare e fai clic su Elimina.
  3. Nella finestra di dialogo, digita l'ID progetto e fai clic su Chiudi per per eliminare il progetto.

Passaggi successivi

Complimenti! Hai appena utilizzato Vision OCR per rilevare il testo in un'immagine. Quindi, hai creato un glossario di traduzione e tradotto con quel glossario. In seguito, hai usato Text-to-Speech per generare audio sintetico del testo tradotto.

Per ampliare le tue conoscenze di Vision, Cloud Translation e Text-to-Speech: