Incorpora testo con modelli TensorFlow preaddestrati

Questo tutorial mostra come generare incorporamenti di testo NNLM, SWIVEL e BERT in BigQuery utilizzando modelli TensorFlow preaddestrati. Un embedding di testo è una rappresentazione vettoriale densa di un testo, in modo che se due testi sono semanticamente simili, i rispettivi embedding sono vicini nello spazio vettoriale dell'embedding.

Modelli NNLM, SWIVEL e BERT

I modelli NNLM, SWIVEL e BERT variano in termini di dimensioni, accuratezza, scalabilità e costo. Utilizza la tabella seguente per determinare quale modello utilizzare:

Modello	Dimensione modello	Dimensione di embedding	Caso d'uso	Descrizione
NNLM	< 150 MB	50	Frasi brevi, notizie, tweet, recensioni	modello linguistico di rete neurale
GIRA	< 150 MB	20	Frasi brevi, notizie, tweet, recensioni	Studente sull'incorporamento vettoriale a sottomatrice
BERT	~200MB	768	Frasi brevi, notizie, tweet, recensioni, brevi paragrafi	Bidirectional Encoder Representations from Transformers

In questo tutorial, i modelli NNLM e SWIVEL vengono modelli TensorFlow importati, e il modello BERT è un modello remoto su Vertex AI.

Autorizzazioni obbligatorie

• Per creare il set di dati, devi disporre dell'autorizzazione bigquery.datasets.create Identity and Access Management (IAM).

• Per creare il bucket, devi disporre di IAM storage.buckets.create autorizzazione.

• Per caricare il modello in Cloud Storage, è necessario IAM storage.objects.create e storage.objects.get autorizzazioni aggiuntive.

• Per creare la risorsa di connessione, devi disporre dei seguenti IAM autorizzazioni:

  • bigquery.connections.create
  • bigquery.connections.get

• Per caricare il modello in BigQuery ML, sono necessarie le seguenti autorizzazioni IAM:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData

• Per eseguire l'inferenza, devi disporre delle seguenti autorizzazioni IAM:

  • bigquery.tables.getData nella tabella dell'oggetto
  • bigquery.models.getData sul modello
  • bigquery.jobs.create

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• BigQuery: You incur costs for the queries that you run in BigQuery.
• BigQuery ML: You incur costs for the model that you create and the inference that you perform in BigQuery ML.
• Cloud Storage: You incur costs for the objects that you store in Cloud Storage.
• Vertex AI: If you follow the instructions for generating the BERT model, then you incur costs for deploying the model to an endpoint.

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Per maggiori informazioni, consulta le seguenti risorse:

• Prezzi di archiviazione
• Prezzi di BigQuery ML
• Prezzi di Cloud Storage
• Prezzi di Vertex AI

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

Nota: l'API Vertex AI e l'API BigQuery Connection sono obbligatorie solo per il modello BERT.

Crea un set di dati

Creare un set di dati denominato tf_models_tutorial per archiviare i modelli che che crei, seleziona una delle seguenti opzioni:

SQL

Utilizza la Dichiarazione CREATE SCHEMA:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, inserisci la seguente istruzione:

   CREATE SCHEMA `PROJECT_ID.tf_models_tutorial`;

   Sostituisci PROJECT_ID con l'ID progetto.

3. Fai clic su Esegui.

Per ulteriori informazioni su come eseguire le query, consulta Eseguire una query interattiva.

bq

1. Nella console Google Cloud, attiva Cloud Shell.

   Attiva Cloud Shell

2. Per creare il set di dati, esegui il comando bq mk:

   bq mk --dataset --location=us PROJECT_ID:tf_models_tutorial

   Sostituisci PROJECT_ID con l'ID progetto.

Genera e carica un modello in Cloud Storage

Per istruzioni più dettagliate sulla generazione di incorporamenti di testo utilizzando Per i modelli TensorFlow, consulta Blocco note di Colab. Altrimenti, seleziona uno dei seguenti modelli:

NNLM

1. Installa la libreria bigquery-ml-utils utilizzando pip:

   pip install bigquery-ml-utils
   

2. Genera un modello NNLM. Il codice Python seguente carica un modello NNLM da TensorFlow Hub e lo prepara BigQuery:

   from bigquery_ml_utils import model_generator
   
   # Establish an instance of TextEmbeddingModelGenerator.
   text_embedding_model_generator = model_generator.TextEmbeddingModelGenerator()
   
   # Generate an NNLM model.
   text_embedding_model_generator.generate_text_embedding_model('nnlm', OUTPUT_MODEL_PATH)
   

   Sostituisci OUTPUT_MODEL_PATH con il percorso di una cartella locale in cui puoi memorizzare temporaneamente il modello.

3. (Facoltativo) Stampa la firma del modello generato:

   import tensorflow as tf
   
   reload_embedding_model = tf.saved_model.load(OUTPUT_MODEL_PATH)
   print(reload_embedding_model.signatures["serving_default"])
   

4. Per copiare il modello generato dalla cartella locale in un nel bucket Cloud Storage, utilizza Google Cloud CLI:

   gcloud storage cp OUTPUT_MODEL_PATH gs://BUCKET_PATH/nnlm_model --recursive
   

   Sostituisci BUCKET_PATH con il nome del bucket Cloud Storage in cui stai copiando il modello.

GIREVOLE

1. Installa la libreria bigquery-ml-utils utilizzando pip:

   pip install bigquery-ml-utils
   

2. Genera un modello SWIVEL. Il seguente codice Python carica un modello SWIVEL da TensorFlow Hub e lo prepara per BigQuery:

   from bigquery_ml_utils import model_generator
   
   # Establish an instance of TextEmbeddingModelGenerator.
   text_embedding_model_generator = model_generator.TextEmbeddingModelGenerator()
   
   # Generate a SWIVEL model.
   text_embedding_model_generator.generate_text_embedding_model('swivel', OUTPUT_MODEL_PATH)
   

   Sostituisci OUTPUT_MODEL_PATH con il percorso di una cartella locale in cui puoi memorizzare temporaneamente il modello.

3. (Facoltativo) Stampa la firma del modello generato:

   import tensorflow as tf
   
   reload_embedding_model = tf.saved_model.load(OUTPUT_MODEL_PATH)
   print(reload_embedding_model.signatures["serving_default"])
   

4. Per copiare il modello generato dalla cartella locale in un nel bucket Cloud Storage, utilizza Google Cloud CLI:

   gcloud storage cp OUTPUT_MODEL_PATH gs://BUCKET_PATH/swivel_model --recursive
   

   Sostituisci BUCKET_PATH con il nome del Bucket Cloud Storage in cui stai copiando il modello.

BERT

1. Installa il Raccolta bigquery-ml-utils utilizzando pip:

   pip install bigquery-ml-utils
   

2. Genera un modello BERT. Il seguente codice Python carica un modello BERT da TensorFlow Hub e lo prepara per BigQuery:

   from bigquery_ml_utils import model_generator
   
   # Establish an instance of TextEmbeddingModelGenerator.
   text_embedding_model_generator = model_generator.TextEmbeddingModelGenerator()
   
   # Generate a BERT model.
   text_embedding_model_generator.generate_text_embedding_model('bert', OUTPUT_MODEL_PATH)
   

   Sostituisci OUTPUT_MODEL_PATH con un percorso a un indirizzo locale in cui archiviare temporaneamente il modello.

3. (Facoltativo) Stampa la firma del modello generato:

   import tensorflow as tf
   
   reload_embedding_model = tf.saved_model.load(OUTPUT_MODEL_PATH)
   print(reload_embedding_model.signatures["serving_default"])
   

4. Per copiare il modello generato dalla cartella locale in un nel bucket Cloud Storage, utilizza Google Cloud CLI:

   gcloud storage cp OUTPUT_MODEL_PATH gs://BUCKET_PATH/bert_model --recursive
   

   Sostituisci BUCKET_PATH con il nome del bucket Cloud Storage in cui stai copiando il modello.

Carica il modello in BigQuery

Seleziona uno dei seguenti modelli:

NNLM

Utilizza l'istruzione CREATE MODEL:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, inserisci la seguente istruzione:

   CREATE OR REPLACE MODEL tf_models_tutorial.nnlm_model
   OPTIONS (
     model_type = 'TENSORFLOW',
     model_path = 'gs://BUCKET_NAME/nnlm_model/*');

   Sostituisci BUCKET_NAME con il nome del bucket creato in precedenza.

3. Fai clic su Esegui.

Per ulteriori informazioni su come eseguire le query, consulta Eseguire una query interattiva.

SWIVEL

Utilizza l'istruzione CREATE MODEL:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, inserisci la seguente istruzione:

   CREATE OR REPLACE MODEL tf_models_tutorial.swivel_model
   OPTIONS (
     model_type = 'TENSORFLOW',
     model_path = 'gs://BUCKET_NAME/swivel_model/*');

   Sostituisci BUCKET_NAME con il nome del bucket creato in precedenza.

3. Fai clic su Esegui.

Per ulteriori informazioni su come eseguire query, consulta Eseguire una query interattiva.

BERT

Per caricare il modello BERT in BigQuery, importa il modello BERT in Vertex AI, esegui il deployment del modello in un endpoint Vertex AI, crea una connessione e poi crea un modello remoto in BigQuery.

Per importare il modello BERT in Vertex AI:

1. Nella console Google Cloud, vai a Vertex AI Pagina Model registry.

   Vai a Model Registry

2. Fai clic su Importa, quindi procedi nel seguente modo:

   • In Nome, inserisci BERT.
   • Per Regione, seleziona una regione corrispondente a quella del tuo bucket Cloud Storage.

3. Fai clic su Continua, quindi:

   • In Versione framework modello, seleziona 2.8.
   • In Posizione artefatto modello, inserisci il percorso Bucket Cloud Storage in cui hai archiviato il file del modello. Per ad esempio gs://BUCKET_PATH/bert_model.

4. Fai clic su Importa. Al termine dell'importazione, il modello viene visualizzato della pagina Model registry.

Per eseguire il deployment del modello BERT in un endpoint Vertex AI e collegarlo a BigQuery:

1. Nella console Google Cloud, vai alla pagina Model Registry di Vertex AI.

   Vai al registro dei modelli

2. Fai clic sul nome del modello.

3. Fai clic su Esegui il deployment e test.

4. Fai clic su Esegui il deployment nell'endpoint.

5. In Nome endpoint, inserisci bert_model_endpoint.

6. Fai clic su Continua.

7. Seleziona le risorse di calcolo.

8. Fai clic su Esegui il deployment.

9. Crea una connessione alle risorse Cloud BigQuery e concedere l'accesso all'account di servizio della connessione.

Per creare un modello remoto basato sull'endpoint Vertex AI, utilizza la Dichiarazione CREATE MODEL:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, inserisci la seguente istruzione:

   CREATE OR REPLACE MODEL tf_models_tutorial.bert_model
   INPUT(content STRING)
   OUTPUT(embedding ARRAY<FLOAT64>)
   REMOTE WITH CONNECTION `PROJECT_ID.CONNECTION_LOCATION.CONNECTION_ID`
   OPTIONS (
     ENDPOINT = "https://ENDPOINT_LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/ENDPOINT_LOCATION/endpoints/ENDPOINT_ID");

   Sostituisci quanto segue:

   • PROJECT_ID: l'ID progetto
   • CONNECTION_LOCATION: la posizione del tuo Connessione BigQuery
   • CONNECTION_ID: l'ID della connessione BigQuery

     Quando visualizzi i dettagli della connessione nella console Google Cloud, questo è il valore nell'ultima sezione dell'ID connessione visualizzato in ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection

   • ENDPOINT_LOCATION: la posizione del tuo endpoint Vertex AI. Ad esempio: "us-central1".
   • ENDPOINT_ID: l'ID dell'endpoint del tuo modello

3. Fai clic su Esegui.

Per ulteriori informazioni su come eseguire query, consulta Eseguire una query interattiva.

Genera incorporamenti di testo

In questa sezione utilizzerai la funzione di inferenza ML.PREDICT() per generare embedding di testo della colonna review del set di dati pubblico bigquery-public-data.imdb.reviews. La la query limita la tabella a 500 righe per ridurre la quantità di dati elaborati.

NNLM

SELECT
  *
FROM
  ML.PREDICT(
    MODEL `tf_models_tutorial.nnlm_model`,
    (
    SELECT
      review AS content
    FROM
      `bigquery-public-data.imdb.reviews`
    LIMIT
      500)
  );

Il risultato è simile al seguente:

+-----------------------+----------------------------------------+
| embedding             | content                                |
+-----------------------+----------------------------------------+
|  0.08599445223808289  | Isabelle Huppert must be one of the... |
| -0.04862852394580841  |                                        |
| -0.017750458791851997 |                                        |
|  0.8658871650695801   |                                        |
| ...                   |                                        |
+-----------------------+----------------------------------------+

GIREVOLE

SELECT
  *
FROM
  ML.PREDICT(
    MODEL `tf_models_tutorial.swivel_model`,
    (
    SELECT
      review AS content
    FROM
      `bigquery-public-data.imdb.reviews`
    LIMIT
      500)
  );

Il risultato è simile al seguente:

+----------------------+----------------------------------------+
| embedding            | content                                |
+----------------------+----------------------------------------+
|  2.5952553749084473  | Isabelle Huppert must be one of the... |
| -4.015787601470947   |                                        |
|  3.6275434494018555  |                                        |
| -6.045154333114624   |                                        |
| ...                  |                                        |
+----------------------+----------------------------------------+

BERT

SELECT
  *
FROM
  ML.PREDICT(
    MODEL `tf_models_tutorial.bert_model`,
    (
    SELECT
      review AS content
    FROM
      `bigquery-public-data.imdb.reviews`
    LIMIT
      500)
  );

Il risultato è simile al seguente:

+--------------+---------------------+----------------------------------------+
| embedding    | remote_model_status | content                                |
+--------------+---------------------+----------------------------------------+
| -0.694072425 | null                | Isabelle Huppert must be one of the... |
|  0.439208865 |                     |                                        |
|  0.99988997  |                     |                                        |
| -0.993487895 |                     |                                        |
| ...          |                     |                                        |
+--------------+---------------------+----------------------------------------+

Esegui la pulizia

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.