Generare testo utilizzando un modello Text-Bison e la funzione ML.GENERATE_TEXT

Questo tutorial mostra come creare un modello remoto basato sul text-bison@002 modello linguistico di grandi dimensioni, quindi utilizzarlo insieme alla funzione ML.GENERATE_TEXT per eseguire diverse attività di generazione di testo. Questo tutorial utilizza la tabella pubblica bigquery-public-data.imdb.reviews.

Importante: il modello text-bison non sarà più disponibile in aprile 2025. Se hai modelli remoti che utilizzano questo modello, esegui la migrazione a un modello Gemini 1.5 il prima possibile.

Autorizzazioni obbligatorie

• Per creare il set di dati, devi disporre dell'autorizzazione bigquery.datasets.create Identity and Access Management (IAM).

• Per creare la risorsa di connessione, sono necessarie le seguenti autorizzazioni IAM:

  • bigquery.connections.create
  • bigquery.connections.get

• Per concedere le autorizzazioni all'account di servizio della connessione, devi disporre della seguente autorizzazione:

  • resourcemanager.projects.setIamPolicy

• Per creare il modello, devi disporre delle seguenti autorizzazioni:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.connections.delegate

• Per eseguire l'inferenza, devi disporre delle seguenti autorizzazioni:

  • bigquery.models.getData
  • bigquery.jobs.create

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Per ulteriori informazioni sui prezzi di BigQuery, consulta la sezione Prezzi di BigQuery della documentazione di BigQuery.

Per ulteriori informazioni sui prezzi di Vertex AI, consulta la pagina Prezzi di Vertex AI.

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

Crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai alla pagina BigQuery

2. Nel riquadro Explorer, fai clic sul nome del progetto.

3. Fai clic su Visualizza azioni > Crea set di dati.

   

4. Nella pagina Crea set di dati:

   • In ID set di dati, inserisci bqml_tutorial.

   • Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).

     I set di dati pubblici sono archiviati nella US multiregione. Per semplicità, archivia il set di dati nella stessa posizione.

   • Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

     

Crea una connessione

Crea una connessione risorsa Cloud e recupera l'account di servizio della connessione. Crea la connessione nella stessa posizione del set di dati creato nel passaggio precedente.

Seleziona una delle seguenti opzioni:

Console

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Per creare una connessione, fai clic su Aggiungi e poi su Connessioni a origini dati esterne.

3. Nell'elenco Tipo di connessione, seleziona Modelli remoti di Vertex AI, funzioni remote e BigLake (risorsa Cloud).

4. Nel campo ID connessione, inserisci un nome per la connessione.

5. Fai clic su Crea connessione.

6. Fai clic su Vai alla connessione.

7. Nel riquadro Informazioni sulla connessione, copia l'ID account di servizio da utilizzare in un passaggio successivo.

bq

1. In un ambiente a riga di comando, crea una connessione:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID

   Il parametro --project_id sostituisce il progetto predefinito.

   Sostituisci quanto segue:

   • REGION: la regione di connessione
   • PROJECT_ID: il tuo ID progetto Google Cloud
   • CONNECTION_ID: un ID per la connessione

   Quando crei una risorsa di connessione, BigQuery crea un account di servizio di sistema unico e lo associa alla connessione.

   Risoluzione dei problemi: se ricevi il seguente errore di connessione, aggiorna Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupera e copia l'ID account di servizio per utilizzarlo in un passaggio successivo:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID

   L'output è simile al seguente:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Utilizza la risorsa google_bigquery_connection.

Nota: per creare oggetti BigQuery utilizzando Terraform, devi attivare l'API Cloud Resource Manager.

Per autenticarti in BigQuery, configura le credenziali predefinite dell'applicazione. Per saperne di più, vedi Configurare l'autenticazione per le librerie client.

L'esempio seguente crea una connessione risorsa Cloud denominata my_cloud_resource_connection nella regione US:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Per applicare la configurazione Terraform in un progetto Google Cloud, completa i passaggi nelle seguenti sezioni.

Prepara Cloud Shell

1. Avvia Cloud Shell.

2. Imposta il progetto Google Cloud predefinito in cui vuoi applicare le configurazioni Terraform.

   Devi eseguire questo comando una sola volta per progetto e puoi farlo in qualsiasi directory.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   Le variabili di ambiente vengono sostituite se imposti valori espliciti nel file di configurazione Terraform.

Prepara la directory

Ogni file di configurazione di Terraform deve avere una propria directory (chiamata anche modulo principale).

1. In Cloud Shell, crea una directory e un nuovo file al suo interno. Il nome file deve avere l'estensione .tf, ad esempio main.tf. In questo tutorial, il file è denominato main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. Se stai seguendo un tutorial, puoi copiare il codice campione in ogni sezione o passaggio.

   Copia il codice campione nel file main.tf appena creato.

   Se vuoi, copia il codice da GitHub. Questa opzione è consigliata quando lo snippet Terraform fa parte di una soluzione end-to-end.

3. Esamina e modifica i parametri di esempio da applicare al tuo ambiente.
4. Salva le modifiche.
5. Inizializza Terraform. Devi eseguire questa operazione una sola volta per directory.

   terraform init

   Se vuoi, per utilizzare la versione più recente del provider Google, includi l'opzione -upgrade:

   terraform init -upgrade

Applica le modifiche

1. Rivedi la configurazione e verifica che le risorse che Terraform sta per creare o aggiornare corrispondano alle tue aspettative:

   terraform plan

   Apporta le correzioni necessarie alla configurazione.

2. Applica la configurazione di Terraform eseguendo il seguente comando e inserendo yes al prompt:

   terraform apply

   Attendi che Terraform mostri il messaggio "Applicazione completata".

3. Apri il tuo progetto Google Cloud per visualizzare i risultati. Nella console Google Cloud, vai alle risorse nell'interfaccia utente per assicurarti che Terraform le abbia create o aggiornate.

Nota: in genere i sample di Terraform presuppongono che le API richieste siano attivate nel progetto Google Cloud.

Concedi le autorizzazioni all'account di servizio della connessione

Concedi all'account di servizio della connessione il ruolo Utente Vertex AI. Devi concedere questo ruolo nello stesso progetto che hai creato o selezionato nella sezione Prima di iniziare. Se concedi il ruolo in un progetto diverso, viene visualizzato l'errore [e-mail] does not have the permission to access resource.

Per concedere il ruolo, segui questi passaggi:

1. Vai alla pagina IAM e amministrazione.

   Vai a IAM e amministrazione

2. Fai clic su Concedi l'accesso.

3. Nel campo Nuove entità, inserisci l'ID account di servizio che hai copiato in precedenza.

4. Nel campo Seleziona un ruolo, scegli Vertex AI e poi Ruolo utente Vertex AI.

5. Fai clic su Salva.

Crea il modello remoto

Crea un modello remoto che rappresenti un modello linguistico di grandi dimensioni (LLM) Vertex AI ospitato:

SQL

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   CREATE OR REPLACE MODEL `bqml_tutorial.llm_model`
   REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS (ENDPOINT = 'text-bison@002');

   Sostituisci quanto segue:

   • LOCATION: la posizione della connessione
   • CONNECTION_ID: l'ID della connessione BigQuery

     Quando visualizzi i dettagli della connessione nella console Google Cloud, questo è il valore nell'ultima sezione dell'ID connessione completo visualizzato in ID connessione, ad esempio projects/myproject/locations/connection_location/connections/myconnection

   Il completamento della query richiede alcuni secondi, dopodiché il modellollm_model viene visualizzato nel set di dati bqml_tutorial nel riquadro Esplorazione. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non esistono risultati della query.

BigQuery DataFrames

Prima di provare questo esempio, segui le istruzioni di configurazione di BigQuery DataFrames riportate nella guida introduttiva di BigQuery che utilizza BigQuery DataFrames. Per ulteriori informazioni, consulta la documentazione di riferimento di BigQuery DataFrames.

Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configurare l'autenticazione per un ambiente di sviluppo locale.

import bigframes
from bigframes.ml.llm import PaLM2TextGenerator

bigframes.options.bigquery.project = PROJECT_ID
bigframes.options.bigquery.location = LOCATION

model = PaLM2TextGenerator()

Esegui l'estrazione delle parole chiave

Esegui l'estrazione delle parole chiave dalle recensioni dei film di IMDB utilizzando il modello remoto e la funzione ML.GENERATE_TEXT:

SQL

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, inserisci la seguente istruzione per eseguire l'estrazione delle parole chiave da cinque recensioni di film:

   SELECT
   ml_generate_text_result['predictions'][0]['content'] AS generated_text,
   ml_generate_text_result['predictions'][0]['safetyAttributes']
     AS safety_attributes,
   * EXCEPT (ml_generate_text_result)
   FROM
   ML.GENERATE_TEXT(
     MODEL `bqml_tutorial.llm_model`,
     (
       SELECT
         CONCAT('Extract the key words from the text below: ', review) AS prompt,
         *
       FROM
         `bigquery-public-data.imdb.reviews`
       LIMIT 5
     ),
     STRUCT(
       0.2 AS temperature,
       100 AS max_output_tokens));

   L'output è simile al seguente, con le colonne non generate omesse per chiarezza:

   +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+
   | generated_text                         | safety_attributes                           | ml_generate_text_status | prompt                     | ... |
   +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+
   | " Keywords:\n- British Airways\n-      | {"blocked":false,"categories":              |                         | Extract the key words from |     |
   | acting\n- story\n- kid\n- switch off"  | ["Death, Harm & Tragedy","Derogatory",      |                         | the text below: I had to   |     |
   |                                        | "Finance","Health","Insult",                |                         | see this on the British    |     |
   |                                        | "Profanity","Religion & Belief",            |                         | Airways plane. It was      |     |
   |                                        | "Sexual","Toxic"]                           |                         | terribly bad acting and    |     |
   |                                        | "safetyRatings":[{"category":               |                         | a dumb story. Not even     |     |
   |                                        | "Dangerous Content","probabilityScore"...   |                         | a kid would enjoy this...  |     |
   +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+
   | " - Family movie\n- ITV station\n- THE | {"blocked":false,"categories":              |                         | Extract the key words from |     |
   | REAL HOWARD SPITZ\n- Roald Dahl\n-     | ["Death, Harm & Tragedy","Derogatory",      |                         | the text below: This is    |     |
   | DOCTOR WHO\n- Pulp fiction\n- Child    | "Health","Illicit Drugs","Insult",          |                         | a family movie that was    |     |
   | abuse\n- KINDERGARTEN COP\n- PC\n-     | "Legal","Profanity","Public Safety",        |                         | broadcast on my local      |     |
   | Children's author\n- Vadim Jean\n-     | "Sexual","Toxic","Violent"],                |                         | ITV station at 1.00 am a   |     |
   | Haphazard\n- Kelsey Grammar\n-         | "safetyRatings":[{"category":               |                         | couple of nights ago.      |     |
   | Dead pan\n- Ridiculous camera angles"  | "Dangerous Content","probabilityScore"...   |                         | This might be a strange... |     |
   +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+
   

   I risultati includono le seguenti colonne:

   • generated_text: il testo generato.
   • safety_attributes: gli attributi di sicurezza, insieme alle informazioni su se i contenuti sono bloccati a causa di una delle categorie di blocco. Per ulteriori informazioni sugli attributi di sicurezza, consulta l'API Vertex PaLM.
   • ml_generate_text_status: lo stato della risposta dell'API per la riga corrispondente. Se l'operazione è andata a buon fine, questo valore è vuoto.
   • prompt: il prompt utilizzato per l'analisi del sentiment.
   • Tutte le colonne della tabella bigquery-public-data.imdb.reviews.

3. (Facoltativo) Anziché analizzare manualmente il JSON restituito dalla funzione, come hai fatto nel passaggio precedente, utilizza l'argomento flatten_json_output per restituire il testo generato e gli attributi di sicurezza in colonne separate.

   Nell'editor di query, esegui la seguente istruzione:

   SELECT
   *
   FROM
   ML.GENERATE_TEXT(
     MODEL `bqml_tutorial.llm_model`,
     (
       SELECT
         CONCAT('Extract the key words from the text below: ', review) AS prompt,
         *
       FROM
         `bigquery-public-data.imdb.reviews`
       LIMIT 5
     ),
     STRUCT(
       0.2 AS temperature,
       100 AS max_output_tokens,
       TRUE AS flatten_json_output));

   L'output è simile al seguente, con le colonne non generate omesse per chiarezza:

   +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+
   | ml_generate_text_llm_result            | ml_generate_text_rai_result                 | ml_generate_text_status | prompt                     | ... |
   +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+
   | Keywords:                              | {"blocked":false,"categories":              |                         | Extract the key words from |     |
   | - British Airways                      | ["Death, Harm & Tragedy","Derogatory",      |                         | the text below: I had to   |     |
   | - acting                               | "Finance","Health","Insult",                |                         | see this on the British    |     |
   | - story                                | "Profanity","Religion & Belief",            |                         | Airways plane. It was      |     |
   | - kid                                  | "Sexual","Toxic"]                           |                         | terribly bad acting and    |     |
   | - switch off                           | "safetyRatings":[{"category":               |                         | a dumb story. Not even     |     |
   |                                        | "Dangerous Content","probabilityScore"...   |                         | a kid would enjoy this...  |     |
   +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+
   | - Family movie                         | {"blocked":false,"categories":              |                         | Extract the key words from |     |
   | - ITV station                          | ["Death, Harm & Tragedy","Derogatory",      |                         | the text below: This is    |     |
   | - THE REAL HOWARD SPITZ                | "Health","Illicit Drugs","Insult",          |                         | a family movie that was    |     |
   | - Roald Dahl                           | "Legal","Profanity","Public Safety",        |                         | broadcast on my local      |     |
   | - DOCTOR WHO                           | "Sexual","Toxic","Violent"],                |                         | ITV station at 1.00 am a   |     |
   | - Pulp Fiction                         | "safetyRatings":[{"category":               |                         | couple of nights ago.      |     |
   | - ...                                  | "Dangerous Content","probabilityScore"...   |                         | This might be a strange... |     |
   +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+
   

   I risultati includono le seguenti colonne:

   • ml_generate_text_llm_result: il testo generato.
   • ml_generate_text_rai_result: gli attributi di sicurezza, insieme alle informazioni su se i contenuti sono bloccati a causa di una delle categorie di blocco. Per ulteriori informazioni sugli attributi di sicurezza, consulta l'API Vertex PaLM.
   • ml_generate_text_status: lo stato della risposta dell'API per la riga corrispondente. Se l'operazione è andata a buon fine, questo valore è vuoto.
   • prompt: il prompt utilizzato per l'estrazione delle parole chiave.
   • Tutte le colonne della tabella bigquery-public-data.imdb.reviews.

BigQuery DataFrames

Prima di provare questo esempio, segui le istruzioni di configurazione di BigQuery DataFrames riportate nella guida introduttiva di BigQuery che utilizza BigQuery DataFrames. Per ulteriori informazioni, consulta la documentazione di riferimento di BigQuery DataFrames.

Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configurare l'autenticazione per un ambiente di sviluppo locale.

Utilizza la funzione predict per eseguire il modello remoto:

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.imdb.reviews", max_results=5)
df_prompt_prefix = "Extract the key words from the text below: "
df_prompt = df_prompt_prefix + df["review"]

# Predict using the model
df_pred = model.predict(df_prompt, temperature=0.2, max_output_tokens=100)
df_pred.peek(5)

Il risultato è simile al seguente:

Esegui l'analisi del sentiment

Esegui l'analisi del sentiment sulle recensioni dei film di IMDB utilizzando il modello remoto e la funzione ML.GENERATE_TEXT:

SQL

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione per eseguire l'analisi del sentiment su cinque recensioni di film:

   SELECT
   ml_generate_text_result['predictions'][0]['content'] AS generated_text,
   ml_generate_text_result['predictions'][0]['safetyAttributes']
     AS safety_attributes,
   * EXCEPT (ml_generate_text_result)
   FROM
   ML.GENERATE_TEXT(
     MODEL `bqml_tutorial.llm_model`,
     (
       SELECT
         CONCAT(
           'perform sentiment analysis on the following text, return one the following categories: positive, negative: ',
           review) AS prompt,
         *
       FROM
         `bigquery-public-data.imdb.reviews`
       LIMIT 5
     ),
     STRUCT(
       0.2 AS temperature,
       100 AS max_output_tokens));

   L'output è simile al seguente, con le colonne non generate omesse per chiarezza:

   +----------------+---------------------------------------------+-------------------------+----------------------------+-----+
   | generated_text | safety_attributes                           | ml_generate_text_status | prompt                     | ... |
   +----------------+---------------------------------------------+-------------------------+----------------------------+-----+
   | "negative"     | {"blocked":false,"categories":              |                         | perform sentiment analysis |     |
   |                | ["Death, Harm & Tragedy","Derogatory",      |                         | on the following text,     |     |
   |                | "Finance","Health","Insult",                |                         | return one the following   |     |
   |                | "Profanity","Religion & Belief",            |                         | categories: positive,      |     |
   |                | "Sexual","Toxic"]                           |                         | negative: I  had to see    |     |
   |                | "safetyRatings":[{"category":               |                         | this on the British        |     |
   |                | "Dangerous Content","probabilityScore"...   |                         | Airways plane. It was...   |     | 
   +----------------+---------------------------------------------+-------------------------+----------------------------+-----+
   | "negative"     | {"blocked":false,"categories":              |                         | perform sentiment analysis |     |
   |                | ["Death, Harm & Tragedy","Derogatory",      |                         | on the following text,     |     |
   |                | "Health","Illicit Drugs","Insult",          |                         | return one the following   |     |
   |                | "Legal","Profanity","Public Safety",        |                         | categories: positive,      |     |
   |                | "Sexual","Toxic","Violent"],                |                         | negative: This is a family |     |
   |                | "safetyRatings":[{"category":               |                         | movie that was broadcast   |     |
   |                | "Dangerous Content","probabilityScore"...   |                         | on my local ITV station... |     |
   +----------------+---------------------------------------------+-------------------------+----------------------------+-----+
   

   I risultati includono le stesse colonne descritte per Eseguire l'estrazione delle parole chiave.

BigQuery DataFrames

Prima di provare questo esempio, segui le istruzioni di configurazione di BigQuery DataFrames riportate nella guida introduttiva di BigQuery che utilizza BigQuery DataFrames. Per ulteriori informazioni, consulta la documentazione di riferimento di BigQuery DataFrames.

Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configurare l'autenticazione per un ambiente di sviluppo locale.

Utilizza la funzione predict per eseguire il modello remoto:

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.imdb.reviews", max_results=5)
df_prompt_prefix = "perform sentiment analysis on the following text, return one the following categories: positive, negative: "
df_prompt = df_prompt_prefix + df["review"]

# Predict using the model
df_pred = model.predict(df_prompt, temperature=0.2, max_output_tokens=100)
df_pred.peek(5)

Il risultato è simile al seguente:

Esegui la pulizia

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.