Genera testo utilizzando un modello text-bison e la funzione ML.GENERATE_TEXT
Questo tutorial mostra come creare un
modello remoto
che si basa
text-bison@002
modello linguistico di grandi dimensioni (LLM),
e poi utilizzarlo insieme
Funzione ML.GENERATE_TEXT
per eseguire varie attività di generazione di testo. Questo tutorial utilizza
bigquery-public-data.imdb.reviews
tabella pubblica.
Autorizzazioni obbligatorie
- Per creare il set di dati, è necessario il
bigquery.datasets.create
Autorizzazione IAM (Identity and Access Management). Per creare la risorsa di connessione, devi disporre dei seguenti IAM autorizzazioni:
bigquery.connections.create
bigquery.connections.get
Per concedere le autorizzazioni all'account di servizio della connessione, è necessario il seguente autorizzazione:
resourcemanager.projects.setIamPolicy
Per creare il modello, devi disporre delle seguenti autorizzazioni:
bigquery.jobs.create
bigquery.models.create
bigquery.models.getData
bigquery.models.updateData
bigquery.connections.delegate
Per eseguire l'inferenza, devi disporre delle seguenti autorizzazioni:
bigquery.models.getData
bigquery.jobs.create
Costi
In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:
- BigQuery ML: You incur costs for the data that you process in BigQuery.
- Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.
Per generare una stima dei costi basata sull'utilizzo previsto,
utilizza il Calcolatore prezzi.
Per ulteriori informazioni sui prezzi di BigQuery, consulta Prezzi di BigQuery in documentazione di BigQuery.
Per ulteriori informazioni sui prezzi di Vertex AI, consulta Prezzi di Vertex AI .
Prima di iniziare
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Abilita le API BigQuery, BigQuery Connection, and Vertex AI.
Crea un set di dati
Crea un set di dati BigQuery per archiviare il tuo modello ML:
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, fai clic sul nome del tuo progetto.
Fai clic su
Visualizza azioni > Crea il set di dati.Nella pagina Crea set di dati, segui questi passaggi:
In ID set di dati, inserisci
bqml_tutorial
.Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).
I set di dati pubblici vengono archiviati nell'
US
più regioni. Per semplicità, per archiviare il set di dati nella stessa posizione.Lascia invariate le restanti impostazioni predefinite e fai clic su Crea il set di dati.
Crea una connessione
Crea un Connessione alle risorse cloud e recuperare l'account di servizio della connessione. Crea la connessione in nella stessa località del set di dati che hai creato passaggio precedente.
Seleziona una delle seguenti opzioni:
Console
Vai alla pagina BigQuery.
Per creare una connessione, fai clic su
Aggiungi e poi fai clic su Connessioni a origini dati esterne.Nell'elenco Tipo di connessione, seleziona Modelli remoti Vertex AI, funzioni remote e BigLake (risorsa Cloud).
Nel campo ID connessione, inserisci un nome per connessione.
Fai clic su Crea connessione.
Fai clic su Vai alla connessione.
Nel riquadro Informazioni sulla connessione, copia l'ID account di servizio per utilizzarlo in una passaggio successivo.
bq
In un ambiente a riga di comando, crea una connessione:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
Il parametro
--project_id
sostituisce il progetto predefinito.Sostituisci quanto segue:
REGION
: il tuo regione di connessionePROJECT_ID
: l'ID del tuo progetto Google CloudCONNECTION_ID
: un ID per connessione
Quando crei una risorsa di connessione, BigQuery crea di account di servizio di sistema univoco e lo associa alla connessione.
Risoluzione dei problemi: se ricevi il seguente errore di connessione, Aggiorna Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Recupera e copia l'ID account di servizio per utilizzarlo in un secondo momento passaggio:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
L'output è simile al seguente:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Aggiungi la seguente sezione al tuo file main.tf
.
## This creates a cloud resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "CONNECTION_ID" project = "PROJECT_ID" location = "REGION" cloud_resource {} }Sostituisci quanto segue:
CONNECTION_ID
: un ID per connessionePROJECT_ID
: l'ID del tuo progetto Google CloudREGION
: il tuo regione di connessione
Concedi le autorizzazioni all'account di servizio della connessione
Per concedere all'account di servizio della connessione un ruolo appropriato per accedere al Segui questi passaggi:
Vai alla sezione IAM e Console di amministrazione.
Fai clic su
Concedi l'accesso.Nel campo Nuove entità, inserisci l'ID account di servizio che copiato in precedenza.
Nel campo Seleziona un ruolo, scegli Vertex AI, quindi seleziona Ruolo utente Vertex AI.
Fai clic su Salva.
Crea il modello remoto
Crea un modello remoto che rappresenta un modello Vertex AI ospitato modello linguistico di grandi dimensioni (LLM):
SQL
Nella console Google Cloud, vai alla pagina BigQuery.
Esegui la seguente istruzione nell'editor query:
CREATE OR REPLACE MODEL `bqml_tutorial.llm_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'text-bison@002');
Sostituisci quanto segue:
LOCATION
: posizione della connessioneCONNECTION_ID
: l'ID del tuo Connessione BigQueryQuando visualizzi i dettagli della connessione nella console Google Cloud, questo è il valore riportato nell'ultima sezione l'ID connessione completo mostrato ID connessione, ad esempio
projects/myproject/locations/connection_location/connections/myconnection
Il completamento della query richiede diversi secondi, dopodiché il modello
llm_model
compare nel set di datibqml_tutorial
nel riquadro Explorer. Poiché la query utilizza un'istruzioneCREATE MODEL
per creare un modello, non sono risultati di query.
DataFrame BigQuery
Prima di provare questo esempio, segui i DataFrame di BigQuery nella guida rapida di BigQuery utilizzando BigQuery DataFrames. Per ulteriori informazioni, consulta Documentazione di riferimento di BigQuery DataFrames.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Impostare l'autenticazione per un ambiente di sviluppo locale.
Esegui l'estrazione delle parole chiave
Esegui l'estrazione di parole chiave dalle recensioni di film IMDB per
utilizzando il modello remoto e la funzione ML.GENERATE_TEXT
:
SQL
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, inserisci la seguente istruzione per eseguire parole chiave di video in base a cinque recensioni di film:
SELECT ml_generate_text_result['predictions'][0]['content'] AS generated_text, ml_generate_text_result['predictions'][0]['safetyAttributes'] AS safety_attributes, * EXCEPT (ml_generate_text_result) FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.llm_model`, ( SELECT CONCAT('Extract the key words from the text below: ', review) AS prompt, * FROM `bigquery-public-data.imdb.reviews` LIMIT 5 ), STRUCT( 0.2 AS temperature, 100 AS max_output_tokens));
L'output è simile al seguente, con le colonne non generate omesse per chiarezza:
+----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+ | generated_text | safety_attributes | ml_generate_text_status | prompt | ... | +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+ | " Keywords:\n- British Airways\n- | {"blocked":false,"categories": | | Extract the key words from | | | acting\n- story\n- kid\n- switch off" | ["Death, Harm & Tragedy","Derogatory", | | the text below: I had to | | | | "Finance","Health","Insult", | | see this on the British | | | | "Profanity","Religion & Belief", | | Airways plane. It was | | | | "Sexual","Toxic"] | | terribly bad acting and | | | | "safetyRatings":[{"category": | | a dumb story. Not even | | | | "Dangerous Content","probabilityScore"... | | a kid would enjoy this... | | +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+ | " - Family movie\n- ITV station\n- THE | {"blocked":false,"categories": | | Extract the key words from | | | REAL HOWARD SPITZ\n- Roald Dahl\n- | ["Death, Harm & Tragedy","Derogatory", | | the text below: This is | | | DOCTOR WHO\n- Pulp fiction\n- Child | "Health","Illicit Drugs","Insult", | | a family movie that was | | | abuse\n- KINDERGARTEN COP\n- PC\n- | "Legal","Profanity","Public Safety", | | broadcast on my local | | | Children's author\n- Vadim Jean\n- | "Sexual","Toxic","Violent"], | | ITV station at 1.00 am a | | | Haphazard\n- Kelsey Grammar\n- | "safetyRatings":[{"category": | | couple of nights ago. | | | Dead pan\n- Ridiculous camera angles" | "Dangerous Content","probabilityScore"... | | This might be a strange... | | +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+
I risultati includono le seguenti colonne:
generated_text
: il testo generato.safety_attributes
: gli attributi relativi alla sicurezza, insieme a informazioni su se i contenuti sono bloccati a causa di una delle categorie di blocco. Per ulteriori informazioni sugli attributi di sicurezza, vedi API Vertex PaLM.ml_generate_text_status
: lo stato della risposta dell'API per l'attributo corrispondente riga di comando. Se l'operazione è riuscita, questo valore è vuoto.prompt
: il prompt utilizzato per l'analisi del sentiment.- Tutte le colonne della tabella
bigquery-public-data.imdb.reviews
.
Facoltativo: anziché analizzare manualmente il codice JSON restituito dalla funzione, che hai fatto nel passaggio precedente, utilizza l'argomento
flatten_json_output
per restituiscono il testo generato e gli attributi di sicurezza in colonne separate.Esegui la seguente istruzione nell'editor query:
SELECT * FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.llm_model`, ( SELECT CONCAT('Extract the key words from the text below: ', review) AS prompt, * FROM `bigquery-public-data.imdb.reviews` LIMIT 5 ), STRUCT( 0.2 AS temperature, 100 AS max_output_tokens, TRUE AS flatten_json_output));
L'output è simile al seguente, con le colonne non generate omesse per chiarezza:
+----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+ | ml_generate_text_llm_result | ml_generate_text_rai_result | ml_generate_text_status | prompt | ... | +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+ | Keywords: | {"blocked":false,"categories": | | Extract the key words from | | | - British Airways | ["Death, Harm & Tragedy","Derogatory", | | the text below: I had to | | | - acting | "Finance","Health","Insult", | | see this on the British | | | - story | "Profanity","Religion & Belief", | | Airways plane. It was | | | - kid | "Sexual","Toxic"] | | terribly bad acting and | | | - switch off | "safetyRatings":[{"category": | | a dumb story. Not even | | | | "Dangerous Content","probabilityScore"... | | a kid would enjoy this... | | +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+ | - Family movie | {"blocked":false,"categories": | | Extract the key words from | | | - ITV station | ["Death, Harm & Tragedy","Derogatory", | | the text below: This is | | | - THE REAL HOWARD SPITZ | "Health","Illicit Drugs","Insult", | | a family movie that was | | | - Roald Dahl | "Legal","Profanity","Public Safety", | | broadcast on my local | | | - DOCTOR WHO | "Sexual","Toxic","Violent"], | | ITV station at 1.00 am a | | | - Pulp Fiction | "safetyRatings":[{"category": | | couple of nights ago. | | | - ... | "Dangerous Content","probabilityScore"... | | This might be a strange... | | +----------------------------------------+---------------------------------------------+-------------------------+----------------------------+-----+
I risultati includono le seguenti colonne:
ml_generate_text_llm_result
: il testo generato.ml_generate_text_rai_result
: gli attributi di sicurezza, insieme a informazioni sul blocco dei contenuti a causa di uno dei seguenti motivi: che bloccano la pubblicazione delle categorie. Per ulteriori informazioni sugli attributi di sicurezza, vedi API Vertex PaLM.ml_generate_text_status
: lo stato della risposta dell'API per l'attributo corrispondente riga di comando. Se l'operazione è riuscita, questo valore è vuoto.prompt
: il prompt utilizzato per l'estrazione delle parole chiave.- Tutte le colonne della tabella
bigquery-public-data.imdb.reviews
.
DataFrame BigQuery
Prima di provare questo esempio, segui i DataFrame di BigQuery nella guida rapida di BigQuery utilizzando BigQuery DataFrames. Per ulteriori informazioni, consulta Documentazione di riferimento di BigQuery DataFrames.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Impostare l'autenticazione per un ambiente di sviluppo locale.
Utilizza la funzione predict
per eseguire il modello remoto:
Il risultato è simile al seguente:
Esegui analisi del sentiment
Esegui l'analisi del sentiment sulle recensioni dei film IMDB utilizzando il modello remoto e la funzione ML.GENERATE_TEXT
:
SQL
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor query, esegui la seguente istruzione per eseguire il sentiment sull'analisi di cinque recensioni di film:
SELECT ml_generate_text_result['predictions'][0]['content'] AS generated_text, ml_generate_text_result['predictions'][0]['safetyAttributes'] AS safety_attributes, * EXCEPT (ml_generate_text_result) FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.llm_model`, ( SELECT CONCAT( 'perform sentiment analysis on the following text, return one the following categories: positive, negative: ', review) AS prompt, * FROM `bigquery-public-data.imdb.reviews` LIMIT 5 ), STRUCT( 0.2 AS temperature, 100 AS max_output_tokens));
L'output è simile al seguente, con le colonne non generate omesse per chiarezza:
+----------------+---------------------------------------------+-------------------------+----------------------------+-----+ | generated_text | safety_attributes | ml_generate_text_status | prompt | ... | +----------------+---------------------------------------------+-------------------------+----------------------------+-----+ | "negative" | {"blocked":false,"categories": | | perform sentiment analysis | | | | ["Death, Harm & Tragedy","Derogatory", | | on the following text, | | | | "Finance","Health","Insult", | | return one the following | | | | "Profanity","Religion & Belief", | | categories: positive, | | | | "Sexual","Toxic"] | | negative: I had to see | | | | "safetyRatings":[{"category": | | this on the British | | | | "Dangerous Content","probabilityScore"... | | Airways plane. It was... | | +----------------+---------------------------------------------+-------------------------+----------------------------+-----+ | "negative" | {"blocked":false,"categories": | | perform sentiment analysis | | | | ["Death, Harm & Tragedy","Derogatory", | | on the following text, | | | | "Health","Illicit Drugs","Insult", | | return one the following | | | | "Legal","Profanity","Public Safety", | | categories: positive, | | | | "Sexual","Toxic","Violent"], | | negative: This is a family | | | | "safetyRatings":[{"category": | | movie that was broadcast | | | | "Dangerous Content","probabilityScore"... | | on my local ITV station... | | +----------------+---------------------------------------------+-------------------------+----------------------------+-----+
I risultati includono le stesse colonne documentate Esegui l'estrazione delle parole chiave.
DataFrame BigQuery
Prima di provare questo esempio, segui i DataFrame di BigQuery nella guida rapida di BigQuery utilizzando BigQuery DataFrames. Per ulteriori informazioni, consulta Documentazione di riferimento di BigQuery DataFrames.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Impostare l'autenticazione per un ambiente di sviluppo locale.
Utilizza la funzione predict
per eseguire il modello remoto:
Il risultato è simile al seguente:
Esegui la pulizia
- Nella console Google Cloud, vai alla pagina Gestisci risorse.
- Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
- Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.