Eseguire la ricerca semantica e la generazione basata sul recupero
Questo tutorial illustra la procedura end-to-end per creare e utilizzare gli embedding di testo, incluso l'utilizzo degli indici vettoriali per migliorare il rendimento della ricerca.
Questo tutorial spiega le seguenti attività:
- Creazione di un modello remoto BigQuery ML su un modello di embedding Vertex AI.
- Utilizzo del modello remoto con la
funzione
ML.GENERATE_EMBEDDING
per generare embedding dal testo in una tabella BigQuery. - Creazione di un indice vettoriale per indicizzare gli embedding.
- Utilizza la
funzione
VECTOR_SEARCH
con gli incorporamenti per cercare testo simile. - Esegui la RAG (Retrieval Augmented Generation) generando testo con la
funzione
ML.GENERATE_TEXT
, e utilizzando i risultati di ricerca vettoriali per migliorare l'input del prompt e migliorare i risultati.
Questo tutorial utilizza la tabella pubblica BigQuerypatents-public-data.google_patents_research.publications
.
Ruoli e autorizzazioni richiesti
Per creare una connessione, devi disporre dell'appartenenza al seguente ruolo IAM (Identity and Access Management):
roles/bigquery.connectionAdmin
Per concedere le autorizzazioni all'account di servizio della connessione, devi disporre della seguente autorizzazione:
resourcemanager.projects.setIamPolicy
Le autorizzazioni IAM necessarie in questo tutorial per le altre operazioni di BigQuery sono incluse nei seguenti due ruoli:
- BigQuery Data Editor (
roles/bigquery.dataEditor
) per creare modelli, tabelle e indici. - Utente BigQuery (
roles/bigquery.user
) per eseguire job BigQuery.
- BigQuery Data Editor (
Costi
In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:
- BigQuery ML: You incur costs for the data that you process in BigQuery.
- Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.
Per generare una stima dei costi basata sull'utilizzo previsto,
utilizza il Calcolatore prezzi.
Per ulteriori informazioni sui prezzi di BigQuery, consulta la sezione Prezzi di BigQuery della documentazione di BigQuery.
Per ulteriori informazioni sui prezzi di Vertex AI, consulta la pagina Prezzi di Vertex AI.
Prima di iniziare
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.
Crea un set di dati
Crea un set di dati BigQuery per archiviare il tuo modello ML:
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, fai clic sul nome del progetto.
Fai clic su
Visualizza azioni > Crea set di dati.Nella pagina Crea set di dati:
In ID set di dati, inserisci
bqml_tutorial
.Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).
I set di dati pubblici sono archiviati nella
US
multiregione. Per semplicità, archivia il set di dati nella stessa posizione.Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.
Crea una connessione
Crea una connessione risorsa Cloud e recupera l'account di servizio della connessione. Crea la connessione nella stessa posizione del set di dati creato nel passaggio precedente.
Seleziona una delle seguenti opzioni:
Console
Vai alla pagina BigQuery.
Per creare una connessione, fai clic su
Aggiungi e poi su Connessioni a origini dati esterne.Nell'elenco Tipo di connessione, seleziona Modelli remoti di Vertex AI, funzioni remote e BigLake (risorsa Cloud).
Nel campo ID connessione, inserisci un nome per la connessione.
Fai clic su Crea connessione.
Fai clic su Vai alla connessione.
Nel riquadro Informazioni sulla connessione, copia l'ID account di servizio da utilizzare in un passaggio successivo.
bq
In un ambiente a riga di comando, crea una connessione:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
Il parametro
--project_id
sostituisce il progetto predefinito.Sostituisci quanto segue:
REGION
: la regione di connessionePROJECT_ID
: il tuo ID progetto Google CloudCONNECTION_ID
: un ID per la connessione
Quando crei una risorsa di connessione, BigQuery crea un account di servizio di sistema unico e lo associa alla connessione.
Risoluzione dei problemi: se ricevi il seguente errore di connessione, aggiorna Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Recupera e copia l'ID account di servizio per utilizzarlo in un passaggio successivo:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
L'output è simile al seguente:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Utilizza la risorsa google_bigquery_connection
.
Per autenticarti in BigQuery, configura le credenziali predefinite dell'applicazione. Per saperne di più, vedi Configurare l'autenticazione per le librerie client.
L'esempio seguente crea una connessione risorsa Cloud denominata
my_cloud_resource_connection
nella regione US
:
Per applicare la configurazione Terraform in un progetto Google Cloud, completa i passaggi nelle seguenti sezioni.
Prepara Cloud Shell
- Avvia Cloud Shell.
-
Imposta il progetto Google Cloud predefinito in cui vuoi applicare le configurazioni Terraform.
Devi eseguire questo comando una sola volta per progetto e puoi farlo in qualsiasi directory.
export GOOGLE_CLOUD_PROJECT=PROJECT_ID
Le variabili di ambiente vengono sostituite se imposti valori espliciti nel file di configurazione Terraform.
Prepara la directory
Ogni file di configurazione di Terraform deve avere una propria directory (chiamata anche modulo principale).
-
In Cloud Shell, crea una directory e un nuovo
file al suo interno. Il nome file deve avere l'estensione
.tf
, ad esempiomain.tf
. In questo tutorial, il file è denominatomain.tf
.mkdir DIRECTORY && cd DIRECTORY && touch main.tf
-
Se stai seguendo un tutorial, puoi copiare il codice campione in ogni sezione o passaggio.
Copia il codice campione nel file
main.tf
appena creato.Se vuoi, copia il codice da GitHub. Questa opzione è consigliata quando lo snippet Terraform fa parte di una soluzione end-to-end.
- Esamina e modifica i parametri di esempio da applicare al tuo ambiente.
- Salva le modifiche.
-
Inizializza Terraform. Devi eseguire questa operazione una sola volta per directory.
terraform init
Se vuoi, per utilizzare la versione più recente del provider Google, includi l'opzione
-upgrade
:terraform init -upgrade
Applica le modifiche
-
Rivedi la configurazione e verifica che le risorse che Terraform sta per creare o
aggiornare corrispondano alle tue aspettative:
terraform plan
Apporta le correzioni necessarie alla configurazione.
-
Applica la configurazione di Terraform eseguendo il seguente comando e inserendo
yes
al prompt:terraform apply
Attendi che Terraform mostri il messaggio "Applicazione completata".
- Apri il tuo progetto Google Cloud per visualizzare i risultati. Nella console Google Cloud, vai alle risorse nell'interfaccia utente per assicurarti che Terraform le abbia create o aggiornate.
Concedi l'accesso all'account di servizio
Concedi all'account di servizio della connessione il ruolo Utente Vertex AI. Devi concedere questo ruolo nello stesso progetto che hai creato o selezionato nella sezione Prima di iniziare. Se concedi il ruolo in un progetto diverso, viene visualizzato l'errore bqcx-1234567890-xxxx@gcp-sa-bigquery-condel.iam.gserviceaccount.com does not have the permission to access resource
.
Per concedere il ruolo, segui questi passaggi:
Vai alla pagina IAM e amministrazione.
Fai clic su
Concedi l'accesso.Nel campo Nuove entità, inserisci l'ID account di servizio che hai copiato in precedenza.
Nel campo Seleziona un ruolo, scegli Vertex AI e poi Ruolo utente Vertex AI.
Fai clic su Salva.
Crea il modello remoto per la generazione di incorporamenti di testo
Crea un modello remoto che rappresenti un modello di generazione di embedding di testo Vertex AI ospitato:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor di query, esegui la seguente istruzione:
CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'text-embedding-004');
Sostituisci quanto segue:
LOCATION
: la posizione della connessioneCONNECTION_ID
: l'ID della connessione BigQueryQuando visualizzi i dettagli della connessione nella console Google Cloud,
CONNECTION_ID
è il valore nell'ultima sezione dell'ID connessione visualizzato in ID connessione, ad esempioprojects/myproject/locations/connection_location/connections/myconnection
Il completamento della query richiede alcuni secondi, dopodiché il modello
embedding_model
viene visualizzato nel set di datibqml_tutorial
nel riquadro Esplorazione. Poiché la query utilizza un'istruzioneCREATE MODEL
per creare un modello, non esistono risultati della query.
Genera incorporamenti di testo
Genera embedding di testo dagli abstract dei brevetti utilizzando la
funzione ML.GENERATE_EMBEDDING
,
poi scrivili in una tabella BigQuery in modo che possano essere
cercati.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor di query, esegui la seguente istruzione:
CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, ( SELECT *, abstract AS content FROM `patents-public-data.google_patents_research.publications` WHERE LENGTH(abstract) > 0 AND LENGTH(title) > 0 AND country = 'Singapore' ) ) WHERE LENGTH(ml_generate_embedding_status) = 0;
La generazione di embedding utilizzando la
funzione ML.GENERATE_EMBEDDING
potrebbe non riuscire a causa di quote
o della mancata disponibilità del servizio dei modelli LLM di Vertex AI. I dettagli dell'errore vengono restituiti nella colonna ml_generate_embedding_status
. Una colonna ml_generate_embedding_status
vuota indica che l'inserimento è andato a buon fine.
Per metodi alternativi di generazione di embedding di testo in BigQuery, consulta il tutorial su come eseguire l'embedding del testo con i modelli TensorFlow preaddestrati.
Creare un indice di vettori
Per creare un indice di vettori, utilizza l'istruzione DDL (Data Definition Language)
CREATE VECTOR INDEX
:
Vai alla pagina BigQuery.
Nell'editor di query, esegui il seguente istruzione SQL:
CREATE OR REPLACE VECTOR INDEX my_index ON `bqml_tutorial.embeddings`(ml_generate_embedding_result) OPTIONS(index_type = 'IVF', distance_type = 'COSINE', ivf_options = '{"num_lists":500}')
Verifica la creazione dell'indice di vettori
L'indice vettoriale viene compilato in modo asincrono. Puoi verificare se l'indice è pronto per essere utilizzato eseguendo una query sulla visualizzazione INFORMATION_SCHEMA.VECTOR_INDEXES
e verificando che il valore della colonna coverage_percentage
sia maggiore di 0
e che il valore della colonna last_refresh_time
non sia NULL
.
Vai alla pagina BigQuery.
Nell'editor di query, esegui il seguente istruzione SQL:
SELECT table_name, index_name, index_status, coverage_percentage, last_refresh_time, disable_reason FROM `PROJECT_ID.bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES`
Sostituisci
PROJECT_ID
con l'ID progetto.
Eseguire una ricerca di similarità del testo utilizzando l'indice vettoriale
Utilizza la
funzione VECTOR_SEARCH
per cercare i 5 brevetti pertinenti più importanti che corrispondono agli incorporamenti generati da una
query di testo. Il modello utilizzato per generare gli embedding in questa query deve essere uguale a quello utilizzato per generare gli embedding nella tabella di confronto, altrimenti i risultati di ricerca non saranno accurati.
Vai alla pagina BigQuery.
Nell'editor di query, esegui il seguente istruzione SQL:
SELECT query.query, base.publication_number, base.title, base.abstract FROM VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`, 'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result, content AS query FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, (SELECT 'improving password security' AS content)) ), top_k => 5, options => '{"fraction_lists_to_search": 0.01}')
L'output è simile al seguente:
+-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+ | query | publication_number | title | abstract | +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+ | improving password security | SG-120868-A1 | Data storage device security method and a... | Methods for improving security in data stora... | | improving password security | SG-10201610585W-A | Passsword management system and process... | PASSSWORD MANAGEMENT SYSTEM AND PROCESS ... | | improving password security | SG-148888-A1 | Improved system and method for... | IMPROVED SYSTEM AND METHOD FOR RANDOM... | | improving password security | SG-194267-A1 | Method and system for protecting a password... | A system for providing security for a... | | improving password security | SG-120868-A1 | Data storage device security... | Methods for improving security in data... | +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
Crea il modello remoto per la generazione di testo
Crea un modello remoto che rappresenti un modello di generazione di testo Vertex AI ospitato:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor di query, esegui la seguente istruzione:
CREATE OR REPLACE MODEL `bqml_tutorial.text_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'gemini-1.5-flash-002');
Sostituisci quanto segue:
LOCATION
: la posizione della connessioneCONNECTION_ID
: l'ID della connessione BigQueryQuando visualizzi i dettagli della connessione nella console Google Cloud,
CONNECTION_ID
è il valore nell'ultima sezione dell'ID connessione visualizzato in ID connessione, ad esempioprojects/myproject/locations/connection_location/connections/myconnection
Il completamento della query richiede alcuni secondi, dopodiché il modello
text_model
viene visualizzato nel set di datibqml_tutorial
nel riquadro Esplorazione. Poiché la query utilizza un'istruzioneCREATE MODEL
per creare un modello, non esistono risultati della query.
Generare testo aumentato dai risultati di ricerca vettoriale
Inserisci i risultati di ricerca come prompt per generare il testo con la
funzione ML.GENERATE_TEXT
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor di query, esegui la seguente istruzione:
SELECT ml_generate_text_llm_result AS generated, prompt FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.text_model`, ( SELECT CONCAT( 'Propose some project ideas to improve user password security using the context below: ', STRING_AGG( FORMAT("patent title: %s, patent abstract: %s", base.title, base.abstract), ',\n') ) AS prompt, FROM VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`, 'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result, content AS query FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, (SELECT 'improving password security' AS content) ) ), top_k => 5, options => '{"fraction_lists_to_search": 0.01}') ), STRUCT(600 AS max_output_tokens, TRUE AS flatten_json_output));
L'output è simile al seguente:
+------------------------------------------------+------------------------------------------------------------+ | generated | prompt | +------------------------------------------------+------------------------------------------------------------+ | These patents suggest several project ideas to | Propose some project ideas to improve user password | | improve user password security. Here are | security using the context below: patent title: Active | | some, categorized by the patent they build | new password entry dialog with compact visual indication | | upon: | of adherence to password policy, patent abstract: | | | An active new password entry dialog provides a compact | | **I. Projects based on "Active new password | visual indication of adherence to password policies. A | | entry dialog with compact visual indication of | visual indication of progress towards meeting all | | adherence to password policy":** | applicable password policies is included in the display | | | and updated as new password characters are being... | +------------------------------------------------+------------------------------------------------------------+
Esegui la pulizia
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Passaggi successivi
- Prova il tutorial Eseguire l'analisi dei PDF in una pipeline di generazione basata sul recupero per scoprire come creare una pipeline RAG in base ai contenuti PDF analizzati.