Eseguire la ricerca semantica e la generazione aumentata del recupero
Per fornire feedback o richiedere assistenza per questa funzionalità, invia un'email a bq-vector-search@google.com.
Questo tutorial ti guida nel processo end-to-end di creazione e utilizzo degli incorporamenti di testo, compreso l'uso degli indici vettoriali per migliorare le prestazioni nella ricerca.
Questo tutorial riguarda le attività seguenti:
- Creazione di un modello remoto BigQuery ML su un modello linguistico di grandi dimensioni (LLM) di Vertex AI.
- Utilizzo del modello remoto con la funzione
ML.GENERATE_EMBEDDING
per generare incorporamenti dal testo in una tabella BigQuery. - Creazione di un indice vettoriale per indicizzare gli incorporamenti.
- Utilizzo della funzione
VECTOR_SEARCH
con gli incorporamenti per cercare testo simile. - Esegui la generazione aumentata al recupero (RAG, Retrieval-Augmented Generation) generando testo con la funzione
ML.GENERATE_TEXT
e utilizzando i risultati di ricerca vettoriali per migliorare l'input del prompt e i risultati.
Questo tutorial utilizza la tabella pubblica di BigQuery patents-public-data.google_patents_research.publications
.
Autorizzazioni e ruoli richiesti
Per creare una connessione, devi far parte del seguente ruolo IAM (Identity and Access Management):
roles/bigquery.connectionAdmin
Per concedere le autorizzazioni all'account di servizio della connessione, devi disporre della seguente autorizzazione:
resourcemanager.projects.setIamPolicy
Le autorizzazioni IAM necessarie in questo tutorial per le rimanenti operazioni BigQuery sono incluse nei seguenti due ruoli:
- Editor dati BigQuery (
roles/bigquery.dataEditor
) per creare modelli, tabelle e indici. - Utente BigQuery (
roles/bigquery.user
) per eseguire i job BigQuery.
- Editor dati BigQuery (
Costi
In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:
- BigQuery ML: You incur costs for the data that you process in BigQuery.
- Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.
Per generare una stima dei costi in base all'utilizzo previsto,
utilizza il Calcolatore prezzi.
Per ulteriori informazioni sui prezzi di BigQuery, consulta la pagina relativa ai prezzi di BigQuery nella documentazione di BigQuery.
Per ulteriori informazioni sui prezzi di Vertex AI, consulta la pagina Prezzi di Vertex AI.
Prima di iniziare
-
Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Abilita le API BigQuery, BigQuery Connection, and Vertex AI.
crea un set di dati
Crea un set di dati BigQuery per archiviare il tuo modello ML:
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, fai clic sul nome del progetto.
Fai clic su
Visualizza azioni > Crea set di dati.Nella pagina Crea set di dati, segui questi passaggi:
In ID set di dati, inserisci
bqml_tutorial
.Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).
I set di dati pubblici vengono archiviati in
US
più regioni. Per semplicità, memorizza il set di dati nella stessa posizione.Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.
Crea una connessione
Crea una connessione alle risorse cloud e recupera l'account di servizio della connessione. Crea la connessione nella stessa località del set di dati creato nel passaggio precedente.
Seleziona una delle seguenti opzioni:
Console
Vai alla pagina BigQuery.
Per creare una connessione, fai clic su
Aggiungi e poi su Connessioni a origini dati esterne.Nell'elenco Tipo di connessione, seleziona Modelli remoti Vertex AI, funzioni remote e BigLake (risorsa Cloud).
Nel campo ID connessione, inserisci un nome per la connessione.
Fai clic su Crea connessione.
Fai clic su Vai alla connessione.
Nel riquadro Informazioni sulla connessione, copia l'ID account di servizio da utilizzare in un passaggio successivo.
bq
In un ambiente a riga di comando, crea una connessione:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
Il parametro
--project_id
sostituisce il progetto predefinito.Sostituisci quanto segue:
REGION
: la tua regione di connessionePROJECT_ID
: l'ID del tuo progetto Google CloudCONNECTION_ID
: un ID per la tua connessione
Quando crei una risorsa di connessione, BigQuery crea un account di servizio di sistema univoco e lo associa alla connessione.
Risoluzione dei problemi: se visualizzi il seguente errore di connessione, aggiorna Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Recupera e copia l'ID account di servizio per utilizzarlo in un passaggio successivo:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
L'output è simile al seguente:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Aggiungi la sezione seguente al file main.tf
.
## This creates a cloud resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "CONNECTION_ID" project = "PROJECT_ID" location = "REGION" cloud_resource {} }Sostituisci quanto segue:
CONNECTION_ID
: un ID per la tua connessionePROJECT_ID
: l'ID del tuo progetto Google CloudREGION
: la tua regione di connessione
Concedere l'accesso all'account di servizio
Per concedere all'account di servizio della connessione un ruolo appropriato per accedere al servizio Vertex AI, segui questi passaggi:
Vai alla pagina IAM e amministrazione.
Fai clic su
Concedi l'accesso.Nel campo Nuove entità, inserisci l'ID account di servizio che hai copiato in precedenza.
Nel campo Seleziona un ruolo, scegli Vertex AI e poi seleziona Ruolo utente Vertex AI.
Fai clic su Salva.
Crea il modello remoto per la generazione dell'incorporamento del testo
Crea un modello remoto che rappresenta un modello ospitato per la generazione di incorporamento di testo Vertex AI:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'Editor query, esegui la seguente istruzione:
CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'textembedding-gecko@003');
Sostituisci quanto segue:
LOCATION
: la località della connessioneCONNECTION_ID
: l'ID della tua connessione BigQueryQuando visualizza i dettagli della connessione nella console Google Cloud,
CONNECTION_ID
è il valore nell'ultima sezione dell'ID connessione completo mostrato in ID connessione, ad esempioprojects/myproject/locations/connection_location/connections/myconnection
Il completamento della query richiede diversi secondi, dopodiché il modello
embedding_model
viene visualizzato nel set di datibqml_tutorial
nel riquadro Explorer. Poiché la query utilizza un'istruzioneCREATE MODEL
per creare un modello, non ci sono risultati della query.
Genera incorporamenti di testo
Genera incorporamenti di testo dagli estratti di brevetto utilizzando la funzione ML.GENERATE_EMBEDDING
e poi scrivili in una tabella BigQuery in modo da poterli eseguire per la ricerca.
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'Editor query, esegui la seguente istruzione:
CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, ( SELECT *, abstract AS content FROM `patents-public-data.google_patents_research.publications` WHERE LENGTH(abstract) > 0 AND LENGTH(title) > 0 AND country = 'Singapore' ) ) WHERE LENGTH(ml_generate_embedding_status) = 0;
L'incorporamento della generazione utilizzando la
funzione ML.GENERATE_EMBEDDING
potrebbe non riuscire a causa delle quotas
degli LLM di Vertex AI o della mancata disponibilità del servizio. I dettagli dell'errore vengono restituiti nella colonna ml_generate_embedding_status
. Una colonna ml_generate_embedding_status
vuota indica che l'incorporamento è stato generato correttamente.
Per metodi alternativi per la generazione di rappresentazioni distribuite di testo in BigQuery, consulta il tutorial per incorporare testo con i modelli TensorFlow preaddestrati.
Creare un indice vettoriale
Per creare un indice vettoriale, utilizza l'istruzione CREATE VECTOR INDEX
(Data Definition Language) (DDL):
Vai alla pagina BigQuery.
Nell'editor query, esegui la seguente istruzione SQL:
CREATE OR REPLACE VECTOR INDEX my_index ON `bqml_tutorial.embeddings`(ml_generate_embedding_result) OPTIONS(index_type = 'IVF', distance_type = 'COSINE', ivf_options = '{"num_lists":500}')
Verificare la creazione dell'indice vettoriale
L'indice vettoriale viene compilato in modo asincrono. Puoi verificare se l'indice è pronto per essere utilizzato eseguendo una query sulla vista INFORMATION_SCHEMA.VECTOR_INDEXES
e verificando che il valore della colonna coverage_percentage
sia maggiore di 0
e che il valore della colonna last_refresh_time
non sia NULL
.
Vai alla pagina BigQuery.
Nell'editor query, esegui la seguente istruzione SQL:
SELECT table_name, index_name, index_status, coverage_percentage, last_refresh_time, disable_reason FROM `PROJECT_ID.bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES`
Sostituisci
PROJECT_ID
con l'ID progetto.
Eseguire una ricerca di somiglianze del testo utilizzando l'indice vettoriale
Utilizza la funzione VECTOR_SEARCH
per cercare i primi 5 brevetti pertinenti che corrispondono agli incorporamenti generati da una query di testo. Il modello che utilizzi per generare gli incorporamenti in questa query deve essere
lo stesso che utilizzi per generare gli incorporamenti nella tabella con cui
esegui il confronto, altrimenti i risultati di ricerca non saranno accurati.
Vai alla pagina BigQuery.
Nell'editor query, esegui la seguente istruzione SQL:
SELECT query.query, base.publication_number, base.title, base.abstract FROM VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`, 'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result, content AS query FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, (SELECT 'improving password security' AS content)) ), top_k => 5, options => '{"fraction_lists_to_search": 0.01}')
L'output è simile al seguente:
+-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+ | query | publication_number | title | abstract | +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+ | improving password security | SG-120868-A1 | Data storage device security method and a... | Methods for improving security in data stora... | | improving password security | SG-10201610585W-A | Passsword management system and process... | PASSSWORD MANAGEMENT SYSTEM AND PROCESS ... | | improving password security | SG-10201901821S-A | Method and apparatus for unlocking user... | METHOD AND APPARATUS FOR UNLOCKING USER... | | improving password security | SG-10201902412Q-A | Password protection question setting method... | PASSWORD PROTECTION QUESTION SETTING METHOD... | | improving password security | SG-194509-A1 | System and method for web-based... | A security authentication method comprises... | +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
Crea il modello remoto per la generazione del testo
Crea un modello remoto che rappresenta un modello di generazione di testi Vertex AI ospitato:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'Editor query, esegui la seguente istruzione:
CREATE OR REPLACE MODEL `bqml_tutorial.text_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'text-bison-32k');
Sostituisci quanto segue:
LOCATION
: la località della connessioneCONNECTION_ID
: l'ID della tua connessione BigQueryQuando visualizza i dettagli della connessione nella console Google Cloud,
CONNECTION_ID
è il valore nell'ultima sezione dell'ID connessione completo mostrato in ID connessione, ad esempioprojects/myproject/locations/connection_location/connections/myconnection
Il completamento della query richiede diversi secondi, dopodiché il modello
text_model
viene visualizzato nel set di datibqml_tutorial
nel riquadro Explorer. Poiché la query utilizza un'istruzioneCREATE MODEL
per creare un modello, non ci sono risultati della query.
Genera testo migliorato dai risultati di ricerca vettoriali
Inserisci i risultati di ricerca sotto forma di prompt per generare testo con la funzione ML.GENERATE_TEXT
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'Editor query, esegui la seguente istruzione:
SELECT ml_generate_text_llm_result AS generated, prompt FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.text_model`, ( SELECT CONCAT( 'Propose some project ideas to improve user password security using the context below: ', STRING_AGG( FORMAT("patent title: %s, patent abstract: %s", base.title, base.abstract), ',\n') ) AS prompt, FROM VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`, 'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result, content AS query FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, (SELECT 'improving password security' AS content) ) ), top_k => 5, options => '{"fraction_lists_to_search": 0.01}') ), STRUCT(600 AS max_output_tokens, TRUE AS flatten_json_output));
L'output è simile al seguente:
+------------------------------------------------+------------------------------------------------------------+ | generated | prompt | +------------------------------------------------+------------------------------------------------------------+ | **Project Ideas to Improve User Password | Propose some project ideas to improve user password | | Security** | security using the context below: patent title: Data | | | storage device security method and apparatus, patent | | 1. **Develop a password manager that uses a | abstract: Methods for improving security in data storage | | synchronization method to keep encrypted | devices are disclosed. The methods include a ..., | | passwords changing at each transmission... | patent title: Active new password entry dialog with | | 2. **Create a new password entry dialog that | compact visual indication of adherence to password policy, | | provides a compact visual indication of | patent abstract: An active new password entry dialog..., | | adherence to password policies.** ... | patent title: Method and system for protecting a password | | 3. **Develop a system for protecting a | during an authentication process, patent abstract: A system| | password during an authentication process by | for providing security for a personal password during an | | using representative characters to disguise... | authenticationprocess. The system combines the use of... | +------------------------------------------------+------------------------------------------------------------+
Esegui la pulizia
- Nella console Google Cloud, vai alla pagina Gestisci risorse.
- Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
- Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.