Eseguire la ricerca semantica e la generazione aumentata del recupero

Anteprima

Questo prodotto o funzionalità è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici del servizio. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Per fornire feedback o richiedere assistenza per questa funzione, invia un'email a [e-mail].

Questo tutorial illustra il processo end-to-end di creazione e l'utilizzo di incorporamenti di testo, tra cui l'uso indici vettoriali per migliorare le prestazioni della ricerca.

Questo tutorial copre le seguenti attività:

• Creazione di un modello BigQuery ML modello remoto su un modello linguistico di grandi dimensioni (LLM) Vertex AI.
• Utilizzando il modello remoto con Funzione ML.GENERATE_EMBEDDING per generare incorporamenti dal testo in una tabella BigQuery.
• Crea un indice vettoriale per indicizzare incorporamenti.
• L'utilizzo del Funzione VECTOR_SEARCH con gli incorporamenti per cercare testo simile.
• Esegui RAG (Retrieval-Augmented Generation) generando testo con Funzione ML.GENERATE_TEXT, e l'uso di risultati di ricerca vettoriali per aumentare l'input del prompt migliorare i risultati.

Questo tutorial utilizza la tabella pubblica BigQuery patents-public-data.google_patents_research.publications.

Ruoli e autorizzazioni richiesti

• Per creare una connessione, devi disporre di quanto segue Ruolo IAM (Identity and Access Management):

  • roles/bigquery.connectionAdmin

• Per concedere le autorizzazioni all'account di servizio della connessione, è necessario il seguente autorizzazione:

  • resourcemanager.projects.setIamPolicy

• Le autorizzazioni IAM necessarie in questo tutorial per le risorse Le operazioni di BigQuery sono incluse nei due ruoli seguenti:

  • Editor dati BigQuery (roles/bigquery.dataEditor) per creare modelli, tabelle e indici.
  • Utente BigQuery (roles/bigquery.user) per eseguire job BigQuery.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Per ulteriori informazioni sui prezzi di BigQuery, consulta Prezzi di BigQuery in documentazione di BigQuery.

Per ulteriori informazioni sui prezzi di Vertex AI, consulta Prezzi di Vertex AI .

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

3. Abilita le API BigQuery, BigQuery Connection, and Vertex AI.

   Abilita le API

Crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai alla pagina di BigQuery

2. Nel riquadro Explorer, fai clic sul nome del tuo progetto.

3. Fai clic su Visualizza azioni > Crea il set di dati.

   

4. Nella pagina Crea set di dati, segui questi passaggi:

   • In ID set di dati, inserisci bqml_tutorial.

   • Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).

     I set di dati pubblici vengono archiviati nell'US più regioni. Per semplicità, per archiviare il set di dati nella stessa posizione.

   • Lascia invariate le restanti impostazioni predefinite e fai clic su Crea il set di dati.

     

Crea una connessione

Crea un Connessione alle risorse cloud e recuperare l'account di servizio della connessione. Crea la connessione in nella stessa località del set di dati che hai creato passaggio precedente.

Seleziona una delle seguenti opzioni:

Console

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Per creare una connessione, fai clic su Aggiungi e poi fai clic su Connessioni a origini dati esterne.

3. Nell'elenco Tipo di connessione, seleziona Modelli remoti Vertex AI, funzioni remote e BigLake (risorsa Cloud).

4. Nel campo ID connessione, inserisci un nome per connessione.

5. Fai clic su Crea connessione.

6. Fai clic su Vai alla connessione.

7. Nel riquadro Informazioni sulla connessione, copia l'ID account di servizio per utilizzarlo in una passaggio successivo.

bq

1. In un ambiente a riga di comando, crea una connessione:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   Il parametro --project_id sostituisce il progetto predefinito.

   Sostituisci quanto segue:

   • REGION: il tuo regione di connessione
   • PROJECT_ID: l'ID del tuo progetto Google Cloud
   • CONNECTION_ID: un ID per connessione

   Quando crei una risorsa di connessione, BigQuery crea di account di servizio di sistema univoco e lo associa alla connessione.

   Risoluzione dei problemi: se ricevi il seguente errore di connessione, Aggiorna Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupera e copia l'ID account di servizio per utilizzarlo in un secondo momento passaggio:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   L'output è simile al seguente:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Aggiungi la seguente sezione al tuo file main.tf.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Sostituisci quanto segue:

• CONNECTION_ID: un ID per connessione
• PROJECT_ID: l'ID del tuo progetto Google Cloud
• REGION: il tuo regione di connessione

Concedi all'account di servizio l'accesso

Per concedere all'account di servizio della connessione un ruolo appropriato per accedere al Segui questi passaggi:

1. Vai alla sezione IAM e Console di amministrazione.

   Vai a IAM e Amministratore

2. Fai clic su Concedi l'accesso.

3. Nel campo Nuove entità, inserisci l'ID account di servizio che copiato in precedenza.

4. Nel campo Seleziona un ruolo, scegli Vertex AI, quindi seleziona Ruolo utente Vertex AI.

5. Fai clic su Salva.

Crea il modello remoto per la generazione dell'incorporamento del testo

Crea un modello remoto che rappresenta un modello Vertex AI ospitato modello di generazione dell'incorporamento del testo:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Esegui la seguente istruzione nell'editor query:

   CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'textembedding-gecko@003');
   

   Sostituisci quanto segue:

   • LOCATION: posizione della connessione
   • CONNECTION_ID: l'ID del tuo Connessione BigQuery

     Quando visualizzi i dettagli della connessione nella console Google Cloud, CONNECTION_ID è il valore nell'ultima sezione l'ID connessione completo mostrato Connection ID (ID connessione), ad esempio projects/myproject/locations/connection_location/connections/myconnection

   Il completamento della query richiede diversi secondi, dopodiché il modello embedding_model compare nel set di dati bqml_tutorial nel riquadro Explorer. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non sono risultati di query.

Genera incorporamenti di testo

Genera incorporamenti di testo da abstract di brevetto utilizzando Funzione ML.GENERATE_EMBEDDING, e poi scriverle in una tabella BigQuery cercato.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Esegui la seguente istruzione nell'editor query:

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.embedding_model`,
     (
       SELECT *, abstract AS content
       FROM `patents-public-data.google_patents_research.publications`
       WHERE LENGTH(abstract) > 0 AND LENGTH(title) > 0 AND country = 'Singapore'
     )
   )
   WHERE LENGTH(ml_generate_embedding_status) = 0;
   

Generazione dell'incorporamento mediante Funzione ML.GENERATE_EMBEDDING potrebbe non riuscire a causa delle quote LLM di Vertex AI o indisponibilità del servizio. I dettagli dell'errore vengono restituiti nel Colonna ml_generate_embedding_status. Un campo ml_generate_embedding_status vuoto indica che l'incorporamento è stato generato correttamente.

Per metodi alternativi di generazione dell'incorporamento del testo in BigQuery, vedi il Tutorial per incorporare testo con modelli TensorFlow preaddestrati.

Crea un indice vettoriale

Per creare un indice vettoriale, utilizza il metodo CREATE VECTOR INDEX Istruzione DDL (Data Definition Language):

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la seguente istruzione SQL:

   CREATE OR REPLACE VECTOR INDEX my_index
   ON `bqml_tutorial.embeddings`(ml_generate_embedding_result)
   OPTIONS(index_type = 'IVF',
     distance_type = 'COSINE',
     ivf_options = '{"num_lists":500}')
   

Verifica la creazione di indici vettoriali

L'indice vettoriale viene compilato in modo asincrono. Puoi verificare se l'indice è pronto per essere utilizzato eseguendo una query INFORMATION_SCHEMA.VECTOR_INDEXES visualizzazione e verificando che il valore della colonna coverage_percentage sia maggiore di 0 e il valore della colonna last_refresh_time non è NULL.

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la seguente istruzione SQL:

   SELECT table_name, index_name, index_status,
   coverage_percentage, last_refresh_time, disable_reason
   FROM `PROJECT_ID.bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES`
   

   Sostituisci PROJECT_ID con l'ID progetto.

Esegui una ricerca di somiglianze testuali utilizzando l'indice vettoriale

Utilizza la Funzione VECTOR_SEARCH per cercare i 5 principali brevetti pertinenti che corrispondono agli incorporamenti generati da un una query di testo. Il modello che utilizzi per generare gli incorporamenti in questa query deve essere uguale a quello che usi per generare gli incorporamenti nella tabella che stai rispetto, altrimenti i risultati di ricerca non saranno precisi.

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la seguente istruzione SQL:

   SELECT query.query, base.publication_number, base.title, base.abstract
   FROM VECTOR_SEARCH(
     TABLE `bqml_tutorial.embeddings`, 'ml_generate_embedding_result',
     (
     SELECT ml_generate_embedding_result, content AS query
     FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.embedding_model`,
     (SELECT 'improving password security' AS content))
     ),
     top_k => 5, options => '{"fraction_lists_to_search": 0.01}')
   

   L'output è simile al seguente:

   +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
   |            query            | publication_number |                       title                     |                      abstract                   |
   +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
   | improving password security | SG-120868-A1       | Data storage device security method and a...    | Methods for improving security in data stora... |
   | improving password security | SG-10201610585W-A  | Passsword management system and process...      | PASSSWORD MANAGEMENT SYSTEM AND PROCESS ...     |
   | improving password security | SG-10201901821S-A  | Method and apparatus for unlocking user...      | METHOD AND APPARATUS FOR UNLOCKING USER...      |
   | improving password security | SG-10201902412Q-A  | Password protection question setting method...  | PASSWORD PROTECTION QUESTION SETTING METHOD...  |
   | improving password security | SG-194509-A1       | System and method for web-based...              | A security authentication method comprises...   |
   +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
   

Crea il modello remoto per la generazione del testo

Crea un modello remoto che rappresenta un modello Vertex AI ospitato di generazione del testo:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Esegui la seguente istruzione nell'editor query:

   CREATE OR REPLACE MODEL `bqml_tutorial.text_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'text-bison-32k');
   

   Sostituisci quanto segue:

   • LOCATION: posizione della connessione
   • CONNECTION_ID: l'ID del tuo Connessione BigQuery

     Quando visualizzi i dettagli della connessione nella console Google Cloud, CONNECTION_ID è il valore nell'ultima sezione l'ID connessione completo mostrato Connection ID (ID connessione), ad esempio projects/myproject/locations/connection_location/connections/myconnection

   Il completamento della query richiede diversi secondi, dopodiché il modello text_model compare nel set di dati bqml_tutorial nel riquadro Explorer. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non sono risultati di query.

Genera testo aumentato dai risultati di ricerca vettoriale

Inserisci i risultati di ricerca come prompt per generare testo con Funzione ML.GENERATE_TEXT

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Esegui la seguente istruzione nell'editor query:

   SELECT ml_generate_text_llm_result AS generated, prompt
   FROM ML.GENERATE_TEXT(
     MODEL `bqml_tutorial.text_model`,
     (
       SELECT CONCAT(
         'Propose some project ideas to improve user password security using the context below: ',
         STRING_AGG(
           FORMAT("patent title: %s, patent abstract: %s", base.title, base.abstract),
           ',\n')
         ) AS prompt,
       FROM VECTOR_SEARCH(
         TABLE `bqml_tutorial.embeddings`, 'ml_generate_embedding_result',
         (
           SELECT ml_generate_embedding_result, content AS query
           FROM ML.GENERATE_EMBEDDING(
             MODEL `bqml_tutorial.embedding_model`,
            (SELECT 'improving password security' AS content)
           )
         ),
       top_k => 5, options => '{"fraction_lists_to_search": 0.01}')
     ),
     STRUCT(600 AS max_output_tokens, TRUE AS flatten_json_output));
   

   L'output è simile al seguente:

   +------------------------------------------------+------------------------------------------------------------+
   |            generated                           | prompt                                                     |
   +------------------------------------------------+------------------------------------------------------------+
   | **Project Ideas to Improve User Password       | Propose some project ideas to improve user password        |
   | Security**                                     | security using the context below: patent title: Data       |
   |                                                | storage device security method and apparatus, patent       |
   | 1. **Develop a password manager that uses a    | abstract: Methods for improving security in data storage   |
   | synchronization method to keep encrypted       | devices are disclosed. The methods include a ...,          |
   | passwords changing at each transmission...     | patent title: Active new password entry dialog with        |
   | 2. **Create a new password entry dialog that   | compact visual indication of adherence to password policy, |
   | provides a compact visual indication of        | patent abstract: An active new password entry dialog...,   |
   | adherence to password policies.** ...          | patent title: Method and system for protecting a password  |
   | 3. **Develop a system for protecting a         | during an authentication process, patent abstract: A system|
   | password during an authentication process by   | for providing security for a personal password during an   |
   | using representative characters to disguise... | authenticationprocess. The system combines the use of...   |
   +------------------------------------------------+------------------------------------------------------------+
    

Esegui la pulizia

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.