Cerca negli incorporamenti con la ricerca vettoriale

Anteprima

Questo prodotto o funzionalità è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici del servizio. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Per fornire feedback o richiedere assistenza per questa funzionalità, invia un'email all'indirizzo [e-mail].

Questo tutorial mostra come cercare gli incorporamenti archiviati nelle tabelle BigQuery utilizzando la funzione VECTOR_SEARCH e, facoltativamente, un indice vettoriale.

Autorizzazioni obbligatorie

Per eseguire questo tutorial, sono necessarie le seguenti autorizzazioni di Identity and Access Management (IAM):

• Per creare un set di dati, devi disporre dell'autorizzazione bigquery.datasets.create.

• Per creare una tabella, devi disporre delle seguenti autorizzazioni:

  • bigquery.tables.create
  • bigquery.tables.updateData
  • bigquery.jobs.create

• Per creare un indice vettoriale, devi disporre dell'autorizzazione bigquery.tables.createIndex nella tabella in cui stai creando l'indice.

• Per rilasciare un indice vettoriale, devi disporre dell'autorizzazione bigquery.tables.deleteIndex sulla tabella in cui stai eliminando l'indice.

Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per lavorare con gli indici vettoriali:

• Proprietario dati BigQuery (roles/bigquery.dataOwner)
• Editor dati BigQuery (roles/bigquery.dataEditor)

Costi

In questo documento, utilizzi i seguenti componenti fatturabili di Google Cloud:

• BigQuery: You incur costs for index storage and data processing in BigQuery.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Per ulteriori informazioni, consulta la pagina relativa ai prezzi di BigQuery.

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

3. Attiva l'API BigQuery.

   Abilita l'API

crea un set di dati

Crea un set di dati BigQuery:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai alla pagina di BigQuery

2. Nel riquadro Explorer, fai clic sul nome del tuo progetto.

3. Fai clic su Visualizza azioni > Crea set di dati.

   

4. Nella pagina Crea set di dati, segui questi passaggi:

   • In ID set di dati, inserisci vector_search.

   • Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).

     I set di dati pubblici vengono archiviati in US più regioni. Per semplicità, archivia il tuo set di dati nella stessa località.

   • Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

Crea tabelle di test

1. Crea la tabella patents che contiene gli incorporamenti di brevetti, in base a un sottoinsieme del set di dati pubblico Google Brevetti:

   CREATE TABLE vector_search.patents AS
   SELECT * FROM `patents-public-data.google_patents_research.publications`
   WHERE ARRAY_LENGTH(embedding_v1) > 0
    AND publication_number NOT IN ('KR-20180122872-A')
   LIMIT 1000000;
   

2. Crea la tabella patents2 che contiene un incorporamento del brevetto per trovare i vicini più vicini per:

   CREATE TABLE vector_search.patents2 AS
   SELECT * FROM `patents-public-data.google_patents_research.publications`
   WHERE publication_number = 'KR-20180122872-A';
   

Crea un indice vettoriale

1. Crea l'indice vettoriale my_index nella colonna embeddings_v1 della tabella patents:

   CREATE VECTOR INDEX my_index ON vector_search.patents(embedding_v1)
   OPTIONS(distance_type='COSINE', index_type='IVF', ivf_options='{"num_lists": 1000}');
   

2. Attendi alcuni minuti che venga creato l'indice vettoriale, quindi esegui la query seguente e verifica che il valore coverage_percentage sia 100:

   SELECT * FROM vector_search.INFORMATION_SCHEMA.VECTOR_INDEXES;
   

Utilizzare la funzione VECTOR_SEARCH con un indice

Dopo aver creato e compilato l'indice vettoriale, utilizza la funzione VECTOR_SEARCH per trovare il vicino più prossimo per l'incorporamento nella colonna embedding_v1 della tabella patents2. Questa query utilizza l'indice vettoriale nella ricerca, quindi VECTOR_SEARCH usa il metodo Vicino più vicino approssimativo per trovare il vicino più prossimo dell'incorporamento:

SELECT query.publication_number AS query_publication_number,
  query.title AS query_title,
  base.publication_number AS base_publication_number,
  base.title AS base_title,
  distance
FROM
  VECTOR_SEARCH(
    TABLE vector_search.patents,
    'embedding_v1',
    TABLE vector_search.patents2,
    top_k => 5,
    distance_type => 'COSINE',
    options => '{"fraction_lists_to_search": 0.005}');

I risultati sono simili ai seguenti:

+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| query_publication_number |                         query_title                         | base_publication_number |                                                        base_title                                                        |      distance       |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-106599080-B          | A kind of rapid generation for keeping away big vast transfer figure based on GIS                                        | 0.14471956347590609 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-114118544-A          | Urban waterlogging detection method and device                                                                           | 0.17472108931171348 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-20200048143-A        | Method and system for mornitoring dry stream using unmanned aerial vehicle                                               | 0.17561990745619782 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-101721695-B1         | Urban Climate Impact Assessment method of Reflecting Urban Planning Scenarios and Analysis System using the same         | 0.17696129365559843 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-109000731-B          | The experimental rig and method that research inlet for stom water chocking-up degree influences water discharged amount | 0.17902723269642917 |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+

Usare la funzione VECTOR_SEARCH con la forza bruta

Utilizza la funzione VECTOR_SEARCH per trovare il vicino più prossimo per l'incorporamento nella colonna embedding_v1 della tabella patents2. Questa query non utilizza l'indice vettoriale nella ricerca, quindi VECTOR_SEARCH trova il vicino esatto più prossimo dell'incorporamento:

SELECT query.publication_number AS query_publication_number,
  query.title AS query_title,
  base.publication_number AS base_publication_number,
  base.title AS base_title,
  distance
FROM
  VECTOR_SEARCH(
    TABLE vector_search.patents,
    'embedding_v1',
    TABLE vector_search.patents2,
    top_k => 5,
    distance_type => 'COSINE',
    options => '{"use_brute_force":true}');

I risultati sono simili ai seguenti:

+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| query_publication_number |                         query_title                         | base_publication_number |                                                        base_title                                                        |      distance       |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-106599080-B          | A kind of rapid generation for keeping away big vast transfer figure based on GIS                                        |  0.1447195634759062 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-114118544-A          | Urban waterlogging detection method and device                                                                           |  0.1747210893117136 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-20200048143-A        | Method and system for mornitoring dry stream using unmanned aerial vehicle                                               | 0.17561990745619782 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-101721695-B1         | Urban Climate Impact Assessment method of Reflecting Urban Planning Scenarios and Analysis System using the same         | 0.17696129365559843 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-109000731-B          | The experimental rig and method that research inlet for stom water chocking-up degree influences water discharged amount | 0.17902723269642928 |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+

Valuta il richiamo

Quando esegui una ricerca vettoriale con un indice, vengono restituiti risultati approssimativi, con il compromesso di ridurre il richiamo. Puoi calcolare il richiamo confrontando i risultati restituiti dalla ricerca vettoriale con un indice e dalla ricerca vettoriale con forza bruta. In questo set di dati, il valore publication_number identifica in modo univoco un brevetto, quindi viene utilizzato per il confronto.

WITH approx_results AS (
  SELECT query.publication_number AS query_publication_number,
    base.publication_number AS base_publication_number
  FROM
    VECTOR_SEARCH(
      TABLE vector_search.patents,
      'embedding_v1',
      TABLE vector_search.patents2,
      top_k => 5,
      distance_type => 'COSINE',
      options => '{"fraction_lists_to_search": 0.005}')
),
  exact_results AS (
  SELECT query.publication_number AS query_publication_number,
    base.publication_number AS base_publication_number
  FROM
    VECTOR_SEARCH(
      TABLE vector_search.patents,
      'embedding_v1',
      TABLE vector_search.patents2,
      top_k => 5,
      distance_type => 'COSINE',
      options => '{"use_brute_force":true}')
)

SELECT
  a.query_publication_number,
  SUM(CASE WHEN a.base_publication_number = e.base_publication_number THEN 1 ELSE 0 END) / 5 AS recall
FROM exact_results e LEFT JOIN approx_results a
  ON e.query_publication_number = a.query_publication_number
GROUP BY a.query_publication_number

Se il richiamo è inferiore a quello desiderato, puoi aumentare il valore fraction_lists_to_search, con lo svantaggio di una latenza e di un utilizzo delle risorse potenzialmente più elevati. Per ottimizzare la ricerca vettoriale, puoi provare più esecuzioni di VECTOR_SEARCH con diversi valori di argomento, salvare i risultati nelle tabelle e poi confrontare i risultati.

Esegui la pulizia

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.