Generare incorporamenti di testo utilizzando la funzione ML.GENERATE_YOURDING
Questo documento mostra come creare un modello BigQuery ML
modello remoto
che fa riferimento a un incorporamento di Vertex AI
.
Poi lo userai con
Funzione ML.GENERATE_EMBEDDING
per creare incorporamenti di testo utilizzando i dati di una
tabella standard.
Ruoli obbligatori
Per creare una connessione, devi disporre di quanto segue Ruolo IAM (Identity and Access Management):
roles/bigquery.connectionAdmin
Per concedere le autorizzazioni all'account di servizio della connessione, è necessario il seguente autorizzazione:
resourcemanager.projects.setIamPolicy
Per creare il modello utilizzando BigQuery ML, è necessario quanto segue Autorizzazioni IAM:
bigquery.jobs.create
bigquery.models.create
bigquery.models.getData
bigquery.models.updateData
bigquery.models.updateMetadata
Per eseguire l'inferenza, devi disporre delle seguenti autorizzazioni:
bigquery.tables.getData
in tavolabigquery.models.getData
sul modellobigquery.jobs.create
Prima di iniziare
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Abilita le API BigQuery, BigQuery Connection, and Vertex AI.
Crea un set di dati
Crea un set di dati BigQuery per archiviare il tuo modello ML:
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, fai clic sul nome del tuo progetto.
Fai clic su
Visualizza azioni > Crea il set di dati.Nella pagina Crea set di dati, segui questi passaggi:
In ID set di dati, inserisci
bqml_tutorial
.Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).
I set di dati pubblici vengono archiviati nell'
US
più regioni. Per semplicità, per archiviare il set di dati nella stessa posizione.Lascia invariate le restanti impostazioni predefinite e fai clic su Crea il set di dati.
Crea una connessione
Crea un Connessione alle risorse cloud e recuperare l'account di servizio della connessione. Crea la connessione in nella stessa località del set di dati che hai creato passaggio precedente.
Seleziona una delle seguenti opzioni:
Console
Vai alla pagina BigQuery.
Per creare una connessione, fai clic su
Aggiungi e poi fai clic su Connessioni a origini dati esterne.Nell'elenco Tipo di connessione, seleziona Modelli remoti Vertex AI, funzioni remote e BigLake (risorsa Cloud).
Nel campo ID connessione, inserisci un nome per connessione.
Fai clic su Crea connessione.
Fai clic su Vai alla connessione.
Nel riquadro Informazioni sulla connessione, copia l'ID account di servizio per utilizzarlo in una passaggio successivo.
bq
In un ambiente a riga di comando, crea una connessione:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
Il parametro
--project_id
sostituisce il progetto predefinito.Sostituisci quanto segue:
REGION
: il tuo regione di connessionePROJECT_ID
: l'ID del tuo progetto Google CloudCONNECTION_ID
: un ID per connessione
Quando crei una risorsa di connessione, BigQuery crea di account di servizio di sistema univoco e lo associa alla connessione.
Risoluzione dei problemi: se ricevi il seguente errore di connessione, Aggiorna Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Recupera e copia l'ID account di servizio per utilizzarlo in un secondo momento passaggio:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
L'output è simile al seguente:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Aggiungi la seguente sezione al tuo file main.tf
.
## This creates a cloud resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "CONNECTION_ID" project = "PROJECT_ID" location = "REGION" cloud_resource {} }Sostituisci quanto segue:
CONNECTION_ID
: un ID per connessionePROJECT_ID
: l'ID del tuo progetto Google CloudREGION
: il tuo regione di connessione
Concedi all'account di servizio l'accesso
Concedi al tuo account di servizio l'autorizzazione per utilizzare la connessione. Errore per fornire l'autorizzazione restituisce un errore. Seleziona una delle seguenti opzioni:
Console
Vai alla sezione IAM e Console di amministrazione.
Fai clic su
Concedi l'accesso.Si apre la finestra di dialogo Aggiungi entità.
Nel campo Nuove entità, inserisci l'ID account di servizio che copiato in precedenza.
Nel campo Seleziona un ruolo, seleziona Vertex AI, quindi seleziona Utente Vertex AI.
Fai clic su Salva.
gcloud
Utilizza la
Comando gcloud projects add-iam-policy-binding
:
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None
Sostituisci quanto segue:
PROJECT_NUMBER
: il numero del tuo progettoMEMBER
: l'ID dell'account di servizio che copiato in precedenza
Crea un modello
Nella console Google Cloud, vai alla pagina BigQuery.
Con l'editor SQL, crea un'istanza modello remoto:
CREATE OR REPLACE MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME` REMOTE WITH CONNECTION `CONNECTION_ID` OPTIONS (ENDPOINT = 'ENDPOINT');
Sostituisci quanto segue:
PROJECT_ID
: il tuo ID progettoDATASET_ID
: l'ID del set di dati da contiene il modelloMODEL_NAME
: il nome del modelloCONNECTION_ID
: l'ID del tuo Connessione BigQueryQuando visualizzi i dettagli della connessione nella console Google Cloud, questo è il valore riportato nell'ultima sezione l'ID connessione completo mostrato ID connessione, ad esempio
projects/myproject/locations/connection_location/connections/myconnection
ENDPOINT
: l'incorporamento modello per l'utilizzo.
Genera incorporamenti di testo utilizzando i dati di una tabella
Genera incorporamenti di testo con
Funzione ML.GENERATE_EMBEDDING
utilizzando dati di testo provenienti da una colonna di una tabella.
In genere, è consigliabile utilizzare text-embedding
o
text-multilingual-embedding
per i casi d'uso di solo testo e
utilizzare un modello multimodalembedding
per i casi d'uso di ricerca intermodale, in cui
gli incorporamenti per testo e contenuti visivi vengono generati nello stesso spazio semantico.
incorporamento del testo
Genera incorporamenti di testo utilizzando un modello remoto rispetto a un modello di incorporamento:
SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`, TABLE PROJECT_ID.DATASET_ID.TABLE_NAME, STRUCT(FLATTEN_JSON AS flatten_json_output, TASK_TYPE AS task_type, OUTPUT_DIMENSIONALITY AS output_dimensionality) );
Sostituisci quanto segue:
PROJECT_ID
: il tuo ID progetto.DATASET_ID
: l'ID del set di dati che contiene il modello.MODEL_NAME
: il nome del modello remoto su un modello di incorporamento.TABLE_NAME
: il nome della tabella che contiene il testo da incorporare. Questa tabella deve avere una colonna denominatocontent
oppure puoi utilizzare un alias per usare un nome denominata colonna.FLATTEN_JSON
: un valoreBOOL
che indica se analizzare l'incorporamento in una colonna separata. La il valore predefinito èTRUE
.TASK_TYPE
: un valore letteraleSTRING
che specifica l'applicazione downstream che intende aiutare il modello per produrre incorporamenti di qualità migliore.TASK_TYPE
accetta i seguenti valori:RETRIEVAL_QUERY
: specifica che il testo specificato è un una query in un'impostazione di ricerca o recupero.RETRIEVAL_DOCUMENT
: specifica che il testo specificato è di un documento in un'impostazione di ricerca o recupero.Quando utilizzi questo tipo di attività, è utile includere il titolo del documento nell'istruzione della query al fine di migliorare la qualità dell'incorporamento. Tu puoi utilizzare l'opzione
title
per specificare il nome della colonna contenga il titolo del documento, altrimenti il titolo deve essere specificato una colonna denominatatitle
o con aliastitle
, ad esempio:SELECT * FROM ML.GENERATE_EMBEDDING( MODEL
mydataset.embedding_model
, (SELECT abstract as content, header as title, publication_number FROMmydataset.publications
), STRUCT(TRUE AS flatten_json_output, 'RETRIEVAL_DOCUMENT' as task_type) );SEMANTIC_SIMILARITY
: specifica che il testo specificato verrà utilizzato per la somiglianza testuale semantica (STS).CLASSIFICATION
: specifica che gli incorporamenti saranno utilizzati per la classificazione.CLUSTERING
: specifica che verranno utilizzati gli incorporamenti per il clustering.
OUTPUT_DIMENSIONALITY
:INT64
valore che specifica il numero di dimensioni da utilizzare durante la generazione incorporamenti. Ad esempio, se specifichi256 AS output_dimensionality
, poi ilml_generate_embedding_result
contiene 256 incorporamenti per ogni valore di input.Puoi utilizzare questo argomento solo se il modello remoto specificato nell'argomento
model
utilizza uno dei seguenti modelli come un endpoint:text-embedding-004
o versioni successivetext-multilingual-embedding-002
o versioni successive
incorporamento multimodale
Generare incorporamenti di testo utilizzando un modello remoto su
Modello multimodalembedding
:
SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`, TABLE PROJECT_ID.DATASET_ID.TABLE_NAME, STRUCT(FLATTEN_JSON AS flatten_json_output) );
Sostituisci quanto segue:
PROJECT_ID
: il tuo ID progetto.DATASET_ID
: l'ID del set di dati che contiene il modello.MODEL_NAME
: il nome del modello remoto rispetto a un modellomultimodalembedding@001
.TABLE_NAME
: il nome della tabella che contiene il testo da incorporare. Questa tabella deve avere una colonna denominatocontent
oppure puoi utilizzare un alias per usare un nome denominata colonna.FLATTEN_JSON
: unBOOL
che indica se analizzare l'incorporamento in una colonna separata. Il valore predefinito èTRUE
.
Genera incorporamenti di testo utilizzando i dati di una query
Genera incorporamenti di testo con
Funzione ML.GENERATE_EMBEDDING
utilizzando dati di testo forniti da una query e un modello remoto su un incorporamento
un modello di machine learning.
In genere, è consigliabile utilizzare text-embedding
o
text-multilingual-embedding
per i casi d'uso di solo testo e
utilizzare un modello multimodalembedding
per i casi d'uso di ricerca intermodale, in cui
gli incorporamenti per testo e contenuti visivi vengono generati nello stesso spazio semantico.
incorporamento del testo
Genera incorporamenti di testo utilizzando un modello remoto rispetto al modello di incorporamento:
SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`, (CONTENT_QUERY), STRUCT(FLATTEN_JSON AS flatten_json_output, TASK_TYPE AS task_type, OUTPUT_DIMENSIONALITY AS output_dimensionality) );
Sostituisci quanto segue:
PROJECT_ID
: il tuo ID progetto.DATASET_ID
: l'ID del set di dati che contiene il modello.MODEL_NAME
: il nome del modello remoto su un modello di incorporamento.CONTENT_QUERY
: una query il cui risultato contiene una colonnaSTRING
denominatacontent
.FLATTEN_JSON
: un valoreBOOL
che indica se analizzare l'incorporamento in una colonna separata. Il valore predefinito èTRUE
.TASK_TYPE
: un valore letteraleSTRING
che specifica l'applicazione downstream che intende aiutare il modello per produrre incorporamenti di qualità migliore.TASK_TYPE
accetta i seguenti valori:RETRIEVAL_QUERY
: specifica che il testo specificato è un una query in un'impostazione di ricerca o recupero.RETRIEVAL_DOCUMENT
: specifica che il testo specificato è di un documento in un'impostazione di ricerca o recupero.Quando utilizzi questo tipo di attività, è utile includere il titolo del documento nell'istruzione della query al fine di migliorare la qualità dell'incorporamento. Tu puoi utilizzare l'opzione
title
per specificare il nome della colonna contenga il titolo del documento, altrimenti il titolo deve essere specificato una colonna denominatatitle
o con aliastitle
, ad esempio:SELECT * FROM ML.GENERATE_EMBEDDING( MODEL
mydataset.embedding_model
, (SELECT abstract as content, header as title, publication_number FROMmydataset.publications
), STRUCT(TRUE AS flatten_json_output, 'RETRIEVAL_DOCUMENT' as task_type) );SEMANTIC_SIMILARITY
: specifica che il testo specificato verrà utilizzato per la somiglianza testuale semantica (STS).CLASSIFICATION
: specifica che gli incorporamenti saranno utilizzati per la classificazione.CLUSTERING
: specifica che verranno utilizzati gli incorporamenti per il clustering.
OUTPUT_DIMENSIONALITY
:INT64
valore che specifica il numero di dimensioni da utilizzare durante la generazione incorporamenti. Ad esempio, se specifichi256 AS output_dimensionality
, poiml_generate_embedding_result
contiene 256 incorporamenti per ogni valore di input.Puoi utilizzare questo argomento solo se il modello remoto specificato nell'argomento
model
utilizza uno dei seguenti modelli come un endpoint:text-embedding-004
o versioni successivetext-multilingual-embedding-002
o versioni successive
incorporamento multimodale
Generare incorporamenti di testo utilizzando un modello remoto su
Modello multimodalembedding
:
SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`, (CONTENT_QUERY), STRUCT(FLATTEN_JSON AS flatten_json_output) );
Sostituisci quanto segue:
PROJECT_ID
: il tuo ID progetto.DATASET_ID
: l'ID del set di dati che contiene il modello.MODEL_NAME
: il nome del modello remoto rispetto a un modellomultimodalembedding@001
.CONTENT_QUERY
: una query il cui risultato contiene una colonnaSTRING
denominatacontent
.FLATTEN_JSON
: unBOOL
che indica se analizzare l'incorporamento in una colonna separata. Il valore predefinito èTRUE
.
Esempi
I seguenti esempi mostrano come chiamare l'elemento ML.GENERATE_EMBEDDING
su una tabella e su una query.
Incorporare testo in una tabella
L'esempio seguente mostra una richiesta di incorporamento della colonna content
della tabella text_data
:
SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `mydataset.embedding_model`, TABLE mydataset.text_data, STRUCT(TRUE AS flatten_json_output, 'CLASSIFICATION' AS task_type) );
Utilizzare gli incorporamenti per classificare la somiglianza semantica
L'esempio seguente incorpora una raccolta di recensioni di film e le ordina per
distanza coseno dalla recensione "Questo film era nella media" utilizzando
Funzione ML.DISTANCE
.
Una distanza minore indica una maggiore somiglianza semantica.
WITH movie_review_embeddings AS ( SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, ( SELECT "Movie 1" AS title, "This movie was fantastic" AS content UNION ALL SELECT "Movie 2" AS title, "This was the best movie I've ever seen!!" AS content UNION ALL SELECT "Movie 3" AS title, "This movie was just okay..." AS content UNION ALL SELECT "Movie 4" AS title, "This movie was terrible." AS content ), STRUCT(TRUE AS flatten_json_output) ) ), average_review_embedding AS ( SELECT ml_generate_embedding_result FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, (SELECT "This movie was average" AS content), STRUCT(TRUE AS flatten_json_output) ) ) SELECT content, ML.DISTANCE( (SELECT ml_generate_embedding_result FROM average_review_embedding), ml_generate_embedding_result, 'COSINE' ) AS distance_to_average_review FROM movie_review_embeddings ORDER BY distance_to_average_review;
Il risultato è il seguente:
+------------------------------------------+----------------------------+ | content | distance_to_average_review | +------------------------------------------+----------------------------+ | This movie was just okay... | 0.47399255715360622 | | This movie was fantastic | 0.10028859431058901 | | This movie was terrible. | 0.142427236973374 | | This was the best movie I've ever seen!! | 0.46742391210381995 | +------------------------------------------+----------------------------+