Panoramica dell'AI generativa
Questo documento descrive le funzionalità dell'intelligenza artificiale generativa (AI) supportate da BigQuery ML. Queste funzionalità ti consentono di eseguire attività di AI in BigQuery ML utilizzando Vertex AI preaddestrato di base. Le attività supportate includono:
Accedi a un modello Vertex AI per eseguire una di queste funzioni la creazione di un modello remoto in BigQuery ML che rappresenta Vertex AI dell'endpoint del modello. Una volta creato un modello remoto al modello Vertex AI che vuoi utilizzare, accedi alla sua di archiviazione eseguendo una funzione di BigQuery ML modello remoto.
Questo approccio ti consente di sfruttare le funzionalità di questi Vertex AI per analizzare i dati di BigQuery utilizzando SQL.
Flusso di lavoro
Puoi utilizzare modelli remoti rispetto ai modelli Vertex AI e di modelli remoti su servizi IA Cloud in sinergia con le funzioni di BigQuery ML per di analisi dei dati complesse e attività AIA generativa.
Il seguente diagramma mostra alcuni flussi di lavoro tipici in cui è possibile utilizzare questi tutte le funzionalità insieme:
IA generativa
Puoi utilizzare modelli linguistici di grandi dimensioni (LLM) per eseguire attività come riassunti e generazioni. Ad esempio, potresti riassumere un lungo report analizzare il sentiment nel feedback dei clienti. Puoi usare modelli linguistici di visione artificiale (VLM) per analizzare contenuti visivi come immagini e video per le attività come didascalie visive e sessioni di domande e risposte visive. Puoi usare i modelli multimodali per eseguire le stesse attività di LLM e VLM, oltre ad attività aggiuntive come la trascrizione audio e analisi dei documenti.
Per eseguire attività di AI generativa, puoi creare
un riferimento a un modello Vertex AI preaddestrato
modello
creando un modello remoto e specificando il nome del modello
per il valore ENDPOINT
. I seguenti modelli Vertex AI
sono supportati:
gemini-1.5-flash
(Anteprima)gemini-1.5-pro
(Anteprima)gemini-1.0-pro
gemini-1.0-pro-vision
(Anteprima)text-bison
text-bison-32k
text-unicorn
Per fornire feedback o richiedere assistenza per i modelli in anteprima, invia un'email a bqml-feedback@google.com.
Quando crei un modello remoto che fa riferimento a gemini-1.0-pro-002
modello o qualsiasi versione del modello text-bison
, puoi
facoltativamente scegliere di configurare
ottimizzazione supervisionata
(Anteprima).
Dopo aver creato il modello, puoi utilizzare
Funzione ML.GENERATE_TEXT
di interagire con il modello:
- Per i modelli remoti basati su
gemini-1.0-pro
,text-bison
,text-bison-32k
, otext-unicorn
, puoi utilizzare la funzioneML.GENERATE_TEXT
con un prompt fornito in una query o da una colonna in tabella standard. - Per i modelli remoti basati sul modello
gemini-1.0-pro-vision
, puoi utilizzare la FunzioneML.GENERATE_TEXT
per analizzare i contenuti di immagini o video da una tabella di oggetti con un prompt da fornire come argomento di funzione. - Per i modelli remoti basati su
gemini-1.5-flash
ogemini-1.5-pro
personalizzati, puoi utilizzare la funzioneML.GENERATE_TEXT
per analizzare testo, immagini contenuti audio, video o PDF da una tabella di oggetti con un prompt come argomento di funzione, oppure puoi generare testo da un prompt fornire in una query o da una colonna di una tabella standard.
Puoi utilizzare
grounding
e
attributi relativi alla sicurezza
quando utilizzi i modelli Gemini con la funzione ML.GENERATE_TEXT
, a condizione che
utilizzi una tabella standard per l'input. Il grounding consente
Gemini usa informazioni aggiuntive da internet per
generare risposte più specifiche e concrete. Gli attributi di sicurezza consentono
Il modello Gemini filtra le risposte che restituisce in base a
attributi da te specificati.
Tutte le inferenze avvengono in Vertex AI. I risultati vengono archiviati in BigQuery.
Per saperne di più, prova
generando testo con la funzione ML.GENERATE_TEXT
.
Incorporamento
Puoi utilizzare l'incorporamento per identificare elementi semanticamente simili. Ad esempio, puoi utilizzare l'incorporamento del testo per identificare quanto sono simili due parti di testo. Se le parti di testo sono semanticamente simili, i rispettivi incorporamenti si trovano una vicina all'altra nello spazio del vettore di incorporamento.
Puoi utilizzare i modelli BigQuery ML per creare i seguenti tipi di incorporamenti:
- Per creare incorporamenti di testo, puoi creare un riferimento a una delle
Vertex AI
text-embedding
otext-multilingual-embedding
di incorporamento creando un modello remoto e specificando il nome LLM perENDPOINT
valore. - Per creare incorporamenti multimodali, che possono incorporare testo, immagini e video in
nello stesso spazio semantico, puoi creare un riferimento
multimodalembedding
LLM creando un modello remoto e specificando il Nome LLM per il valoreENDPOINT
. Questa funzionalità è disponibile in preview. - Per creare incorporamenti per i variabili casuali indipendenti e distribuite in modo identico puoi utilizzare Analisi delle componenti principali o un modello Codificatore automatico un modello di machine learning. Questa funzionalità è in anteprima.
- Per creare incorporamenti per i dati utente o degli articoli, puoi utilizzare un Fattorizzazione matriciale un modello di machine learning. Questa funzionalità è in anteprima.
Dopo aver creato il modello, puoi utilizzare
Funzione ML.GENERATE_EMBEDDING
di interagire con loro. Per tutti i tipi di modelli supportati, ML.GENERATE_EMBEDDING
lavora con i dati in
tabelle standard. Per multimodali
di incorporamento, ML.GENERATE_EMBEDDING
funziona anche con le
contenuti nelle tabelle degli oggetti. Per telecomando
personalizzati, tutte le inferenze avvengono in Vertex AI. Per altri tipi di modelli,
tutte le inferenze si verificano in BigQuery. I risultati vengono archiviati
in BigQuery.
Per scoprire di più, prova a creare
incorporamenti di testo,
incorporamenti di immagini
e incorporamenti di video
con la funzione ML.GENERATE_EMBEDDING
.
Per un incorporamento di testo leggero e più piccolo, prova a utilizzare una modello TensorFlow, come NNLM, SWIVEL o BERT.
Per informazioni su come scegliere il modello migliore per il tuo caso d'uso di incorporamento, consulta Scelta di un modello di incorporamento del testo.
Passaggi successivi
- Genera il testo utilizzando un modello
text-bison
e la funzioneML.GENERATE_TEXT
. - Genera il testo utilizzando un modello
Gemini
e la funzioneML.GENERATE_TEXT
. - Genera testo utilizzando la funzione
ML.GENERATE_TEXT
con i tuoi dati. - Ottimizza un modello utilizzando i tuoi dati.
- Analizzare le immagini con un modello di visione artificiale Gemini.
- Per ulteriori informazioni sull'esecuzione dell'inferenza sul machine learning di machine learning, consulta Panoramica dell'inferenza del modello.