LangChain su Vertex AI (anteprima) consente di utilizzare la classe open source LangChain per creare applicazioni di IA generativa personalizzate e utilizzare Vertex AI per modelli, strumenti e deployment. Con LangChain su Vertex AI (anteprima), puoi svolgere le seguenti operazioni:
- Seleziona il modello linguistico di grandi dimensioni (LLM) con cui vuoi lavorare.
- Definisci gli strumenti per accedere alle API esterne.
- Strutturare l'interfaccia tra l'utente e i componenti di sistema in un'orchestrazione il modello di machine learning.
- Esegui il deployment del framework in un runtime gestito.
Vantaggi
- Personalizzabile: utilizzando le interfacce standardizzate di LangChain, LangChain su Vertex AI può essere adottato per creare diversi tipi di applicazioni. Puoi personalizzare la logica della tua applicazione e incorporare qualsiasi framework, offrendo un elevato grado di flessibilità.
- Semplifica il deployment: LangChain su Vertex AI utilizza le stesse API di LangChain per interagire con gli LLM e creare applicazioni. LangChain su Vertex AI semplifica e velocizza il deployment con gli LLM di Vertex AI poiché il runtime del motore di ragionamento supporta il deployment con un solo clic per generare un'API conforme in base alla tua libreria.
- Integrazione con gli ecosistemi di Vertex AI: Il motore di ragionamento per LangChain su Vertex AI utilizza e container predefiniti per aiutarti a eseguire il deployment LLM. Puoi utilizzare l'API Vertex AI per l'integrazione con i modelli Gemini, Chiamata di funzione, e Estensioni.
- Sicuro, privato e scalabile: puoi utilizzare una singola chiamata SDK anziché gestire autonomamente il processo di sviluppo. Il runtime gestito di Reasoning Engine ti libera da attività come lo sviluppo di server di applicazioni, la creazione di container e la configurazione di autenticazione, IAM e scalabilità. Vertex AI gestisce la scalabilità automatica, l'espansione regionale e il container le vulnerabilità.
Casi d'uso
Per scoprire di più su LangChain su Vertex AI con esempi end-to-end, consulta le seguenti risorse:
| Caso d'uso | Descrizione | Link |
|---|---|---|
| Crea applicazioni di IA generativa collegandoti ad API pubbliche | Convertire le valute tra le varie valute. Crea una funzione di collegamento a un'app di cambio valute, che consenta al modello di fornire risposte accurate a query quali "Qual è il tasso di cambio attuale da euro a dollari?" |
SDK Vertex AI per blocco note Python - Introduzione alla creazione e al deployment di un agente con Reasoning Engine |
| Progettare un progetto di energia solare per la comunità. Identifica le potenziali località, cerca gli uffici governativi e i fornitori pertinenti e rivedi le immagini satellitari e il potenziale solare di regioni ed edifici per trovare la posizione ottimale per installare i pannelli solari. |
Notebook SDK Vertex AI per Python: creazione e dispiegamento di un agente API Google Maps con il motore di ragionamento Vertex AI | |
| Crea applicazioni di IA generativa connettendoti ai database | Integrazione con AlloyDB e Cloud SQL PostgreSQL. | Post del blog: Annuncio di LangChain su Vertex AI per AlloyDB e Cloud SQL per PostgreSQL SDK Vertex AI per blocco note Python - Deployment di un'applicazione RAG con Cloud SQL per PostgreSQL in LangChain su Vertex AI SDK Vertex AI per blocco note Python - Deployment di un'applicazione RAG con AlloyDB in LangChain su Vertex AI |
| Esegui query e comprendi i datastore strutturati utilizzando il linguaggio naturale. | SDK Vertex AI per blocco note Python - Creazione di un agente di ricerca conversazionale con Vertex AI Reasoning Engine e RAG su Vertex AI Search | |
| Esegui query e comprendi i database di grafo utilizzando il linguaggio naturale | Post del blog: GenAI GraphRAG and AI agent using Vertex AI Reasoning Engine con LangChain e Neo4j | |
| Eseguire query e comprendere gli archivi vettoriali utilizzando il linguaggio naturale | Post del blog: semplifica i raggruppamenti di annunci basati sull'IA generativa con MongoDB Atlas e Vertex AI Reasoning Engine | |
| Crea applicazioni di IA generativa con framework open source | Crea ed esegui il deployment di agenti utilizzando il framework open source OneTwo. | Post del blog - OneTwo and Vertex AI Reasoning Engine: scopri lo sviluppo avanzato di agenti IA su Google Cloud |
| Crea ed esegui il deployment di agenti utilizzando il framework open source LangGraph. | SDK Vertex AI per blocco note Python - Creazione e deployment di un'applicazione LangGraph con Vertex AI Reasoning Engine | |
| Debug e ottimizzazione delle applicazioni di AI generativa | Crea e monitora gli agenti utilizzando OpenTelemetry e Cloud Trace. | Notebook SDK Vertex AI per Python - Agenti di debug e ottimizzazione: una guida al monitoraggio in Vertex AI Reasoning Engine |
Componenti di sistema
La creazione e il deployment di un'applicazione di AI generativa personalizzata utilizzando LangChain open source e Vertex AI sono costituiti da quattro componenti:
| Componente | Descrizione |
|---|---|
| LLM |
Quando invii una query all'applicazione personalizzata, l'LLM elabora la query e fornisce una risposta. Puoi scegliere di definire un insieme di strumenti che comunicano con API esterne e fornirli al modello. Durante l'elaborazione di una query, il modello delega determinate attività agli strumenti. Ciò implica una o più chiamate ai modelli di base o ottimizzati. Per scoprire di più, consulta Versioni dei modelli e ciclo di vita. |
| Strumento |
Puoi scegliere di definire un set di strumenti che comunica con le API esterne (ad esempio, un database) e di fornire questi strumenti al modello. Durante l'elaborazione di una query, il modello può delegare determinate attività agli strumenti. Il deployment tramite il runtime gestito di Vertex AI è ottimizzato per l'utilizzo di strumenti basati sulla chiamata di funzione di Gemini, ma supporta le chiamate di funzione/strumento LangChain. Per scoprire di più sulla chiamata di funzione di Gemini, vedi Chiamate di funzione. |
| Framework di orchestrazione |
LangChain su Vertex AI ti consente di utilizzare il framework di orchestrazione LangChain in Vertex AI. Usa LangChain per decidere quanto deve essere deterministica la tua applicazione. Se utilizzi già LangChain, puoi usare il codice LangChain esistente per eseguire il deployment della tua applicazione su Vertex AI. Altrimenti, puoi creare il codice della tua applicazione e strutturarlo in un framework di orchestrazione che sfrutta i modelli LangChain di Vertex AI. Per scoprire di più, consulta Sviluppare un'applicazione. |
| Runtime gestito | LangChain su Vertex AI ti consente di eseguire il deployment della tua applicazione in un runtime gestito di Reasoning Engine. Questo runtime è un servizio Vertex AI che offre tutti i vantaggi dell'integrazione con Vertex AI: sicurezza, privacy, osservabilità e scalabilità. Puoi eseguire il deployment in produzione e scalare la tua applicazione con una chiamata API, trasformando rapidamente i prototipi testati localmente in implementazioni pronte per le aziende. Per scoprire di più, vedi Eseguire il deployment di un'applicazione. |
Ci sono molti modi diversi per prototipare e creare un'IA generativa personalizzata che utilizzano capacità di agente tramite stratificazione di strumenti e basate su modelli come Gemini. Quando è il momento di spostare la tua applicazione in produzione, devi considerare come eseguire il deployment e gestire l'agente e i relativi componenti sottostanti.
Con i componenti di LangChain su Vertex AI, l'obiettivo è possono aiutarti a concentrarti e personalizzare gli aspetti delle funzionalità degli agenti che ti interessano sulla maggior parte, come le funzioni personalizzate, il comportamento degli agenti e i parametri del modello, mentre Google si occupa del deployment, della scalabilità dei pacchetti e delle versioni. Se lavori a un livello inferiore nell'elenco filtri, potresti dover gestire più del dovuto. Se lavori a un livello superiore nello stack, potresti non avere il controllo da parte degli sviluppatori come vorresti.
Flusso di sistema in fase di esecuzione
Quando l'utente esegue una query, l'agente definito la formatta in un prompt per modello LLM. L'LLM elabora il prompt e determina se vuole utilizzare uno degli strumenti.
Se l'LLM sceglie di utilizzare uno strumento, genera un FunctionCall con il nome
e i parametri con cui deve essere chiamato lo strumento. L'agente richiama lo strumento
con FunctionCall e restituisce i risultati dello strumento all'LLM.
Se l'LLM sceglie di non utilizzare alcuno strumento, genera contenuti che vengono ritrasmessi dall'agente all'utente.
Il seguente diagramma illustra il flusso di sistema in fase di runtime:
Crea e distribuisci un'applicazione di IA generativa
Il flusso di lavoro per la creazione di applicazioni di AI generativa è il seguente:
| Passaggi | Descrizione |
|---|---|
| 1. Configurare l'ambiente | Configura il tuo progetto Google e installa la versione più recente dell'SDK Vertex AI per Python. |
| 2. Sviluppare un'applicazione | Sviluppare un'applicazione LangChain di cui sia possibile eseguire il deployment su Reasoning Engine. |
| 3. Esegui il deployment dell'applicazione | Esegui il deployment dell'applicazione su Reasoning Engine. |
| 4. Utilizzare l'applicazione | Motore di ragionamento delle query per ottenere una risposta. |
| 5. Gestisci l'applicazione di cui è stato eseguito il deployment | Gestisci ed elimina le applicazioni di cui hai eseguito il deployment in Reasoning Engine. |
| 6. (Facoltativo) Personalizzare un modello di applicazione | Personalizzare un modello per le nuove applicazioni. |
I passaggi sono illustrati dal seguente diagramma:
