LangChain in Vertex AI (Vorabversion) bietet den Vorteil, die LangChain-Open-Source-Bibliothek zum Erstellen benutzerdefinierter Generative AI-Anwendungen zu verwenden und Vertex AI für Modelle, Tools und Bereitstellung zu nutzen. Mit LangChain in Vertex AI (Vorabversion) können Sie die folgenden Schritte ausführen:
- Wählen Sie das Large Language Model (LLM) aus, mit dem Sie arbeiten möchten.
- Tools für den Zugriff auf externe APIs definieren.
- Strukturieren Sie die Schnittstelle zwischen dem Nutzer und den Systemkomponenten in einem Orchestrierungs-Framework.
- Framework für eine verwaltete Laufzeit bereitstellen.
Vorteile
- Anpassbar: Mit den standardisierten Schnittstellen von LangChain kann LangChain in Vertex AI zum Erstellen verschiedener Arten von Anwendungen verwendet werden. Sie können die Logik Ihrer Anwendung anpassen und ein beliebiges Framework einbinden, was ein hohes Maß an Flexibilität bietet.
- Vereinfachte Bereitstellung: LangChain in Vertex AI verwendet dieselben APIs wie LangChain, um mit LLMs zu interagieren und Anwendungen zu erstellen. LangChain in Vertex AI vereinfacht und beschleunigt die Bereitstellung mit Vertex AI LLMs, da die Reasoning Engine-Laufzeit die Bereitstellung mit einem Klick unterstützt, um eine konforme API basierend auf Ihrer Bibliothek zu generieren.
- Einbindung in Vertex AI-Umgebungen: Reasoning Engine für LangChain in Vertex AI verwendet die Infrastruktur und die vordefinierten Container von Vertex AI, um Sie bei der Bereitstellung Ihrer LLM-Anwendung zu unterstützen. Sie können die Vertex AI API für die Einbindung in Gemini-Modelle, Funktionsaufrufe und Erweiterungen verwenden.
- Sicher, privat und skalierbar: Sie können einen einzigen SDK-Aufruf verwenden, anstatt den Entwicklungsprozess selbst zu verwalten. Die verwaltete Reasoning Engine-Laufzeit nimmt Ihnen Aufgaben wie die Anwendungsserverentwicklung, die Containererstellung und die Konfiguration der Authentifizierung, IAM und Skalierung ab. Vertex AI kümmert sich um Autoscaling, regionale Erweiterung und Container-Sicherheitslücken.
Anwendungsfälle
Weitere Informationen zu LangChain in Vertex AI mit End-to-End-Beispielen finden Sie in den folgenden Ressourcen:
| Anwendungsfall | Beschreibung | Links |
|---|---|---|
| Generative KI-Anwendungen erstellen, indem eine Verbindung zu öffentlichen APIs hergestellt wird | Währungen umrechnen. Erstellen Sie eine Funktion, die eine Verbindung zu einer Währungsaustauschanwendung herstellt, damit das Modell korrekte Antworten auf Anfragen wie „Wie hoch ist der Wechselkurs von Euro zu Dollar heute?“ liefert. |
Vertex AI SDK für Python-Notebook – Einführung in das Erstellen und Bereitstellen eines Agents mit einer Reasoning Engine |
| Design eines Solarprojekts für eine Gemeinde Potenzielle Standorte ermitteln, relevante Behörden und Lieferanten suchen, Satellitenbilder und Solarpotenzial von Regionen und Gebäuden prüfen, um den optimalen Standort für die Installation von Solarmodulen zu finden. |
Vertex AI SDK für Python-Notebook – Einen Google Maps API-Agenten mit der Vertex AI Reasoning Engine erstellen und bereitstellen | |
| Generative AI-Anwendungen erstellen, indem eine Verbindung zu Datenbanken hergestellt wird | Integration mit AlloyDB und CloudSQL PostgreSQL | Blogpost – LangChain in Vertex AI für AlloyDB und Cloud SQL for PostgreSQL Vertex AI SDK for Python-Notebook – RAG-Anwendung mit Cloud SQL for PostgreSQL in LangChain in Vertex AI bereitstellen Vertex AI SDK for Python-Notebook – RAG-Anwendung mit AlloyDB in LangChain in Vertex AI bereitstellen |
| Strukturierte Datenspeicher mit natürlicher Sprache abfragen und analysieren | Vertex AI SDK für Python-Notebook – Conversational Search Agent mit der Vertex AI Reasoning Engine und RAG in Vertex AI Search erstellen | |
| Graphdatenbanken mit natürlicher Sprache abfragen und analysieren | Blogpost – GenAI GraphRAG und KI-Agenten mit der Vertex AI Reasoning Engine mit LangChain und Neo4j | |
| Vektorspeicher mit natürlicher Sprache abfragen und analysieren | Blogpost – GenAI RAG mit MongoDB Atlas und Vertex AI Reasoning Engine vereinfachen | |
| Generative KI-Anwendungen mit OSS-Frameworks erstellen | Mit dem Open-Source-Framework OneTwo können Sie Agenten erstellen und bereitstellen. | Blogpost – OneTwo und Vertex AI Reasoning Engine: Entwicklung fortschrittlicher KI-Agenten in Google Cloud |
| Mit dem Open-Source-Framework LangGraph können Sie Agenten erstellen und bereitstellen. | Vertex AI SDK für Python-Notebook – LangGraph-Anwendung mit der Vertex AI Reasoning Engine erstellen und bereitstellen | |
| Fehlerbehebung und Optimierung von Anwendungen mit generativer KI | Mit OpenTelemetry und Cloud Trace können Sie Agenten erstellen und für sie Tracing ausführen. | Vertex AI SDK für Python notebook - Debugging und Optimieren von Agents: Eine Anleitung zum Tracing in Vertex AI Reasoning Engine |
Systemkomponenten
Die Erstellung und Bereitstellung einer benutzerdefinierten Generative AI-Anwendung mit OSS LangChain und Vertex AI besteht aus vier Komponenten:
| Komponente | Beschreibung |
|---|---|
| LLM |
Wenn Sie eine Abfrage an Ihre benutzerdefinierte Anwendung senden, verarbeitet das LLM die Abfrage und stellt eine Antwort bereit. Sie können eine Reihe von Tools definieren, die mit externen APIs kommunizieren, und diese dem Modell zur Verfügung stellen. Bei der Verarbeitung einer Abfrage delegiert das Modell bestimmte Aufgaben an die Tools. Dies impliziert einen oder mehrere Modellaufrufe für Grundlagenmodelle oder optimierte Modelle. Weitere Informationen finden Sie unter Modellversionen und Lebenszyklus. |
| Tool |
Sie können eine Reihe von Tools definieren, die mit externen APIs (z. B. einer Datenbank) kommunizieren, und diese dem Modell bereitstellen. Während der Verarbeitung einer Abfrage kann das Modell bestimmte Aufgaben an die Tools delegieren. Die Bereitstellung über die verwaltete Laufzeit von Vertex AI ist für die Verwendung von Tools optimiert, die auf Gemini-Funktionsaufrufen basieren, unterstützt aber auch LangChain-Tool-/Funktionsaufrufe. Weitere Informationen zu Gemini-Funktionsaufrufen finden Sie unter Funktionsaufrufe. |
| Framework für die Orchestrierung |
Mit LangChain in Vertex AI können Sie das LangChain-Orchestrierungsframework in Vertex AI verwenden. Mit LangChain können Sie festlegen, wie deterministisch Ihre Anwendung sein soll. Wenn Sie LangChain bereits verwenden, können Sie Ihren vorhandenen LangChain-Code verwenden, um Ihre Anwendung in Vertex AI bereitzustellen. Alternativ können Sie Ihren eigenen Anwendungscode erstellen und in einem Orchestrierungs-Framework strukturieren, das die LangChain-Vorlagen von Vertex AI nutzt. Weitere Informationen finden Sie unter Anwendung entwickeln. |
| Verwaltete Laufzeit | Mit LangChain in Vertex AI können Sie Ihre Anwendung in einer von Reasoning Engine verwalteten Laufzeit bereitstellen. Diese Laufzeit ist ein Vertex AI-Dienst, der alle Vorteile der Vertex AI-Integration bietet: Sicherheit, Datenschutz, Beobachtbarkeit und Skalierbarkeit. Sie können Ihre Anwendung mit einem API-Aufruf in die Produktion übernehmen und skalieren, um lokal getestete Prototypen schnell in Bereitstellungen für Unternehmen umzuwandeln. Weitere Informationen finden Sie unter Anwendung bereitstellen. |
Es gibt viele verschiedene Möglichkeiten, Prototypen zu erstellen und benutzerdefinierte generative KI-Anwendungen zu erstellen, die Agent-Funktionen nutzen können, indem Sie Tools und benutzerdefinierte Funktionen zusätzlich zu Modellen wie Gemini nutzen. Wenn es Zeit ist, Ihre Anwendung in die Produktion zu übergehen, müssen Sie überlegen, wie Sie den Agent und seine zugrunde liegenden Komponenten bereitstellen und verwalten.
Mit den Komponenten von LangChain in Vertex AI besteht das Ziel darin, Ihnen dabei zu helfen, sich auf die für Sie wichtigsten Aspekte der Agent-Funktionen zu konzentrieren und diese anzupassen, z. B. benutzerdefinierte Funktionen, Agent-Verhalten und Modellparameter. Google kümmert sich um die Bereitstellung, Skalierung der Paketerstellung und Versionen. Wenn Sie auf einer niedrigeren Ebene im Stack arbeiten, müssen Sie möglicherweise mehr verwalten, als Sie möchten. Wenn Sie auf einer höheren Ebene im Stack arbeiten, haben Sie möglicherweise nicht so viel Entwicklerkontrolle, wie Sie möchten.
Systemablauf zur Laufzeit
Wenn der Nutzer eine Abfrage stellt, formatiert der definierte Agent sie in einen Prompt für das LLM. Das LLM verarbeitet den Prompt und bestimmt, ob eines der Tools verwendet werden soll.
Wenn das LLM ein Tool verwendet, wird ein FunctionCall mit dem Namen und den Parametern generiert, mit denen das Tool aufgerufen werden soll. Der Agent ruft das Tool mit dem FunctionCall auf und stellt die Ergebnisse vom Tool zurück für das LLM bereit.
Wenn das LLM keine Tools verwendet, generiert es Inhalte, die vom Agent an den Nutzer zurückgesendet werden.
Das folgende Diagramm veranschaulicht den Systemablauf zur Laufzeit:
Generative AI-Anwendung erstellen und bereitstellen
Der Workflow zum Erstellen von generativen KI-Anwendungen ist:
| Schritte | Beschreibung |
|---|---|
| 1. Umgebung einrichten | Richten Sie Ihr Google-Projekt ein und installieren Sie die neueste Version des Vertex AI SDK für Python. |
| 2. Anwendung entwickeln | LangChain-Anwendung entwickeln, die in Reasoning Engine bereitgestellt werden kann |
| 3. Anwendung bereitstellen | Stellen Sie die Anwendung in Reasoning Engine bereit. |
| 4. Anwendung verwenden | Reasoning Engine für eine Antwort abfragen. |
| 5. Bereitgestellte Anwendung verwalten | Verwalten und löschen Sie Anwendungen, die Sie in Reasoning Engine bereitgestellt haben. |
| 6. Optional: Anwendungsvorlage anpassen | Vorlage für neue Anwendungen anpassen |
Die Schritte werden im folgenden Diagramm dargestellt:
Nächste Schritte
- Umgebung einrichten
- Mehr über Funktionsaufrufe erfahren.