Cloud Run zum Hosten von KI-Agenten verwenden KI-Agenten können als Cloud Run-Dienste implementiert werden und Aufgaben ausführen sowie Nutzern auf dialogische Weise Informationen zur Verfügung stellen. Cloud Run bietet automatische Skalierung und hohe Skalierbarkeit ohne Bereitstellung von Ressourcen. Dabei wird nur die tatsächliche Nutzung in Rechnung gestellt. KI-Chatbots können für verschiedene Zwecke eingesetzt werden, z. B. für den Kundenservice, als virtuelle Assistenten und zur Inhaltserstellung.
Sie können einen Cloud Run-Dienst als skalierbaren API-Endpunkt verwenden, um Prompts von Endnutzern zu verarbeiten. In Ihrem Dienst wird ein KI-Orchestrierungsframework wie LangChain, LangGraph oder Firebase Genkit ausgeführt, das Aufrufe zu folgenden Diensten orchestriert:
- KI-Modelle wie die Gemini API, Vertex AI-Endpunkte oder ein anderer GPU-fähiger Cloud Run-Dienst
- Vektordatenbanken wie Cloud SQL for PostgreSQL oder AlloyDB for PostgreSQL mit der Erweiterung
pgvector - Andere Dienste oder APIs
Eine detailliertere Architektur finden Sie unter Infrastruktur für eine RAG-fähige generative KI-Anwendung mit Vertex AI und AlloyDB for PostgreSQL.
Informationen zum Bereitstellen von Firebase Genkit in Cloud Run finden Sie in der Firebase Genkit-Dokumentation.
In einem codelab erfahren Sie, wie Sie eine LangChain-App erstellen und in Cloud Run bereitstellen.