Gunakan Cloud Run untuk menghosting agen AI. Agen AI dapat diterapkan sebagai layanan Cloud Run dan melakukan tugas serta memberikan informasi kepada pengguna secara percakapan. Cloud Run menyediakan penskalaan otomatis dan skalabilitas tinggi tanpa menyediakan resource, sekaligus hanya menagih penggunaan sebenarnya. Agen AI dapat digunakan untuk berbagai tujuan, seperti layanan pelanggan, asisten virtual, dan pembuatan konten.
Anda dapat menggunakan layanan Cloud Run sebagai endpoint API yang skalabel untuk memproses perintah dari pengguna akhir. Layanan Anda menjalankan framework orkestrasi AI, seperti LangChain, LangGraph, atau Firebase Genkit yang mengatur panggilan ke:
- Model AI seperti Gemini API, endpoint Vertex AI, atau layanan Cloud Run yang mendukung GPU lainnya.
- Database vektor seperti Cloud SQL untuk PostgreSQL atau
AlloyDB untuk PostgreSQL dengan ekstensi
pgvector. - Layanan atau API lainnya.
Untuk arsitektur yang lebih mendetail, lihat Infrastruktur untuk aplikasi AI generatif berkemampuan RAG menggunakan Vertex AI dan AlloyDB untuk PostgreSQL.
Pelajari cara men-deploy Firebase Genkit ke Cloud Run di dokumentasi Firebase Genkit.
Pelajari cara mem-build dan men-deploy aplikasi LangChain ke Cloud Run dengan mengerjakan codelab.