Utilizza Cloud Run per ospitare agenti di AI. Gli agenti AI possono essere implementati come servizi Cloud Run ed eseguire attività e fornire informazioni agli utenti in modo conversazionale. Cloud Run offre scalabilità automatica e elevata senza dover eseguire il provisioning delle risorse, mentre viene addebitato solo l'utilizzo effettivo. Gli agenti AI possono essere utilizzati per una serie di scopi, come l'assistenza clienti, gli assistenti virtuali e la generazione di contenuti.
Puoi utilizzare un servizio Cloud Run come endpoint API scalabile per elaborare i prompt degli utenti finali. Il tuo servizio esegue un framework di orchestrazione dell'AI, ad esempio LangChain, LangGraph o Firebase Genkit, che orchestra le chiamate a:
- Modelli di IA come l'API Gemini, gli endpoint Vertex AI o un altro servizio Cloud Run con GPU.
- Database vettoriali come Cloud SQL per PostgreSQL o
AlloyDB per PostgreSQL con l'estensione
pgvector. - Altri servizi o API.
Per un'architettura più dettagliata, consulta Infrastruttura per un'applicazione di IA generativa compatibile con RAG che utilizza Vertex AI e AlloyDB per PostgreSQL.
Scopri come eseguire il deployment di Firebase Genkit in Cloud Run nella documentazione di Firebase Genkit.
Scopri come creare ed eseguire il deployment di un'app LangChain in Cloud Run completando un codelab.