Panoramica

I modelli linguistici di grandi dimensioni (LLM) sono efficaci nel risolvere molti tipi di problemi. Tuttavia, sono vincolati dalle seguenti limitazioni:

  • Dopo l'addestramento, vengono bloccati, il che porta a conoscenze obsolete.
  • Non possono eseguire query sui dati esterni né modificarli.

Le estensioni e Vertex AI (anteprima) possono risolvere queste carenze. Le estensioni sono connessioni ad API esterne che elaborano dati in tempo reale ed eseguono azioni nel mondo reale. Il servizio di estensione Vertex AI registra, gestisce ed esegue queste estensioni e può essere collegato a un'applicazione che elabora le query degli utenti e comunica con un LLM.

Ogni volta che un'applicazione riceve una query dell'utente, fornisce all'LLM un insieme di estensioni e delle operazioni che possono eseguire. Se il modello stabilisce che deve delegare l'elaborazione delle query a un'estensione, fornisce all'applicazione una chiamata dell'estensione richiesta e i valori parametro associati. L'applicazione inoltra questa richiesta al servizio dell'estensione che la esegue. Il processo viene completato quando il servizio di estensione invia il risultato di questa operazione all'applicazione, che poi lo inoltra di nuovo al modello.

Con Vertex AI Search puoi creare, implementare e gestire estensioni che collegano gli LLM alle API dei sistemi esterni. Questi sistemi possono fornire dati in tempo reale agli LLM ed eseguire azioni di trattamento dati per loro conto.

Per scoprire di più sui casi d'uso e sui vantaggi delle estensioni e del servizio di estensione Vertex AI, consulta Casi d'uso e vantaggi.

Per scoprire come registrare, gestire ed eseguire estensioni con il servizio Vertex AI Extensions, vedi Registrare, gestire ed eseguire estensioni.

Casi d'uso e vantaggi

Di seguito sono riportati alcuni possibili casi di utilizzo delle estensioni:

  • Genera ed esegui codice.
  • Esegui query sui siti web e sintetizza le informazioni.
  • Rispondi a domande sulla base di informazioni all'interno di una raccolta di dati specifici dell'azienda.
  • Eseguire query e analizzare i datastore.

Il servizio di estensioni Vertex AI offre i seguenti vantaggi:

  • Controlli aziendali: autorizzazioni e controlli di sicurezza di Identity and Access Management (IAM).
  • Sicurezza dei dati: accordi contrattuali che impediscono la divulgazione di dati privati o utilizzati nell'addestramento del modello
  • Contratti di prestazione: contratti contrattuali che la piattaforma offre funzionalità e uptime specifici.
  • Estensioni private: gli utenti autorizzati nella tua organizzazione o un partner attendibile possono utilizzare le estensioni per accedere ad azioni e dati interni sensibili, ad esempio ricerche nelle knowledge base interne o completare azioni RU.
  • Integrazioni di prodotti Google: integrazione con prodotti Google come Vertex AI Search, BigQuery e modelli specializzati.

Passaggi successivi