Panoramica delle estensioni

I modelli linguistici di grandi dimensioni (LLM) sono efficaci nel risolvere molti tipi di problemi. Tuttavia, sono vincolati dalle seguenti limitazioni:

  • Vengono bloccati dopo l'addestramento, il che porta a conoscenze obsolete.
  • Non possono eseguire query o modificare dati esterni.

Le estensioni e Vertex AI (anteprima) possono risolvere questi problemi. Le estensioni sono connessioni ad API esterne che elaborano dati in tempo reale ed eseguono azioni reali. Il servizio di estensione Vertex AI registra, gestisce ed esegue queste estensioni e può essere collegato a un'applicazione che elabora le query degli utenti e comunica con un LLM.

Ogni volta che un'applicazione riceve una query dell'utente, fornisce all'LLM un insieme di estensioni e le operazioni che possono eseguire. Se il modello determina che deve delegare l'elaborazione delle query a un'estensione, fornisce all'applicazione una chiamata di estensione richiesta e i valori parametro associati. L'applicazione inoltra questa richiesta al servizio di estensione, che quindi esegue l'estensione. Il processo viene completato quando il servizio di estensione invia il risultato di questa operazione all'applicazione, che quindi lo ritrasmette al modello.

Con Vertex AI Search puoi creare, eseguire il deployment e gestire estensioni che collegano gli LLM alle API di sistemi esterni. Questi sistemi possono fornire agli LLM dati in tempo reale ed eseguire azioni di elaborazione dei dati per loro conto.

Per saperne di più sui casi d'uso e sui vantaggi delle estensioni e del servizio di estensioni Vertex AI, consulta Casi d'uso e vantaggi.

Per informazioni su come registrare, gestire ed eseguire le estensioni con il servizio di estensioni Vertex AI, consulta Registrare, gestire ed eseguire le estensioni.

Casi d'uso e vantaggi

Di seguito sono riportati alcuni possibili casi d'uso delle estensioni:

  • Genera ed esegui il codice.
  • Eseguire query sui siti web e sintetizzare le informazioni.
  • Rispondere a domande basate sulle informazioni all'interno di una raccolta di dati specifici dell'azienda.
  • Eseguire query e analizzare i datastore.

Il servizio di estensioni Vertex AI offre i seguenti vantaggi:

  • Controlli aziendali: autorizzazioni e controlli di sicurezza di Identity and Access Management (IAM).
  • Sicurezza dei dati: accordi contrattuali che impediscono la divulgazione o l'utilizzo dei dati privati nell'addestramento del modello
  • Contratti relativi alle prestazioni: accordi contrattuali in base ai quali la piattaforma fornisce funzionalità e tempi di attività specifici.
  • Estensioni private: gli utenti autorizzati della tua organizzazione o di un partner attendibile possono utilizzare le estensioni per accedere a dati e azioni interni sensibili, come la ricerca nelle knowledge base interne o il completamento di azioni RU.
  • Integrazioni dei prodotti Google: integrazione con prodotti Google come Vertex AI Search, BigQuery e modelli specializzati.

Passaggi successivi