Panoramica delle estensioni

I modelli linguistici di grandi dimensioni (LLM) sono efficaci nel risolvere molti tipi di problemi. Tuttavia, sono vincolati dalle seguenti limitazioni:

  • Vengono bloccati dopo l'addestramento, il che porta a conoscenze obsolete.
  • Non possono eseguire query o modificare dati esterni.

Le estensioni e Vertex AI (anteprima) possono risolvere questi problemi. Le estensioni sono connessioni ad API esterne che elaborano dati in tempo reale eseguire azioni del mondo reale. Il servizio di estensione Vertex AI registra, gestisce ed esegue queste estensioni e può essere collegato a un che elabora le query degli utenti e comunica con un LLM.

Ogni volta che un'applicazione riceve una query dell'utente, fornisce all'LLM un insieme le estensioni e le operazioni che queste possono eseguire. Se il modello determina che deve delegare l'elaborazione delle query a un'estensione, fornisce l'applicazione con una chiamata di estensione richiesta e il parametro associato e i relativi valori. L'applicazione inoltra questa richiesta al servizio di estensione, che quindi esegue l'estensione. Il processo viene completato quando il servizio di estensione invia la richiesta il risultato di questa operazione all'applicazione, che lo ritrasmette quindi all'applicazione model.

Con Vertex AI Search, puoi creare, eseguire il deployment e gestire le estensioni che collegano gli LLM alle API di sistemi esterni. Questi sistemi possono fornire gli LLM con dati in tempo reale ed eseguono azioni di elaborazione dei dati per loro conto.

Per saperne di più sui casi d'uso e vantaggi delle estensioni e del servizio di estensione Vertex AI, consulta Casi d'uso e vantaggi.

Per scoprire come registrare, gestire ed eseguire le estensioni con il per le estensioni di Vertex AI, consulta Registrare, gestire ed eseguire le estensioni.

Casi d'uso e vantaggi

Di seguito sono riportati alcuni possibili casi d'uso delle estensioni:

  • Genera ed esegui il codice.
  • Eseguire query sui siti web e sintetizzare le informazioni.
  • Rispondere a domande basate sulle informazioni all'interno di una raccolta di dati specifici dell'azienda.
  • Eseguire query e analizzare i datastore.

Il servizio di estensioni Vertex AI offre i seguenti vantaggi:

  • Controlli aziendali: Autorizzazioni di Identity and Access Management (IAM) e i controlli di sicurezza.
  • Sicurezza dei dati: accordi contrattuali in cui i tuoi dati privati non saranno divulgato o utilizzato nell'addestramento del modello
  • Contratti relativi al rendimento: contratti contrattuali forniti dalla piattaforma per funzionalità e tempi di attività specifici.
  • Estensioni private: utenti autorizzati nella tua organizzazione o in una partner di fiducia può utilizzare le estensioni per accedere a dati interni sensibili azioni, come la ricerca nelle knowledge base interne o il completamento di azioni RU.
  • Integrazioni dei prodotti Google: integrazione con prodotti Google quali Vertex AI Search, BigQuery e modelli specializzati.

Passaggi successivi