Puoi accedere, ottimizzare ed eseguire il deployment dei modelli linguistici di IA generativa di Google utilizzando le API Vertex AI PaLM e Vertex AI Codey. Utilizza i modelli linguistici per eseguire una serie di flussi di lavoro da Vertex AI, ad esempio utilizza le API per interagire con i modelli ed eseguirne il deployment in un blocco note Jupyter. Puoi anche personalizzare i modelli linguistici per il tuo caso d'uso specifico eseguendo l'ottimizzazione del modello. Questa pagina fornisce una panoramica dei modelli linguistici disponibili, delle API che utilizzi per interagire con i modelli e dei modi per personalizzare i loro comportamenti.
Schema di denominazione dei modelli
I nomi dei modelli di base hanno due componenti: caso d'uso e dimensioni del modello. La convenzione di denominazione è nel formato <use case>-<model size>. Ad esempio, text-bison rappresenta il modello di testo Bison.
Le dimensioni dei modelli sono:
- Unicorn: il modello più grande della famiglia PaLM. I modelli Unicorn eccellono nelle attività complesse, come la programmazione e la catena di pensiero, grazie alle conoscenze approfondite incorporate nel modello e alle sue capacità di ragionamento.
- Bison: il modello PaLM dal miglior rapporto qualità/prezzo che gestisce un'ampia gamma di attività linguistiche, come classificazione e sintesi. È ottimizzato per l'accuratezza e la latenza a un costo ragionevole. Le interfacce di testo, chat, codice e codechat simplificano il deployment e l'integrazione nell'applicazione.
- Gecko: il modello più piccolo e dal costo più basso per attività semplici.
Puoi utilizzare la versione stabile o più recente di un modello. Per ulteriori informazioni, consulta Versioni e ciclo di vita dei modelli.
API Vertex AI PaLM
L'API PaLM di Vertex AI ti consente di accedere alla famiglia di modelli PaLM 2, che supporta la generazione di testo in linguaggio naturale, embedding di testo e codice (consigliamo di utilizzare le API Codey di Vertex AI per la generazione di codice). PaLM 2 è la seconda generazione del Pathways Language Model sviluppato da Google Labs. Utilizzando l'API Vertex AI PaLM, puoi sfruttare gli strumenti MLOps, la sicurezza, la protezione, la privacy e la scalabilità di livello enterprise offerti da Vertex AI.
L'API Vertex AI PaLM espone i modelli PaLM 2 utilizzando endpoint di publisher globali univoci per ogni progetto Google Cloud . Di seguito è riportato un esempio di endpoint del modello del publisher:
https://us-central1-aiplatform.googleapis.com/v1/projects/your_project_id/locations/us-central1/publishers/google/models/text-bison:predict
L'API Vertex AI PaLM ha endpoint del publisher per i seguenti modelli PaLM 2:
text-bison: ottimizzato per l'esecuzione di attività di linguaggio naturale, come classificazione, sintesi, estrazione, creazione di contenuti e ideazione.chat-bison: ottimizzato per la chat multi-turno, in cui il modello tiene traccia dei messaggi precedenti nella chat e li utilizza come contesto per generare nuove risposte.textembedding-gecko: genera incorporamenti di testo per un determinato testo. Puoi utilizzare gli incorporamenti per attività come ricerca semantica, consigli, classificazione e rilevamento di valori anomali.
Per scoprire di più su questi modelli, consulta Modelli disponibili.
API Vertex AI Codey
Le API Codey di Vertex AI sono ottimizzate per supportare la generazione di codice, la chat di codice e il completamento del codice per diversi linguaggi di programmazione. Le API Codey di Vertex AI si basano sulla famiglia di modelli PaLM 2. Per ulteriori informazioni, consulta la panoramica dei modelli di codice.
Progettazione dei prompt
Per interagire con i modelli di base come PaLM 2, invii istruzioni in linguaggio naturale, chiamate anche prompt, che indicano al modello cosa deve generare. Tuttavia, a volte gli LLM possono comportarsi in modo imprevedibile. La progettazione dei prompt è un processo iterativo di tentativi ed errori che richiede tempo e pratica per acquisire dimestichezza. Per scoprire le strategie generali di progettazione dei prompt, consulta Introduzione alla progettazione dei prompt. Per indicazioni specifiche per la progettazione di prompt di testo in base alle attività, consulta Progettare prompt di testo.
Ottimizzazione del modello
Se devi personalizzare i modelli PaLM 2 per un caso d'uso specifico, puoi ottimizzarli utilizzando un set di dati di esempi di input e output. I modelli ottimizzati vengono di cui è stato eseguito il deployment in un nuovo endpoint del progetto per rispondere alle richieste. Per scoprire di più sull'ottimizzazione del modello, consulta Ottimizzare i modelli di base.
Passaggi successivi
- Scopri come progettare prompt di testo.
- Scopri come progettare prompt di chat.
- Scopri di più sui modelli di codice.
- Scopri di più su come generare risposte in streaming da un modello.