L'API Chat Completions ti consente di inviare richieste ai modelli Vertex AI utilizzando le librerie OpenAI per Python e REST. Se usi già le librerie OpenAI, puoi usare questa API per cambiare tra le chiamate ai modelli OpenAI Modelli ospitati da Vertex AI per confrontare output, costi e scalabilità, senza modificare il codice esistente. Se non usi già le librerie OpenAI, ti consigliamo chiama l'API Gemini .
Modelli supportati
L'API Chat Completions supporta sia i modelli Gemini sia alcuni modelli di deployment autonomo di Model Garden.
Modelli Gemini
La tabella seguente mostra i modelli Gemini supportati:
Modello | Versione |
---|---|
Gemini 1.5 Flash | google/gemini-1.5-flash |
Gemini 1.5 Pro | google/gemini-1.5-pro |
Gemini 1.0 Pro Vision | google/gemini-1.0-pro-vision google/gemini-1.0-pro-vision-001 |
Gemini 1.0 Pro | google/gemini-1.0-pro-002 google/gemini-1.0-pro-001 google/gemini-1.0-pro |
Modelli di cui è stato eseguito il deployment autonomo da Model Garden
I container HuggingFace Text Generation Interface (HF TGI) e vLLM predefiniti di Vertex AI Model Garden supportano l'API Chat Completions. Tuttavia, non tutti i modelli di cui è stato eseguito il deployment in questi contenitori supportano l'API Chat Completions. La tabella seguente include i modelli supportati più popolari per contenitore:
TGI per l'HF |
vLLM |
---|---|
Autentica
Per utilizzare le librerie Python di OpenAI, installa l'SDK OpenAI:
pip install openai
Per autenticarti con l'API Chat Completamenti, puoi: puoi modificare la configurazione del client o il tuo ambiente per utilizzare l'autenticazione Google e un modello Vertex AI endpoint. Scegli il metodo più semplice e segui i passaggi per configurazione a seconda che tu voglia chiamare i modelli Gemini di modelli Model Garden o di cui è stato eseguito il deployment autonomo.
Alcuni modelli in Model Garden e
modelli Hugging Face supportati
devono essere
di cui è stato eseguito il deployment su un endpoint Vertex AI
prima di poter gestire le richieste.
Quando richiama questi modelli di deployment autonomo dall'API Chat Completions, devi specificare l'ID endpoint. Per elencare i tuoi
gli endpoint Vertex AI esistenti, utilizza
Comando gcloud ai endpoints list
.
Configurazione client
Per ottenere in modo programmatico le credenziali Google in Python, puoi utilizzare il comando
SDK Python google-auth
:
pip install google-auth
pip install requests
Modifica l'SDK OpenAI in modo che punti alla chat di Vertex AI endpoint di completamento:
# Programmatically get an access token
creds, project = google.auth.default()
auth_req = google.auth.transport.requests.Request()
creds.refresh(auth_req)
# Note: the credential lives for 1 hour by default (https://cloud.google.com/docs/authentication/token-types#at-lifetime); after expiration, it must be refreshed.
# Pass the Vertex endpoint and authentication to the OpenAI SDK
PROJECT_ID = 'PROJECT_ID'
LOCATION = 'LOCATION'
##############################
# Choose one of the following:
##############################
# If you are calling a Gemini model, set the MODEL_ID variable and set
# your client's base URL to use openapi.
MODEL_ID = 'MODEL_ID'
client = openai.OpenAI(
base_url = f'https://{LOCATION}-aiplatform.googleapis.com/v1beta1/projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/openapi',
api_key = creds.token)
# If you are calling a self-deployed model from Model Garden, set the
# ENDPOINT_ID variable and set your client's base URL to use your endpoint.
MODEL_ID = 'MODEL_ID'
client = openai.OpenAI(
base_url = f'https://{LOCATION}-aiplatform.googleapis.com/v1beta1/projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT}',
api_key = creds.token)
Per impostazione predefinita, i token di accesso sono validi per 1 ora. Puoi
prolungare la durata del token di accesso
o aggiornare periodicamente il token e aggiornare la variabile openai.api_key
.
Variabili di ambiente
Installa Google Cloud CLI. La libreria OpenAI può
lettura degli ambienti OPENAI_API_KEY
e OPENAI_BASE_URL
per modificare l'autenticazione e l'endpoint nel loro client predefinito.
Imposta le seguenti variabili:
$ export PROJECT_ID=PROJECT_ID
$ export LOCATION=LOCATION
$ export OPENAI_API_KEY="$(gcloud auth application-default print-access-token)"
Per chiamare un modello Gemini, imposta la variabile MODEL_ID
e utilizza l'endpoint openapi
:
$ export MODEL_ID=MODEL_ID
$ export OPENAI_BASE_URL="https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/openapi"
Per chiamare un modello di cui è stato eseguito il deployment autonomo da Model Garden, imposta la variabile ENDPOINT
e utilizzala nell'URL:
$ export ENDPOINT=ENDPOINT_ID
$ export OPENAI_BASE_URL="https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT}"
Quindi, inizializza il client:
client = openai.OpenAI()
L'API Gemini Chat Completamenti utilizza OAuth per l'autenticazione
con un
token di accesso di breve durata.
Per impostazione predefinita, i token di accesso durano un'ora. Puoi
Prolungare la vita del tuo token di accesso
oppure aggiorna periodicamente il token e aggiorna OPENAI_API_KEY
variabile di ambiente.
Chiamare Gemini con l'API Chat Completions
Il seguente esempio mostra come inviare richieste non di streaming:
curl
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/openapi/chat/completions \ -d '{ "model": "google/${MODEL_ID}", "messages": [{ "role": "user", "content": "Write a story about a magic backpack." }] }'
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.
L'esempio seguente mostra come inviare richieste di flusso a un Gemini utilizzando l'API Chat Completamenti:
curl
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/openapi/chat/completions \ -d '{ "model": "google/${MODEL_ID}", "stream": true, "messages": [{ "role": "user", "content": "Write a story about a magic backpack." }] }'
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.
Chiamare un modello di cui è stato eseguito il deployment autonomo con l'API Chat Completions
L'esempio seguente mostra come inviare richieste non in streaming:
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://us-central1-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/us-central1/endpoints/${ENDPOINT}/chat/completions \ -d '{ "messages": [{ "role": "user", "content": "Write a story about a magic backpack." }] }'
L'esempio seguente mostra come inviare richieste in streaming a un modello di cui è stato eseguito il deployment autonomamente utilizzando l'API Chat Completions:
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://us-central1-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/us-central1/endpoints/${ENDPOINT}/chat/completions \ -d '{ "stream": true, "messages": [{ "role": "user", "content": "Write a story about a magic backpack." }] }'
Parametri supportati
Per i modelli Google, l'API Chat completions supporta le seguenti funzionalità OpenAI parametri. Per una descrizione di ciascun parametro, consulta la documentazione di OpenAI sulla creazione di completamenti di chat. Il supporto dei parametri per i modelli di terze parti varia in base al modello. Per vedere quali parametri sono supportati, consulta la documentazione del modello.
messages |
|
model |
|
max_tokens |
|
n |
|
frequency_penalty |
|
presence_penalty |
|
response_format |
|
stop |
|
stream |
|
temperature |
|
top_p |
|
tools |
|
tool_choice |
|
function_call |
Questo campo è deprecato, ma supportato per la compatibilità con le versioni precedenti. |
functions |
Questo campo è obsoleto, ma è supportato per le versioni precedenti la compatibilità. |
Se passi qualsiasi parametro non supportato, questo viene ignorato.
Aggiorna le credenziali
L'esempio seguente mostra come aggiornare automaticamente le credenziali come necessario:
Python
Passaggi successivi
- Guarda alcuni esempi di chiamate API Inference con la sintassi compatibile con OpenAI.
- Guarda alcuni esempi di chiamate API Funzione chiamata compatibile con OpenAI.
- Scopri di più sull'API Gemini.
- Scopri di più sulla migrazione da Azure OpenAI all'API Gemini.