Modelli di AI21 Labs

I modelli di AI21 Labs su Vertex AI offrono modelli completamente gestiti e serverless come API. Per utilizzare un modello AI21 Labs su Vertex AI, invia una richiesta direttamente all'endpoint dell'API Vertex AI. Poiché i modelli AI21 Labs utilizzano un'API gestita, non è necessario eseguire il provisioning o gestire l'infrastruttura.

Puoi trasmettere le risposte in streaming per ridurre la percezione della latenza da parte dell'utente finale. Una risposta in streaming utilizza gli eventi inviati dal server (SSE) per eseguire lo streaming incrementale della risposta.

Paghi i modelli AI21 Labs man mano che li utilizzi (pagamento a consumo). Per i prezzi di pagamento a consumo, consulta i prezzi dei modelli AI21 Labs nella pagina dei prezzi di Vertex AI.

Modelli AI21 Labs disponibili

I seguenti modelli sono disponibili da AI21 Labs per l'utilizzo in Vertex AI. Per accedere a un modello AI21 Labs, vai alla relativa scheda del modello di Model Garden.

Jamba 1.5 Mini

Jamba 1.5 Mini di AI21 Labs è un piccolo modello di base creato da un'architettura ibrida che sfrutta l'architettura Mamba e l'architettura Transformer per ottenere una qualità leader a un prezzo competitivo.

Con l'architettura ibrida SSM-Transformer e una finestra di contesto di 256.000, Jamba 1.5 Mini risolve in modo efficiente una serie di casi d'uso aziendali di generazione e comprensione del testo.

Jamba 1.5 Mini è ideale per i flussi di lavoro aziendali con attività che richiedono un volume elevato di dati e un modello in grado di importare una grande quantità di informazioni per produrre una risposta accurata e completa, ad esempio riassumere documenti lunghi o consentire la risposta a domande in un'ampia base di conoscenza dell'organizzazione. Jamba 1.5 Mini offre un buon equilibrio tra qualità, velocità in uscita e basso costo.

Vai alla scheda del modello Jamba 1.5 Mini

Jamba 1.5 Large

Jamba 1.5 Large di AI21 Labs è un modello di base creato da un'architettura ibrida che sfrutta l'architettura Mamba e l'architettura Transformer per ottenere una qualità leader a un prezzo competitivo.

Con l'architettura ibrida SSM-Transformer e una finestra di contesto di 256.000, Jamba 1.5 Large risolve in modo efficiente una serie di casi d'uso aziendali di generazione e comprensione del testo. Jamba 1.5 Large ha 94 miliardi di parametri attivi e 398 miliardi di parametri totali che generano risposte estremamente accurate.

Jamba 1.5 Large è ideale per i flussi di lavoro aziendali con attività che richiedono un gran numero di dati e un modello in grado di importare una grande quantità di informazioni per produrre una risposta accurata e completa, ad esempio per riassumere documenti lunghi o per consentire la risposta a domande in un'ampia base di conoscenza dell'organizzazione. Jamba 1.5 Large è progettato per fornire risposte di qualità superiore, un throughput elevato e prezzi competitivi rispetto ad altri modelli della stessa classe di dimensioni.

Vai alla scheda del modello Jamba 1.5 Large

Utilizzare i modelli di AI21 Labs

Quando invii richieste per utilizzare i modelli di AI21 Labs, utilizza i seguenti nomi del modello:

  • Per Jamba 1.5 Mini, usa jamba-1.5-mini@001.
  • Per Jamba 1.5 Large, utilizza jamba-1.5-large@001.

Ti consigliamo di utilizzare le versioni del modello che includono un suffisso che inizia con un simbolo @ a causa delle possibili differenze tra le versioni del modello. Se non specifichi una versione del modello, viene sempre utilizzata la versione più recente, il che può influire inavvertitamente sui tuoi flussi di lavoro quando una versione del modello cambia.

Prima di iniziare

Per utilizzare i modelli di AI21 Labs con Vertex AI, devi eseguire i seguenti passaggi. Per utilizzare Vertex AI, è necessario attivare l'API Vertex AI (aiplatform.googleapis.com). Se hai già un progetto esistente con l'API Vertex AI abilitata, puoi utilizzarlo anziché crearne uno nuovo.

Assicurati di disporre delle autorizzazioni necessarie per attivare e utilizzare i modelli di partner. Per ulteriori informazioni, consulta Concedere le autorizzazioni richieste.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI API.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI API.

    Enable the API

  8. Vai a una delle seguenti schede del modello di Model Garden e fai clic su Abilita:

Effettua una chiamata in streaming a un modello AI21 Labs

L'esempio seguente effettua una chiamata in streaming a un modello di AI21 Labs.

REST

Dopo aver configurato l'ambiente, puoi utilizzare REST per testare un prompt di testo. Il seguente esempio invia una richiesta all'endpoint del modello del publisher.

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

  • LOCATION: una regione che supporta modelli di AI21 Labs.
  • MODEL: il nome del modello che vuoi utilizzare. Nel corpo della richiesta, escludi il numero di versione del modello @.
  • ROLE: il ruolo associato a un messaggio. Puoi specificare un user o un assistant. Il primo messaggio deve utilizzare il ruolo user. I modelli funzionano con curve user e assistant alternate. Se il messaggio finale utilizza il ruolo assistant, i contenuti della risposta continuano immediatamente da quelli del messaggio. Puoi usarli per limitare parte della risposta del modello.
  • STREAM: un valore booleano che specifica se la risposta viene trasmessa in streaming o meno. Trasmetti la risposta in streaming per ridurre la percezione della latenza di utilizzo finale. Imposta su true per trasmettere la risposta in streaming e su false per restituirla tutta insieme.
  • CONTENT: i contenuti, ad esempio il testo, del messaggio user o assistant.
  • MAX_OUTPUT_TOKENS: Numero massimo di token che possono essere generati nella risposta. Un token equivale a circa 3,5 caratteri. 100 token corrispondono a circa 60-80 parole.

    Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.

Metodo HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/ai21/models/MODEL:streamRawPredict

Corpo JSON della richiesta:

{
  "model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": true
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/ai21/models/MODEL:streamRawPredict"

PowerShell

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/ai21/models/MODEL:streamRawPredict" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente.

Fai una chiamata non in streaming a un modello AI21 Labs

L'esempio seguente effettua una chiamata non in streaming a un modello AI21 Labs.

REST

Dopo aver configurato l'ambiente, puoi utilizzare REST per testare un prompt di testo. Il seguente esempio invia una richiesta all'endpoint del modello del publisher.

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

  • LOCATION: una regione che supporta modelli di AI21 Labs.
  • MODEL: il nome del modello che vuoi utilizzare. Nel corpo della richiesta, escludi il numero di versione del modello @.
  • ROLE: il ruolo associato a un messaggio. Puoi specificare un user o un assistant. Il primo messaggio deve utilizzare il ruolo user. I modelli funzionano con curve user e assistant alternate. Se il messaggio finale utilizza il ruolo assistant, i contenuti della risposta continuano immediatamente da quelli del messaggio. Puoi usarli per limitare parte della risposta del modello.
  • STREAM: un valore booleano che specifica se la risposta viene trasmessa in streaming o meno. Trasmetti la risposta in streaming per ridurre la percezione della latenza di utilizzo finale. Imposta su true per trasmettere la risposta in streaming e su false per restituirla tutta insieme.
  • CONTENT: i contenuti, ad esempio il testo, del messaggio user o assistant.
  • MAX_OUTPUT_TOKENS: Numero massimo di token che possono essere generati nella risposta. Un token equivale a circa 3,5 caratteri. 100 token corrispondono a circa 60-80 parole.

    Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.

Metodo HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict

Corpo JSON della richiesta:

{
  "model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": false
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict"

PowerShell

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente.

Disponibilità e quote per la regione del modello AI21 Labs

Per i modelli AI21 Labs, viene applicata una quota per ogni regione in cui il modello è disponibile. La quota è specificata in query al minuto (QPM) e token al minuto (TPM). Il TPM include token di input e di output.

Le regioni supportate, le quote predefinite e la lunghezza massima del contesto per ciascun modello AI21 Labs sono elencate nelle seguenti tabelle:

Jamba 1.5 Mini

Regione Sistema di quote Lunghezza del contesto supportata
us-central1 50 QPM, 60.000 TPM 256.000 token
europe-west4 50 QPM, 60.000 TPM 256.000 token

Jamba 1.5 Large

Regione Sistema di quote Lunghezza del contesto supportata
us-central1 20 QPM, 20.000 TPM 256.000 token
europe-west4 20 QPM, 20.000 TPM 256.000 token

Se vuoi aumentare una delle quote per l'AI generativa su Vertex AI, puoi utilizzare la console Google Cloud per richiedere un aumento di quota. Per scoprire di più sulle quote, consulta Utilizzo delle quote.