La risposta visiva a domande (VQA) consente di fornire un'immagine al modello e porre una domanda sui contenuti dell'immagine. In risposta alla tua domanda ricevi una o più risposte in linguaggio naturale.
Lingue supportate
VQA è disponibile nelle seguenti lingue:
- Inglese (en)
Prestazioni e limitazioni
Quando utilizzi questo modello, si applicano i seguenti limiti:
Limiti | Valore |
---|---|
Numero massimo di richieste API (formato breve) al minuto per progetto | 500 |
Numero massimo di token restituiti nella risposta (formato breve) | 64 token |
Numero massimo di token accettati nella richiesta (solo VQA nel formato breve) | 80 token |
Numero massimo di token restituiti in risposta (formato lungo) | 512 token |
Quando utilizzi questo modello, vengono applicate le seguenti stime di latenza del servizio. Questi valori hanno scopo illustrativo e non sono una promessa di servizio:
Latenza | Valore |
---|---|
Richieste API (formato breve) | 1,5 secondi |
Richieste API (formato lungo) | 4,5 secondi |
Località
Una località è una regione che puoi specificare in una richiesta per controllare dove sono archiviati i dati at-rest. Per un elenco delle regioni disponibili, consulta Generative AI on Vertex AI località.
Utilizzare VQA su un'immagine (risposte nel formato breve)
Utilizza i seguenti esempi per porre una domanda e ricevere una risposta su un'immagine.
Console
Nella console Google Cloud, apri la scheda Vertex AI Studio > Vision nella dashboard Vertex AI.
Nel menu in basso, fai clic su Domande e risposte visive.
Fai clic su Carica immagine per selezionare l'immagine locale da aggiungere alla didascalia.
Nel riquadro Parametri, scegli Numero di sottotitoli e Lingua.
Nel campo di richiesta, inserisci una domanda sull'immagine caricata.
Fai clic su
Invia.
REST
Per ulteriori informazioni sulle richieste del modello imagetext
, consulta la
documentazione di riferimento dell'API del modello imagetext
.
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- PROJECT_ID: il tuo ID progetto Google Cloud.
- LOCATION: la regione del tuo progetto. Ad esempio,
us-central1
,europe-west2
oasia-northeast3
. Per un elenco delle regioni disponibili, consulta la pagina relativa all'IA generativa sulle località di Vertex AI. - VQA_PROMPT: la domanda a cui vuoi ricevere una risposta sull'immagine.
- Di che colore è questa scarpa?
- Che tipo di maniche ci sono sulla maglietta?
- B64_IMAGE: l'immagine per la quale ottenere i sottotitoli codificati. L'immagine deve essere specificata come una stringa di byte codificata in Base64. Dimensioni massime: 10 MB.
- RESPONSE_COUNT: il numero di risposte che vuoi generare. Valori interi accettati: 1-3.
Metodo HTTP e URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict
Corpo JSON della richiesta:
{ "instances": [ { "prompt": "VQA_PROMPT", "image": { "bytesBase64Encoded": "B64_IMAGE" } } ], "parameters": { "sampleCount": RESPONSE_COUNT } }
Per inviare la richiesta, scegli una delle seguenti opzioni:
arricciatura
Salva il corpo della richiesta in un file denominato request.json
ed esegui questo comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict"
PowerShell
Salva il corpo della richiesta in un file denominato request.json
ed esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict" | Select-Object -Expand Content
"sampleCount": 2
e "prompt": "What is this?"
. La risposta restituisce
due risposte della stringa di previsione.
{ "predictions": [ "cappuccino", "coffee" ] }
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Python Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
In questo esempio utilizzerai il metodo load_from_file
per fare riferimento a un file locale come base Image
su cui ottenere informazioni. Dopo aver specificato l'immagine di base, utilizza il metodo ask_question
su ImageTextModel
e stampa le risposte.
Utilizzare i parametri per VQA
Quando ricevi risposte VQA, puoi impostare diversi parametri a seconda del caso d'uso.
Numero risultati
Utilizza il parametro del numero di risultati per limitare il numero di risposte restituite
per ogni richiesta inviata. Per maggiori informazioni, consulta l'articolo Riferimento API del modello imagetext
(VQA).
Numero di origine
Un numero che aggiungi a una richiesta per rendere deterministiche le risposte generate. L'aggiunta di un numero seed alla richiesta è un modo per assicurarti di ricevere ogni volta la stessa previsione (risposte). Tuttavia, le risposte non vengono
restituite necessariamente nello stesso ordine. Per maggiori informazioni, consulta la pagina di riferimento sull'API del modello imagetext
(VQA).
Passaggi successivi
- Guarda i video che descrivono i modelli di base di Vertex AI, tra cui Imagen, il modello di base da testo a immagine che ti consente di generare e modificare le immagini:
- Leggi il blog post che descrivono Imagen su Vertex AI e Generative AI su Vertex AI: