Mit Batchvorhersagen können Sie eine große Anzahl multimodaler Prompts in einer einzelnen Batchanfrage senden.
Weitere Informationen zum Batchworkflow und zur Formatierung Ihrer Eingabedaten finden Sie unter Batchvorhersagen für Gemini abrufen.
Unterstützte Modelle:
Modell | Version |
---|---|
Gemini 1.5 Flash | gemini-1.5-flash-002 gemini-1.5-flash-001 |
Gemini 1.5 Pro, | gemini-1.5-pro-002 gemini-1.5-pro-001 |
Gemini 1.0 Pro | gemini-1.0-pro-001 gemini-1.0-pro-002 |
Beispielsyntax
Syntax zum Senden einer API-Anfrage für die Batchvorhersage.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/batchPredictionJobs \ -d '{ "displayName": "...", "model": "publishers/google/models/${MODEL_ID}", "inputConfig": { "instancesFormat":"bigquery", "bigquerySource":{ "inputUri" : "..." } }, "outputConfig": { "predictionsFormat":"bigquery", "bigqueryDestination":{ "outputUri": "..." } } }'
Parameter
Einzelheiten zur Implementierung finden Sie in den Beispielen.
Anfragetext
Parameter | |
---|---|
|
Ein Name, den Sie für Ihren Job auswählen. |
|
Das für die Batchvorhersage zu verwendende Modell. |
|
Das Datenformat. Für die Gemini-Batchvorhersage wird die BigQuery-Eingabe unterstützt. |
|
Die Ausgabekonfiguration, die den Speicherort der Modellausgabe bestimmt. |
inputConfig
Parameter | |
---|---|
|
Das Prompt-Eingabeformat. Verwenden Sie |
|
Der URI der Eingabequelle. Dies ist ein BigQuery-Tabellen-URI im Format |
outputConfig
Parameter | |
---|---|
|
Das Ausgabeformat der Vorhersage. Er muss dem Eingabeformat entsprechen.
Verwenden Sie |
|
Der BigQuery-URI der Zielausgabetabelle im Format |
Beispiele
Batchantwort anfordern
Batchanfragen für multimodale Modelle akzeptieren nur BigQuery-Speicherquellen. Weitere Informationen nachstehend:
Abhängig von der Anzahl der Eingabeelemente, die Sie eingereicht haben, kann die Batchvgenerierung eine Weile dauern.
Senden Sie zum Testen eines multimodalen Code-Prompts mit der Vertex AI API eine POST-Anfrage an den Endpunkt des Publisher-Modells.
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
ist der Name Ihres Google Cloud-Projekts.PROJECT_ID
: Ein Name, den Sie für Ihren Job auswählen.BP_JOB_NAME
: Der URI der Eingabequelle. Dies ist ein BigQuery-Tabellen-URI im FormatINPUT_URI bq://PROJECT_ID.DATASET.TABLE
. Oder die URI Ihres Cloud Storage-Buckets.
: Der Typ der Eingabequelle. Optionen sindINPUT_SOURCE bigquerySource
undgcsSource
.
: Format der Eingabeinstanzen – kann „jsonl“ oder „bigquery“ sein.INSTANCES_FORMAT
: Der URI der Ausgabe- oder Zielausgabetabelle im FormatOUTPUT_URI bq://PROJECT_ID.DATASET.TABLE
. Wenn die Tabelle noch nicht vorhanden ist, wird sie für Sie erstellt.
HTTP-Methode und URL:
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID /locations/us-central1/batchPredictionJobs
JSON-Text der Anfrage:
{ "displayName": "BP_JOB_NAME ", "model": "publishers/google/models/gemini-1.0-pro-002 ", "inputConfig": { "instancesFormat":"INSTANCES_FORMAT ", "inputSource":{INPUT_SOURCE "inputUri" : "INPUT_URI " } }, "outputConfig": { "predictionsFormat":"bigquery", "bigqueryDestination":{ "outputUri": "OUTPUT_URI " } } }
Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID /locations/us-central1/batchPredictionJobs"
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID /locations/us-central1/batchPredictionJobs" | Select-Object -Expand Content
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
{ "name": "projects/{PROJECT_ID}/locations/us-central1/batchPredictionJobs/{BATCH_JOB_ID}", "displayName": "My first batch prediction", "model": "projects/{PROJECT_ID}/locations/us-central1/models/gemini-1.0-pro-002", "inputConfig": { "instancesFormat": "bigquery", "bigquerySource": { "inputUri": "bq://{PROJECT_ID}.mydataset.batch_predictions_input" } }, "modelParameters": {}, "outputConfig": { "predictionsFormat": "bigquery", "bigqueryDestination": { "outputUri": "bq://{PROJECT_ID}.mydataset.batch_predictions_output" } }, "state": "JOB_STATE_PENDING", "createTime": "2023-07-12T20:46:52.148717Z", "updateTime": "2023-07-12T20:46:52.148717Z", "modelVersionId": "1" }
Die Antwort enthält eine eindeutige Kennung für den Batchjob.
Sie können den Status des Batch-Jobs mit BATCH_JOB_ID abfragen, bis der Job state
den Wert JOB_STATE_SUCCEEDED
hat. Beispiel:
curl \ -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID /locations/us-central1/batchPredictionJobs/BATCH_JOB_ID
Batchausgabe abrufen
Wenn eine Batchvorhersage abgeschlossen ist, wird die Ausgabe in der BigQuery-Tabelle gespeichert, die Sie in der Anfrage angegeben haben.
Nächste Schritte
- Informationen zum Optimieren eines Gemini-Modells finden Sie in der Übersicht über die Modellabstimmung für Gemini
- Weitere Informationen zum Abrufen von Batchvorhersagen für Gemini