Batchvorhersagen für Gemini abrufen

Mit Batchvorhersagen können Sie eine große Anzahl multimodaler Prompts in einer einzelnen Batchanfrage senden.

Weitere Informationen zum Batchworkflow und zur Formatierung Ihrer Eingabedaten finden Sie unter Batchvorhersagen für Gemini abrufen.

Unterstützte Modelle:

Modell Version
Gemini 1.5 Flash gemini-1.5-flash-002
gemini-1.5-flash-001
Gemini 1.5 Pro, gemini-1.5-pro-002
gemini-1.5-pro-001
Gemini 1.0 Pro gemini-1.0-pro-001
gemini-1.0-pro-002

Beispielsyntax

Syntax zum Senden einer API-Anfrage für die Batchvorhersage.

curl

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \

https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/batchPredictionJobs \
-d '{
    "displayName": "...",
    "model": "publishers/google/models/${MODEL_ID}",
    "inputConfig": {
      "instancesFormat":"bigquery",
      "bigquerySource":{
        "inputUri" : "..."
      }
    },
    "outputConfig": {
      "predictionsFormat":"bigquery",
      "bigqueryDestination":{
        "outputUri": "..."
        }
    }
}'

Parameter

Einzelheiten zur Implementierung finden Sie in den Beispielen.

Anfragetext

Parameter

displayName

Ein Name, den Sie für Ihren Job auswählen.

model

Das für die Batchvorhersage zu verwendende Modell.

inputConfig

Das Datenformat. Für die Gemini-Batchvorhersage wird die BigQuery-Eingabe unterstützt.

outputConfig

Die Ausgabekonfiguration, die den Speicherort der Modellausgabe bestimmt.

inputConfig

Parameter

instancesFormat

Das Prompt-Eingabeformat. Verwenden Sie bigquery.

bigquerySource.inputUri

Der URI der Eingabequelle. Dies ist ein BigQuery-Tabellen-URI im Format bq://PROJECT_ID.DATASET.TABLE.

outputConfig

Parameter

predictionsFormat

Das Ausgabeformat der Vorhersage. Er muss dem Eingabeformat entsprechen. Verwenden Sie bigquery.

bigqueryDestination.outputUri

Der BigQuery-URI der Zielausgabetabelle im Format bq://PROJECT_ID.DATASET.TABLE. Wenn die Tabelle nicht bereits vorhanden ist, wird sie für Sie erstellt.

Beispiele

Batchantwort anfordern

Batchanfragen für multimodale Modelle akzeptieren nur BigQuery-Speicherquellen. Weitere Informationen nachstehend:

Abhängig von der Anzahl der Eingabeelemente, die Sie eingereicht haben, kann die Batchvgenerierung eine Weile dauern.

REST

Senden Sie zum Testen eines multimodalen Code-Prompts mit der Vertex AI API eine POST-Anfrage an den Endpunkt des Publisher-Modells.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID ist der Name Ihres Google Cloud-Projekts.
  • BP_JOB_NAME: Ein Name, den Sie für Ihren Job auswählen.
  • INPUT_URI: Der URI der Eingabequelle. Dies ist ein BigQuery-Tabellen-URI im Format bq://PROJECT_ID.DATASET.TABLE. Oder die URI Ihres Cloud Storage-Buckets.
  • INPUT_SOURCE: Der Typ der Eingabequelle. Optionen sind bigquerySource und gcsSource.
  • INSTANCES_FORMAT: Format der Eingabeinstanzen – kann „jsonl“ oder „bigquery“ sein.
  • OUTPUT_URI: Der URI der Ausgabe- oder Zielausgabetabelle im Format bq://PROJECT_ID.DATASET.TABLE. Wenn die Tabelle noch nicht vorhanden ist, wird sie für Sie erstellt.

HTTP-Methode und URL:

POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/batchPredictionJobs

JSON-Text der Anfrage:

{
    "displayName": "BP_JOB_NAME",
    "model": "publishers/google/models/gemini-1.0-pro-002",
    "inputConfig": {
      "instancesFormat":"INSTANCES_FORMAT",
      "inputSource":{ INPUT_SOURCE
        "inputUri" : "INPUT_URI"
      }
    },
    "outputConfig": {
      "predictionsFormat":"bigquery",
      "bigqueryDestination":{
        "outputUri": "OUTPUT_URI"
        }
    }
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/batchPredictionJobs"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/batchPredictionJobs" | Select-Object -Expand Content

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

{
  "name": "projects/{PROJECT_ID}/locations/us-central1/batchPredictionJobs/{BATCH_JOB_ID}",
  "displayName": "My first batch prediction",
  "model": "projects/{PROJECT_ID}/locations/us-central1/models/gemini-1.0-pro-002",
  "inputConfig": {
    "instancesFormat": "bigquery",
    "bigquerySource": {
      "inputUri": "bq://{PROJECT_ID}.mydataset.batch_predictions_input"
    }
  },
  "modelParameters": {},
  "outputConfig": {
    "predictionsFormat": "bigquery",
    "bigqueryDestination": {
      "outputUri": "bq://{PROJECT_ID}.mydataset.batch_predictions_output"
    }
  },
  "state": "JOB_STATE_PENDING",
  "createTime": "2023-07-12T20:46:52.148717Z",
  "updateTime": "2023-07-12T20:46:52.148717Z",
  "modelVersionId": "1"
}

Die Antwort enthält eine eindeutige Kennung für den Batchjob. Sie können den Status des Batch-Jobs mit BATCH_JOB_ID abfragen, bis der Job state den Wert JOB_STATE_SUCCEEDED hat. Beispiel:

curl \
  -X GET \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/batchPredictionJobs/BATCH_JOB_ID

Batchausgabe abrufen

Wenn eine Batchvorhersage abgeschlossen ist, wird die Ausgabe in der BigQuery-Tabelle gespeichert, die Sie in der Anfrage angegeben haben.

Nächste Schritte