Mendapatkan prediksi batch untuk Gemini

Prediksi batch memungkinkan Anda mengirim sejumlah besar prompt multimodal dalam permintaan batch tunggal.

Untuk mengetahui informasi selengkapnya tentang alur kerja batch dan cara memformat input Anda data, lihat Dapatkan prediksi batch untuk Gemini.

Model yang Didukung:

Model Versi
Flash Gemini 1.5 gemini-1.5-flash-001
Gemini 1.5 Pro gemini-1.5-pro-001
Gemini 1.0 Pro gemini-1.0-pro-001
gemini-1.0-pro-002

Contoh sintaksis

Sintaksis untuk mengirim permintaan API prediksi batch.

curl

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \

https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/batchPredictionJobs \
-d '{
    "displayName": "...",
    "model": "publishers/google/models/${MODEL_ID}",
    "inputConfig": {
      "instancesFormat":"bigquery",
      "bigquerySource":{
        "inputUri" : "..."
      }
    },
    "outputConfig": {
      "predictionsFormat":"bigquery",
      "bigqueryDestination":{
        "outputUri": "..."
        }
    }
}'

Parameter

Lihat contoh untuk mengetahui detail penerapan.

Permintaan isi

Parameter

displayName

Nama yang Anda pilih untuk pekerjaan Anda.

model

Model yang akan digunakan untuk prediksi batch.

inputConfig

Format data. Untuk prediksi batch Gemini, Input BigQuery didukung.

outputConfig

Konfigurasi output yang menentukan lokasi output model.

inputConfig

Parameter

instancesFormat

Format input perintah. Menggunakan bigquery.

bigquerySource.inputUri

URI sumber input. Ini adalah URI tabel BigQuery di berupa bq://PROJECT_ID.DATASET.TABLE.

outputConfig

Parameter

predictionsFormat

Format output prediksi. Nama ini harus cocok dengan format input. Menggunakan bigquery.

bigqueryDestination.outputUri

URI BigQuery dari tabel output target, di dari bq://PROJECT_ID.DATASET.TABLE. Jika tabel tidak sudah ada, maka dibuatlah untuk Anda.

Contoh

Meminta respons batch

Permintaan batch untuk model multimodal hanya menerima penyimpanan BigQuery sumber. Untuk mempelajari lebih lanjut, lihat referensi berikut:

Bergantung pada jumlah item input yang Anda kirimkan, mungkin perlu waktu beberapa saat untuk menyelesaikan tugas pembuatan batch.

REST

Untuk menguji prompt multimodal menggunakan Vertex AI API, kirim permintaan POST ke endpoint model penayang.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT_ID: Nama project Google Cloud Anda.
  • BP_JOB_NAME: Nama yang Anda pilih untuk pekerjaan Anda.
  • INPUT_URI: URI sumber input. Ini adalah URI tabel BigQuery di dari bq://PROJECT_ID.DATASET.TABLE.
  • OUTPUT_URI: URI BigQuery pada tabel output target, di dari bq://PROJECT_ID.DATASET.TABLE. Jika tabel itu belum ada, maka dibuat untuk Anda.

Metode HTTP dan URL: 

POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/batchPredictionJobs

Isi JSON permintaan: 

{
    "displayName": "BP_JOB_NAME",
    "model": "publishers/google/models/gemini-1.0-pro-002",
    "inputConfig": {
      "instancesFormat":"bigquery",
      "bigquerySource":{
        "inputUri" : "INPUT_URI"
      }
    },
    "outputConfig": {
      "predictionsFormat":"bigquery",
      "bigqueryDestination":{
        "outputUri": "OUTPUT_URI"
        }
    }
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/batchPredictionJobs"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/batchPredictionJobs" | Select-Object -Expand Content

Anda akan menerima respons JSON yang mirip seperti berikut:

{
  "name": "projects/{PROJECT_ID}/locations/us-central1/batchPredictionJobs/{BATCH_JOB_ID}",
  "displayName": "My first batch prediction",
  "model": "projects/{PROJECT_ID}/locations/us-central1/models/gemini-1.0-pro-002",
  "inputConfig": {
    "instancesFormat": "bigquery",
    "bigquerySource": {
      "inputUri": "bq://{PROJECT_ID}.mydataset.batch_predictions_input"
    }
  },
  "modelParameters": {},
  "outputConfig": {
    "predictionsFormat": "bigquery",
    "bigqueryDestination": {
      "outputUri": "bq://{PROJECT_ID}.mydataset.batch_predictions_output"
    }
  },
  "state": "JOB_STATE_PENDING",
  "createTime": "2023-07-12T20:46:52.148717Z",
  "updateTime": "2023-07-12T20:46:52.148717Z",
  "modelVersionId": "1"
}

Responsnya menyertakan ID unik untuk tugas batch. Anda dapat melakukan polling untuk status tugas batch menggunakan BATCH_JOB_ID hingga state tugas menjadi JOB_STATE_SUCCEEDED. Contoh:

curl \
  -X GET \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/batchPredictionJobs/BATCH_JOB_ID

Mengambil output batch

Saat tugas prediksi batch selesai, output-nya akan disimpan di tabel BigQuery yang Anda tentukan dalam permintaan.

Langkah selanjutnya