일괄 예측을 사용하면 단일 일괄 요청으로 다수의 멀티모달 프롬프트를 전송할 수 있습니다.
일괄 워크플로 및 입력 데이터 형식 지정 방법에 대한 자세한 내용은 Gemini의 일괄 예측 가져오기를 참조하세요.
지원되는 모델:
모델 | 버전 |
---|---|
Gemini 1.5 Flash | gemini-1.5-flash-002 gemini-1.5-flash-001 |
Gemini 1.5 Pro | gemini-1.5-pro-002 gemini-1.5-pro-001 |
Gemini 1.0 Pro | gemini-1.0-pro-001 gemini-1.0-pro-002 |
예시 문법
다음 구문은 curl
명령어를 사용하여 일괄 예측 API 요청을 보내는 방법을 보여줍니다. 이 예시는 BigQuery 스토리지에만 해당합니다.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/batchPredictionJobs \ -d '{ "displayName": "...", "model": "publishers/google/models/${MODEL_ID}", "inputConfig": { "instancesFormat": "bigquery", "bigquerySource": { "inputUri" : "..." } }, "outputConfig": { "predictionsFormat": "bigquery", "bigqueryDestination": { "outputUri": "..." } } }'
매개변수
구현 세부정보는 예시를 참고하세요.
본문 요청
매개변수 | |
---|---|
|
작업에 선택한 이름입니다. |
|
일괄 예측에 사용할 모델입니다. |
|
데이터 형식입니다. Gemini 일괄 예측의 경우 Cloud Storage 및 BigQuery 입력 소스가 지원됩니다. |
|
모델 출력 위치를 결정하는 출력 구성입니다. Cloud Storage 및 BigQuery 출력 위치가 지원됩니다. |
inputConfig
매개변수 | |
---|---|
|
프롬프트 입력 형식입니다. Cloud Storage의 경우 |
|
입력 소스 URI입니다. JSONL 파일의 Cloud Storage 위치이며 |
|
입력 소스 URI입니다. |
outputConfig
매개변수 | |
---|---|
|
예측 출력 형식입니다. |
|
Cloud Storage 버킷 및 디렉터리 위치( |
|
대상 출력 테이블의 BigQuery URI로 |
예시
일괄 응답 요청
멀티모달 모델에 대한 일괄 요청은 Cloud Storage 스토리지와 BigQuery 스토리지 소스를 허용합니다. 자세한 내용은 다음을 참조하세요.
제출한 입력 항목 수에 따라 일괄 생성 태스크가 완료되는 데 다소 시간이 걸릴 수 있습니다.
REST
일괄 예측 작업을 만들려면 projects.locations.batchPredictionJobs.create
메서드를 사용합니다.
Cloud Storage 입력
요청 데이터를 사용하기 전에 다음을 바꿉니다.
- LOCATION: Gemini 모델을 지원하는 리전입니다.
- PROJECT_ID: 프로젝트 ID
- INPUT_URI: JSONL 일괄 예측 입력의 Cloud Storage 위치입니다(예:
gs://bucketname/path/to/file.jsonl
). - OUTPUT_FORMAT: BigQuery 테이블에 출력하려면
bigquery
를 지정합니다. Cloud Storage 버킷에 출력하려면jsonl
를 지정합니다. - DESTINATION: BigQuery의 경우
bigqueryDestination
을 지정합니다. Cloud Storage의 경우gcsDestination
을 지정합니다. - OUTPUT_URI_FIELD_NAME:
BigQuery의 경우
outputUri
을 지정합니다. Cloud Storage의 경우outputUriPrefix
을 지정합니다. - OUTPUT_URI: BigQuery의 경우 테이블 위치(예:
bq://myproject.mydataset.output_result
)를 지정합니다. 출력 BigQuery 데이터 세트의 리전은 Vertex AI 일괄 예측 작업과 동일해야 합니다. Cloud Storage의 경우 버킷 및 디렉터리 위치(예:gs://mybucket/path/to/output
)를 지정합니다.
JSON 요청 본문:
{ "displayName": "my-cloud-storage-batch-prediction-job", "model": "publishers/google/models/gemini-1.5-flash-002", "inputConfig": { "instancesFormat": "jsonl", "gcsSource": { "uris" : "INPUT_URI" } }, "outputConfig": { "predictionsFormat": "OUTPUT_FORMAT", "DESTINATION": { "OUTPUT_URI_FIELD_NAME": "OUTPUT_URI" } } }
요청을 보내려면 다음 옵션 중 하나를 선택합니다.
curl
요청 본문을 request.json
파일에 저장하고 다음 명령어를 실행합니다.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"
PowerShell
요청 본문을 request.json
파일에 저장하고 다음 명령어를 실행합니다.
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content
다음과 비슷한 JSON 응답이 수신됩니다.
BigQuery 입력
요청 데이터를 사용하기 전에 다음을 바꿉니다.
- LOCATION: Gemini 모델을 지원하는 리전입니다.
- PROJECT_ID: 프로젝트 ID
- INPUT_URI: 일괄 예측 입력이 있는 BigQuery 테이블(예:
bq://myproject.mydataset.input_table
)입니다. 다중 리전 데이터 세트는 지원되지 않습니다. - OUTPUT_FORMAT: BigQuery 테이블에 출력하려면
bigquery
를 지정합니다. Cloud Storage 버킷에 출력하려면jsonl
를 지정합니다. - DESTINATION: BigQuery의 경우
bigqueryDestination
을 지정합니다. Cloud Storage의 경우gcsDestination
을 지정합니다. - OUTPUT_URI_FIELD_NAME:
BigQuery의 경우
outputUri
을 지정합니다. Cloud Storage의 경우outputUriPrefix
을 지정합니다. - OUTPUT_URI: BigQuery의 경우 테이블 위치(예:
bq://myproject.mydataset.output_result
)를 지정합니다. 출력 BigQuery 데이터 세트의 리전은 Vertex AI 일괄 예측 작업과 동일해야 합니다. Cloud Storage의 경우 버킷 및 디렉터리 위치(예:gs://mybucket/path/to/output
)를 지정합니다.
JSON 요청 본문:
{ "displayName": "my-bigquery-batch-prediction-job", "model": "publishers/google/models/gemini-1.5-flash-002", "inputConfig": { "instancesFormat": "bigquery", "bigquerySource":{ "inputUri" : "INPUT_URI" } }, "outputConfig": { "predictionsFormat": "OUTPUT_FORMAT", "DESTINATION": { "OUTPUT_URI_FIELD_NAME": "OUTPUT_URI" } } }
요청을 보내려면 다음 옵션 중 하나를 선택합니다.
curl
요청 본문을 request.json
파일에 저장하고 다음 명령어를 실행합니다.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"
PowerShell
요청 본문을 request.json
파일에 저장하고 다음 명령어를 실행합니다.
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content
다음과 비슷한 JSON 응답이 수신됩니다.
응답에는 일괄 작업의 고유 식별자가 포함됩니다.
작업 state
가 JOB_STATE_SUCCEEDED
가 될 때까지 BATCH_JOB_ID를 사용하여 일괄 작업의 상태를 폴링할 수 있습니다. 예를 들면 다음과 같습니다.
curl -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/batchPredictionJobs/BATCH_JOB_ID
Python용 Vertex AI SDK
Python용 Vertex AI SDK를 설치하거나 업데이트하는 방법은 Python용 Vertex AI SDK 설치를 참조하세요. 자세한 내용은 Python용 Vertex AI SDK API 참조 문서를 확인하세요.
Cloud Storage 입력
BigQuery 입력
Node.js
이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 Vertex AI Node.js API 참고 문서를 참조하세요.
Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
Cloud Storage 입력
BigQuery 입력
Java
이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 Vertex AI Java API 참고 문서를 참조하세요.
Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
Cloud Storage 입력
BigQuery 입력
Go
이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Go 설정 안내를 따르세요. 자세한 내용은 Vertex AI Go API 참고 문서를 참조하세요.
Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
Cloud Storage 입력
BigQuery 입력
일괄 출력 검색
일괄 예측 태스크가 완료되면 출력은 요청에 지정한 Cloud Storage 버킷이나 BigQuery 테이블에 저장됩니다.
다음 단계
- Gemini 모델 조정 개요에서 Gemini 모델을 조정하는 방법을 알아보세요.
- Gemini의 일괄 예측을 가져오는 방법을 자세히 알아보세요.