이미지 조정

이 페이지에서는 지도 학습을 사용하여 이미지 데이터에서 Gemini 미세 조정에 필요한 기본 요건과 자세한 안내를 제공합니다.

사용 사례

미세 조정을 사용하면 선행 학습된 이미지 모델을 특수한 작업에 맞게 조정하여 성능을 크게 향상시킬 수 있습니다. 다음은 몇 가지 이미지 사용 사례입니다.

  • 제품 카탈로그 개선: 이미지에서 주요 속성(예: 브랜드, 색상, 크기)을 추출하여 제품 카탈로그를 자동으로 빌드하고 보강합니다.
  • 이미지 검토: 모델을 미세 조정하여 이미지에서 부적절하거나 유해한 콘텐츠를 감지하고 신고하여 더 안전한 온라인 환경을 보장합니다.
  • 시각적 검사: 이미지 내 특정 객체 또는 결함을 식별하도록 모델을 학습시켜 품질 관리 또는 검사 프로세스를 자동화합니다.
  • 이미지 분류: 의료 영상 또는 위성 이미지 분석과 같은 특정 도메인의 이미지 분류 정확성을 개선합니다.
  • 이미지 기반 추천: 이미지를 분석하여 유사한 제품 또는 보완 상품을 추천하는 등 맞춤 추천을 제공합니다.
  • 표 콘텐츠 추출: 이미지 내 표에서 데이터를 추출하고 스프레드시트나 데이터베이스와 같은 구조화된 형식으로 변환합니다.

제한사항

  • 예시당 최대 이미지 수: 16개
  • 최대 이미지 파일 크기: 20MB

이미지 샘플 요구사항에 대한 자세한 내용은 이미지 이해 페이지를 참고하세요.

데이터 세트 형식

다음은 이미지 데이터 세트 예시입니다.

일반적인 형식 예시는 Gemini 1.5 Pro 및 Gemini 1.5 Flash를 위한 데이터 세트 예시를 참조하세요.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-1_5/image/longcap100/100.jpeg"
            }
        }, 
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    }, 
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ]
}

샘플 데이터 세트

샘플 데이터 세트를 사용하여 gemini-1.5-pro 또는 gemini-1.5-flash 모델을 조정하는 방법을 알아볼 수 있습니다.

이러한 데이터 세트를 사용하려면 텍스트 모델 지도 미세 조정 작업을 만들 때 적용 가능한 매개변수에 URI를 지정합니다.

예를 들면 다음과 같습니다.

...
"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_train_data.jsonl",
...
"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_validation_data.jsonl",
...

다음 단계