번역 LLM 모델의 지도 미세 조정 정보

지도 미세 조정은 라벨이 지정된 텍스트 데이터를 사용할 수 있는 번역 태스크가 있을 때 적합한 옵션입니다. 특히 번역이 대규모 모델이 원래 학습된 일반 데이터와 크게 다른 도메인별 애플리케이션에 효과적입니다.

지도 미세 조정은 라벨 지정된 데이터 세트를 사용해서 모델 동작을 조정합니다. 이 프로세스는 예측과 실제 라벨 사이의 차이를 최소화하기 위해 모델 가중치를 조정합니다.

지원되는 모델

다음 번역 LLM 모델은 지도 조정을 지원합니다.

  • translation-llm-002(공개 프리뷰에서는 텍스트만 지원)

제한사항

  • 최대 입력 및 출력 토큰 수:
    • 제공: 1,000(최대 4,000자(영문 기준))
  • 검사 데이터 세트 크기: 예시 1,024개
  • 학습 데이터 세트 파일 크기: JSONL의 경우 최대 1GB
  • 학습 예시 길이: 1,000(최대 4,000자(영문 기준))
  • 어댑터 크기:
    • Translation LLM V2: 4만 지원됩니다. 다른 값(예: 1 또는 8)을 사용하면 실패합니다.

지도 미세 조정을 사용하는 사용 사례

사전 학습된 일반 번역 모델은 번역할 텍스트가 모델이 학습한 일반적인 텍스트 구조를 기반으로 하는 경우에 효과적입니다. 모델이 일반 번역에서 벗어나 틈새나 특정 분야를 학습하게 하려면 해당 모델을 조정하는 것이 좋습니다. 예를 들어 모델 조정을 사용해서 모델에 다음 항목을 학습시킬 수 있습니다.

  • 전문 용어나 스타일이 있는 특정 산업 분야 콘텐츠
  • 출력을 생성하기 위한 특정 구조 또는 형식
  • 간결한 출력 또는 상세 출력을 제공할 시기와 같은 특정 동작
  • 특정 유형의 입력에 대한 맞춤설정된 특정 출력

조정 작업 리전 구성

변환된 데이터 세트 및 조정된 모델과 같은 사용자 데이터는 조정 작업 리전에 저장됩니다. 지원되는 리전은 us-central1뿐입니다.

  • Vertex AI SDK를 사용하는 경우 초기화 시 리전을 지정할 수 있습니다. 예를 들면 다음과 같습니다.

    import vertexai
vertexai.init(project='myproject', location='us-central1')

  • tuningJobs.create 메서드를 사용하여 POST 요청을 전송하여 지도 미세 조정 작업을 만드는 경우 URL을 사용하여 조정 작업이 실행되는 리전을 지정합니다. 예를 들어 다음 URL에서 TUNING_JOB_REGION의 두 인스턴스를 모두 작업이 실행되는 리전으로 바꿔 리전을 지정합니다.

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

  • Google Cloud 콘솔을 사용하는 경우 모델 세부정보 페이지의 리전 드롭다운 필드에서 리전 이름을 선택할 수 있습니다. 이 페이지는 기본 모델과 조정된 모델 이름을 선택하는 페이지와 동일합니다.

할당량

할당량은 동시 조정 작업 수에 적용됩니다. 모든 프로젝트에는 조정 작업을 최소 하나 이상 실행할 수 있는 기본 할당량이 제공됩니다. 이 할당량은 사용 가능한 모든 리전 및 지원되는 모델에서 공유되는 전역 할당량입니다. 더 많은 작업을 동시에 실행하려면 Global concurrent tuning jobs의 추가 할당량을 요청해야 합니다.

가격 책정

translation-llm-002에 대한 지도 미세 조정은 미리보기 상태입니다. 조정이 프리뷰 버전이면 모델을 조정하거나 추론에 사용하는 데 비용이 청구되지 않습니다.

학습 토큰은 학습 데이터 세트의 토큰 총개수와 에포크 수를 곱하여 계산됩니다.

다음 단계