PaLM용 정제된 텍스트 모델 만들기

단계별 정제는 큰 티처 모델을 사용해서 작은 스튜던트 모델을 학습시키는 방식으로 개선된 추론 기능으로 특정 태스크를 더 효율적으로 수행합니다. 학습된 정제된 모델은 낮은 비용과 더 짧은 지연 시간으로 큰 티처 모델과 동일한 기능을 수행할 수 있습니다.

기반 모델을 정제할 때는 티처 모델과 스튜던트 모델을 사용합니다.

티처 모델은 원하는 작업을 수행할 수 있는 큰 모델입니다. 그러나 크기로 인해 티처 모델은 작은 모델에 비해 사용 비용과 지연 시간이 늘어날 수 있습니다.
스튜던트 모델은 티처 모델보다 작습니다. 학습 및 정제 프로세스는 티처 모델로 생성된 라벨이 있는 예와 근거를 사용해서 스튜던트 모델을 조정합니다. 결과적으로 정제된 모델의 성능과 추론 기능은 원래 스튜던트 모델보다 뛰어납니다.

정제 작업을 만들 때는 티처 모델과 스튜던트 모델을 지정합니다.

모델 조정 및 정제 워크플로

Vertex AI의 정제 워크플로에는 다음 단계가 포함됩니다.

모델 조정 데이터 세트를 준비합니다.
티처 모델을 지정합니다.
스튜던트 모델을 지정합니다.
모델 조정 데이터 세트를 Cloud Storage 버킷에 업로드합니다.
모델 정제 작업을 만듭니다.

모델 정제가 완료되면 정제된 모델이 Vertex AI 엔드포인트에 배포됩니다. 엔드포인트 이름은 정제된 모델 이름과 동일합니다. 새 프롬프트를 만들 때 Vertex AI Studio에서 정제된 모델을 선택할 수 있습니다.

지원되는 모델

티처 모델에는 다음을 지정할 수 있습니다.

text-unicorn@001

스튜던트 모델에는 다음을 지정할 수 있습니다.

text-bison@002

데이터 세트 형식

정제는 라벨이 지정되거나 지정되지 않은 데이터 세트에서 작동합니다. 수백 개의 예시가 있는 라벨이 지정된 고품질 데이터 세트가 있으면 이를 사용하는 것이 좋습니다. 아니면 라벨이 지정되지 않은 프롬프트 데이터 세트를 사용하는 방법도 있습니다. 라벨이 지정되지 않은 데이터 세트를 사용하면 티처 모델이 라벨과 정제 근거를 생성합니다. 라벨이 없는 데이터 세트를 사용하는 경우 1,000개 이상의 예시를 사용하는 것이 좋습니다.

라벨이 지정되거나 라벨이 지정되지 않은 정제 데이터 세트는 각 줄에 단일 조정 예시가 포함된 JSON Lines(JSONL) 형식이어야 합니다. 모델을 정제하기 전 데이터 세트를 Cloud Storage 버킷에 업로드합니다.

각 데이터 세트 예시에는 모델 프롬프트가 포함된 선택적 input_text 필드와 정제된 모델이 생성할 것으로 예상되는 예시 응답이 포함된 output_text 필드가 있습니다.

input_text의 최대 토큰 길이는 7,168이고 output_text의 최대 토큰 길이는 1,024입니다. 두 필드 중 하나가 최대 토큰 길이를 초과하면 초과하는 토큰은 잘립니다.

텍스트 생성 모델의 데이터 세트에 포함할 수 있는 예의 최대 개수는 10,000개입니다.

데이터 세트 예

{"input_text": "question: How many people live in Beijing? context:
With over 21 million residents, Beijing is the world's most populous national
capital city and is China's second largest city after Shanghai. It is
located in Northern China, and is governed as a municipality under the direct
administration of the State Council with 16 urban, suburban, and rural
districts.[14] Beijing is mostly surrounded by Hebei Province with the exception
of neighboring Tianjin to the southeast; together, the three divisions form the
Jingjinji megalopolis and the national capital region of China.",
"output_text": "over 21 million people"}


{"input_text": "question: How many parishes are there in Louisiana? context:
The U.S. state of Louisiana is divided into 64 parishes (French: paroisses) in
the same manner that 48 other states of the United States are divided into
counties, and Alaska is divided into boroughs.", "output_text": "64"}

예시에 안내 포함

분류와 같은 태스크의 경우 안내가 포함되지 않은 예의 데이터 세트를 만들 수 있습니다. 그러나 데이터 세트의 예에 있는 안내를 제외하면 특히 소규모 데이터 세트의 경우 안내를 포함한 것보다 정제 후 성능이 저하됩니다.

안내 제외:

{"input_text": "5 stocks to buy now",
"output_text": "business"}

안내 포함:

{"input_text": "Classify the following text into one of the following classes:
[business, entertainment] Text: 5 stocks to buy now",
"output_text": "business"}

샘플 데이터 세트

샘플 데이터 세트를 사용하여 정제를 시작할 수 있습니다. 다음은 다양한 의학 전문 분야의 샘플 의료 텍스트 변환이 포함된 분류 태스크 데이터 세트입니다. 이 데이터는 Kaggle에서 제공된 대로 mtsamples.com에서 가져왔습니다.

샘플 정제 데이터 세트 URI:

gs://cloud-samples-data/vertex-ai/model-evaluation/peft_train_sample.jsonl
샘플 평가 데이터 세트 URI:

gs://cloud-samples-data/vertex-ai/model-evaluation/peft_eval_sample.jsonl

이러한 데이터 세트를 사용하려면 텍스트 모델 정제 작업을 만들 때 적용 가능한 매개변수에 URI를 지정합니다.

예를 들면 다음과 같습니다.

...
"dataset_uri": "gs://cloud-samples-data/vertex-ai/model-evaluation/peft_train_sample.jsonl",
...
"evaluation_data_uri": "gs://cloud-samples-data/vertex-ai/model-evaluation/peft_eval_sample.jsonl",
...

프로덕션 데이터와 일관성 유지

데이터 세트의 예는 예상되는 프로덕션 트래픽과 일치해야 합니다. 데이터 세트에 특정 형식, 키워드, 안내 또는 정보가 포함된 경우 프로덕션 데이터의 형식이 동일한 방식으로 지정되어야 하며 동일한 안내를 포함해야 합니다.

예를 들어 데이터 세트의 예시에 "question:"과 "context:"가 포함된 경우 프로덕션 트래픽 형식 지정 시 "question:"과 "context:"가 데이터 세트 예시를 표시하는 것과 동일한 순서로 포함되어야 합니다. 컨텍스트를 제외하면 데이터 세트 예시에 정확한 질문이 있더라도 모델이 패턴을 인식하지 못합니다.

Cloud Storage에 정제 데이터 세트 업로드

조정 작업을 실행하려면 Cloud Storage 버킷에 하나 이상의 데이터 세트를 업로드해야 합니다. 새 Cloud Storage 버킷을 만들거나 기존 버킷을 사용하여 데이터 세트 파일을 저장할 수 있습니다. 버킷의 리전은 중요하지 않지만 모델을 조정하려는 동일한 Google Cloud 프로젝트에 있는 버킷을 사용하는 것이 좋습니다.

버킷이 준비되면 데이터 세트 파일을 버킷에 업로드합니다.

리전 설정 정제

정제 작업을 구성할 때 3개의 Google Cloud 리전 설정을 지정할 수 있습니다. 한 리전은 모델을 조정하는 파이프라인이 실행되는 장소입니다. 다른 리전은 정제 프로세스의 모델 조정 부분이 실행되고 정제된 모델이 업로드되는 장소입니다.

파이프라인 작업 리전

파이프라인 작업 리전은 파이프라인 작업이 실행되는 리전입니다. 선택적인 모델 업로드 리전이 지정되지 않은 경우 모델이 파이프라인 작업 리전에 업로드되고 배포됩니다. 변환된 데이터 세트와 같은 중간 데이터는 파이프라인 작업 리전에 저장됩니다. 파이프라인 작업 리전에 사용할 수 있는 리전을 알아보려면 지원되는 파이프라인 작업 및 모델 업로드 리전을 참조하세요.

다음 방법 중 하나를 사용해서 파이프라인 작업 리전을 지정해야 합니다.

pipelineJobs.create 메서드를 사용하여 POST 요청을 전송하여 정제 작업을 만드는 경우 URL을 사용하여 파이프라인 작업이 실행되는 리전을 지정합니다. 다음 URL에서 PIPELINE_JOB_REGION의 두 인스턴스를 모두 파이프라인이 실행되는 리전으로 바꿉니다.
```
 https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs
```
Google Cloud 콘솔을 사용해서 정제 작업을 만드는 경우 정제 작업을 만들려는 리전 컨트롤에 파이프라인 작업 리전을 지정합니다. Google Cloud 콘솔에서 리전 컨트롤은 파이프라인 작업 리전과 모델 업로드 리전을 모두 지정합니다. Google Cloud 콘솔을 사용해서 정제 작업을 만들 때는 두 리전이 항상 동일합니다.

모델 업로드 리전

선택적인 tuned_model_location 매개변수를 사용하여 정제된 모델을 업로드할 위치를 지정합니다. 모델 업로드 리전을 지정하지 않으면 정제된 모델이 파이프라인 작업 리전에 업로드됩니다. 모델 업로드 리전에 지원되는 파이프라인 작업 및 모델 업로드 리전 중 하나를 사용할 수 있습니다. 다음 방법 중 하나를 사용해서 모델 업로드 리전을 지정할 수 있습니다.

pipelineJobs 메서드를 사용해서 POST 요청을 전송하여 정제 작업을 만드는 경우 location 매개변수를 사용하여 모델 업로드 리전을 지정할 수 있습니다.
Google Cloud 콘솔을 사용해서 정제 작업을 만드는 경우 정제 작업을 만들 때 리전 컨트롤에 모델 업로드 리전을 지정합니다. Google Cloud 콘솔에서 리전 컨트롤은 모델 업로드 리전과 파이프라인 작업 리전을 모두 지정합니다. Google Cloud 콘솔을 사용해서 정제 작업을 만들 때는 두 리전이 항상 동일합니다.

리전 설정 정제

선택한 리전은 Vertex AI가 모델을 정제한 후 정제된 모델을 업로드하는 위치입니다.

조정 리전은 정제 작업의 조정 부분에 대한 계산이 수행되는 장소입니다. 이 리전은 선택한 가속기 유형에 따라 결정됩니다.

us-central1 - 이 리전을 선택하면 Nvidia A100 80GB GPU 8개가 사용됩니다.
europe-west4 - 이 리전을 선택하면 TPU v3 포드의 코어 64개가 사용됩니다.

지원되는 파이프라인 작업 및 모델 업로드 리전

다음 리전 중 하나를 사용해서 모델 업로드 리전을 지정하고 파이프라인 작업 리전을 지정할 수 있습니다.

us-central1
europe-west4
asia-southeast1
us-west1
europe-west3
europe-west2
asia-northeast1
us-east4
us-west4
northamerica-northeast1
europe-west9
europe-west1
asia-northeast3

텍스트 모델 정제 작업 만들기

Google Cloud 콘솔 또는 API를 사용해서 텍스트 모델 정제 작업을 만들 수 있습니다. 모델 정제 구성에 대한 안내는 권장 구성을 참조하세요.

REST

모델 정제 작업을 만들려면 pipelineJobs 메서드를 사용하여 POST 요청을 전송합니다. 일부 매개변수는 모든 모델에서 지원되지 않습니다. 정제하려는 모델에 적용 가능한 매개변수만 포함해야 합니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

PIPELINEJOB_DISPLAYNAME: pipelineJob의 표시 이름입니다.
OUTPUT_DIR: 파이프라인 아티팩트를 출력할 버킷의 URI입니다.
PROJECT_ID: 프로젝트 ID
MODEL_DISPLAYNAME: pipelineJob으로 업로드된 정제된 모델의 표시 이름입니다.
DATASET_URI: 데이터 세트 파일의 URI입니다.
PIPELINE_JOB_REGION: 파이프라인 조정 작업이 실행되는 리전입니다. 또한 조정된 모델이 업로드되는 기본 리전입니다. 모델을 다른 리전에 업로드하려면 location 매개변수를 사용하여 조정된 모델 업로드 리전을 지정합니다. 자세한 내용은 모델 업로드 리전을 참조하세요.
MODEL_UPLOAD_REGION: (선택사항) 조정된 모델이 업로드된 리전입니다. 모델 업로드 리전을 지정하지 않으면 조정된 모델이 파이프라인 작업이 실행되는 동일한 리전에 업로드됩니다. 자세한 내용은 모델 업로드 리전을 참조하세요.
ACCELERATOR_TYPE: (선택사항, 기본값 GPU) 모델 조정에 사용할 가속기 유형입니다. 유효한 옵션은 다음과 같습니다.
- GPU: 조정에 8개의 A100 80GB GPU를 사용합니다. 할당량이 충분한지 확인합니다. GPU를 선택하면 VPC-SC가 지원됩니다. CMEK는 조정 위치 및 모델 업로드 위치가 us-centra1일 때 지원됩니다. 자세한 내용은 지도 조정 리전 설정을 참조하세요. GPU를 선택하면 모델 조정 계산이 us-central1 리전에서 수행됩니다.
- TPU: 조정에 TPU v3 포드 코어 64개를 사용합니다. 할당량이 충분한지 확인합니다. CMEK는 지원되지 않지만 VPC-SC가 지원됩니다. TPU를 선택하면 모델 조정 계산이 europe-west4 리전에서 수행됩니다.
TEACHER_MODEL_REFERENCE: 정제에 사용할 티처 모델의 이름입니다. 지원되는 모델은 text-unicorn@001입니다.
STUDENT_MODEL_REFERENCE: 정제에 사용할 스튜던트 모델의 이름입니다. 지원되는 모델은 text-bison@002입니다.
STEPS: 모델 튜닝을 위해 실행할 단계 수입니다. 기본값은 300입니다. 배치 크기는 조정 위치 및 모델 크기에 따라 달라집니다. text-bison@002, chat-bison@002, code-bison@002, codechat-bison@002와 같은 8k 모델의 경우:
- us-central1의 배치 크기는 8입니다.
- europe-west4의 배치 크기는 24입니다.
text-bison-32k, chat-bison-32k, code-bison-32k, codechat-bison-32k와 같은 32k 모델의 경우:
- us-central1의 배치 크기는 8입니다.
- europe-west4의 배치 크기는 8입니다.
예를 들어 europe-west4에서 text-bison@002를 학습시키는 경우, 학습 데이터 세트에 240개의 예시가 있고, steps를 20으로 설정하면 학습 예시 수는 20단계와 배치 크기 24의 곱으로, 480개의 학습 단계가 됩니다. 이 경우 예시가 두 번 진행되므로 학습 프로세스에 2세대가 있습니다. us-central1에서 학습 데이터 세트에 240개의 예시가 있고 steps를 15로 설정하는 경우, 학습 예시의 수는 15 단계와 배치 크기 8의 곱으로, 120개의 학습 단계가 됩니다. 이 경우에는 학습 단계가 예시의 절반이므로 0.5세대가 있습니다.
LEARNING_RATE_MULTIPLIER: 권장 학습률에 적용할 배수입니다. 권장 학습률을 사용하려면 1.0을 사용합니다.
EVAL_DATASET_URI: (선택사항) 일괄 예측 및 평가를 위한 평가 데이터 세트가 포함된 JSONL 파일의 URI입니다. chat-bison에는 평가가 지원되지 않습니다. 자세한 내용은 코드 모델 조정을 위한 데이터 세트 형식을 참조하세요. 평가 데이터 세트에는 10~250개 사이의 예시가 필요합니다.
EVAL_INTERVAL: (선택사항, 기본값 20) 각 평가 사이의 조정 단계 수입니다. 채팅 모델에는 평가 간격이 지원되지 않습니다. 평가가 전체 평가 데이터 세트에서 실행되므로 평가 간격이 좁을수록 조정 시간이 더 길어집니다. 예를 들어 steps가 200이고 EVAL_INTERVAL이 100인 경우에는 평가 측정항목에 데이터 포인트가 2개만 사용됩니다. 이 매개변수를 사용하려면 evaluation_data_uri를 설정해야 합니다.
ENABLE_EARLY_STOPPING: (선택사항, 기본값 true) true로 설정된 경우 예측 토큰의 정확도로 측정되는 모델 성능이 평가 실행 사이에 충분히 향상되지 않을 경우 모든 조정 단계를 완료하기 전에 조정을 중지하는 boolean입니다. false이면 모든 조정 단계가 완료될 때까지 조정이 계속됩니다. 이 매개변수를 사용하려면 evaluation_data_uri를 설정해야 합니다. 채팅 모델에는 조기 중단 사용 설정이 지원되지 않습니다.
TENSORBOARD_RESOURCE_ID: (선택사항) Vertex AI 텐서보드 인스턴스의 ID입니다. Vertex AI 텐서보드 인스턴스는 조정 작업이 완료된 후 실험을 만드는 데 사용됩니다. Vertex AI 텐서보드 인스턴스는 조정 파이프라인과 동일한 리전에 있어야 합니다.
ENCRYPTION_KEY_NAME: (선택사항) 데이터 암호화에 사용할 고객 관리 암호화 키(CMEK)의 정규화된 이름입니다. us-central1에서만 CMEK를 사용할 수 있습니다. us-central1을 사용하고 CMEK를 지정하지 않으면 Google이 소유하고 Google이 관리하는 키가 사용됩니다. 기본적으로 Google 소유 및 Google 관리 키는 다른 모든 사용 가능한 리전에서 사용됩니다. 자세한 내용은 CMEK 개요를 참조하세요.
TEMPLATE_URI: 정제 템플릿의 URI입니다(예: https://us-kfp.pkg.dev/ml-pipeline/distillation/distillation/v1.0.0).
SERVICE_ACCOUNT: (선택사항) Vertex AI가 파이프라인 작업을 실행하는 데 사용하는 서비스 계정입니다. 기본적으로 프로젝트의 Compute Engine 기본 서비스 계정(PROJECT_NUMBER‑compute@developer.gserviceaccount.com)이 사용됩니다. 커스텀 서비스 계정 연결에 대해 자세히 알아보세요.

HTTP 메서드 및 URL:

POST https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs

JSON 요청 본문:

{
  "displayName": "PIPELINEJOB_DISPLAYNAME",
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://OUTPUT_DIR",
    "parameterValues": {
      "project": "PROJECT_ID",
      "model_display_name": "MODEL_DISPLAYNAME",
      "dataset_uri": "gs://DATASET_URI",
      "location": "MODEL_UPLOAD_REGION",
      "accelerator_type": "ACCELERATOR_TYPE",
      "teacher_model_reference": TEACHER_MODEL_REFERENCE,
      "student_model_reference": STUDENT_MODEL_REFERENCE,
      "train_steps": STEPS,
      "learning_rate_multiplier": LEARNING_RATE_MULTIPLIER,
      "evaluation_data_uri": "gs://EVAL_DATASET_URI",
      "evaluation_interval": EVAL_INTERVAL,
      "enable_early_stopping": ENABLE_EARLY_STOPPING,
      "enable_checkpoint_selection": "ENABLE_CHECKPOINT_SELECTION",
      "tensorboard_resource_id": "TENSORBOARD_ID",
      "encryption_spec_key_name": "ENCRYPTION_KEY_NAME"
    }
  },
  "encryptionSpec": {
    "kmsKeyName": "ENCRYPTION_KEY_NAME"
  },
  "serviceAccount": "SERVICE_ACCOUNT",
  "templateUri": "TEMPLATE_URI"
}

요청을 보내려면 다음 옵션 중 하나를 선택합니다.

curl

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하거나 gcloud CLI에 자동으로 로그인하는 Cloud Shell을 사용하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs"

PowerShell

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs" | Select-Object -Expand Content

다음과 비슷한 JSON 응답이 수신됩니다. pipelineSpec는 공간 절약을 위해 잘렸습니다.

응답

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/pipelineJobs/PIPELINEJOB_ID",
  "displayName": "PIPELINEJOB_DISPLAYNAME",
  "createTime": "CREATE_TIME",
  "updateTime": "UPDATE_TIME",
  "pipelineSpec": { ... },
  "state": "PIPELINE_STATE_PENDING",
  "labels": {
    "vertex-ai-pipelines-run-billing-id": "BILLING_ID"
  },
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://OUTPUT_DIR",
    "parameterValues": {
      "project": "PROJECT_ID",
      "model_display_name": "MODEL_DISPLAYNAME",
      "dataset_uri": "gs://DATASET_URI",
      "evaluation_data_uri": "EVAL_DATASET_URI",
      "evaluation_interval": "EVAL_INTERVAL",
      "enable_early_stopping": "ENABLE_EARLY_STOPPING",
      "enable_checkpoint_selection": "ENABLE_CHECKPOINT_SELECTION",
      "tensorboard_resource_id": "TENSORBOARD_RESOURCE_ID",
      "accelerator_type": "ACCELERATOR_TYPE",
      "location": "MODEL_UPLOAD_REGION",
      "teacher_model_reference": "text-unicorn@001",
      "student_model_reference": "text-bison@002",
      "train_steps": STEPS,
      "learning_rate_multiplier": "LEARNING_RATE_MULTIPLIER",
      "encryption_spec_key_name": "ENCRYPTION_KEY_NAME"
    }
  },
  "serviceAccount": "PROJECT_NUMBER-compute@developer.gserviceaccount.com",
  "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/distillation/distillation/v1.0.0",
  "templateMetadata": {
    "version": "sha256:c54b301482463df457b923faff255c528be7d1164531aa756b5974b3dc214b98"
  }
}

Python

Vertex AI SDK for Python을 설치하거나 업데이트하는 방법은 Vertex AI SDK for Python 설치를 참조하세요. 자세한 내용은 Python API 참고 문서를 확인하세요.

from __future__ import annotations

import os

from typing import Optional

import vertexai
from vertexai.preview.language_models import TextGenerationModel, TuningEvaluationSpec


PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def distill_model(
    dataset: str,
    source_model: str,
    evaluation_dataset: Optional[str] = None,
) -> None:
    """Distill a new model using a teacher model and a dataset.
    Args:
        dataset (str): GCS URI of the JSONL file containing the training data.
            E.g., "gs://[BUCKET]/[FILENAME].jsonl".
        source_model (str): Name of the teacher model to distill from.
            E.g., "text-unicorn@001".
        evaluation_dataset (Optional[str]): GCS URI of the JSONL file containing the evaluation data.
    """
    # TODO developer - override these parameters as needed:
    vertexai.init(project=PROJECT_ID, location="us-central1")

    # Create a tuning evaluation specification with the evaluation dataset
    eval_spec = TuningEvaluationSpec(evaluation_data=evaluation_dataset)

    # Load the student model from a pre-trained model
    student_model = TextGenerationModel.from_pretrained("text-bison@002")

    # Start the distillation job using the teacher model and dataset
    distillation_job = student_model.distill_from(
        teacher_model=source_model,
        dataset=dataset,
        # Optional:
        train_steps=300,  # Number of training steps to use when tuning the model.
        evaluation_spec=eval_spec,
    )

    return distillation_job

Console

Google Cloud 콘솔을 사용하여 텍스트 모델을 정제하려면 다음 단계를 수행합니다.

Google Cloud 콘솔의 Vertex AI 섹션에서 Vertex AI 스튜디오 페이지로 이동합니다.
Vertex AI Studio로 이동
조정 및 정제 탭을 클릭합니다.
정제된 모델 만들기를 클릭합니다.
모델 세부정보를 구성합니다.
- 모델 이름: 정제된 모델의 이름을 입력합니다.
- 티처 모델: 티처 모델에 사용하려는 모델을 선택합니다.
- 스튜던트 모델: 스튜던트 모델에 사용하려는 모델을 선택합니다.
- 리전: 파이프라인 조정 작업이 실행되는 리전과 조정된 모델이 배포되는 리전을 선택합니다.
- 작업 디렉터리: 모델을 조정할 때 아티팩트가 저장되는 Cloud Storage 위치를 입력합니다.
고급 설정을 구성하려면 고급 옵션을 확장합니다.
- 학습 단계: 모델 조정을 위해 실행할 단계 수를 입력합니다. 기본값은 300입니다. 배치 크기는 조정 위치 및 모델 크기에 따라 달라집니다. text-bison@002, chat-bison@002, code-bison@002, codechat-bison@002와 같은 8k 모델의 경우:
  - us-central1의 배치 크기는 8입니다.
  - europe-west4의 배치 크기는 24입니다.
  text-bison-32k, chat-bison-32k, code-bison-32k, codechat-bison-32k와 같은 32k 모델의 경우:
  - us-central1의 배치 크기는 8입니다.
  - europe-west4의 배치 크기는 8입니다.
  예를 들어 europe-west4에서 text-bison@002를 학습시키는 경우, 학습 데이터 세트에 240개의 예시가 있고, steps를 20으로 설정하면 학습 예시 수는 20단계와 배치 크기 24의 곱으로, 480개의 학습 단계가 됩니다. 이 경우 예시가 두 번 진행되므로 학습 프로세스에 2세대가 있습니다. us-central1에서 학습 데이터 세트에 240개의 예시가 있고 steps를 15로 설정하는 경우, 학습 예시의 수는 15 단계와 배치 크기 8의 곱으로, 120개의 학습 단계가 됩니다. 이 경우에는 학습 단계가 예시의 절반이므로 0.5세대가 있습니다.
- 학습률 배수: 각 반복의 보폭을 입력합니다. 기본값은 1입니다.
- 가속기 유형: (선택사항) 모델 조정에 사용할 가속기 유형을 입력합니다. 유효한 옵션은 다음과 같습니다.
  - GPU: 조정에 8개의 A100 80GB GPU를 사용합니다. 할당량이 충분한지 확인합니다. GPU를 선택하면 VPC-SC가 지원됩니다. CMEK는 조정 위치 및 모델 업로드 위치가 us-centra1일 때 지원됩니다. 자세한 내용은 지도 조정 리전 설정을 참조하세요. GPU를 선택하면 모델 조정 계산이 us-central1 리전에서 수행됩니다.
  - TPU: 조정에 TPU v3 포드 코어 64개를 사용합니다. 할당량이 충분한지 확인합니다. CMEK는 지원되지 않지만 VPC-SC가 지원됩니다. TPU를 선택하면 모델 조정 계산이 europe-west4 리전에서 수행됩니다.
- 텐서보드 인스턴스 추가: (선택사항) Vertex AI 텐서보드 인스턴스의 ID입니다. Vertex AI 텐서보드 인스턴스는 조정 작업이 완료된 후 실험을 만드는 데 사용됩니다. Vertex AI 텐서보드 인스턴스는 조정 파이프라인과 동일한 리전에 있어야 합니다.
- 암호화(선택사항) Google 소유 및 Google 관리 키 또는 고객 관리 암호화 키(CMEK)를 사용합니다. us-central1 리전에서만 암호화에 CMEK를 사용할 수 있습니다. 다른 모든 사용 가능한 리전에서는 Google 소유 및 Google 관리 키가 사용됩니다. 자세한 내용은 CMEK 개요를 참조하세요.
- 서비스 계정(선택사항) 사용자 관리 서비스 계정을 선택합니다. 서비스 계정에 따라 서비스 코드로 액세스할 수 있는 Google Cloud 리소스가 결정됩니다. 서비스 계정을 선택하지 않으면 대부분의 모델에 적합한 권한이 포함된 서비스 에이전트가 사용됩니다.
계속을 클릭합니다.
정제 데이터 세트 파일을 업로드하려면 radio_button_checked Cloud Storage에 JSONL 파일 업로드를 선택합니다. 데이터 세트 파일이 Cloud Storage 버킷에 이미 있으면 radio_button_checked Cloud Storage의 기존 JSONL 파일을 선택합니다.
JSONL 파일 업로드
- JSONL 파일 선택에서 찾아보기를 클릭하고 데이터 세트 파일을 선택합니다.
- 데이터 세트 위치에서 찾아보기를 클릭하고 데이터 세트 파일을 저장할 Cloud Storage 버킷을 선택합니다.
기존 JSONL 파일 사용

Cloud Storage 파일 경로에서 찾아보기를 클릭한 후 데이터 세트 파일이 있는 Cloud Storage 버킷을 선택합니다.
(선택사항) 정제된 모델을 평가하려면 모델 평가 사용 설정을 선택하고 모델 평가를 구성합니다.
- 평가 데이터 세트: (선택사항) 일괄 예측 및 평가를 위한 평가 데이터 세트가 포함된 JSONL 파일의 URI입니다. codechat-bison에는 평가가 지원되지 않습니다. 자세한 내용은 코드 모델 조정을 위한 데이터 세트 형식을 참조하세요. 평가 데이터 세트에는 10~250개 사이의 예시가 필요합니다.
- 평가 간격: (선택사항, 기본값: 20) 각 평가 간의 조정 단계 수입니다. 채팅 모델에는 평가 간격이 지원되지 않습니다. 평가가 전체 평가 데이터 세트에서 실행되므로 평가 간격이 좁을수록 조정 시간이 더 길어집니다. 예를 들어 steps가 200이고 EVAL_INTERVAL이 100인 경우에는 평가 측정항목에 데이터 포인트가 2개만 사용됩니다. 이 매개변수를 사용하려면 evaluation_data_uri를 설정해야 합니다.
- 조기 중단 사용 설정: (선택사항, 기본값 true) true로 설정된 경우 예측 토큰의 정확도로 측정되는 모델 성능이 평가 실행 사이에 충분히 향상되지 않을 경우 모든 조정 단계를 완료하기 전에 조정을 중지하는 boolean입니다. false이면 모든 조정 단계가 완료될 때까지 조정이 계속됩니다. 이 매개변수를 사용하려면 evaluation_data_uri를 설정해야 합니다. 채팅 모델에는 조기 중단 사용 설정이 지원되지 않습니다.
- 체크포인트 선택 사용 설정: 사용 설정된 경우 Vertex AI가 조정 작업 중 생성된 모든 체크포인트에서 모델 평가 성능이 최상인 체크포인트를 선택하고 반환합니다. 사용 중지된 경우 조정 작업 중 생성된 마지막 체크포인트가 반환됩니다. 각 체크포인트는 조정 작업 중 모델의 스냅샷을 나타냅니다.
- 텐서보드 인스턴스: (선택사항) Vertex AI 텐서보드 인스턴스의 ID입니다. Vertex AI 텐서보드 인스턴스는 조정 작업이 완료된 후 실험을 만드는 데 사용됩니다. Vertex AI 텐서보드 인스턴스는 조정 파이프라인과 동일한 리전에 있어야 합니다.
정제 시작을 클릭합니다.

작업	데이터 세트에 있는 예의 개수	학습 단계
분류	100+	200-1000
요약	100-500+	1000-1500
추출 QA	100+	200-800

정제된 모델 목록 보기

Google Cloud 콘솔 또는 Python용 Vertex AI SDK를 사용하여 정제된 모델을 포함한 현재 프로젝트의 모델 목록을 볼 수 있습니다.

Python

이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 Vertex AI Python API 참고 문서를 참조하세요.

Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import vertexai

from vertexai.language_models import TextGenerationModel

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

vertexai.init(project=PROJECT_ID, location="us-central1")

model = TextGenerationModel.from_pretrained("text-bison@002")
tuned_model_names = model.list_tuned_model_names()
print(tuned_model_names)
# Example response:
# ['projects/1234567890/locations/us-central1/models/1234567889012345',
# ...]

Console

Google Cloud 콘솔에서 정제된 모델을 보려면 Vertex AI Model Registry 페이지로 이동합니다.

Vertex AI Model Registry로 이동

정제된 텍스트 모델 로드

다음 샘플 코드는 Python용 Vertex AI SDK를 사용하여 정제된 텍스트 생성 모델을 로드합니다.

import vertexai
from vertexai.preview.language_models import TextGenerationModel

model = TextGenerationModel.get_tuned_model(TUNED_MODEL_NAME)

TUNED_MODEL_NAME을 정제된 모델의 정규화된 리소스 이름으로 바꿉니다. 이 이름은 projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID 형식입니다. Vertex AI Model Registry에서 정제된 모델의 모델 ID를 찾을 수 있습니다.

측정항목 조정 및 평가

모델 조정 작업을 구성하여 모델 조정 및 모델 평가 측정항목을 수집하고 보고할 수 있습니다. 그런 후 Vertex AI 텐서보드를 사용하여 시각화할 수 있습니다.

모델 조정 측정항목

chat-bison, code-bison, codechat-bison, text-bison에 대해 다음 조정 측정항목을 수집하도록 모델 조정 작업을 구성할 수 있습니다.

/train_total_loss: 학습 단계의 조정 데이터 세트 손실
/train_fraction_of_correct_next_step_preds: 학습 단계의 토큰 정확성. 단일 예측은 일련의 토큰으로 구성됩니다. 이 측정항목은 조정 데이터 세트의 정답과 비교할 때 예측된 토큰의 정확도를 측정합니다.
/train_num_predictions: 학습 단계에서 예측된 토큰 수

모델 평가 측정항목

code-bison 및 text-bison에 대해 다음 평가 측정항목을 수집하도록 모델 조정 작업을 구성할 수 있습니다.

/eval_total_loss: 평가 단계의 평가 데이터 세트 손실
/eval_fraction_of_correct_next_step_preds: 평가 단계의 토큰 정확성. 단일 예측은 일련의 토큰으로 구성됩니다. 이 측정항목은 평가 데이터 세트의 정답과 비교할 때 예측된 토큰의 정확도를 측정합니다.
/eval_num_predictions: 평가 단계에서 예측된 토큰 수

모델 조정 작업이 완료된 후 측정항목 시각화를 사용할 수 있습니다. 조정 작업을 만들 때 평가 데이터 세트가 아닌 Vertex AI 텐서보드 인스턴스 ID만 지정하면 조정 측정항목의 시각화만 사용할 수 있습니다.

PaLM용 정제된 텍스트 모델 만들기

모델 조정 및 정제 워크플로

지원되는 모델

데이터 세트 형식

데이터 세트 예

예시에 안내 포함

샘플 데이터 세트

프로덕션 데이터와 일관성 유지

Cloud Storage에 정제 데이터 세트 업로드

리전 설정 정제

파이프라인 작업 리전

모델 업로드 리전

리전 설정 정제

지원되는 파이프라인 작업 및 모델 업로드 리전

텍스트 모델 정제 작업 만들기

REST

curl

PowerShell

응답

Python

Console

JSONL 파일 업로드

기존 JSONL 파일 사용

추천 구성

정제된 모델 목록 보기

Python

Console

정제된 텍스트 모델 로드

측정항목 조정 및 평가

모델 조정 측정항목

모델 평가 측정항목