Vertex AI SDK를 사용하여 모델 조정

Vertex AI SDK를 사용하여 조정을 지원하는 대부분의 모델을 조정할 수 있습니다. 조정을 지원하는 모든 기반 모델이 Vertex AI SDK를 통해 조정될 수 있는 것은 아닙니다. 모델을 조정하려면 모델 객체에서 tune_model 메서드를 실행합니다. tune_model 메서드는 지도 조정을 지원하며 인간 피드백 기반 강화 학습(RLHF) 조정을 지원하지 않습니다. Vertex AI를 사용하여 모델을 조정하는 방법에 대한 자세한 내용은 언어 기반 모델 조정을 참조하세요. Vertex AI SDK를 사용하여 텍스트 생성 모델을 조정하는 방법에 대한 더욱 완벽한 샘플은 텍스트 모델 감독 조정 작업 만들기를 참조하세요.

텍스트 생성 기반 모델 조정

다음 단계에서는 Vertex AI SDK를 사용하여 텍스트 생성 기반 모델을 조정하는 방법을 보여줍니다.

  1. from_pretrained 메서드를 호출하여 텍스트 기반 모델 버전을 로드합니다. 다음은 텍스트 생성 기반 모델의 최신 안정적인 버전을 로드합니다.

    my_text_generation_model = TextGenerationModel.from_pretrained("text-bison@002")

  2. tune_model 메서드를 실행하여 텍스트 생성 모델을 조정합니다. tune_model은 모델 미세 조정 작업을 시작한 후 조정 작업 객체를 즉시 반환합니다. 이 문서를 간단히 하기 위해 다음 코드 스니펫의 매개변수를 줄임표(...)로 바꿉니다. 매개변수에 대한 자세한 내용은 Vertex AI SDK 참조 가이드의 언어 모델 섹션에서 tune_model 메서드 정의를 참조하세요.

    tuning_job = my_text_generation_model.tune_model(...)

  3. 조정 작업에서 get_tuned_model 메서드를 실행하여 조정된 모델을 가져옵니다. get_tuned_model은 미세 조정 모델을 반환하기 전에 tune_model에 의해 시작된 조정 작업이 완료될 때까지 기다립니다.

    tuned_model = tuning_job.get_tuned_model()

  4. 모델을 조정한 후 list_tuned_model_names 메서드를 사용하여 조정된 모델을 확인합니다. list_tuned_model_names는 모델을 호출한 객체와 동일한 모델 유형의 조정된 모델을 반환합니다. 예를 들어 TextGenerationModel.from_pretrained("text-bison@002") 모델 객체에서 list_tuned_model_names를 호출하면 조정된 text-bison@002 모델 버전만 반환됩니다. 다음은 조정된 텍스트 생성 모델의 이름을 반환합니다.

    text_generaton_model = TextGenerationModel.from_pretrained("text-bison@002")
text_generaton_model.list_tuned_model_names()

다음 단계