지도 조정을 사용하여 PaLM 텍스트 모델 조정

지도 조정에서는 라벨이 있는 예를 사용하여 모델을 조정합니다. 각 예는 추론 중에 텍스트 모델에서 원하는 출력을 보여줍니다. 지도 조정은 모델 출력이 복잡하지 않고 정의하기 쉬운 경우 적합한 옵션입니다.

텍스트 모델 지도 조정 단계별 안내

다음 안내 튜토리얼에서는 지도 조정을 사용하여 Google Cloud 콘솔에서 텍스트 기반 모델을 조정하는 방법을 설명합니다.

Google Cloud 콘솔에서 이 태스크에 대한 단계별 안내를 직접 수행하려면 둘러보기를 클릭합니다.

둘러보기

지도 모델 조정을 위한 워크플로

Vertex AI용 관리 모델 조정 워크플로에는 다음 단계가 포함됩니다.

  1. 모델 조정 데이터 세트를 준비합니다.
  2. 모델 조정 데이터 세트를 Cloud Storage 버킷에 업로드합니다.
  3. 지도 모델 조정 작업을 만듭니다.

모델 조정이 완료되면 조정된 모델이 Vertex AI 엔드포인트에 배포됩니다. 엔드포인트 이름은 조정된 모델 이름과 동일합니다. 새 프롬프트를 만들 때 Vertex AI Studio에서 조정된 모델을 선택할 수 있습니다.

지원되는 모델

다음 텍스트 기반 모델은 지도 조정을 지원합니다.

  • 텍스트 생성 - text-bison@002 및 text-bison-32k@002
  • 텍스트 채팅 - chat-bison@002 및 chat-bison-32k@002
  • 코드 생성 - code-bison@002 및 text-bison-32k@002
  • 코드 채팅 - codechat-bison@002 및 codechat-bison-32k@002
  • 텍스트 임베딩 - textembedding-gecko@001 (미리보기)

텍스트 모델에서 지도 조정을 사용하는 사용 사례

기반 텍스트 모델은 예상 출력 또는 태스크를 프롬프트에 명확하고 간결하게 정의할 수 있고 프롬프트가 예상 출력을 일관되게 생성할 때 원활하게 작동합니다. 모델이 일반적인 언어 패턴에서 벗어나 틈새 또는 특정 항목을 학습하도록 하려면 해당 모델을 조정하는 것이 좋습니다. 예를 들어 모델 조정을 사용해서 모델에 다음 항목을 학습시킬 수 있습니다.

  • 출력을 생성하기 위한 특정 구조 또는 형식
  • 간결한 출력 또는 상세 출력을 제공할 시기와 같은 특정 동작
  • 특정 유형의 입력에 대한 맞춤설정된 특정 출력

다음 예시는 프롬프트 요청 사항만으로는 캡처하기 어려운 사용 사례입니다.

  • 분류: 예상 응답은 특정 단어 또는 구문입니다.

    모델을 조정하면 모델이 지나치게 상세한 응답을 생성하는 것을 방지할 수 있습니다.

  • 요약: 요약은 특정 형식을 따릅니다. 예를 들어 채팅 요약에서 개인 식별 정보(PII)를 삭제해야 할 수 있습니다.

    스피커 이름을 #Person1 및 #Person2로 바꾸는 이 형식은 설명하기 어렵고 기반 모델이 자연스럽게 이러한 응답을 생성하지 못할 수 있습니다.

  • 추출 질문 응답: 질문은 컨텍스트에 관한 것이고 답변은 컨텍스트의 하위 문자열입니다.

    'Last Glacial Maximum' 응답은 컨텍스트의 특정 구문입니다.

  • 채팅: 캐릭터 또는 역할을 따르도록 모델 응답을 맞춤설정해야 합니다.

다음 상황에서도 모델을 조정할 수 있습니다.

  • 프롬프트가 예상 결과를 일관되게 생성하지 못합니다.
  • 태스크가 너무 복잡해 프롬프트에서 정의할 수 없습니다. 예를 들어 모델이 프롬프트에서 명확히 설명하기 어려운 동작을 위해 동작 복제를 수행하도록 할 수 있습니다.
  • 유도하기 쉽지만 프롬프트에서 공식화하기 어려운 태스크에 대한 인간의 직관은 복잡합니다.
  • 컨텍스트 길이를 줄이려면 퓨샷 예를 제거합니다.

지도 조정 데이터 세트 준비

기반 모델을 조정하는 데 사용되는 데이터 세트에는 모델이 수행하려는 태스크와 일치하는 예가 포함됩니다. 학습 데이터 세트를 텍스트 간 변환 형식으로 구성됩니다. 데이터 세트의 각 레코드 또는 행에 모델의 예상 출력과 쌍을 이루는 입력 텍스트(프롬프트라고도 함)가 포함됩니다. 지도 조정은 데이터 세트를 사용하여 사용자에게 필요한 동작이나 태스크를 모방하도록 모델을 학습시켜 해당 동작을 보여주는 수백 가지 예를 제공합니다.

데이터 세트에는 최소 10개의 예가 포함되어야 하지만 양질의 결과를 얻기 위해서는 최소 100~500개의 예시를 사용하는 것이 좋습니다. 데이터 세트에 제공하는 예가 많을수록 더 좋은 결과가 나옵니다.

샘플 데이터 세트는 이 페이지의 샘플 데이터세트를 참조하세요.

데이터 세트 형식

모델 조정 데이터 세트는 각 줄에 단일 조정 예시가 포함된 JSON Lines(JSONL) 형식이어야 합니다. 텍스트 생성 모델을 조정하는 데 사용되는 데이터 세트 형식은 텍스트 채팅 모델을 조정하는 데 사용되는 데이터 세트 형식과 다릅니다. 모델을 조정하기 전에 데이터 세트를 Cloud Storage 버킷에 업로드해야 합니다.

텍스트

각 예는 모델에 대한 프롬프트가 포함된 input_text 필드와 조정된 모델이 생성할 것으로 예상되는 응답 예가 포함된 output_text 필드로 구성됩니다. context와 같은 구조화된 프롬프트의 추가 필드는 무시됩니다.

input_text의 최대 토큰 길이는 8,192이고 output_text의 최대 토큰 길이는 1,024입니다. 두 필드 중 하나가 최대 토큰 길이를 초과하면 초과하는 토큰은 잘립니다.

텍스트 생성 모델의 데이터 세트에 포함할 수 있는 예의 최대 개수는 10,000개입니다.

데이터 세트 예

{"input_text": "question: How many people live in Beijing? context:
With over 21 million residents, Beijing is the world's most populous national
capital city and is China's second largest city after Shanghai. It is
located in Northern China, and is governed as a municipality under the direct
administration of the State Council with 16 urban, suburban, and rural
districts.[14] Beijing is mostly surrounded by Hebei Province with the exception
of neighboring Tianjin to the southeast; together, the three divisions form the
Jingjinji megalopolis and the national capital region of China.",
"output_text": "over 21 million people"}


{"input_text": "question: How many parishes are there in Louisiana? context:
The U.S. state of Louisiana is divided into 64 parishes (French: paroisses) in
the same manner that 48 other states of the United States are divided into
counties, and Alaska is divided into boroughs.", "output_text": "64"}

예시에 안내 포함

분류와 같은 태스크의 경우 안내가 포함되지 않은 예의 데이터 세트를 만들 수 있습니다. 그러나 데이터 세트의 예에 있는 안내를 제외하면 특히 소규모 데이터 세트의 경우 안내를 포함한 것보다 조정 후 성능이 저하됩니다.

안내 제외:

{"input_text": "5 stocks to buy now",
"output_text": "business"}

안내 포함:

{"input_text": "Classify the following text into one of the following classes:
[business, entertainment] Text: 5 stocks to buy now",
"output_text": "business"}

채팅

채팅 조정 데이터 세트의 각 대화 예는 messages 필드(필수)와 context 필드(선택사항)로 구성됩니다.

messages 필드는 작성자-콘텐츠 쌍의 배열로 구성됩니다. author 필드는 메시지 작성자를 나타내며 user 또는 assistant로 교대로로 설정됩니다. content 필드는 메시지의 콘텐츠입니다. 각 대화 예에는 사용자의 메시지 및 모델의 응답을 나타내는 사용자-어시스턴트 메시지 쌍이 2~3개 있어야 합니다.

context 필드를 사용하면 채팅의 컨텍스트를 지정할 수 있습니다. 예의 컨텍스트를 지정하면 default_context에 제공된 값이 재정의됩니다.

각 대화 예에서 context 및 messages의 최대 토큰 길이는 8,192개의 토큰입니다. 또한 assistant의 각 content 필드는 토큰 1,024개를 초과해서는 안 됩니다.

텍스트 채팅 모델의 데이터 세트에 있는 예에 포함할 수 있는 author 필드 수는 최대 10,000개입니다. 이 최댓값은 모든 예의 모든 messages에 있는 모든 author 필드의 합계입니다.

예

{
  "context": "You are a pirate dog named Captain Barktholomew.",
  "messages": [
    {
      "author": "user",
      "content": "Hi"
    },
    {
      "author": "assistant",
      "content": "Argh! What brings ye to my ship?"
    },
    {
      "author": "user",
      "content": "What's your name?"
    },
    {
      "author": "assistant",
      "content": "I be Captain Barktholomew, the most feared pirate dog of the seven seas."
    }
  ]
}

샘플 데이터 세트

샘플 데이터 세트를 사용하여 text-bison@002 모델을 조정할 수 있습니다. 다음은 다양한 의학 전문 분야의 샘플 의료 텍스트 변환이 포함된 분류 태스크 데이터 세트입니다. 이 데이터는 Kaggle에서 제공된 대로 mtsamples.com에서 가져왔습니다.

  • 샘플 조정 데이터 세트 URI:

    gs://cloud-samples-data/vertex-ai/model-evaluation/peft_train_sample.jsonl

  • 샘플 평가 데이터 세트 URI:

    gs://cloud-samples-data/vertex-ai/model-evaluation/peft_eval_sample.jsonl

이러한 데이터 세트를 사용하려면 텍스트 모델 지도 조정 작업을 만들 때 적용 가능한 매개변수에 URI를 지정합니다.

예를 들면 다음과 같습니다.

...
"dataset_uri": "gs://cloud-samples-data/vertex-ai/model-evaluation/peft_train_sample.jsonl",
...
"evaluation_data_uri": "gs://cloud-samples-data/vertex-ai/model-evaluation/peft_eval_sample.jsonl",
...

프로덕션 데이터와 일관성 유지

데이터 세트의 예는 예상되는 프로덕션 트래픽과 일치해야 합니다. 데이터 세트에 특정 형식, 키워드, 안내 또는 정보가 포함된 경우 프로덕션 데이터의 형식이 동일한 방식으로 지정되어야 하며 동일한 안내를 포함해야 합니다.

예를 들어 데이터 세트의 예시에 "question:"과 "context:"가 포함된 경우 프로덕션 트래픽 형식 지정 시 "question:"과 "context:"가 데이터 세트 예시를 표시하는 것과 동일한 순서로 포함되어야 합니다. 컨텍스트를 제외하면 데이터 세트 예시에 정확한 질문이 있더라도 모델이 패턴을 인식하지 못합니다.

Cloud Storage에 조정 데이터 세트 업로드

조정 작업을 실행하려면 Cloud Storage 버킷에 하나 이상의 데이터 세트를 업로드해야 합니다. 새 Cloud Storage 버킷을 만들거나 기존 버킷을 사용하여 데이터 세트 파일을 저장할 수 있습니다. 버킷의 리전은 중요하지 않지만 모델을 조정하려는 동일한 Google Cloud 프로젝트에 있는 버킷을 사용하는 것이 좋습니다.

버킷이 준비되면 데이터 세트 파일을 버킷에 업로드합니다.

지도 조정 리전 설정

지도 조정 작업을 구성할 때 3개의 Google Cloud 리전 설정을 지정할 수 있습니다. 한 리전은 모델을 조정하는 파이프라인이 실행되는 장소입니다. 다른 리전은 모델 조정 작업이 실행되고 조정된 모델이 업로드되는 곳입니다.

파이프라인 작업 리전

파이프라인 작업 리전은 파이프라인 작업이 실행되는 리전입니다. 선택적인 모델 업로드 리전이 지정되지 않은 경우 모델이 파이프라인 작업 리전에 업로드되고 배포됩니다. 변환된 데이터 세트와 같은 중간 데이터는 파이프라인 작업 리전에 저장됩니다. 파이프라인 작업 리전에 사용할 수 있는 리전을 알아보려면 지원되는 파이프라인 작업 및 모델 업로드 리전을 참조하세요. 다음 방법 중 하나를 사용해서 파이프라인 작업 리전을 지정해야 합니다.

  • Vertex AI SDK를 사용하는 경우 조정할 모델을 나타내는 객체의 tune_model 메서드(예: TextGenerationModel.tune_model 메서드)에 tuning_job_location 매개변수를 사용하여 파이프라인 작업이 실행되는 리전을 지정할 수 있습니다.

  • pipelineJobs.create 메서드를 사용하여 POST 요청을 전송하여 지도 조정 작업을 만드는 경우 URL을 사용하여 파이프라인 작업이 실행되는 리전을 지정합니다. 다음 URL에서 PIPELINE_JOB_REGION의 두 인스턴스를 모두 파이프라인이 실행되는 리전으로 바꿉니다.

     https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs

  • Google Cloud 콘솔을 사용하여 지도 모델 조정 작업을 만드는 경우, 조정 작업을 만들 때 리전 제어에 파이프라인 작업 리전을 지정합니다. Google Cloud 콘솔에서 리전 컨트롤은 파이프라인 작업 리전과 모델 업로드 리전을 모두 지정합니다. Google Cloud 콘솔을 사용하여 지도 모델 조정 작업을 만들면 두 리전은 항상 동일합니다.

모델 업로드 리전

선택적인 tuned_model_location 매개변수를 사용하여 조정된 모델을 업로드할 위치를 지정합니다. 모델 업로드 리전을 지정하지 않으면 조정된 모델이 파이프라인 작업 리전에 업로드됩니다. 모델 업로드 리전에 지원되는 파이프라인 작업 및 모델 업로드 리전 중 하나를 사용할 수 있습니다. 다음 방법 중 하나를 사용해서 모델 업로드 리전을 지정할 수 있습니다.

  • Vertex AI SDK를 사용하는 경우 tuned_model_location 매개변수는 조정할 모델을 나타내는 객체의 tune_model 메서드(예: TextGenerationModel.tune_model 메서드)에 지정됩니다.

  • pipelineJobs 메서드를 사용하여 POST 요청을 전송하여 지도 모델 조정 작업을 만드는 경우 location 매개변수를 사용하여 모델 업로드를 지정할 수 있습니다.

  • Google Cloud 콘솔을 사용하여 지도 모델 조정 작업을 만드는 경우, 조정 작업을 만들 때 리전 제어에 모델 업로드 리전을 지정합니다. Google Cloud 콘솔에서 리전 컨트롤은 모델 업로드 리전과 파이프라인 작업 리전을 모두 지정합니다. Google Cloud 콘솔을 사용하여 지도 모델 조정 작업을 만들면 두 리전은 항상 동일합니다.

모델 조정 리전

모델 조정 리전에서 모델 조정 계산이 수행됩니다. 이 리전은 선택한 가속기 유형에 따라 결정됩니다. 가속기 유형에 TPU를 지정하면 모델 조정 계산이 europe-west4에서 수행됩니다. 가속기 유형에 GPU를 지정하면 모델 조정이 us-central1에서 수행됩니다.

지원되는 파이프라인 작업 및 모델 업로드 리전

다음 리전 중 하나를 사용해서 모델 업로드 리전을 지정하고 파이프라인 작업 리전을 지정할 수 있습니다.

  • us-central1
  • europe-west4
  • asia-southeast1
  • us-west1
  • europe-west3
  • europe-west2
  • asia-northeast1
  • us-east4
  • us-west4
  • northamerica-northeast1
  • europe-west9
  • europe-west1
  • asia-northeast3

텍스트 모델 지도 조정 작업 만들기

Google Cloud 콘솔, API 또는 Python용 Vertex AI SDK를 사용하여 지도 텍스트 모델 미세 조정 작업을 만들 수 있습니다. 모델 조정 구성에 대한 안내는 권장 구성을 참조하세요.

REST

모델 조정 작업을 만들려면 pipelineJobs 메서드를 사용하여 POST 요청을 전송합니다. 일부 매개변수는 모든 모델에서 지원되지 않습니다. 조정하려는 모델에 적용 가능한 매개변수만 포함해야 합니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

  • PIPELINEJOB_DISPLAYNAME: pipelineJob의 표시 이름입니다.
  • OUTPUT_DIR: 파이프라인 아티팩트를 출력할 버킷의 URI입니다.
  • PROJECT_ID: 프로젝트 ID
  • MODEL_DISPLAYNAME: pipelineJob에서 업로드(생성)한 모델의 표시 이름입니다.
  • DATASET_URI: 데이터 세트 파일의 URI입니다.
  • PIPELINE_JOB_REGION: 파이프라인 조정 작업이 실행되는 리전입니다. 또한 조정된 모델이 업로드되는 기본 리전입니다. 모델을 다른 리전에 업로드하려면 location 매개변수를 사용하여 조정된 모델 업로드 리전을 지정합니다. 자세한 내용은 모델 업로드 리전을 참조하세요.
  • MODEL_UPLOAD_REGION: (선택사항) 조정된 모델이 업로드된 리전입니다. 모델 업로드 리전을 지정하지 않으면 조정된 모델이 파이프라인 작업이 실행되는 동일한 리전에 업로드됩니다. 자세한 내용은 모델 업로드 리전을 참조하세요.
  • ACCELERATOR_TYPE: (선택사항, 기본값 GPU) 모델 조정에 사용할 가속기 유형입니다. 유효한 옵션은 다음과 같습니다.
    • GPU: 조정에 8개의 A100 80GB GPU를 사용합니다. 할당량이 충분한지 확인합니다. GPU를 선택하면 VPC-SC가 지원됩니다. CMEK는 조정 위치 및 모델 업로드 위치가 us-centra1일 때 지원됩니다. 자세한 내용은 지도 조정 리전 설정을 참조하세요. GPU를 선택하면 모델 조정 계산이 us-central1 리전에서 수행됩니다.
    • TPU: 조정에 TPU v3 포드 코어 64개를 사용합니다. 할당량이 충분한지 확인합니다. CMEK는 지원되지 않지만 VPC-SC가 지원됩니다. TPU를 선택하면 모델 조정 계산이 europe-west4 리전에서 수행됩니다.
  • LARGE_MODEL_REFERENCE: 조정할 기반 모델의 이름입니다. 옵션은 다음과 같습니다.
    • text-bison@002
    • chat-bison@002
  • DEFAULT_CONTEXT (chat only): 조정 데이터 세트의 모든 미세 조정 예시에 적용되는 컨텍스트입니다. 예시에서 context 필드를 설정하면 기본 컨텍스트가 재정의됩니다.
  • STEPS: 모델 튜닝을 위해 실행할 단계 수입니다. 기본값은 300입니다. 배치 크기는 조정 위치 및 모델 크기에 따라 달라집니다. text-bison@002, chat-bison@002, code-bison@002, codechat-bison@002와 같은 8k 모델의 경우:
    • us-central1의 배치 크기는 8입니다.
    • europe-west4의 배치 크기는 24입니다.
    text-bison-32k, chat-bison-32k, code-bison-32k, codechat-bison-32k와 같은 32k 모델의 경우:
    • us-central1의 배치 크기는 8입니다.
    • europe-west4의 배치 크기는 8입니다.

    예를 들어 europe-west4에서 text-bison@002를 학습시키는 경우, 학습 데이터 세트에 240개의 예시가 있고, steps를 20으로 설정하면 학습 예시 수는 20단계와 배치 크기 24의 곱으로, 480개의 학습 단계가 됩니다. 이 경우 예시가 두 번 진행되므로 학습 프로세스에 2세대가 있습니다. us-central1에서 학습 데이터 세트에 240개의 예시가 있고 steps를 15로 설정하는 경우, 학습 예시의 수는 15 단계와 배치 크기 8의 곱으로, 120개의 학습 단계가 됩니다. 이 경우에는 학습 단계가 예시의 절반이므로 0.5세대가 있습니다.

  • LEARNING_RATE_MULTIPLIER: 권장 학습률에 적용할 배수입니다. 권장 학습률을 사용하려면 1.0을 사용합니다.
  • EVAL_DATASET_URI (text only): (선택사항) 일괄 예측 및 평가를 위한 평가 데이터 세트가 포함된 JSONL 파일의 URI입니다. chat-bison에는 평가가 지원되지 않습니다. 자세한 내용은 코드 모델 조정을 위한 데이터 세트 형식을 참조하세요. 평가 데이터 세트에는 10~250개 사이의 예시가 필요합니다.
  • EVAL_INTERVAL (text only): (선택사항, 기본값 20) 각 평가 사이의 조정 단계 수입니다. 채팅 모델에는 평가 간격이 지원되지 않습니다. 평가가 전체 평가 데이터 세트에서 실행되므로 평가 간격이 좁을수록 조정 시간이 더 길어집니다. 예를 들어 steps가 200이고 EVAL_INTERVAL이 100인 경우에는 평가 측정항목에 데이터 포인트가 2개만 사용됩니다. 이 매개변수를 사용하려면 evaluation_data_uri를 설정해야 합니다.
  • ENABLE_EARLY_STOPPING (text only): (선택사항, 기본값 true) true로 설정된 경우 예측 토큰의 정확도로 측정되는 모델 성능이 평가 실행 사이에 충분히 향상되지 않을 경우 모든 조정 단계를 완료하기 전에 조정을 중지하는 boolean입니다. false이면 모든 조정 단계가 완료될 때까지 조정이 계속됩니다. 이 매개변수를 사용하려면 evaluation_data_uri를 설정해야 합니다. 채팅 모델에는 조기 중단 사용 설정이 지원되지 않습니다.
  • TENSORBOARD_RESOURCE_ID: (선택사항) Vertex AI 텐서보드 인스턴스의 ID입니다. Vertex AI 텐서보드 인스턴스는 조정 작업이 완료된 후 실험을 만드는 데 사용됩니다. Vertex AI 텐서보드 인스턴스는 조정 파이프라인과 동일한 리전에 있어야 합니다.
  • ENCRYPTION_KEY_NAME: (선택사항) 데이터 암호화에 사용할 고객 관리 암호화 키(CMEK)의 정규화된 이름입니다. us-central1에서만 CMEK를 사용할 수 있습니다. us-central1을 사용하고 CMEK를 지정하지 않으면 Google이 소유하고 Google이 관리하는 키가 사용됩니다. 기본적으로 Google 소유 및 Google 관리 키는 다른 모든 사용 가능한 리전에서 사용됩니다. 자세한 내용은 CMEK 개요를 참조하세요.
  • TEMPLATE_URI: 사용할 조정 템플릿은 조정 중인 모델에 따라 달라집니다.
    • 텍스트 모델: https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-model/v2.0.0
    • 채팅 모델: https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-chat-model/v3.0.0
  • SERVICE_ACCOUNT: (선택사항) Vertex AI가 파이프라인 작업을 실행하는 데 사용하는 서비스 계정입니다. 기본적으로 프로젝트의 Compute Engine 기본 서비스 계정(PROJECT_NUMBER‑compute@developer.gserviceaccount.com)이 사용됩니다. 커스텀 서비스 계정 연결에 대해 자세히 알아보세요.

HTTP 메서드 및 URL: 

POST https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs

JSON 요청 본문:

{
  "displayName": "PIPELINEJOB_DISPLAYNAME",
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://OUTPUT_DIR",
    "parameterValues": {
      "project": "PROJECT_ID",
      "model_display_name": "MODEL_DISPLAYNAME",
      "dataset_uri": "gs://DATASET_URI",
      "location": "MODEL_UPLOAD_REGION",
      "accelerator_type": "ACCELERATOR_TYPE",
      "large_model_reference": "LARGE_MODEL_REFERENCE",
      "default_context": "DEFAULT_CONTEXT (chat only)",
      "train_steps": STEPS,
      "learning_rate_multiplier": LEARNING_RATE_MULTIPLIER,
      "evaluation_data_uri": "gs://EVAL_DATASET_URI (text only)",
      "evaluation_interval": EVAL_INTERVAL (text only),
      "enable_early_stopping": ENABLE_EARLY_STOPPING (text only),
      "enable_checkpoint_selection": "ENABLE_CHECKPOINT_SELECTION (text only)",
      "tensorboard_resource_id": "TENSORBOARD_ID",
      "encryption_spec_key_name": "ENCRYPTION_KEY_NAME"
    }
  },
  "encryptionSpec": {
    "kmsKeyName": "ENCRYPTION_KEY_NAME"
  },
  "serviceAccount": "SERVICE_ACCOUNT",
  "templateUri": "TEMPLATE_URI"
}

요청을 보내려면 다음 옵션 중 하나를 선택합니다.

curl

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다. 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs"

PowerShell

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다. 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs" | Select-Object -Expand Content

다음과 비슷한 JSON 응답이 수신됩니다. pipelineSpec는 공간 절약을 위해 잘렸습니다.

Python

Vertex AI SDK for Python을 설치하거나 업데이트하는 방법은 Vertex AI SDK for Python 설치를 참조하세요. 자세한 내용은 Python API 참고 문서를 확인하세요. 

from __future__ import annotations

import os

from vertexai.language_models import TextGenerationModel

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def tuning() -> TextGenerationModel:
    import vertexai
    from vertexai.language_models import TextGenerationModel

    # Initialize Vertex AI
    vertexai.init(project=PROJECT_ID, location="us-central1")

    model = TextGenerationModel.from_pretrained("text-bison@002")

    # TODO(developer): Update the training data path
    tuning_job = model.tune_model(
        training_data="gs://cloud-samples-data/ai-platform/generative_ai/headline_classification.jsonl",
        tuning_job_location="europe-west4",
        tuned_model_location="us-central1",
    )

    print(tuning_job._status)
    # Example response:
    # pipeline_job = aiplatform.PipelineJob.get('projects/1234567890/locations/europe-west4/pipelineJobs/tune...
    # View Pipeline Job:
    # ...
    # PipelineState.PIPELINE_STATE_PENDING

    return model

Node.js

이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 Vertex AI Node.js API 참고 문서를 참조하세요.

Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요. 

/**
 * TODO(developer): Uncomment these variables before running the sample.\
 * (Not necessary if passing values as arguments)
 */
// const project = 'YOUR_PROJECT_ID';
// const location = 'YOUR_PROJECT_LOCATION';
const aiplatform = require('@google-cloud/aiplatform');
const {PipelineServiceClient} = aiplatform.v1;

// Import the helper module for converting arbitrary protobuf.Value objects.
const {helpers} = aiplatform;

// Specifies the location of the api endpoint
const clientOptions = {
  apiEndpoint: 'europe-west4-aiplatform.googleapis.com',
};
const model = 'text-bison@001';

const pipelineClient = new PipelineServiceClient(clientOptions);

async function tuneLLM() {
  // Configure the parent resource
  const parent = `projects/${project}/locations/${location}`;

  const parameters = {
    train_steps: helpers.toValue(trainSteps),
    project: helpers.toValue(project),
    location: helpers.toValue('us-central1'),
    dataset_uri: helpers.toValue(datasetUri),
    large_model_reference: helpers.toValue(model),
    model_display_name: helpers.toValue(modelDisplayName),
    accelerator_type: helpers.toValue('GPU'), // Optional: GPU or TPU
  };

  const runtimeConfig = {
    gcsOutputDirectory,
    parameterValues: parameters,
  };

  const pipelineJob = {
    templateUri:
      'https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-model/v2.0.0',
    displayName: 'my-tuning-job',
    runtimeConfig,
  };

  const createPipelineRequest = {
    parent,
    pipelineJob,
    pipelineJobId,
  };
  await new Promise((resolve, reject) => {
    pipelineClient.createPipelineJob(createPipelineRequest).then(
      response => resolve(response),
      e => reject(e)
    );
  }).then(response => {
    const [result] = response;
    console.log('Tuning pipeline job:');
    console.log(`\tName: ${result.name}`);
    console.log(
      `\tCreate time: ${new Date(1970, 0, 1)
        .setSeconds(result.createTime.seconds)
        .toLocaleString()}`
    );
    console.log(`\tStatus: ${result.status}`);
  });
}

await tuneLLM();

Java

이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 Vertex AI Java API 참고 문서를 참조하세요.

Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요. 

import com.google.cloud.aiplatform.v1.CreatePipelineJobRequest;
import com.google.cloud.aiplatform.v1.LocationName;
import com.google.cloud.aiplatform.v1.PipelineJob;
import com.google.cloud.aiplatform.v1.PipelineJob.RuntimeConfig;
import com.google.cloud.aiplatform.v1.PipelineServiceClient;
import com.google.cloud.aiplatform.v1.PipelineServiceSettings;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

public class CreatePipelineJobModelTuningSample {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String project = "PROJECT";
    String location = "europe-west4"; // europe-west4 and us-central1 are the supported regions
    String pipelineJobDisplayName = "PIPELINE_JOB_DISPLAY_NAME";
    String modelDisplayName = "MODEL_DISPLAY_NAME";
    String outputDir = "OUTPUT_DIR";
    String datasetUri = "DATASET_URI";
    int trainingSteps = 300;

    createPipelineJobModelTuningSample(
        project,
        location,
        pipelineJobDisplayName,
        modelDisplayName,
        outputDir,
        datasetUri,
        trainingSteps);
  }

  // Create a model tuning job
  public static void createPipelineJobModelTuningSample(
      String project,
      String location,
      String pipelineJobDisplayName,
      String modelDisplayName,
      String outputDir,
      String datasetUri,
      int trainingSteps)
      throws IOException {
    final String endpoint = String.format("%s-aiplatform.googleapis.com:443", location);
    PipelineServiceSettings pipelineServiceSettings =
        PipelineServiceSettings.newBuilder().setEndpoint(endpoint).build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (PipelineServiceClient client = PipelineServiceClient.create(pipelineServiceSettings)) {
      Map<String, Value> parameterValues = new HashMap<>();
      parameterValues.put("project", stringToValue(project));
      parameterValues.put("model_display_name", stringToValue(modelDisplayName));
      parameterValues.put("dataset_uri", stringToValue(datasetUri));
      parameterValues.put(
          "location",
          stringToValue(
              "us-central1")); // Deployment is only supported in us-central1 for Public Preview
      parameterValues.put("large_model_reference", stringToValue("text-bison@001"));
      parameterValues.put("train_steps", numberToValue(trainingSteps));
      parameterValues.put("accelerator_type", stringToValue("GPU")); // Optional: GPU or TPU

      RuntimeConfig runtimeConfig =
          RuntimeConfig.newBuilder()
              .setGcsOutputDirectory(outputDir)
              .putAllParameterValues(parameterValues)
              .build();

      PipelineJob pipelineJob =
          PipelineJob.newBuilder()
              .setTemplateUri(
                  "https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-model/v2.0.0")
              .setDisplayName(pipelineJobDisplayName)
              .setRuntimeConfig(runtimeConfig)
              .build();

      LocationName parent = LocationName.of(project, location);
      CreatePipelineJobRequest request =
          CreatePipelineJobRequest.newBuilder()
              .setParent(parent.toString())
              .setPipelineJob(pipelineJob)
              .build();

      PipelineJob response = client.createPipelineJob(request);
      System.out.format("response: %s\n", response);
      System.out.format("Name: %s\n", response.getName());
    }
  }

  static Value stringToValue(String str) {
    return Value.newBuilder().setStringValue(str).build();
  }

  static Value numberToValue(int n) {
    return Value.newBuilder().setNumberValue(n).build();
  }
}

Console

Google Cloud 콘솔을 사용하여 지도 조정으로 텍스트 모델을 조정하려면 다음 단계를 수행합니다.

  1. Google Cloud 콘솔의 Vertex AI 섹션에서 Vertex AI 스튜디오 페이지로 이동합니다.

    Vertex AI Studio로 이동

  2. 조정 및 정제 탭을 클릭합니다.
  3. 조정된 모델 만들기를 클릭합니다.
  4. 지도 조정을 클릭합니다.
  5. 모델 세부정보를 구성합니다.
    • 조정된 모델 이름: 조정된 모델의 이름을 입력합니다.
    • 기본 모델: 조정하려는 모델을 선택합니다.
    • 리전: 파이프라인 조정 작업이 실행되는 리전과 조정된 모델이 배포되는 리전을 선택합니다.
    • 출력 디렉터리: 모델을 조정할 때 아티팩트가 저장되는 Cloud Storage 위치를 입력합니다.
  6. 고급 설정을 구성하려면 고급 옵션을 확장합니다.
    • 학습 단계: 모델 조정을 위해 실행할 단계 수를 입력합니다. 기본값은 300입니다. 배치 크기는 조정 위치 및 모델 크기에 따라 달라집니다. text-bison@002, chat-bison@002, code-bison@002, codechat-bison@002와 같은 8k 모델의 경우:
      • us-central1의 배치 크기는 8입니다.
      • europe-west4의 배치 크기는 24입니다.
      text-bison-32k, chat-bison-32k, code-bison-32k, codechat-bison-32k와 같은 32k 모델의 경우:
      • us-central1의 배치 크기는 8입니다.
      • europe-west4의 배치 크기는 8입니다.

      예를 들어 europe-west4에서 text-bison@002를 학습시키는 경우, 학습 데이터 세트에 240개의 예시가 있고, steps를 20으로 설정하면 학습 예시 수는 20단계와 배치 크기 24의 곱으로, 480개의 학습 단계가 됩니다. 이 경우 예시가 두 번 진행되므로 학습 프로세스에 2세대가 있습니다. us-central1에서 학습 데이터 세트에 240개의 예시가 있고 steps를 15로 설정하는 경우, 학습 예시의 수는 15 단계와 배치 크기 8의 곱으로, 120개의 학습 단계가 됩니다. 이 경우에는 학습 단계가 예시의 절반이므로 0.5세대가 있습니다.

    • 학습률 배수: 각 반복의 보폭을 입력합니다. 기본값은 1입니다.
    • 가속기 유형: (선택사항) 모델 조정에 사용할 가속기 유형을 입력합니다. 유효한 옵션은 다음과 같습니다.
      • GPU: 조정에 8개의 A100 80GB GPU를 사용합니다. 할당량이 충분한지 확인합니다. GPU를 선택하면 VPC-SC가 지원됩니다. CMEK는 조정 위치 및 모델 업로드 위치가 us-centra1일 때 지원됩니다. 자세한 내용은 지도 조정 리전 설정을 참조하세요. GPU를 선택하면 모델 조정 계산이 us-central1 리전에서 수행됩니다.
      • TPU: 조정에 TPU v3 포드 코어 64개를 사용합니다. 할당량이 충분한지 확인합니다. CMEK는 지원되지 않지만 VPC-SC가 지원됩니다. TPU를 선택하면 모델 조정 계산이 europe-west4 리전에서 수행됩니다.
    • 텐서보드 인스턴스 추가: (선택사항) Vertex AI 텐서보드 인스턴스의 ID입니다. Vertex AI 텐서보드 인스턴스는 조정 작업이 완료된 후 실험을 만드는 데 사용됩니다. Vertex AI 텐서보드 인스턴스는 조정 파이프라인과 동일한 리전에 있어야 합니다.
    • 암호화(선택사항) Google 소유 및 Google 관리 키 또는 고객 관리 암호화 키(CMEK)를 사용합니다. us-central1 리전에서만 암호화에 CMEK를 사용할 수 있습니다. 다른 모든 사용 가능한 리전에서는 Google 소유 및 Google 관리 키가 사용됩니다. 자세한 내용은 CMEK 개요를 참조하세요.
    • 서비스 계정(선택사항) 사용자 관리 서비스 계정을 선택합니다. 서비스 계정에 따라 서비스 코드로 액세스할 수 있는 Google Cloud 리소스가 결정됩니다. 서비스 계정을 선택하지 않으면 대부분의 모델에 적합한 권한이 포함된 서비스 에이전트가 사용됩니다.
  7. 계속을 클릭합니다.
  8. 데이터 세트 파일을 업로드하려면  Cloud Storage에 JSONL 파일 업로드를 선택합니다. 데이터 세트 파일이 Cloud Storage 버킷에 이미 있으면  Cloud Storage의 기존 JSONL 파일을 선택합니다.

    JSONL 파일 업로드

    • JSONL 파일 선택에서 찾아보기를 클릭하고 데이터 세트 파일을 선택합니다.
    • 데이터 세트 위치에서 찾아보기를 클릭하고 데이터 세트 파일을 저장할 Cloud Storage 버킷을 선택합니다.

    기존 JSONL 파일 사용

    Cloud Storage 파일 경로에서 찾아보기를 클릭한 후 데이터 세트 파일이 있는 Cloud Storage 버킷을 선택합니다.
  9. (선택사항) 조정된 모델을 평가하려면 모델 평가 사용 설정을 선택하고 모델 평가를 구성합니다.
    • 평가 데이터 세트: (선택사항) 일괄 예측 및 평가를 위한 평가 데이터 세트가 포함된 JSONL 파일의 URI입니다. chat-bison에는 평가가 지원되지 않습니다. 자세한 내용은 코드 모델 조정을 위한 데이터 세트 형식을 참조하세요. 평가 데이터 세트에는 10~250개 사이의 예시가 필요합니다.
    • 평가 간격: (선택사항, 기본값: 20) 각 평가 간의 조정 단계 수입니다. 채팅 모델에는 평가 간격이 지원되지 않습니다. 평가가 전체 평가 데이터 세트에서 실행되므로 평가 간격이 좁을수록 조정 시간이 더 길어집니다. 예를 들어 steps가 200이고 EVAL_INTERVAL이 100인 경우에는 평가 측정항목에 데이터 포인트가 2개만 사용됩니다. 이 매개변수를 사용하려면 evaluation_data_uri를 설정해야 합니다.
    • 조기 중단 사용 설정: (선택사항, 기본값 true) true로 설정된 경우 예측 토큰의 정확도로 측정되는 모델 성능이 평가 실행 사이에 충분히 향상되지 않을 경우 모든 조정 단계를 완료하기 전에 조정을 중지하는 boolean입니다. false이면 모든 조정 단계가 완료될 때까지 조정이 계속됩니다. 이 매개변수를 사용하려면 evaluation_data_uri를 설정해야 합니다. 채팅 모델에는 조기 중단 사용 설정이 지원되지 않습니다.
    • 체크포인트 선택 사용 설정: 사용 설정된 경우 Vertex AI가 조정 작업 중 생성된 모든 체크포인트에서 모델 평가 성능이 최상인 체크포인트를 선택하고 반환합니다. 사용 중지된 경우 조정 작업 중 생성된 마지막 체크포인트가 반환됩니다. 각 체크포인트는 조정 작업 중 모델의 스냅샷을 나타냅니다.
    • 텐서보드 인스턴스: (선택사항) Vertex AI 텐서보드 인스턴스의 ID입니다. Vertex AI 텐서보드 인스턴스는 조정 작업이 완료된 후 실험을 만드는 데 사용됩니다. Vertex AI 텐서보드 인스턴스는 조정 파이프라인과 동일한 리전에 있어야 합니다.
  10. 조정 시작을 클릭합니다.

curl 명령어 예시

PROJECT_ID=myproject
DATASET_URI=gs://my-gcs-bucket-uri/dataset
OUTPUT_DIR=gs://my-gcs-bucket-uri/output
ACCELERATOR_TYPE=GPU
LOCATION=us-central1

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
"https://europe-west4-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/europe-west4/pipelineJobs?pipelineJobId=tune-large-model-$(date +%Y%m%d%H%M%S)" -d \
$'{
  "displayName": "tune-llm",
  "runtimeConfig": {
    "gcsOutputDirectory": "'${OUTPUT_DIR}'",
    "parameterValues": {
      "project": "'${PROJECT_ID}'",
      "model_display_name": "The display name for your model in the UI",
      "dataset_uri": "'${DATASET_URI}'",
      "location": "'${LOCATION}'",
      "accelerator_type:": "'${ACCELERATOR_TYPE}'",
      "large_model_reference": "text-bison@002",
      "train_steps": 300,
      "learning_rate_multiplier": 1,
      "encryption_spec_key_name": "projects/myproject/locations/us-central1/keyRings/sample-key/cryptoKeys/sample-key"
    }
  },
  "encryptionSpec": {
    "kmsKeyName": "projects/myproject/locations/us-central1/keyRings/sample-key/cryptoKeys/sample-key"
  },
  "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-model/v2.0.0"
}'

다음 표에는 태스크별로 기반 모델을 조정하기 위한 권장 구성이 나와 있습니다.

작업 데이터 세트에 있는 예의 개수 학습 단계
분류 100개 이상 100-500
요약 100-500+ 200-1000
추출 QA 100개 이상 100-500
채팅 200+ 1,000

학습 단계의 경우 특정 데이터 세트에서 최적의 성능을 얻기 위해 두 개 이상의 값을 시도할 수 있습니다(예: 100, 200, 500).

조정된 모델 목록 보기

Google Cloud 콘솔 또는 Python용 Vertex AI SDK를 사용하여 조정된 모델을 포함한 현재 프로젝트의 모델 목록을 볼 수 있습니다.

Python

이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 Vertex AI Python API 참고 문서를 참조하세요.

Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요. 

import vertexai

from vertexai.language_models import TextGenerationModel

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

vertexai.init(project=PROJECT_ID, location="us-central1")

model = TextGenerationModel.from_pretrained("text-bison@002")
tuned_model_names = model.list_tuned_model_names()
print(tuned_model_names)
# Example response:
# ['projects/1234567890/locations/us-central1/models/1234567889012345',
# ...]

Console

Google Cloud 콘솔에서 조정된 모델을 보려면 Vertex AI Model Registry 페이지로 이동합니다.

Vertex AI Model Registry로 이동

조정된 텍스트 모델 로드

다음 샘플 코드는 Python용 Vertex AI SDK를 사용하여 지도 조정을 사용하여 조정된 텍스트 생성 모델을 로드합니다.

import vertexai
from vertexai.preview.language_models import TextGenerationModel

model = TextGenerationModel.get_tuned_model(TUNED_MODEL_NAME)

TUNED_MODEL_NAME을 조정된 모델의 정규화된 리소스 이름으로 바꿉니다. 이 이름은 projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID 형식입니다. Vertex AI Model Registry에서 조정된 모델의 모델 ID를 찾을 수 있습니다.

측정항목 조정 및 평가

모델 조정 작업을 구성하여 모델 조정 및 모델 평가 측정항목을 수집하고 보고할 수 있습니다. 그런 후 Vertex AI 텐서보드를 사용하여 시각화할 수 있습니다.

모델 조정 측정항목

chat-bison, code-bison, codechat-bison, text-bison에 대해 다음 조정 측정항목을 수집하도록 모델 조정 작업을 구성할 수 있습니다.
  • /train_total_loss: 학습 단계의 조정 데이터 세트 손실
  • /train_fraction_of_correct_next_step_preds: 학습 단계의 토큰 정확성. 단일 예측은 일련의 토큰으로 구성됩니다. 이 측정항목은 조정 데이터 세트의 정답과 비교할 때 예측된 토큰의 정확도를 측정합니다.
  • /train_num_predictions: 학습 단계에서 예측된 토큰 수

모델 평가 측정항목

code-bison 및 text-bison에 대해 다음 평가 측정항목을 수집하도록 모델 조정 작업을 구성할 수 있습니다.

  • /eval_total_loss: 평가 단계의 평가 데이터 세트 손실
  • /eval_fraction_of_correct_next_step_preds: 평가 단계의 토큰 정확성. 단일 예측은 일련의 토큰으로 구성됩니다. 이 측정항목은 평가 데이터 세트의 정답과 비교할 때 예측된 토큰의 정확도를 측정합니다.
  • /eval_num_predictions: 평가 단계에서 예측된 토큰 수

모델 조정 작업이 완료된 후 측정항목 시각화를 사용할 수 있습니다. 조정 작업을 만들 때 평가 데이터 세트가 아닌 Vertex AI 텐서보드 인스턴스 ID만 지정하면 조정 측정항목의 시각화만 사용할 수 있습니다.

문제 해결

다음 주제는 지도 미세 조정을 사용하여 기반 텍스트 모델을 조정하는 문제를 해결하는 데 도움이 될 수 있습니다.

모델 조정을 시도하면 500 오류 또는 Internal error encountered가 반환됩니다.

모델을 조정하려고 할 때 이 500 오류가 발생하면 다음 해결 방법을 시도해 보세요.

다음 cURL 명령어를 실행하여 빈 Vertex AI 데이터 세트를 만듭니다. 명령어에서 프로젝트 ID를 구성해야 합니다.

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://europe-west4-aiplatform.googleapis.com/ui/projects/$PROJECT_ID/locations/europe-west4/datasets \
-d '{
    "display_name": "test-name1",
    "metadata_schema_uri": "gs://google-cloud-aiplatform/schema/dataset/metadata/image_1.0.0.yaml",
    "saved_queries": [{"display_name": "saved_query_name", "problem_type": "IMAGE_CLASSIFICATION_MULTI_LABEL"}]
}'

명령어가 완료되면 5분 정도 기다린 후 모델 조정을 다시 시도합니다.

오류: '...europe-west4/metadataStores/default'에 대한 Permission 'aiplatform.metadataStores.get' 권한이 거부되었습니다.

Compute Engine API가 사용 설정되어 있고 기본 Compute Engine 서비스 계정(PROJECT_NUM‑compute@developer.gserviceaccount.com)에 aiplatform.admin 및storage.objectAdmin 역할을 부여되었는지 확인합니다.

Compute Engine 서비스 계정에 aiplatform.admin 및 storage.objectAdmin 역할을 부여하려면 다음을 수행합니다.

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

    머신에서 터미널을 사용하려면 Google Cloud CLI를 설치하고 구성합니다.

  2. gcloud projects add-iam-policy-binding 명령어를 사용하여 Compute Engine 서비스 계정에 aiplatform.admin 역할을 연결합니다.

    다음을 바꿉니다.

    • PROJECT_ID를 Google Cloud 프로젝트 ID로 바꿉니다.
    • PROJECT_NUM를 Google Cloud 프로젝트 번호로 바꿉니다.
    gcloud projects add-iam-policy-binding PROJECT_ID --member serviceAccount:PROJECT_NUM-compute@developer.gserviceaccount.com --role roles/aiplatform.admin

  3. gcloud projects add-iam-policy-binding 명령어를 사용하여 Compute Engine 서비스 계정에 storage.objectAdmin 역할을 연결합니다.

    • PROJECT_ID를 Google Cloud 프로젝트 ID로 바꿉니다.
    • PROJECT_NUM를 Google Cloud 프로젝트 번호로 바꿉니다.
    gcloud projects add-iam-policy-binding PROJECT_ID --member serviceAccount:PROJECT_NUM-compute@developer.gserviceaccount.com  --role roles/storage.objectAdmin

오류: Vertex AI 서비스 에이전트 service-{project-number}@gcp-sa-aiplatform.iam.gserviceaccount.com 에게 Artifact Registry 저장소 projects/vertex-ai-restricted/locations/us/repositories/llm에 액세스할 수 있는 권한이 없습니다.

이 권한 오류는 전파 지연으로 인해 발생합니다. 이후 재시도에서 이 오류를 해결해야 합니다.

다음 단계