GKE에서 여러 GPU를 사용하여 Gemma 개방형 모델 파인 튜닝

이 튜토리얼에서는 Hugging Face의 Transformers 라이브러리와 함께 Google Kubernetes Engine(GKE)에서 그래픽 처리 장치(GPU)를 사용하여 개방형 모델 제품군인 Gemma 대규모 언어 모델(LLM)을 파인 튜닝하는 방법을 보여줍니다. 파인 튜닝은 선행 학습된 모델의 파라미터를 새 데이터 세트로 업데이트하여 특정 태스크를 실행하는 능력을 개선하는 지도 학습 프로세스입니다. 이 튜토리얼에서는 Hugging Face에서 20억 개의 파라미터로 선행 학습된 Gemma 제품군 모델을 다운로드하고 GKE Autopilot 또는 Standard 클러스터에서 파인 튜닝합니다.

이 가이드는 LLM을 파인 튜닝할 때 관리형 Kubernetes의 세밀한 제어, 확장성, 복원력, 이동성, 비용 효율성이 필요한 경우 좋은 출발점이 될 수 있습니다. ML 모델을 비용 효율적으로 빠르게 빌드하고 제공할 수 있는 통합 관리형 AI 플랫폼이 필요한 경우 Vertex AI 솔루션을 사용하는 것이 좋습니다.

배경

Transformers 라이브러리와 함께 GKE에서 GPU를 사용하여 Gemma를 제공하면 효율적인 확장성 및 더 높은 가용성을 비롯하여 관리형 Kubernetes의 모든 이점을 갖춘 강력한 프로덕션에 즉시 사용 가능한 추론 제공 솔루션을 구현할 수 있습니다. 이 섹션에서는 이 가이드에서 사용되는 주요 기술을 설명합니다.

Gemma

Gemma는 오픈 라이선스로 출시된 공개적으로 사용 가능한 가벼운 생성형 인공지능(AI) 모델의 집합입니다. 이러한 AI 모델은 애플리케이션, 하드웨어, 휴대기기 또는 호스팅된 서비스에서 실행할 수 있습니다.

이 가이드에서는 텍스트 생성을 위한 Gemma를 소개합니다. 특정 태스크 수행을 특화하도록 이러한 모델을 튜닝할 수도 있습니다.

이 문서에서 사용하는 데이터 세트는 b-mc2/sql-create-context입니다.

자세한 내용은 Gemma 문서를 참조하세요.

GPU

GPU를 사용하면 머신러닝 및 데이터 처리와 같이 노드에서 실행되는 특정 워크로드를 가속화할 수 있습니다. GKE는 NVIDIA H100, L4, A100 GPU가 있는 머신 유형을 포함하여 노드 구성에 사용되는 다양한 머신 유형 옵션을 제공합니다.

GKE에서 GPU를 사용하기 전에 다음 학습 과정을 완료하는 것이 좋습니다.

  1. 현재 GPU 버전 가용성 알아보기
  2. GKE의 GPU 알아보기

Hugging Face Transformers

Hugging Face의 Transformers 라이브러리를 사용하면 선행 학습된 최신 모델에 액세스할 수 있습니다. Transformers 라이브러리를 사용하면 전체 모델 학습과 관련된 시간, 리소스, 연산 비용을 줄일 수 있습니다.

이 튜토리얼에서는 Hugging Face API와 도구를 사용하여 이러한 선행 학습된 모델을 다운로드하고 파인 튜닝합니다.

목표

이 가이드는 H100, A100, L4 GPU 하드웨어에서 LLM을 파인 튜닝하기 위해 Kubernetes 컨테이너 조정 기능을 사용하는 데 관심이 있는 GKE의 신규 또는 기존 사용자, ML 엔지니어, MLOps(DevOps) 엔지니어, 플랫폼 관리자를 대상으로 합니다.

이 가이드를 마치면 다음 단계를 수행할 수 있습니다.

  1. Autopilot 모드의 GKE 클러스터로 환경을 준비합니다.
  2. 파인 튜닝 컨테이너를 만듭니다.
  3. GPU를 사용하여 Gemma 2B 모델을 파인 튜닝하고 모델을 Hugging Face에 업로드합니다.

시작하기 전에

  • Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  • In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  • Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  • Enable the required API.

    Enable the API

    •

  • In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  • Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  • Enable the required API.

    Enable the API

    •

  • 프로젝트에 다음 역할이 있는지 확인합니다. roles/container.admin, roles/iam.serviceAccountAdmin

    역할 확인

    1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

      IAM으로 이동
    2. 프로젝트를 선택합니다.

    3. 주 구성원 열에서 이메일 주소가 있는 행을 찾습니다.

      이메일 주소가 열에 없으면 역할이 없는 것입니다.

    4. 이메일 주소가 있는 행에 대해 역할 열에서 역할 목록에 필요한 역할이 있는지 확인합니다.

    역할 부여

    1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

      IAM으로 이동
    2. 프로젝트를 선택합니다.
    3. 액세스 권한 부여를 클릭합니다.
    4. 새 주 구성원 필드에 이메일 주소를 입력합니다.
    5. 역할 선택 목록에서 역할을 선택합니다.
    6. 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
    7. 저장을 클릭합니다.

모델 액세스 권한 얻기

GKE에 배포하기 위해 Gemma 모델에 액세스하려면 먼저 라이선스 동의 계약에 서명한 다음 Hugging Face 액세스 토큰을 생성해야 합니다.

Gemma를 사용하려면 동의 계약에 서명해야 합니다. 다음 안내를 따르세요.

  1. Kaggle.com의 모델 동의 페이지에 액세스합니다.
  2. Hugging Face 계정을 사용하여 동의를 확인합니다.
  3. 모델 약관에 동의합니다.

액세스 토큰 생성

Hugging Face를 통해 모델에 액세스하려면 Hugging Face 토큰이 필요합니다.

아직 토큰이 없으면 다음 단계에 따라 새 토큰을 생성합니다.

  1. 내 프로필 > 설정 > 액세스 토큰을 클릭합니다.
  2. 새 토큰을 선택합니다.
  3. 원하는 이름과 Write 이상의 역할을 지정합니다.
  4. 토큰 생성을 선택합니다.
  5. 클립보드에 생성된 토큰을 복사합니다.

개발 환경 준비

이 튜토리얼에서는 Cloud Shell을 사용하여 Google Cloud에서 호스팅되는 리소스를 관리합니다. Cloud Shell에는 kubectl 및 gcloud CLI를 포함하여 이 튜토리얼에 필요한 소프트웨어가 사전 설치되어 있습니다.

Cloud Shell로 환경을 설정하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔의 Google Cloud 콘솔에서 Cloud Shell 활성화 아이콘 Cloud Shell 활성화를 클릭하여 Cloud Shell 세션을 시작합니다. 그러면 Google Cloud 콘솔 하단 창에서 세션이 시작됩니다.

  2. 기본 환경 변수를 설정합니다.

    gcloud config set project PROJECT_ID
export PROJECT_ID=$(gcloud config get project)
export REGION=REGION
export CLUSTER_NAME=finetuning
export HF_TOKEN=HF_TOKEN
export HF_PROFILE=HF_PROFILE

    다음 값을 바꿉니다.

    • PROJECT_ID: Google Cloud 프로젝트 ID입니다.
    • REGION: 사용하려는 가속기 유형을 지원하는 리전(예: L4 GPU의 경우 us-central1)입니다.
    • HF_TOKEN: 앞에서 생성한 Hugging Face 토큰입니다.
    • HF_PROFILE: 앞에서 만든 Hugging Face 프로필 ID입니다.

  3. GitHub에서 샘플 코드 저장소를 클론합니다.

    git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples
cd kubernetes-engine-samples/ai-ml/llm-finetuning-gemma

Google Cloud 리소스 만들기 및 구성

다음 안내에 따라 필요한 리소스를 만듭니다.

GKE 클러스터 및 노드 풀 만들기

GPU를 활용하여 GKE Autopilot 또는 Standard 클러스터에서 Gemma를 제공할 수 있습니다. 완전 관리형 Kubernetes 환경을 위해서는 Autopilot을 사용하는 것이 좋습니다. 워크로드에 가장 적합한 GKE 작업 모드를 선택하려면 GKE 작업 모드 선택을 참조하세요.

Autopilot

Cloud Shell에서 다음 명령어를 실행합니다.

gcloud container clusters create-auto ${CLUSTER_NAME} \
  --project=${PROJECT_ID} \
  --region=${REGION} \
  --release-channel=rapid \
  --cluster-version=1.29

GKE는 배포된 워크로드의 요청에 따라 CPU 및 GPU 노드를 사용하여 Autopilot 클러스터를 만듭니다.

표준

  1. Cloud Shell에서 다음 명령어를 실행하여 Standard 클러스터를 만듭니다.

    gcloud container clusters create ${CLUSTER_NAME} \
  --project=${PROJECT_ID} \
  --region=${REGION} \
  --workload-pool=${PROJECT_ID}.svc.id.goog \
  --release-channel=rapid \
  --num-nodes=1

    클러스터 만들기는 몇 분 정도 걸릴 수 있습니다.

  2. 다음 명령어를 실행하여 클러스터에 대해 노드 풀을 만듭니다.

    gcloud container node-pools create gpupool \
  --accelerator type=nvidia-l4,count=8,gpu-driver-version=latest \
  --project=${PROJECT_ID} \
  --location=${REGION} \
  --node-locations=${REGION}-a \
  --cluster=${CLUSTER_NAME} \
  --machine-type=g2-standard-96 \
  --num-nodes=1

    GKE는 각 노드에 2개의 L4 GPU를 포함하는 단일 노드 풀을 만듭니다.

Hugging Face 사용자 인증 정보용 Kubernetes 보안 비밀 만들기

Cloud Shell에서 다음을 수행합니다.

  1. 클러스터와 통신하도록 kubectl을 구성합니다.

    gcloud container clusters get-credentials ${CLUSTER_NAME} --location=${REGION}

  2. Hugging Face 토큰이 포함된 Kubernetes 보안 비밀을 만듭니다.

    kubectl create secret generic hf-secret \
  --from-literal=hf_api_token=${HF_TOKEN} \
  --dry-run=client -o yaml | kubectl apply -f -

Docker 및 Cloud Build로 파인 튜닝 컨테이너 만들기

이 컨테이너는 PyTorch 및 Hugging Face Transformers 코드를 사용하여 기존의 선행 학습된 Gemma 모델을 파인 튜닝합니다.

  1. Artifact Registry Docker 저장소를 만듭니다.

    gcloud artifacts repositories create gemma \
    --project=${PROJECT_ID} \
    --repository-format=docker \
    --location=us \
    --description="Gemma Repo"

  2. 이미지 빌드 및 푸시

    gcloud builds submit .

  3. 이 튜토리얼의 뒷부분에서 사용할 수 있도록 IMAGE_URL을 내보냅니다.

    export IMAGE_URL=us-docker.pkg.dev/$PROJECT_ID/gemma/finetune-gemma-gpu:1.0.0

GKE에서 파인 튜닝 작업 실행

Gemma 파인 튜닝 작업을 배포합니다.

  1. finetune.yaml 파일을 엽니다.

    apiVersion: batch/v1
kind: Job
metadata:
  name: finetune-job
  namespace: default
spec:
  backoffLimit: 2
  template:
    metadata:
      annotations:
        kubectl.kubernetes.io/default-container: finetuner
    spec:
      terminationGracePeriodSeconds: 600
      containers:
      - name: finetuner
        image: $IMAGE_URL
        resources:
          limits:
            nvidia.com/gpu: "8"
        env:
        - name: MODEL_NAME
          value: "google/gemma-2b"
        - name: NEW_MODEL
          value: "gemma-2b-sql-finetuned"
        - name: LORA_R
          value: "8"
        - name: LORA_ALPHA
          value: "16"
        - name: TRAIN_BATCH_SIZE
          value: "1"
        - name: EVAL_BATCH_SIZE
          value: "2"
        - name: GRADIENT_ACCUMULATION_STEPS
          value: "2"
        - name: DATASET_LIMIT
          value: "1000"
        - name: MAX_SEQ_LENGTH
          value: "512"
        - name: LOGGING_STEPS
          value: "5"
        - name: HF_TOKEN
          valueFrom:
            secretKeyRef:
              name: hf-secret
              key: hf_api_token
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
      volumes:
      - name: dshm
        emptyDir:
          medium: Memory
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-l4
      restartPolicy: OnFailure

  2. 매니페스트를 적용하여 파인 튜닝 작업을 만듭니다.

    envsubst < finetune.yaml | kubectl apply -f -

    이 요청 사항에서는 IMAGE_URL을 파라미터의 변수로 바꿉니다.

  3. 다음 명령어를 실행하여 작업을 모니터링합니다.

    watch kubectl get pods

  4. 다음 명령어를 실행하여 작업 로그를 확인합니다.

    kubectl logs job.batch/finetune-job -f

    작업 리소스는 모델 데이터를 다운로드한 후 8개 GPU 모두에서 모델을 파인 튜닝합니다. 최대 20분이 걸릴 수 있습니다.

  5. 작업이 완료되면 Hugging Face 계정으로 이동합니다. Hugging Face 프로필에 $HF_PROFILE/gemma-2b-sql-finetuned라는 새 모델이 표시됩니다.

GKE에서 파인 튜닝된 모델 제공

이 섹션에서는 vLLM 컨테이너를 배포하여 Gemma 모델을 제공합니다.

  1. 다음 serve-gemma.yaml 매니페스트를 만듭니다.

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-gemma-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: gemma-server
  template:
    metadata:
      labels:
        app: gemma-server
        ai.gke.io/model: gemma-2b
        ai.gke.io/inference-server: vllm
        examples.ai.gke.io/source: user-guide
    spec:
      containers:
      - name: inference-server
        image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20240220_0936_RC01
        resources:
          requests:
            cpu: "2"
            memory: "7Gi"
            ephemeral-storage: "10Gi"
            nvidia.com/gpu: 1
          limits:
            cpu: "2"
            memory: "7Gi"
            ephemeral-storage: "10Gi"
            nvidia.com/gpu: 1
        command: ["python3", "-m", "vllm.entrypoints.api_server"]
        args:
        - --model=$(MODEL_ID)
        - --tensor-parallel-size=1
        env:
        - name: MODEL_ID
          value: google/gemma-2b
        - name: HUGGING_FACE_HUB_TOKEN
          valueFrom:
            secretKeyRef:
              name: hf-secret
              key: hf_api_token
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
      volumes:
      - name: dshm
        emptyDir:
            medium: Memory
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-l4
---
apiVersion: v1
kind: Service
metadata:
  name: llm-service
spec:
  selector:
    app: gemma-server
  type: ClusterIP
  ports:
    - protocol: TCP
      port: 8000
      targetPort: 8000

  2. 새 MODEL_ID의 환경 변수를 만듭니다. 

    export MODEL_ID=$HF_PROFILE/gemma-2b-sql-finetuned

  3. 매니페스트에서 MODEL_ID를 바꿉니다.

    sed -i "s|google/gemma-2b|$MODEL_ID|g" serve-gemma.yaml

  4. 매니페스트를 적용합니다.

    kubectl apply -f serve-gemma.yaml

    클러스터의 포드가 Hugging Face의 모델 가중치를 다운로드하고 제공 엔진을 시작합니다.

  5. 배포를 사용할 수 있을 때까지 기다립니다.

    kubectl wait --for=condition=Available --timeout=700s deployment/vllm-gemma-deployment

  6. 실행 중인 배포의 로그를 봅니다.

    kubectl logs -f -l app=gemma-finetune

배포 리소스는 모델 데이터를 다운로드합니다. 이 프로세스는 몇 분 정도 걸릴 수 있습니다. 출력은 다음과 비슷합니다.

INFO 01-26 19:02:54 model_runner.py:689] Graph capturing finished in 4 secs.
INFO:     Started server process [1]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

다음 섹션으로 이동하기 전에 모델이 완전히 다운로드되었는지 확인합니다.

모델 제공

이 섹션에서는 모델과 상호작용합니다.

포트 전달 설정

모델이 배포되면 다음 명령어를 실행하여 모델에 대한 포트 전달을 설정합니다.

kubectl port-forward service/llm-service 8000:8000

출력은 다음과 비슷합니다.

Forwarding from 127.0.0.1:8000 -> 8000

curl을 사용하여 모델과 상호작용

새 터미널 세션에서 curl을 사용해서 모델과 채팅합니다.

다음 예시 명령어는 TGI에 대한 명령어입니다.

USER_PROMPT="Question: What is the total number of attendees with age over 30 at kubecon eu? Context: CREATE TABLE attendees (name VARCHAR, age INTEGER, kubecon VARCHAR)"

curl -X POST http://localhost:8000/generate \
  -H "Content-Type: application/json" \
  -d @- <<EOF
{
    "prompt": "${USER_PROMPT}",
    "temperature": 0.1,
    "top_p": 1.0,
    "max_tokens": 24
}
EOF

다음 출력에는 모델 응답 예시가 표시됩니다.

{"generated_text":" Answer: SELECT COUNT(age) FROM attendees WHERE age > 30 AND kubecon = 'eu'\n"}

쿼리에 따라 더 나은 결과를 얻으려면 max_token을 변경해야 할 수 있습니다. 조정된 명령 모델을 사용하여 채팅 경험을 개선할 수도 있습니다.

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

배포된 리소스 삭제

이 가이드에서 만든 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 명령어를 실행합니다.

gcloud container clusters delete ${CLUSTER_NAME} \
  --region=${REGION}

다음 단계