이 페이지는 Cloud Translation API를 통해 번역되었습니다.

여러 GPU 노드를 사용하여 LLM(Llama3.1 405B) 서빙

Standard

개요

이 튜토리얼에서는 .vLLM 서빙 프레임워크와LeaderWorkerSet API를 사용하여 Google Kubernetes Engine(GKE)의 여러 노드에서 그래픽 처리 장치(GPU)를 사용해 Llama 3.1 405b를 서빙하는 방법을 보여줍니다.

이 문서는 AI/ML 워크로드를 배포하고 서빙할 때 관리형 Kubernetes의 세밀한 제어, 확장성, 복원력, 이동성, 비용 효율성이 필요한 경우 좋은 출발점이 될 수 있습니다.

LeaderWorkerSet(LWS)

LWS는 AI/ML 멀티 노드 추론 워크로드의 일반적인 배포 패턴을 해결하는 Kubernetes 배포 API입니다. LWS를 사용 설정하면 여러 포드를 그룹으로 취급할 수 있습니다.

vLLM을 사용한 멀티 호스트 서빙

단일 GPU 노드에 들어갈 수 없는 대규모 언어 모델을 배포할 때는 여러 GPU 노드를 사용하여 모델을 제공합니다. vLLM은 텐서 동시 로드와 파이프라인 동시 로드를 모두 지원하여 GPU에서 워크로드를 실행합니다.

텐서 병렬 처리는 트랜스포머 레이어의 행렬 곱셈을 여러 GPU로 분할합니다. 그러나 이 전략은 GPU 간에 필요한 통신으로 인해 빠른 네트워크가 필요하므로 노드 간 워크로드를 실행하는 데 적합하지 않습니다.

파이프라인 병렬 처리는 레이어별로 또는 수직으로 모델을 분할합니다. 이 전략은 GPU 간의 지속적인 통신이 필요하지 않으므로 여러 노드에서 모델을 실행할 때 더 나은 옵션입니다.

멀티 노드 서빙에서 두 전략을 모두 사용할 수 있습니다. 예를 들어 H100 GPU가 각각 8개인 노드 2개를 사용하는 경우 양방향 파이프라인 동시 로드를 사용하여 두 노드에 걸쳐 모델을 샤딩하고 8개 방향 텐서 동시 로드를 사용하여 각 노드의 8개 GPU에 걸쳐 모델을 샤딩할 수 있습니다.

목표

GKE Standard 클러스터를 준비합니다.
클러스터의 여러 노드에 vLLM을 배포합니다.
vLLM을 사용하여 curl을 통해 Llama3 405b 모델을 제공합니다.

시작하기 전에

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

Enable the required API.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

Enable the required API.

Enable the API

프로젝트에 다음 역할이 있는지 확인합니다. roles/container.admin, roles/iam.serviceAccountAdmin
역할 확인
1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.
  IAM으로 이동
2. 프로젝트를 선택합니다.
3. 주 구성원 열에서 이메일 주소가 있는 행을 찾습니다.
  
  이메일 주소가 열에 없으면 역할이 없는 것입니다.
4. 이메일 주소가 있는 행에 대해 역할 열에서 역할 목록에 필요한 역할이 있는지 확인합니다.
역할 부여
1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.
  IAM으로 이동
2. 프로젝트를 선택합니다.
3. 액세스 권한 부여를 클릭합니다.
4. 새 주 구성원 필드에 이메일 주소를 입력합니다.
5. 역할 선택 목록에서 역할을 선택합니다.
6. 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
7. 저장을 클릭합니다.

Hugging Face 계정이 없는 경우 만듭니다.
프로젝트에 GPU 할당량이 충분한지 확인합니다. 자세한 내용은 GPU 정보 및 배정 할당량을 참조하세요.

모델 액세스 권한 얻기

액세스 토큰 생성

아직 없으면 새 Hugging Face 토큰을 생성합니다.

내 프로필 > 설정 > 액세스 토큰을 클릭합니다.
새 토큰을 선택합니다.
원하는 이름과 Read 이상의 역할을 지정합니다.
토큰 생성을 선택합니다.

환경 준비

이 튜토리얼에서는 Cloud Shell을 사용하여 Google Cloud에서 호스팅되는 리소스를 관리합니다. Cloud Shell에는 kubectl 및 gcloud CLI를 포함하여 이 튜토리얼에 필요한 소프트웨어가 사전 설치되어 있습니다.

Cloud Shell로 환경을 설정하려면 다음 단계를 따르세요.

Google Cloud 콘솔의 Google Cloud 콘솔에서 Cloud Shell 활성화를 클릭하여 Cloud Shell 세션을 시작합니다. 그러면 Google Cloud 콘솔 하단 창에서 세션이 시작됩니다.
기본 환경 변수를 설정합니다.
```
gcloud config set project PROJECT_ID
export PROJECT_ID=$(gcloud config get project)
export CLUSTER_NAME=CLUSTER_NAME
export ZONE=ZONE
export HF_TOKEN=HUGGING_FACE_TOKEN
```
다음 값을 바꿉니다.
- PROJECT_ID: Google Cloud 프로젝트 ID입니다.
- CLUSTER_NAME: GKE 클러스터의 이름입니다.
- ZONE: H100을 지원하는 영역입니다.

GKE 클러스터 만들기

CPU 노드가 2개인 GKE Standard 클러스터를 만듭니다.

gcloud container clusters create CLUSTER_NAME \
    --project=PROJECT_ID \
    --num-nodes=2 \
    --location=ZONE \
    --machine-type=e2-standard-16

GPU 노드 풀 만들기

노드가 2개 있는 A3 노드 풀(각각 8개의 H100이 있는 경우)을 만듭니다.

gcloud container node-pools create gpu-nodepool \
    --location=ZONE \
    --num-nodes=2 \
    --machine-type=a3-highgpu-8g \
  --accelerator=type=nvidia-h100-80gb,count=8,gpu-driver-version=LATEST \
    --placement-type=COMPACT \
    --cluster=CLUSTER_NAME

클러스터와 통신하도록 `kubectl`을 구성합니다.

gcloud container clusters get-credentials CLUSTER_NAME --location=ZONE

Hugging Face 사용자 인증 정보용 Kubernetes 보안 비밀 만들기

Hugging Face 토큰이 포함된 Kubernetes 보안 비밀을 만듭니다.

kubectl create secret generic hf-secret \
  --from-literal=hf_api_token=${HF_TOKEN} \
  --dry-run=client -o yaml | kubectl apply -f -

LeaderWorkerSet 설치

LWS를 설치하려면 다음 명령어를 실행합니다.

VERSION=v0.3.0
kubectl apply --server-side -f https://github.com/kubernetes-sigs/lws/releases/download/$VERSION/manifests.yaml

LeaderWorkerSet 컨트롤러가 lws-system 네임스페이스에서 실행 중인지 확인합니다.

kubectl get pod -n lws-system

출력은 다음과 비슷합니다.

NAME                                      READY   STATUS    RESTARTS   AGE
lws-controller-manager-5c4ff67cbd-9jsfc   2/2     Running   0          6d23h

vLLM 모델 서버 배포

vLLM 모델 서버를 배포하려면 다음 단계를 수행합니다.

매니페스트 vllm-llama3-405b-A3.yaml을 검사합니다.


apiVersion: leaderworkerset.x-k8s.io/v1
kind: LeaderWorkerSet
metadata:
  name: vllm
spec:
  replicas: 1
  leaderWorkerTemplate:
    size: 2
    restartPolicy: RecreateGroupOnPodRestart
    leaderTemplate:
      metadata:
        labels:
          role: leader
      spec:
        containers:
          - name: vllm-leader
            image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20240821_1034_RC00
            env:
              - name: RAY_CLUSTER_SIZE
                valueFrom:
                  fieldRef:
                    fieldPath: metadata.annotations['leaderworkerset.sigs.k8s.io/size']
              - name: HUGGING_FACE_HUB_TOKEN
                valueFrom:
                  secretKeyRef:
                    name: hf-secret
                    key: hf_api_token
            command:
              - sh
              - -c
              - "/workspace/vllm/examples/ray_init.sh leader --ray_cluster_size=$RAY_CLUSTER_SIZE; 
                python3 -m vllm.entrypoints.openai.api_server --port 8080 --model meta-llama/Meta-Llama-3.1-405B-Instruct --tensor-parallel-size 8 --pipeline-parallel-size 2"
            resources:
              limits:
                nvidia.com/gpu: "8"
                memory: 1124Gi
                ephemeral-storage: 800Gi
              requests:
                ephemeral-storage: 800Gi
                cpu: 125
            ports:
              - containerPort: 8080
            readinessProbe:
              tcpSocket:
                port: 8080
              initialDelaySeconds: 15
              periodSeconds: 10
            volumeMounts:
              - mountPath: /dev/shm
                name: dshm
        volumes:
        - name: dshm
          emptyDir:
            medium: Memory
            sizeLimit: 15Gi
    workerTemplate:
      spec:
        containers:
          - name: vllm-worker
            image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20240821_1034_RC00
            command:
              - sh
              - -c
              - "/workspace/vllm/examples/ray_init.sh worker --ray_address=$(LWS_LEADER_ADDRESS)"
            resources:
              limits:
                nvidia.com/gpu: "8"
                memory: 1124Gi
                ephemeral-storage: 800Gi
              requests:
                ephemeral-storage: 800Gi
                cpu: 125
            env:
              - name: HUGGING_FACE_HUB_TOKEN
                valueFrom:
                  secretKeyRef:
                    name: hf-secret
                    key: hf_api_token
            volumeMounts:
              - mountPath: /dev/shm
                name: dshm   
        volumes:
        - name: dshm
          emptyDir:
            medium: Memory
            sizeLimit: 15Gi
---
apiVersion: v1
kind: Service
metadata:
  name: vllm-leader
spec:
  ports:
    - name: http
      port: 8080
      protocol: TCP
      targetPort: 8080
  selector:
    leaderworkerset.sigs.k8s.io/name: vllm
    role: leader
  type: ClusterIP

다음 명령어를 실행하여 매니페스트를 적용합니다.
```
kubectl apply -f vllm-llama3-405b-A3.yaml
```

실행 중인 모델 서버의 로그 보기

kubectl logs vllm-0 -c vllm-leader

출력은 다음과 비슷하게 표시됩니다.

INFO 08-09 21:01:34 api_server.py:297] Route: /detokenize, Methods: POST
INFO 08-09 21:01:34 api_server.py:297] Route: /v1/models, Methods: GET
INFO 08-09 21:01:34 api_server.py:297] Route: /version, Methods: GET
INFO 08-09 21:01:34 api_server.py:297] Route: /v1/chat/completions, Methods: POST
INFO 08-09 21:01:34 api_server.py:297] Route: /v1/completions, Methods: POST
INFO 08-09 21:01:34 api_server.py:297] Route: /v1/embeddings, Methods: POST
INFO:     Started server process [7428]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)

모델 제공

다음 명령어를 실행하여 모델에 대한 포트 전달을 설정합니다.

kubectl port-forward svc/vllm-leader 8080:8080

curl을 사용하여 모델과 상호작용

새 터미널에서 서버에 요청을 보냅니다.

curl http://localhost:8080/v1/completions \
-H "Content-Type: application/json" \
-d '{
    "model": "meta-llama/Meta-Llama-3.1-405B-Instruct",
    "prompt": "San Francisco is a",
    "max_tokens": 7,
    "temperature": 0
}'

출력은 다음과 비슷하게 표시됩니다.

{"id":"cmpl-0a2310f30ac3454aa7f2c5bb6a292e6c",
"object":"text_completion","created":1723238375,"model":"meta-llama/Meta-Llama-3.1-405B-Instruct","choices":[{"index":0,"text":" top destination for foodies, with","logprobs":null,"finish_reason":"length","stop_reason":null}],"usage":{"prompt_tokens":5,"total_tokens":12,"completion_tokens":7}}

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

배포된 리소스 삭제

이 가이드에서 만든 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 명령어를 실행합니다.

gcloud container clusters delete CLUSTER_NAME \
  --location=ZONE

다음 단계

GKE의 GPU 자세히 알아보기
vLLM GitHub 저장소 및 문서 살펴보기
LWS GitHub 저장소 살펴보기

여러 GPU 노드를 사용하여 LLM(Llama3.1 405B) 서빙

개요

LeaderWorkerSet(LWS)

vLLM을 사용한 멀티 호스트 서빙

목표

시작하기 전에

역할 확인

역할 부여

모델 액세스 권한 얻기

액세스 토큰 생성

환경 준비

GKE 클러스터 만들기

GPU 노드 풀 만들기

클러스터와 통신하도록 kubectl을 구성합니다.

Hugging Face 사용자 인증 정보용 Kubernetes 보안 비밀 만들기

LeaderWorkerSet 설치

vLLM 모델 서버 배포

모델 제공

curl을 사용하여 모델과 상호작용

삭제

배포된 리소스 삭제

다음 단계

클러스터와 통신하도록 `kubectl`을 구성합니다.