이 튜토리얼에서는 Ray Operator 부가기능 및 vLLM 제공 프레임워크를 사용하여 Google Kubernetes Engine (GKE)에서 Tensor Processing Unit (TPU)을 사용하여 대규모 언어 모델 (LLM)을 제공하는 방법을 보여줍니다.
이 튜토리얼에서는 다음과 같이 TPU v5e 또는 TPU Trillium (v6e)에서 LLM 모델을 제공할 수 있습니다.
- 단일 호스트 TPU v5e에서 Llama 3 8B 안내
- 단일 호스트 TPU v5e에서 Mistral 7B instruct v0.3
- 단일 호스트 TPU Trillium (v6e)의 Llama 3.1 70B
이 가이드는 vLLM이 있는 TPU에서 Kubernetes 컨테이너 조정 기능을 사용하여 Ray를 통해 모델을 제공하는 데 관심이 있는 생성형 AI 고객, 신규 및 기존 GKE 사용자, ML 엔지니어, MLOps (DevOps) 엔지니어, 플랫폼 관리자를 대상으로 합니다.
배경
이 섹션에서는 이 가이드에서 사용되는 주요 기술을 설명합니다.
GKE 관리형 Kubernetes 서비스
Google Cloud 는 AI/ML 워크로드의 배포 및 관리에 적합한 GKE를 비롯한 다양한 서비스를 제공합니다. GKE는 컨테이너화된 애플리케이션의 배포, 확장, 관리를 간소화하는 관리형 Kubernetes 서비스입니다. GKE는 확장 가능한 리소스, 분산 컴퓨팅, 효율적인 네트워킹을 비롯하여 LLM의 계산 요구사항을 처리하는 데 필요한 인프라를 제공합니다.
주요 Kubernetes 개념에 대해 자세히 알아보려면 Kubernetes 학습 시작하기를 참고하세요. GKE 및 GKE가 Kubernetes를 확장, 자동화, 관리하는 데 어떤 도움이 되는지 자세히 알아보려면 GKE 개요를 참고하세요.
Ray 연산자
GKE의 Ray Operator 부가기능은 머신러닝 워크로드의 제공, 학습, 미세 조정을 위한 엔드 투 엔드 AI/ML 플랫폼을 제공합니다. 이 튜토리얼에서는 Ray의 프레임워크인 Ray Serve를 사용하여 Hugging Face의 인기 LLM을 제공합니다.
TPU
TPU는 Google이 TensorFlow, PyTorch 및 JAX와 같은 프레임워크를 활용하여 빌드된 머신러닝 및 AI 모델을 가속화하는 데 사용하기 위해 커스텀 개발한 ASIC(application-specific integrated circuits)입니다.
이 튜토리얼에서는 지연 시간이 짧은 프롬프트를 제공하기 위한 각 모델 요구사항에 따라 구성된 TPU 토폴로지를 사용하여 TPU v5e 또는 TPU Trillium (v6e) 노드에서 LLM 모델을 제공하는 방법을 설명합니다.
vLLM
vLLM은 TPU의 제공 처리량을 늘릴 수 있는 고도로 최적화된 오픈소스 LLM 제공 프레임워크로 다음과 같은 기능을 제공합니다.
- PagedAttention으로 최적화된 Transformer구현
- 전체 제공 처리량을 개선하기 위한 연속적인 작업 일괄 처리
- 여러 GPU에서 텐서 동시 로드 및 분산 제공
자세한 내용은 vLLM 문서를 참고하세요.
목표
이 가이드는 다음 과정을 다룹니다.
- TPU 노드 풀이 있는 GKE 클러스터를 만듭니다.
- 단일 호스트 TPU 슬라이스로 RayCluster 커스텀 리소스를 배포합니다. GKE는 RayCluster 커스텀 리소스를 Kubernetes 포드로 배포합니다.
- LLM을 제공합니다.
- 모델과 상호작용합니다.
원하는 경우 Ray Serve 프레임워크에서 지원하는 다음과 같은 모델 서빙 리소스와 기법을 구성할 수 있습니다.
- RayService 커스텀 리소스를 배포합니다.
- 모델 컴포지션으로 여러 모델을 컴포지션합니다.
시작하기 전에
시작하기 전에 다음 태스크를 수행했는지 확인합니다.
- Google Kubernetes Engine API를 사용 설정합니다. Google Kubernetes Engine API 사용 설정
- 이 태스크에 Google Cloud CLI를 사용하려면 gcloud CLI를 설치한 후 초기화하세요. 이전에 gcloud CLI를 설치한 경우
gcloud components update를 실행하여 최신 버전을 가져옵니다.
- 아직 계정이 없다면 Hugging Face 계정을 만듭니다.
- Hugging Face 토큰이 있는지 확인합니다.
- 사용하려는 Hugging Face 모델에 대한 액세스 권한이 있어야 합니다. 일반적으로 계약에 서명하고 Hugging Face 모델 페이지에서 모델 소유자에게 액세스 권한을 요청하여 이 액세스 권한을 얻습니다.
개발 환경 준비
프로젝트에 단일 호스트 TPU v5e 또는 단일 호스트 TPU Trillium (v6e)에 Google Cloud 대한 충분한 할당량이 있는지 확인합니다. 할당량을 관리하려면 TPU 할당량을 참고하세요.
Google Cloud 콘솔에서 Cloud Shell 인스턴스를 시작합니다.
Cloud Shell 열기샘플 저장소를 클론합니다.
git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples.git cd kubernetes-engine-samples작업 디렉터리로 이동합니다.
cd ai-ml/gke-ray/rayserve/llmGKE 클러스터 생성을 위한 기본 환경 변수를 설정합니다.
Llama-3-8B-Instruct
export PROJECT_ID=$(gcloud config get project) export PROJECT_NUMBER=$(gcloud projects describe ${PROJECT_ID} --format="value(projectNumber)") export CLUSTER_NAME=vllm-tpu export COMPUTE_REGION=REGION export COMPUTE_ZONE=ZONE export HF_TOKEN=HUGGING_FACE_TOKEN export GSBUCKET=vllm-tpu-bucket export KSA_NAME=vllm-sa export NAMESPACE=default export MODEL_ID="meta-llama/Meta-Llama-3-8B-Instruct" export VLLM_IMAGE=docker.io/vllm/vllm-tpu:866fa4550d572f4ff3521ccf503e0df2e76591a1 export SERVICE_NAME=vllm-tpu-head-svc다음을 바꿉니다.
HUGGING_FACE_TOKEN: Hugging Face 액세스 토큰입니다.REGION: TPU 할당량이 있는 리전입니다. 이 지역에서 사용할 TPU 버전을 사용할 수 있는지 확인합니다. 자세한 내용은 GKE의 TPU 가용성을 참고하세요.ZONE: 사용 가능한 TPU 할당량이 있는 영역입니다.VLLM_IMAGE: vLLM TPU 이미지입니다. 공개docker.io/vllm/vllm-tpu:866fa4550d572f4ff3521ccf503e0df2e76591a1이미지를 사용하거나 자체 TPU 이미지를 빌드할 수 있습니다.
Mistral-7B
export PROJECT_ID=$(gcloud config get project) export PROJECT_NUMBER=$(gcloud projects describe ${PROJECT_ID} --format="value(projectNumber)") export CLUSTER_NAME=vllm-tpu export COMPUTE_REGION=REGION export COMPUTE_ZONE=ZONE export HF_TOKEN=HUGGING_FACE_TOKEN export GSBUCKET=vllm-tpu-bucket export KSA_NAME=vllm-sa export NAMESPACE=default export MODEL_ID="mistralai/Mistral-7B-Instruct-v0.3" export TOKENIZER_MODE=mistral export VLLM_IMAGE=docker.io/vllm/vllm-tpu:866fa4550d572f4ff3521ccf503e0df2e76591a1 export SERVICE_NAME=vllm-tpu-head-svc다음을 바꿉니다.
HUGGING_FACE_TOKEN: Hugging Face 액세스 토큰입니다.REGION: TPU 할당량이 있는 리전입니다. 이 리전에서 사용할 TPU 버전을 사용할 수 있는지 확인합니다. 자세한 내용은 GKE의 TPU 가용성을 참고하세요.ZONE: 사용 가능한 TPU 할당량이 있는 영역입니다.VLLM_IMAGE: vLLM TPU 이미지입니다. 공개docker.io/vllm/vllm-tpu:866fa4550d572f4ff3521ccf503e0df2e76591a1이미지를 사용하거나 자체 TPU 이미지를 빌드할 수 있습니다.
Llama 3.1 70B
export PROJECT_ID=$(gcloud config get project) export PROJECT_NUMBER=$(gcloud projects describe ${PROJECT_ID} --format="value(projectNumber)") export CLUSTER_NAME=vllm-tpu export COMPUTE_REGION=REGION export COMPUTE_ZONE=ZONE export HF_TOKEN=HUGGING_FACE_TOKEN export GSBUCKET=vllm-tpu-bucket export KSA_NAME=vllm-sa export NAMESPACE=default export MODEL_ID="meta-llama/Llama-3.1-70B" export MAX_MODEL_LEN=8192 export VLLM_IMAGE=docker.io/vllm/vllm-tpu:866fa4550d572f4ff3521ccf503e0df2e76591a1 export SERVICE_NAME=vllm-tpu-head-svc다음을 바꿉니다.
HUGGING_FACE_TOKEN: Hugging Face 액세스 토큰입니다.REGION: TPU 할당량이 있는 리전입니다. 이 리전에서 사용할 TPU 버전을 사용할 수 있는지 확인합니다. 자세한 내용은 GKE의 TPU 가용성을 참고하세요.ZONE: 사용 가능한 TPU 할당량이 있는 영역입니다.VLLM_IMAGE: vLLM TPU 이미지입니다. 공개docker.io/vllm/vllm-tpu:866fa4550d572f4ff3521ccf503e0df2e76591a1이미지를 사용하거나 자체 TPU 이미지를 빌드할 수 있습니다.
vLLM 컨테이너 이미지를 가져옵니다.
docker pull ${VLLM_IMAGE}
클러스터 만들기
Ray Operator 부가기능을 사용하여 GKE Autopilot 또는 Standard 클러스터에서 Ray를 사용하여 TPU로 LLM을 제공할 수 있습니다.
완전 관리형 Kubernetes 환경을 위해서는 Autopilot 클러스터를 사용하는 것이 좋습니다. 워크로드에 가장 적합한 GKE 작업 모드를 선택하려면 GKE 작업 모드 선택을 참조하세요.
Cloud Shell을 사용하여 Autopilot 또는 Standard 클러스터를 만듭니다.
Autopilot
Ray Operator 부가기능이 사용 설정된 GKE Autopilot 클러스터를 만듭니다.
gcloud container clusters create-auto ${CLUSTER_NAME} \ --enable-ray-operator \ --release-channel=rapid \ --location=${COMPUTE_REGION}
표준
다음과 같이 Ray 연산자 부가기능이 사용 설정된 표준 클러스터를 만듭니다.
gcloud container clusters create ${CLUSTER_NAME} \ --release-channel=rapid \ --location=${COMPUTE_ZONE} \ --workload-pool=${PROJECT_ID}.svc.id.goog \ --machine-type="n1-standard-4" \ --addons=RayOperator,GcsFuseCsiDriver다음과 같이 단일 호스트 TPU 슬라이스 노드 풀을 만듭니다.
Llama-3-8B-Instruct
gcloud container node-pools create tpu-1 \ --location=${COMPUTE_ZONE} \ --cluster=${CLUSTER_NAME} \ --machine-type=ct5lp-hightpu-8t \ --num-nodes=1GKE는
ct5lp-hightpu-8t머신 유형으로 TPU v5e 노드 풀을 만듭니다.Mistral-7B
gcloud container node-pools create tpu-1 \ --location=${COMPUTE_ZONE} \ --cluster=${CLUSTER_NAME} \ --machine-type=ct5lp-hightpu-8t \ --num-nodes=1GKE는
ct5lp-hightpu-8t머신 유형으로 TPU v5e 노드 풀을 만듭니다.Llama 3.1 70B
gcloud container node-pools create tpu-1 \ --location=${COMPUTE_ZONE} \ --cluster=${CLUSTER_NAME} \ --machine-type=ct6e-standard-8t \ --num-nodes=1GKE는
ct6e-standard-8t머신 유형으로 TPU v6e 노드 풀을 만듭니다.
클러스터와 통신하도록 kubectl 구성
클러스터와 통신하도록 kubectl을 구성하려면 다음 명령어를 실행합니다.
Autopilot
gcloud container clusters get-credentials ${CLUSTER_NAME} \
--location=${COMPUTE_REGION}
표준
gcloud container clusters get-credentials ${CLUSTER_NAME} \
--location=${COMPUTE_ZONE}
Hugging Face 사용자 인증 정보용 Kubernetes 보안 비밀 만들기
Hugging Face 토큰이 포함된 Kubernetes 보안 비밀을 만들려면 다음 명령어를 실행합니다.
kubectl create secret generic hf-secret \
--from-literal=hf_api_token=${HF_TOKEN} \
--dry-run=client -o yaml | kubectl --namespace ${NAMESPACE} apply -f -
Cloud Storage 버킷 만들기
vLLM 배포 시작 시간을 가속화하고 노드당 필요한 디스크 공간을 최소화하려면 Cloud Storage FUSE CSI 드라이버를 사용하여 다운로드한 모델과 컴파일 캐시를 Ray 노드에 마운트합니다.
Cloud Shell에서 다음 명령어를 실행합니다.
gcloud storage buckets create gs://${GSBUCKET} \
--uniform-bucket-level-access
이 명령어는 Hugging Face에서 다운로드한 모델 파일을 저장할 Cloud Storage 버킷을 만듭니다.
버킷에 액세스할 Kubernetes ServiceAccount 설정
Kubernetes ServiceAccount를 만듭니다.
kubectl create serviceaccount ${KSA_NAME} \ --namespace ${NAMESPACE}Kubernetes ServiceAccount에 Cloud Storage 버킷에 대한 읽기/쓰기 액세스 권한을 부여합니다.
gcloud storage buckets add-iam-policy-binding gs://${GSBUCKET} \ --member "principal://iam.googleapis.com/projects/${PROJECT_NUMBER}/locations/global/workloadIdentityPools/${PROJECT_ID}.svc.id.goog/subject/ns/${NAMESPACE}/sa/${KSA_NAME}" \ --role "roles/storage.objectUser"GKE는 LLM에 다음 리소스를 만듭니다.
- 다운로드된 모델과 컴파일 캐시를 저장할 Cloud Storage 버킷 Cloud Storage FUSE CSI 드라이버가 버킷의 콘텐츠를 읽습니다.
- 파일 캐싱이 사용 설정된 볼륨 및 Cloud Storage FUSE의 병렬 다운로드 기능
권장사항: 가중치 파일과 같이 예상되는 모델 콘텐츠 크기에 따라
tmpfs또는Hyperdisk / Persistent Disk로 지원되는 파일 캐시를 사용합니다. 이 튜토리얼에서는 RAM으로 지원되는 Cloud Storage FUSE 파일 캐시를 사용합니다.
RayCluster 커스텀 리소스 배포
일반적으로 하나의 시스템 포드와 여러 작업자 포드로 구성된 RayCluster 커스텀 리소스를 배포합니다.
Llama-3-8B-Instruct
다음 단계를 완료하여 Llama 3 8B 명령어 조정 모델을 배포할 RayCluster 커스텀 리소스를 만듭니다.
ray-cluster.tpu-v5e-singlehost.yaml매니페스트를 검사합니다.매니페스트를 적용합니다.
envsubst < tpu/ray-cluster.tpu-v5e-singlehost.yaml | kubectl --namespace ${NAMESPACE} apply -f -envsubst명령어는 매니페스트의 환경 변수를 대체합니다.
GKE는 2x4 토폴로지에 TPU v5e 단일 호스트가 포함된 workergroup를 사용하여 RayCluster 커스텀 리소스를 만듭니다.
Mistral-7B
다음 단계를 완료하여 Mistral-7B 모델을 배포할 RayCluster 맞춤 리소스를 만듭니다.
ray-cluster.tpu-v5e-singlehost.yaml매니페스트를 검사합니다.매니페스트를 적용합니다.
envsubst < tpu/ray-cluster.tpu-v5e-singlehost.yaml | kubectl --namespace ${NAMESPACE} apply -f -envsubst명령어는 매니페스트의 환경 변수를 대체합니다.
GKE는 2x4 토폴로지에 TPU v5e 단일 호스트가 포함된 workergroup를 사용하여 RayCluster 커스텀 리소스를 만듭니다.
Llama 3.1 70B
다음 단계를 완료하여 Llama 3.1 70B 모델을 배포할 RayCluster 커스텀 리소스를 만듭니다.
ray-cluster.tpu-v6e-singlehost.yaml매니페스트를 검사합니다.매니페스트를 적용합니다.
envsubst < tpu/ray-cluster.tpu-v6e-singlehost.yaml | kubectl --namespace ${NAMESPACE} apply -f -envsubst명령어는 매니페스트의 환경 변수를 대체합니다.
GKE는 2x4 토폴로지에 TPU v6e 단일 호스트가 포함된 workergroup를 사용하여 RayCluster 커스텀 리소스를 만듭니다.
RayCluster 커스텀 리소스에 연결
RayCluster 커스텀 리소스가 생성되면 RayCluster 리소스에 연결하고 모델 서빙을 시작할 수 있습니다.
GKE에서 RayCluster 서비스가 생성되었는지 확인합니다.
kubectl --namespace ${NAMESPACE} get raycluster/vllm-tpu \ --output wide출력은 다음과 비슷합니다.
NAME DESIRED WORKERS AVAILABLE WORKERS CPUS MEMORY GPUS TPUS STATUS AGE HEAD POD IP HEAD SERVICE IP vllm-tpu 1 1 ### ###G 0 8 ready ### ###.###.###.### ###.###.###.###STATUS가ready이고HEAD POD IP및HEAD SERVICE IP열에 IP 주소가 있을 때까지 기다립니다.Ray 헤드에 대한
port-forwarding세션을 설정합니다.pkill -f "kubectl .* port-forward .* 8265:8265" pkill -f "kubectl .* port-forward .* 10001:10001" kubectl --namespace ${NAMESPACE} port-forward service/${SERVICE_NAME} 8265:8265 2>&1 >/dev/null & kubectl --namespace ${NAMESPACE} port-forward service/${SERVICE_NAME} 10001:10001 2>&1 >/dev/null &Ray 클라이언트가 원격 RayCluster 맞춤 리소스에 연결할 수 있는지 확인합니다.
docker run --net=host -it ${VLLM_IMAGE} \ ray list nodes --address http://localhost:8265출력은 다음과 비슷합니다.
======== List: YYYY-MM-DD HH:MM:SS.NNNNNN ======== Stats: ------------------------------ Total: 2 Table: ------------------------------ NODE_ID NODE_IP IS_HEAD_NODE STATE STATE_MESSAGE NODE_NAME RESOURCES_TOTAL LABELS 0 XXXXXXXXXX ###.###.###.### True ALIVE ###.###.###.### CPU: 2.0 ray.io/node_id: XXXXXXXXXX memory: #.### GiB node:###.###.###.###: 1.0 node:__internal_head__: 1.0 object_store_memory: #.### GiB 1 XXXXXXXXXX ###.###.###.### False ALIVE ###.###.###.### CPU: 100.0 ray.io/node_id: XXXXXXXXXX TPU: 8.0 TPU-v#e-8-head: 1.0 accelerator_type:TPU-V#E: 1.0 memory: ###.### GiB node:###.###.###.###: 1.0 object_store_memory: ##.### GiB tpu-group-0: 1.0
vLLM으로 모델 배포
vLLM을 사용하여 모델을 배포합니다.
Llama-3-8B-Instruct
docker run \
--env MODEL_ID=${MODEL_ID} \
--net=host \
--volume=./tpu:/workspace/vllm/tpu \
-it \
${VLLM_IMAGE} \
serve run serve_tpu:model \
--address=ray://localhost:10001 \
--app-dir=./tpu \
--runtime-env-json='{"env_vars": {"MODEL_ID": "meta-llama/Meta-Llama-3-8B-Instruct"}}'
Mistral-7B
docker run \
--env MODEL_ID=${MODEL_ID} \
--env TOKENIZER_MODE=${TOKENIZER_MODE} \
--net=host \
--volume=./tpu:/workspace/vllm/tpu \
-it \
${VLLM_IMAGE} \
serve run serve_tpu:model \
--address=ray://localhost:10001 \
--app-dir=./tpu \
--runtime-env-json='{"env_vars": {"MODEL_ID": "mistralai/Mistral-7B-Instruct-v0.3", "TOKENIZER_MODE": "mistral"}}'
Llama 3.1 70B
docker run \
--env MAX_MODEL_LEN=${MAX_MODEL_LEN} \
--env MODEL_ID=${MODEL_ID} \
--net=host \
--volume=./tpu:/workspace/vllm/tpu \
-it \
${VLLM_IMAGE} \
serve run serve_tpu:model \
--address=ray://localhost:10001 \
--app-dir=./tpu \
--runtime-env-json='{"env_vars": {"MAX_MODEL_LEN": "8192", "MODEL_ID": "meta-llama/Meta-Llama-3.1-70B"}}'
Ray 대시보드 보기
Ray 대시보드에서 Ray Serve 배포 및 관련 로그를 볼 수 있습니다.
- Cloud Shell 작업 표시줄의 오른쪽 상단에 있는
웹 미리보기 버튼을 클릭합니다. - 포트 변경을 클릭하고 포트 번호를
8265로 설정합니다. - 변경 및 미리보기를 클릭합니다.
- Ray 대시보드에서 Serve 탭을 클릭합니다.
Serve 배포의 상태가 HEALTHY이면 모델이 입력 처리를 시작할 준비가 된 것입니다.
모델 제공
이 가이드에서는 프롬프트에서 텍스트 콘텐츠를 만들 수 있는 기술인 텍스트 생성을 지원하는 모델을 강조 표시합니다.
Llama-3-8B-Instruct
서버로의 포트 전달을 설정합니다.
pkill -f "kubectl .* port-forward .* 8000:8000" kubectl --namespace ${NAMESPACE} port-forward service/${SERVICE_NAME} 8000:8000 2>&1 >/dev/null &Serve 엔드포인트에 프롬프트를 전송합니다.
curl -X POST http://localhost:8000/v1/generate -H "Content-Type: application/json" -d '{"prompt": "What are the top 5 most popular programming languages? Be brief.", "max_tokens": 1024}'
Mistral-7B
서버에 대한 포트 전달을 설정합니다.
pkill -f "kubectl .* port-forward .* 8000:8000" kubectl --namespace ${NAMESPACE} port-forward service/${SERVICE_NAME} 8000:8000 2>&1 >/dev/null &Serve 엔드포인트에 프롬프트를 전송합니다.
curl -X POST http://localhost:8000/v1/generate -H "Content-Type: application/json" -d '{"prompt": "What are the top 5 most popular programming languages? Be brief.", "max_tokens": 1024}'
Llama 3.1 70B
서버에 대한 포트 전달을 설정합니다.
pkill -f "kubectl .* port-forward .* 8000:8000" kubectl --namespace ${NAMESPACE} port-forward service/${SERVICE_NAME} 8000:8000 2>&1 >/dev/null &Serve 엔드포인트에 프롬프트를 전송합니다.
curl -X POST http://localhost:8000/v1/generate -H "Content-Type: application/json" -d '{"prompt": "What are the top 5 most popular programming languages? Be brief.", "max_tokens": 1024}'
추가 구성
원하는 경우 Ray Serve 프레임워크에서 지원하는 다음과 같은 모델 서빙 리소스와 기법을 구성할 수 있습니다.
- RayService 커스텀 리소스 배포 이 튜토리얼의 이전 단계에서는 RayService 대신 RayCluster를 사용했습니다. 프로덕션 환경에는 RayService를 사용하는 것이 좋습니다.
- 모델 구성으로 여러 모델 구성 Ray Serve 프레임워크에서 지원하는 모델 다중화 및 모델 구성을 구성합니다. 모델 컴포지션을 사용하면 여러 LLM에서 입력과 출력을 연결하고 모델을 단일 애플리케이션으로 확장할 수 있습니다.
- 자체 TPU 이미지를 빌드하고 배포합니다. Docker 이미지의 콘텐츠를 더 세부적으로 제어해야 하는 경우 이 옵션을 사용하는 것이 좋습니다.
RayService 배포
RayService 커스텀 리소스를 사용하여 이 튜토리얼과 동일한 모델을 배포할 수 있습니다.
이 튜토리얼에서 만든 RayCluster 맞춤 리소스를 삭제합니다.
kubectl --namespace ${NAMESPACE} delete raycluster/vllm-tpu모델을 배포할 RayService 커스텀 리소스를 만듭니다.
Llama-3-8B-Instruct
ray-service.tpu-v5e-singlehost.yaml매니페스트를 검사합니다.매니페스트를 적용합니다.
envsubst < tpu/ray-service.tpu-v5e-singlehost.yaml | kubectl --namespace ${NAMESPACE} apply -f -envsubst명령어는 매니페스트의 환경 변수를 대체합니다.GKE는
2x4토폴로지에 TPU v5e 단일 호스트가 포함된workergroup로 RayService를 만듭니다.
Mistral-7B
ray-service.tpu-v5e-singlehost.yaml매니페스트를 검사합니다.매니페스트를 적용합니다.
envsubst < tpu/ray-service.tpu-v5e-singlehost.yaml | kubectl --namespace ${NAMESPACE} apply -f -envsubst명령어는 매니페스트의 환경 변수를 대체합니다.GKE는
2x4토폴로지에 TPU v5e 단일 호스트가 포함된workergroup를 사용하여 RayService를 만듭니다.
Llama 3.1 70B
ray-service.tpu-v6e-singlehost.yaml매니페스트를 검사합니다.매니페스트를 적용합니다.
envsubst < tpu/ray-service.tpu-v6e-singlehost.yaml | kubectl --namespace ${NAMESPACE} apply -f -envsubst명령어는 매니페스트의 환경 변수를 대체합니다.
GKE는 Ray Serve 애플리케이션이 배포되고 후속 RayService 커스텀 리소스가 생성되는 RayCluster 커스텀 리소스를 만듭니다.
RayService 리소스의 상태를 확인합니다.
kubectl --namespace ${NAMESPACE} get rayservices/vllm-tpu서비스 상태가
Running로 변경될 때까지 기다립니다.NAME SERVICE STATUS NUM SERVE ENDPOINTS vllm-tpu Running 1RayCluster 헤드 서비스의 이름을 가져옵니다.
SERVICE_NAME=$(kubectl --namespace=${NAMESPACE} get rayservices/vllm-tpu \ --template={{.status.activeServiceStatus.rayClusterStatus.head.serviceName}})Ray 헤드에 대한
port-forwarding세션을 설정하여 Ray 대시보드를 봅니다.pkill -f "kubectl .* port-forward .* 8265:8265" kubectl --namespace ${NAMESPACE} port-forward service/${SERVICE_NAME} 8265:8265 2>&1 >/dev/null &RayService 리소스를 삭제합니다.
kubectl --namespace ${NAMESPACE} delete rayservice/vllm-tpu
모델 컴포지션으로 여러 모델 컴포지션
모델 컴포지션은 여러 모델을 단일 애플리케이션으로 구성하는 기법입니다.
이 섹션에서는 GKE 클러스터를 사용하여 Llama 3 8B IT 및 Gemma 7B IT라는 두 모델을 단일 애플리케이션으로 구성합니다.
- 첫 번째 모델은 프롬프트에서 질문에 답하는 어시스턴트 모델입니다.
- 두 번째 모델은 요약 도구 모델입니다. 어시스턴트 모델의 출력은 요약 도구 모델의 입력에 연결됩니다. 최종 결과는 어시스턴트 모델의 응답을 요약한 버전입니다.
환경 설정:
export ASSIST_MODEL_ID=meta-llama/Meta-Llama-3-8B-Instruct export SUMMARIZER_MODEL_ID=google/gemma-7b-it표준 클러스터의 경우 단일 호스트 TPU 슬라이스 노드 풀을 추가로 만듭니다.
gcloud container node-pools create tpu-2 \ --location=${COMPUTE_ZONE} \ --cluster=${CLUSTER_NAME} \ --machine-type=MACHINE_TYPE \ --num-nodes=1MACHINE_TYPE를 다음 머신 유형 중 하나로 바꿉니다.ct5lp-hightpu-8t를 사용하여 TPU v5e를 프로비저닝합니다.ct6e-standard-8t를 사용하여 TPU v6e를 프로비저닝합니다.
Autopilot 클러스터는 필요한 노드를 자동으로 프로비저닝합니다.
사용할 TPU 버전에 따라 RayService 리소스를 배포합니다.
TPU v5e
ray-service.tpu-v5e-singlehost.yaml매니페스트를 검사합니다.매니페스트를 적용합니다.
envsubst < model-composition/ray-service.tpu-v5e-singlehost.yaml | kubectl --namespace ${NAMESPACE} apply -f -
TPU v6e
ray-service.tpu-v6e-singlehost.yaml매니페스트를 검사합니다.매니페스트를 적용합니다.
envsubst < model-composition/ray-service.tpu-v6e-singlehost.yaml | kubectl --namespace ${NAMESPACE} apply -f -
RayService 리소스의 상태가
Running으로 변경될 때까지 기다립니다.kubectl --namespace ${NAMESPACE} get rayservice/vllm-tpu출력은 다음과 비슷합니다.
NAME SERVICE STATUS NUM SERVE ENDPOINTS vllm-tpu Running 2이 출력에서
RUNNING상태는 RayService 리소스가 준비되었음을 나타냅니다.GKE가 Ray Serve 애플리케이션에 대해 서비스를 생성했는지 확인합니다.
kubectl --namespace ${NAMESPACE} get service/vllm-tpu-serve-svc출력은 다음과 비슷합니다.
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE vllm-tpu-serve-svc ClusterIP ###.###.###.### <none> 8000/TCP ###Ray 헤드에 대한
port-forwarding세션을 설정합니다.pkill -f "kubectl .* port-forward .* 8000:8000" kubectl --namespace ${NAMESPACE} port-forward service/vllm-tpu-serve-svc 8000:8000 2>&1 >/dev/null &모델에 요청을 보냅니다.
curl -X POST http://localhost:8000/ -H "Content-Type: application/json" -d '{"prompt": "What is the most popular programming language for machine learning and why?", "max_tokens": 1000}'출력은 다음과 비슷합니다.
{"text": [" used in various data science projects, including building machine learning models, preprocessing data, and visualizing results.\n\nSure, here is a single sentence summarizing the text:\n\nPython is the most popular programming language for machine learning and is widely used in data science projects, encompassing model building, data preprocessing, and visualization."]}
TPU 이미지 빌드 및 배포
이 튜토리얼에서는 vLLM의 호스팅된 TPU 이미지를 사용합니다. vLLM은 TPU 종속 항목이 포함된 필수 PyTorch XLA 이미지 위에 vLLM을 빌드하는 Dockerfile.tpu 이미지를 제공합니다. 하지만 Docker 이미지의 콘텐츠를 더 세부적으로 제어하기 위해 자체 TPU 이미지를 빌드하고 배포할 수도 있습니다.
이 가이드의 컨테이너 이미지를 저장할 Docker 저장소를 만듭니다.
gcloud artifacts repositories create vllm-tpu --repository-format=docker --location=${COMPUTE_REGION} && \ gcloud auth configure-docker ${COMPUTE_REGION}-docker.pkg.devvLLM 저장소를 클론합니다.
git clone https://github.com/vllm-project/vllm.git cd vllm이미지를 빌드합니다.
docker build -f Dockerfile.tpu . -t vllm-tpuArtifact Registry 이름으로 TPU 이미지에 태그를 지정합니다.
export VLLM_IMAGE=${COMPUTE_REGION}-docker.pkg.dev/${PROJECT_ID}/vllm-tpu/vllm-tpu:TAG docker tag vllm-tpu ${VLLM_IMAGE}TAG를 정의하려는 태그 이름으로 바꿉니다. 태그를 지정하지 않으면 Docker는 기본 최신 태그를 적용합니다.이미지를 Artifact Registry로 내보냅니다.
docker push ${VLLM_IMAGE}
개별 리소스 삭제
기존 프로젝트를 사용한 경우 삭제하지 않으려면 개별 리소스를 삭제하면 됩니다.
RayCluster 커스텀 리소스를 삭제합니다.
kubectl --namespace ${NAMESPACE} delete rayclusters vllm-tpuCloud Storage 버킷을 삭제합니다.
gcloud storage rm -r gs://${GSBUCKET}Artifact Registry 저장소를 삭제합니다.
gcloud artifacts repositories delete vllm-tpu \ --location=${COMPUTE_REGION}다음과 같이 클러스터를 삭제합니다.
gcloud container clusters delete ${CLUSTER_NAME} \ --location=LOCATIONLOCATION를 다음 환경 변수 중 하나로 바꿉니다.- Autopilot 클러스터의 경우
COMPUTE_REGION을 사용합니다. - 표준 클러스터의 경우
COMPUTE_ZONE을 사용합니다.
- Autopilot 클러스터의 경우
프로젝트 삭제
새 프로젝트에 튜토리얼을 배포했고 Google Cloud 프로젝트가 더 이상 필요하지 않으면 다음 단계에 따라 이를 삭제합니다.
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
다음 단계
- GKE 플랫폼 조정 기능으로 최적화된 AI/ML 워크로드를 실행하는 방법 알아보기
- GitHub의 샘플 코드를 확인하여 GKE에서 Ray Serve를 사용하는 방법을 알아보세요.
- GKE의 Ray 클러스터에 대한 로그 및 측정항목 수집 및 보기의 단계를 완료하여 GKE에서 실행되는 Ray 클러스터의 측정항목을 수집하고 보는 방법을 알아보세요.