이 가이드에서는 Saxml을 사용해서 Google Kubernetes Engine(GKE)에서 Tensor Processing Unit(TPU)을 사용하는 Gemma 개방형 모델 대규모 언어 모델(LLM)을 제공하는 방법을 보여줍니다. 이 가이드에서는 2B 및 7B 매개변수 명령이 조정된 Gemma 모델을 Cloud Storage에 다운로드하고 Saxml을 실행하는 컨테이너를 사용하여 GKE Standard 클러스터에 배포합니다.
이 가이드는 Saxml에 모델을 배포할 때 Kubernetes 기능에서 제공하는 확장성, 복원력, 비용 효율성이 필요한 경우 좋은 출발점이 될 수 있습니다.
ML 모델을 비용 효율적으로 빠르게 빌드하고 제공할 수 있는 통합 관리형 AI 플랫폼이 필요한 경우 Vertex AI 배포 솔루션을 사용하는 것이 좋습니다.
배경
Saxml을 사용해서 GKE에서 TPU를 사용하는 Gemma를 제공하면 효율적인 확장성 및 더 높은 가용성을 비롯하여 관리형 Kubernetes의 모든 이점을 갖춘 강력한 프로덕션에 즉시 사용 가능한 추론 제공 솔루션을 구현할 수 있습니다. 이 섹션에서는 튜토리얼에서 사용되는 주요 기술을 설명합니다.
Gemma
Gemma는 오픈 라이선스로 출시된 공개적으로 사용 가능한 가벼운 생성형 AI 모델의 집합입니다. 이러한 AI 모델은 애플리케이션, 하드웨어, 휴대기기 또는 호스팅된 서비스에서 실행할 수 있습니다. 텍스트 생성에 Gemma 모델을 사용하고 특수한 태스크를 위해 이러한 모델을 조정할 수도 있습니다.
자세한 내용은 Gemma 문서를 참조하세요.
TPU
TPU는 Google에서 커스텀 개발한 ASIC(application-specific integrated circuits)로서 TensorFlow, PyTorch, JAX와 같은 데이터 처리 프레임워크를 가속화하는 데 사용됩니다.
GKE에서 TPU를 사용하기 전에 다음 학습 과정을 완료하는 것이 좋습니다.
- Cloud TPU 시스템 아키텍처를 사용하는 현재 TPU 버전 가용성 알아보기
- GKE의 TPU 알아보기
이 튜토리얼은 Gemma 2B 및 Gemma 7B 모델을 사용합니다. GKE는 다음과 같은 단일 호스트 TPU v5e 노드 풀에서 이러한 모델을 호스팅합니다.
- Gemma 2B: 하나의 TPU 칩을 나타내는
1x1토폴로지가 있는 TPU v5e 노드 풀에서 호스팅되는 명령 조정 모델입니다. 노드의 머신 유형은ct5lp-hightpu-1t입니다. - Gemma 7B: 4개의 TPU 칩을 나타내는
2x2토폴로지가 있는 TPU v5e 노드 풀에서 호스팅되는 명령 조정 모델입니다. 노드의 머신 유형은ct5lp-hightpu-4t입니다.
Saxml
Saxml은 추론을 위해 Paxml, JAX, PyTorch 모델을 제공하는 실험용 시스템입니다. Saxml 시스템에는 다음 구성요소가 포함됩니다.
- Saxml 셀 또는 Sax 클러스터: 관리 서버와 모델 서버 그룹이 포함됩니다. 관리 서버는 모델 서버를 추적하고 게시된 모델을 제공할 모델 서버에 할당하며 클라이언트가 특정 게시된 모델을 제공하는 모델 서버를 찾을 수 있도록 지원합니다.
- Saxml 클라이언트: Saxml 시스템을 위한 사용자 대상 프로그래밍 인터페이스가 포함됩니다. Saxml 클라이언트에는 명령줄 도구(saxutil) 및 Python, C++, Go의 클라이언트 라이브러리 모음이 포함되어 있습니다.
이 튜토리얼에서는 Saxml HTTP 서버도 사용합니다. Saxml HTTP 서버는 Saxml Python 클라이언트 라이브러리를 캡슐화하고 REST API를 노출하여 Saxml 시스템과 상호 작용하는 커스텀 HTTP 서버입니다. REST API에는 모델을 게시, 나열, 게시 취소하고 예측을 생성하는 엔드포인트가 포함됩니다.
목표
이 튜토리얼은 JAX를 사용하는 생성형 AI 고객, Gemma 서빙을 위해 Kubernetes 컨테이너 조정 기능을 사용하려는 GKE의 신규 또는 기존 사용자(ML 엔지니어, MLOps (DevOps) 엔지니어, 플랫폼 관리자 등)를 대상으로 합니다.
이 가이드는 다음 과정을 다룹니다.
- 모델 특성에 따라 권장 TPU 토폴로지를 사용하여 GKE Standard 클러스터를 준비합니다.
- GKE에 Saxml 구성요소를 배포합니다.
- Gemma 2B 또는 Gemma 7B 매개변수 모델을 가져오고 게시합니다.
- 게시된 모델을 제공하고 상호작용합니다.
아키텍처
이 섹션에서는 이 튜토리얼에서 사용되는 GKE 아키텍처를 설명합니다. 이 아키텍처는 TPU를 프로비저닝하고 Gemma 2B 또는 7B 모델을 배포하고 제공하기 위해 Saxml 구성요소를 호스팅하는 GKE Standard 클러스터로 구성됩니다. 다음 다이어그램은 이 아키텍처의 구성요소를 보여줍니다.
이 아키텍처에는 다음 구성요소가 포함됩니다.
- GKE Standard 영역 클러스터
- 제공하려는 Gemma 모델에 의존하는 단일 호스트 TPU 슬라이스 노드 풀:
- Gemma 2B:
1x1토폴로지를 사용하는 TPU v5e로 구성됩니다. Saxml 모델 서버의 인스턴스 하나가 이 노드 풀을 사용하도록 구성됩니다. - Gemma 7B:
2x2토폴로지를 사용하는 TPU v5e로 구성됩니다. Saxml 모델 서버의 인스턴스 하나가 이 노드 풀을 사용하도록 구성됩니다.
- Gemma 2B:
- Saxml 관리 서버 및 Saxml HTTP 서버가 배포된 기본 CPU 노드 풀
- Cloud Storage 버킷 2개:
- 하나의 Cloud Storage 버킷은 관리 서버에서 관리하는 상태를 저장합니다.
- 하나의 Cloud Storage 버킷은 Gemma 모델 체크포인트를 저장합니다.
이 아키텍처에는 다음과 같은 특징이 있습니다.
- 공개 Artifact Registry는 Saxml 구성요소의 컨테이너 이미지를 관리합니다.
- GKE 클러스터는 GKE에 워크로드 아이덴티티 제휴를 사용합니다. 모든 Saxml 구성요소는 IAM 서비스 계정을 통합하는 워크로드 아이덴티티 제휴를 사용해서 Cloud Storage 버킷과 같은 외부 서비스에 액세스합니다.
- Saxml 구성요소로 생성된 로그는 Cloud Logging에 통합됩니다.
- Cloud Monitoring을 사용하여 이 튜토리얼에서 만드는 것처럼 GKE 노드 풀의 성능 측정항목을 분석할 수 있습니다.
시작하기 전에
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the required API.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the required API.
-
Make sure that you have the following role or roles on the project: roles/container.admin, roles/iam.serviceAccountAdmin
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
IAM으로 이동 - 프로젝트를 선택합니다.
- 액세스 권한 부여를 클릭합니다.
-
새 주 구성원 필드에 사용자 식별자를 입력합니다. 일반적으로 Google 계정의 이메일 주소입니다.
- 역할 선택 목록에서 역할을 선택합니다.
- 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
- 저장을 클릭합니다.
-
Gemma를 위한 환경 준비
Cloud Shell 실행
이 튜토리얼에서는 Cloud Shell을 사용하여 Google Cloud에서 호스팅되는 리소스를 관리합니다. Cloud Shell에는 kubectl 및 gcloud CLI 등 이 튜토리얼에 필요한 소프트웨어가 사전 설치되어 있습니다.
Google Cloud 콘솔에서 Cloud Shell 인스턴스를 시작합니다.
Cloud Shell 열기기본 환경 변수를 설정합니다.
gcloud config set project PROJECT_ID export PROJECT_ID=$(gcloud config get project) export LOCATION=LOCATION export CLUSTER_NAME=saxml-tpu다음 값을 바꿉니다.
- PROJECT_ID: Google Cloud 프로젝트 ID입니다.
- LOCATION: TPU v5e 머신 유형을 사용할 수 있는 Compute Engine 영역의 이름입니다.
GKE Standard 클러스터 만들기
이 섹션에서는 GKE 클러스터 및 노드 풀을 만듭니다.
Gemma 2B-it
Cloud Shell을 사용하여 다음을 수행합니다.
GKE용 워크로드 아이덴티티 제휴를 사용하는 표준 클러스터를 만듭니다.
gcloud container clusters create ${CLUSTER_NAME} \ --enable-ip-alias \ --machine-type=e2-standard-4 \ --num-nodes=2 \ --release-channel=rapid \ --workload-pool=${PROJECT_ID}.svc.id.goog \ --location=${LOCATION}클러스터 만들기는 몇 분 정도 걸릴 수 있습니다.
1x1토폴로지와 1개의 노드를 사용하여 TPU v5e 노드 풀을 만듭니다.gcloud container node-pools create tpu-v5e-1x1 \ --cluster=${CLUSTER_NAME} \ --machine-type=ct5lp-hightpu-1t \ --num-nodes=1 \ --location=${LOCATION}이 노드 풀에서 Gemma 2B 모델을 제공합니다.
Gemma 7B-it
Cloud Shell을 사용하여 다음을 수행합니다.
GKE용 워크로드 아이덴티티 제휴를 사용하는 표준 클러스터를 만듭니다.
gcloud container clusters create ${CLUSTER_NAME} \ --enable-ip-alias \ --machine-type=e2-standard-4 \ --num-nodes=2 \ --release-channel=rapid \ --workload-pool=${PROJECT_ID}.svc.id.goog \ --location=${LOCATION}클러스터 만들기는 몇 분 정도 걸릴 수 있습니다.
2x2토폴로지와 1개의 노드를 사용하여 TPU v5e 노드 풀을 만듭니다.gcloud container node-pools create tpu-v5e-2x2 \ --cluster=${CLUSTER_NAME} \ --machine-type=ct5lp-hightpu-4t \ --num-nodes=1 \ --location=${LOCATION}이 노드 풀에서 Gemma 7B 모델을 제공합니다.
Cloud Storage 버킷 만들기
Saxml 관리 서버 및 모델 체크포인트의 상태를 관리하기 위해 두 개의 Cloud Storage 버킷을 만듭니다.
Cloud Shell에서 다음을 실행합니다.
Saxml 관리 서버 구성을 저장할 Cloud Storage 버킷을 만듭니다.
gcloud storage buckets create gs://ADMIN_BUCKET_NAMEADMIN_BUCKET_NAME을 Saxml 관리 서버를 저장하는 Cloud Storage 버킷의 이름으로 바꿉니다.
모델 체크포인트를 저장할 Cloud Storage 버킷을 만듭니다.
gcloud storage buckets create gs://CHECKPOINTS_BUCKET_NAMECHECKPOINTS_BUCKET_NAME을 모델 체크포인트를 저장하는 Cloud Storage 버킷의 이름으로 바꿉니다.
GKE용 워크로드 아이덴티티 제휴를 사용하여 워크로드 액세스 구성
Kubernetes 서비스 계정을 애플리케이션에 할당하고 IAM 서비스 계정으로 작동하도록 Kubernetes 서비스 계정을 구성합니다.
클러스터와 통신하도록
kubectl을 구성합니다.gcloud container clusters get-credentials ${CLUSTER_NAME} --location=${LOCATION}애플리케이션이 사용할 Kubernetes 서비스 계정을 만듭니다.
gcloud iam service-accounts create wi-saxIAM 서비스 계정이 Cloud Storage에서 읽고 쓸 수 있도록 IAM 정책 바인딩을 추가합니다.
gcloud projects add-iam-policy-binding ${PROJECT_ID} \ --member "serviceAccount:wi-sax@${PROJECT_ID}.iam.gserviceaccount.com" \ --role roles/storage.objectUser gcloud projects add-iam-policy-binding ${PROJECT_ID} \ --member "serviceAccount:wi-sax@${PROJECT_ID}.iam.gserviceaccount.com" \ --role roles/storage.insightsCollectorServiceKubernetes 서비스 계정과 IAM 서비스 계정 사이에 IAM 정책 바인딩을 추가하여 Kubernetes 서비스 계정이 IAM 서비스 계정을 가장하도록 허용합니다. 이러한 바인딩으로 Kubernetes 서비스 계정이 IAM 서비스 계정 역할을 하도록 허용합니다.
gcloud iam service-accounts add-iam-policy-binding wi-sax@${PROJECT_ID}.iam.gserviceaccount.com \ --role roles/iam.workloadIdentityUser \ --member "serviceAccount:${PROJECT_ID}.svc.id.goog[default/default]"Kubernetes 서비스 계정에 IAM 서비스 계정의 이메일 주소를 주석으로 추가합니다.
kubectl annotate serviceaccount default \ iam.gke.io/gcp-service-account=wi-sax@${PROJECT_ID}.iam.gserviceaccount.com
모델 액세스 권한 얻기
GKE에 배포하기 위해 Gemma 모델에 액세스하려면 Kaggle 플랫폼에 로그인하고 라이선스 동의 계약에 서명하고 Kaggle API 토큰을 가져와야 합니다. 이 튜토리얼에서는 Kaggle 사용자 인증 정보에 Kubernetes 보안 비밀을 사용합니다.
라이선스 동의 계약 서명
Gemma를 사용하려면 동의 계약에 서명해야 합니다. 다음 안내를 따르세요.
- Kaggle.com의 모델 동의 페이지에 액세스합니다.
- 아직 로그인하지 않았다면 Kaggle에 로그인합니다.
- 액세스 요청을 클릭합니다.
- 동의를 위한 계정 선택 섹션에서 Kaggle 계정을 통해 인증을 선택하여 동의 부여를 위해 Kaggle 계정을 사용합니다.
- 모델 이용약관에 동의합니다.
액세스 토큰 생성
Kaggle을 통해 모델에 액세스하려면 Kaggle API 토큰이 필요합니다.
아직 토큰이 없으면 다음 단계에 따라 새 토큰을 생성합니다.
- 브라우저에서 Kaggle 설정으로 이동합니다.
- API 섹션에서 새 토큰 만들기를 클릭합니다.
Kaggle이 kaggle.json이라는 파일을 다운로드합니다.
Cloud Shell에 액세스 토큰 업로드
Cloud Shell에서 Kaggle API 토큰을 Google Cloud 프로젝트에 업로드할 수 있습니다.
- Cloud Shell에서 더보기 > 업로드를 클릭합니다.
- 파일을 선택하고 파일 선택을 클릭합니다.
kaggle.json파일을 엽니다.- 업로드를 클릭합니다.
Kaggle 사용자 인증 정보용 Kubernetes 보안 비밀 만들기
Cloud Shell에서 다음 단계를 수행합니다.
클러스터와 통신하도록
kubectl을 구성합니다.gcloud container clusters get-credentials ${CLUSTER_NAME} --location=${LOCATION}Kaggle 사용자 인증 정보를 저장할 보안 비밀을 만듭니다.
kubectl create secret generic kaggle-secret \ --from-file=kaggle.json
Saxml 배포
이 섹션에서는 Saxml 관리 서버, 모델 서버, HTTP 서버를 배포합니다.
Saxml 관리 서버 배포
다음
saxml-admin-server.yaml매니페스트를 만듭니다.ADMIN_BUCKET_NAME을 Cloud Storage 버킷 만들기 섹션에서 만든 버킷의 이름으로 바꿉니다.
gs://프리픽스는 포함되지 않습니다.매니페스트를 적용합니다.
kubectl apply -f saxml-admin-server.yaml관리 서버 배포를 확인합니다.
kubectl get deployment결과는 다음과 유사합니다.
NAME READY UP-TO-DATE AVAILABLE AGE sax-admin-server 1/1 1 1 ##s
Saxml 모델 서버 배포
다음 안내에 따라 Gemma 2B 또는 Gemma 7B 모델의 모델 서버를 배포합니다.
Gemma 2B-it
다음
saxml-model-server-1x1.yaml매니페스트를 만듭니다.ADMIN_BUCKET_NAME을 Cloud Storage 버킷 만들기 섹션에서 만든 버킷의 이름으로 바꿉니다.
gs://프리픽스는 포함되지 않습니다.매니페스트를 적용합니다.
kubectl apply -f saxml-model-server-1x1.yaml모델 서버 배포의 상태를 확인합니다.
kubectl get deployment결과는 다음과 유사합니다.
NAME READY STATUS RESTARTS AGE sax-admin-server 1/1 Running 0 ##m sax-model-server-v5e-1x1 1/1 Running 0 ##s
Gemma 7B-it
다음
saxml-model-server-2x2.yaml매니페스트를 만듭니다.ADMIN_BUCKET_NAME을 Cloud Storage 버킷 만들기 섹션에서 만든 버킷의 이름으로 바꿉니다.
gs://프리픽스는 포함되지 않습니다.매니페스트를 적용합니다.
kubectl apply -f saxml-model-server-2x2.yaml모델 서버 배포의 상태를 확인합니다.
kubectl get deployment결과는 다음과 유사합니다.
NAME READY STATUS RESTARTS AGE sax-admin-server 1/1 Running 0 ##m sax-model-server-v5e-2x2 1/1 Running 0 ##s
Saxml HTTP 서버 배포
이 섹션에서는 Saxml HTTP 서버를 배포하고 서버에 액세스하기 위해 사용되는 클러스터 IP 서비스를 만듭니다.
다음
saxml-http.yaml매니페스트를 만듭니다.ADMIN_BUCKET_NAME을 Saxml 관리 서버를 저장하는 Cloud Storage 버킷의 이름으로 바꿉니다.
매니페스트를 적용합니다.
kubectl apply -f saxml-http.yamlSaxml HTTP 서버 배포 상태를 확인합니다.
kubectl get deploymentGemma 2B-it
결과는 다음과 유사합니다.
NAME READY STATUS RESTARTS AGE sax-admin-server 1/1 Running 0 ##m sax-model-server-v5e-1x1 1/1 Running 0 ##m sax-http 1/1 Running 0 ##sGemma 7B-it
결과는 다음과 유사합니다.
NAME READY STATUS RESTARTS AGE sax-admin-server 1/1 Running 0 ##m sax-model-server-v5e-2x2 1/1 Running 0 ##m sax-http 1/1 Running 0 ##s
모델 체크포인트 다운로드
이 섹션에서는 모델 체크포인트를 가져오고, 다운로드하고, 저장하는 Kubernetes 작업을 실행합니다. 사용하려는 Gemma 모델의 단계를 따릅니다.
Gemma 2B-it
다음
job-2b.yaml매니페스트를 만듭니다.CHECKPOINTS_BUCKET_NAME을 Cloud Storage 버킷 만들기 섹션에서 만든 버킷의 이름으로 바꿉니다.
gs://프리픽스는 포함되지 않습니다.매니페스트를 적용합니다.
kubectl apply -f job-2b.yaml작업이 완료될 때까지 기다립니다.
kubectl wait --for=condition=complete --timeout=180s job/data-loader-2b결과는 다음과 유사합니다.
job.batch/data-loader-2b condition met작업이 성공적으로 완료되었는지 확인합니다.
kubectl get job/data-loader-2b결과는 다음과 유사합니다.
NAME COMPLETIONS DURATION AGE data-loader-2b 1/1 ##s #m##s작업의 로그를 봅니다.
kubectl logs --follow job/data-loader-2b
작업이 체크포인트를 gs://CHECKPOINTS_BUCKET_NAME/gemma_2b-it/checkpoint_00000000에 업로드합니다.
Gemma 7B-it
다음
job-7b.yaml매니페스트를 만듭니다.CHECKPOINTS_BUCKET_NAME을 Cloud Storage 버킷 만들기 섹션에서 만든 버킷의 이름으로 바꿉니다.
gs://프리픽스를 포함합니다.매니페스트를 적용합니다.
kubectl apply -f job-7b.yaml작업이 완료될 때까지 기다립니다.
kubectl wait --for=condition=complete --timeout=360s job/data-loader-7b결과는 다음과 유사합니다.
job.batch/data-loader-7b condition met작업이 성공적으로 완료되었는지 확인합니다.
kubectl get job/data-loader-7b결과는 다음과 유사합니다.
NAME COMPLETIONS DURATION AGE data-loader-7b 1/1 ##s #m##s작업의 로그를 봅니다.
kubectl logs --follow job/data-loader-7b
작업이 체크포인트를 gs://CHECKPOINTS_BUCKET_NAME/gemma_7b_it/checkpoint_00000000에 업로드합니다.
Saxml HTTP 서버 노출
Saxml HTTP 서버를 배포할 때 만든 ClusterIP 서비스를 통해 Saxml HTTP 서버에 액세스할 수 있습니다. ClusterIP 서비스는 클러스터 내에서만 연결할 수 있습니다. 따라서 클러스터 외부에서 서비스에 액세스하려면 다음 단계를 완료하세요.
포트 전달 세션을 설정합니다.
kubectl port-forward service/sax-http-svc 8888:8888새 터미널을 열고 다음 명령어를 실행하여 Saxml HTTP 서버에 액세스할 수 있는지 확인합니다.
curl -s localhost:8888결과는 다음과 유사합니다.
{ "Message": "HTTP Server for SAX Client" }
Saxml HTTP 서버는 클라이언트 인터페이스를 Saxml 시스템에 캡슐화하고 REST API 집합을 통해 노출합니다. 이러한 API를 사용하여 Gemma 2B 및 Gemma 7B 모델을 게시하고, 관리하고, 상호작용합니다.
Gemma 모델 게시
그런 다음 TPU 슬라이스 노드 풀에서 실행되는 모델 서버에 Gemma 모델을 게시할 수 있습니다. Saxml HTTP 서버의 publish API를 사용하여 모델을 게시합니다. Gemma 2B 또는 7B 매개변수 모델을 게시하려면 다음 단계를 따르세요.
Saxml HTTP 서버의 API에 대한 자세한 내용은 Saxml HTTP API를 참조하세요.
Gemma 2B-it
포트 전달 세션이 여전히 활성 상태인지 확인합니다.
curl -s localhost:8888Gemma 2B 매개변수를 게시합니다.
curl --request POST \ --header "Content-type: application/json" \ -s \ localhost:8888/publish \ --data \ '{ "model": "/sax/test/gemma2bfp16", "model_path": "saxml.server.pax.lm.params.gemma.Gemma2BFP16", "checkpoint": "gs://CHECKPOINTS_BUCKET_NAME/gemma_2b-it/checkpoint_00000000", "replicas": "1" }'결과는 다음과 유사합니다.
{ "model": "/sax/test/gemma2bfp16", "model_path": "saxml.server.pax.lm.params.gemma.Gemma2BFP16", "checkpoint": "gs://CHECKPOINTS_BUCKET_NAME/gemma_2b-it/checkpoint_00000000", "replicas": 1 }배포 진행 상황을 모니터링하려면 다음 단계를 참조하세요.
sax-model-server-v5e-1x1배포의 모델 서버 포드에서 로그를 관찰하여 진행 상황을 모니터링합니다.kubectl logs --follow deployment/sax-model-server-v5e-1x1이 배포를 완료하는 데 최대 5분이 걸릴 수 있습니다. 다음과 유사한 메시지가 표시될 때까지 기다립니다.
I0125 15:34:31.685555 139063071708736 servable_model.py:699] loading completed. I0125 15:34:31.686286 139063071708736 model_service_base.py:532] Successfully loaded model for key: /sax/test/gemma2bfp16모델 정보를 표시하여 모델에 액세스할 수 있는지 확인합니다.
curl --request GET \ --header "Content-type: application/json" \ -s \ localhost:8888/listcell \ --data \ '{ "model": "/sax/test/gemma2bfp16" }'결과는 다음과 유사합니다.
{ "model": "/sax/test/gemma2bfp16", "model_path": "saxml.server.pax.lm.params.gemma.Gemma2BFP16", "checkpoint": "gs://CHECKPOINTS_BUCKET_NAME/gemma_2b-it/checkpoint_00000000", "max_replicas": 1, "active_replicas": 1 }
Gemma 7B-it
포트 전달 세션이 여전히 활성 상태인지 확인합니다.
curl -s localhost:8888Gemma 7B 매개변수를 게시합니다.
curl --request POST \ --header "Content-type: application/json" \ -s \ localhost:8888/publish \ --data \ '{ "model": "/sax/test/gemma7bfp16", "model_path": "saxml.server.pax.lm.params.gemma.Gemma7BFP16", "checkpoint": "gs://CHECKPOINTS_BUCKET_NAME/gemma_7b-it/checkpoint_00000000", "replicas": "1" }'결과는 다음과 유사합니다.
{ "model": "/sax/test/gemma7bfp16", "model_path": "saxml.server.pax.lm.params.gemma.Gemma7BFP16", "checkpoint": "gs://CHECKPOINTS_BUCKET_NAME/gemma_7b-it/checkpoint_00000000", "replicas": 1 }배포 진행 상황을 모니터링하려면 다음 단계를 참조하세요.
sax-model-server-v5e-2x2배포의 모델 서버 포드에서 로그를 관찰하여 진행 상황을 모니터링합니다.kubectl logs --follow deployment/sax-model-server-v5e-2x2다음과 유사한 메시지가 표시될 때까지 기다립니다.
I0125 15:34:31.685555 139063071708736 servable_model.py:699] loading completed. I0125 15:34:31.686286 139063071708736 model_service_base.py:532] Successfully loaded model for key: /sax/test/gemma7bfp16모델 정보를 표시하여 모델이 게시되었는지 확인합니다.
curl --request GET \ --header "Content-type: application/json" \ -s \ localhost:8888/listcell \ --data \ '{ "model": "/sax/test/gemma7bfp16" }'출력은 다음과 비슷합니다.
{ "model": "/sax/test/gemma7bfp16", "model_path": "saxml.server.pax.lm.params.gemma.Gemma7BFP16", "checkpoint": "gs://CHECKPOINTS_BUCKET_NAME/gemma_7b-it/checkpoint_00000000", "max_replicas": 1, "active_replicas": 1 }
모델 사용
Gemma 2B 또는 7B 모델과 상호작용할 수 있습니다. Saxml HTTP 서버의 generate API를 사용하여 모델에 프롬프트를 보냅니다.
Gemma 2B-it
Saxml HTTP 서버의 generate 엔드포인트를 사용하여 프롬프트 요청을 처리합니다.
curl --request POST \
--header "Content-type: application/json" \
-s \
localhost:8888/generate \
--data \
'{
"model": "/sax/test/gemma2bfp16",
"query": "What are the top 5 most popular programming languages?"
}'
다음은 모델 응답의 예시입니다. 실제 출력은 처리하는 프롬프트에 따라 다릅니다.
[
[
"\n\n1. **Python**\n2. **JavaScript**\n3. **Java**\n4. **C++**\n5. **Go**",
-3.0704939365386963
]
]
다른 query 매개변수로 명령어를 실행할 수 있습니다. generate API를 사용하여 temperature, top_k, topc_p와 같은 추가 파라미터를 수정할 수도 있습니다. Saxml HTTP 서버의 API에 대한 자세한 내용은 Saxml HTTP API를 참조하세요.
Gemma 7B-it
Saxml HTTP 서버의 generate 엔드포인트를 사용하여 프롬프트 요청을 처리합니다.
curl --request POST \
--header "Content-type: application/json" \
-s \
localhost:8888/generate \
--data \
'{
"model": "/sax/test/gemma7bfp16",
"query": "What are the top 5 most popular programming languages?"
}'
다음은 모델 응답의 예시입니다. 출력은 처리하는 프롬프트마다 다를 수 있습니다.
[
[
"\n\n**1. JavaScript**\n\n* Most widely used language on the web.\n* Used for front-end development, such as websites and mobile apps.\n* Extensive libraries and frameworks available.\n\n**2. Python**\n\n* Known for its simplicity and readability.\n* Versatile, used for various tasks, including data science, machine learning, and web development.\n* Large and active community.\n\n**3. Java**\n\n* Object-oriented language widely used in enterprise applications.\n* Used for web applications, mobile apps, and enterprise software.\n* Strong ecosystem and support.\n\n**4. Go**\n\n",
-16.806324005126953
]
]
다른 query 매개변수로 명령어를 실행할 수 있습니다. generate API를 사용하여 temperature, top_k, topc_p와 같은 추가 매개변수를 수정할 수도 있습니다. Saxml HTTP 서버의 API에 대한 자세한 내용은 Saxml HTTP API를 참조하세요.
모델 게시 취소
모델을 게시 취소하려면 다음 단계를 따르세요.
Gemma 2B-it
Gemma 2B-it 모델을 게시 취소하려면 다음 명령어를 실행합니다.
curl --request POST \
--header "Content-type: application/json" \
-s \
localhost:8888/unpublish \
--data \
'{
"model": "/sax/test/gemma2bfp16"
}'
결과는 다음과 유사합니다.
{
"model": "/sax/test/gemma2bfp16"
}
query 매개변수에 전달되는 다양한 프롬프트로 명령어를 실행할 수 있습니다.
Gemma 7B-it
Gemma 7B-it 모델을 게시 취소하려면 다음 명령어를 실행합니다.
curl --request POST \
--header "Content-type: application/json" \
-s \
localhost:8888/unpublish \
--data \
'{
"model": "/sax/test/gemma7bfp16"
}'
결과는 다음과 유사합니다.
{
"model": "/sax/test/gemma7bfp16"
}
query 매개변수에 전달되는 다양한 프롬프트로 명령어를 실행할 수 있습니다.
문제해결
Empty reply from server메시지가 표시되면 컨테이너에서 모델 데이터 다운로드가 완료되지 않았을 수 있습니다. 모델을 제공할 준비가 되었음을 나타내는Connected메시지가 있는지 포드의 로그를 다시 확인합니다.Connection refused가 표시되면 포트 전달이 활성 상태인지 확인합니다.
삭제
이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.
배포된 리소스 삭제
이 가이드에서 만든 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 명령어를 실행합니다.
gcloud container clusters delete ${CLUSTER_NAME} --location=${LOCATION}
gcloud iam service-accounts delete --quiet wi-sax@${PROJECT_ID}.iam.gserviceaccount.com
gcloud storage rm --recursive gs://ADMIN_BUCKET_NAME
gcloud storage rm --recursive gs://CHECKPOINTS_BUCKET_NAME
다음을 바꿉니다.
- ADMIN_BUCKET_NAME: Saxml 관리 서버를 저장하는 Cloud Storage 버킷의 이름
- CHECKPOINTS_BUCKET_NAME: 모델 체크포인트를 저장하는 Cloud Storage 버킷의 이름
다음 단계
- GKE의 TPU 자세히 알아보기
- Saxml HTTP API를 포함한 Saxml GitHub 저장소 살펴보기
- Vertex AI Model Garden 살펴보기
- GKE 플랫폼 조정 기능으로 최적화된 AI/ML 워크로드를 실행하는 방법 알아보기
- Google Cloud에 대한 참조 아키텍처, 다이어그램, 권장사항 살펴보기. Cloud 아키텍처 센터를 살펴보세요.