JetStream 및 PyTorch와 함께 GKE에서 TPU를 사용하는 LLM 제공

Autopilot Standard

이 가이드에서는 PyTorch를 통해 JetStream과 함께 Google Kubernetes Engine(GKE)에서 TPU(Tensor Processing Unit)를 사용하여 대규모 언어 모델(LLM)을 제공하는 방법을 보여줍니다. 이 가이드에서는 모델 가중치를 Cloud Storage에 다운로드하고 JetStream을 실행하는 컨테이너를 사용하여 GKE Autopilot 또는 Standard 클러스터에 배포합니다.

JetStream에 모델을 배포할 때 Kubernetes 기능에서 제공하는 확장성, 복원력, 비용 효율성이 필요한 경우 이 가이드가 좋은 출발점이 될 수 있습니다.

이 가이드는 PyTorch를 사용하는 생성형 AI 고객, GKE의 신규 또는 기존 사용자, ML 엔지니어, MLOps(DevOps) 엔지니어, LLM 제공을 위해 Kubernetes 컨테이너 조정 기능을 사용하는 데 관심이 있는 플랫폼 관리자를 대상으로 합니다.

배경

JetStream과 함께 GKE에서 TPU를 사용하는 LLM을 제공하면 비용 효율성, 확장성 및 더 높은 가용성을 비롯하여 관리형 Kubernetes의 모든 이점을 갖춘 강력한 프로덕션에 즉시 사용 가능한 서빙 솔루션을 빌드할 수 있습니다. 이 섹션에서는 이 튜토리얼에서 사용되는 주요 기술을 설명합니다.

TPU 정보

TPU는 Google이 TensorFlow, PyTorch 및 JAX와 같은 프레임워크를 활용하여 빌드된 머신러닝 및 AI 모델을 가속화하는 데 사용하기 위해 커스텀 개발한 ASIC(application-specific integrated circuits)입니다.

GKE에서 TPU를 사용하기 전에 다음 학습 과정을 완료하는 것이 좋습니다.

Cloud TPU 시스템 아키텍처를 사용하는 현재 TPU 버전 가용성 알아보기
GKE의 TPU 알아보기

이 튜토리얼에서는 다양한 LLM 모델을 제공하는 방법을 설명합니다. GKE는 지연 시간이 짧은 프롬프트를 제공하기 위한 모델 요구사항에 따라 TPU 토폴로지가 구성된 단일 호스트 TPUv5e 노드에 모델을 배포합니다.

JetStream 정보

JetStream은 Google이 개발한 오픈소스 추론 서빙 프레임워크입니다. JetStream은 TPU 및 GPU에서 고성능, 높은 처리량, 메모리 최적화된 추론을 가능하게 합니다. JetStream은 연속 일괄 처리, KV 캐시 최적화, 양자화 기법을 비롯한 고급 성능 최적화를 제공하여 LLM 배포를 용이하게 합니다. JetStream은 PyTorch/XLA 및 JAX TPU 서빙을 통해 최적의 성능을 달성합니다.

연속 일괄 처리

연속 일괄 처리는 수신되는 추론 요청을 일괄적으로 동적으로 그룹화하여 지연 시간을 줄이고 처리량을 늘리는 기법입니다.

KV 캐시 양자화

KV 캐시 양자화에는 주의 메커니즘에 사용되는 키-값 캐시를 압축하여 메모리 요구사항을 줄이는 작업이 포함됩니다.

Int8 가중치 양자화

Int8 가중치 양자화는 모델 가중치의 정밀도를 32비트 부동 소수점에서 8비트 정수로 줄여 계산 속도를 높이고 메모리 사용량을 줄입니다.

이러한 최적화에 대한 자세한 내용은 JetStream PyTorch 및 JetStream MaxText 프로젝트 저장소를 참조하세요.

PyTorch 정보

PyTorch는 Meta에서 개발한 오픈소스 머신러닝 프레임워크로, 현재 Linux Foundation에 속해 있습니다. PyTorch는 텐서 계산 및 심층신경망과 같은 고급 기능을 제공합니다.

목표

모델 특성에 따라 권장 TPU 토폴로지를 사용하여 GKE Autopilot 또는 Standard 클러스터를 준비합니다.
GKE에 JetStream 구성요소를 배포합니다.
모델을 가져와 게시합니다.
게시된 모델을 제공하고 상호작용합니다.

아키텍처

이 섹션에서는 이 튜토리얼에서 사용되는 GKE 아키텍처를 설명합니다. 이 아키텍처는 TPU를 프로비저닝하고 모델을 배포하고 제공하기 위해 JetStream 구성요소를 호스팅하는 GKE Autopilot 또는 Standard 클러스터를 포함합니다.

다음 다이어그램은 이 아키텍처의 구성요소를 보여줍니다.

JetStream-PyTorch 및 JetStream HTTP 구성요소가 포함된 단일 호스트 TPU 노드 풀이 있는 GKE 클러스터의 아키텍처

이 아키텍처에는 다음 구성요소가 포함됩니다.

GKE Autopilot 또는 Standard 리전 클러스터입니다.
JetStream 배포를 호스팅하는 2개의 단일 호스트 TPU 슬라이스 노드 풀입니다.
서비스 구성요소는 수신 트래픽을 모든 JetStream HTTP 복제본으로 전파합니다.
JetStream HTTP는 요청을 JetStream의 필수 형식에 관한 래퍼로 수락하고 JetStream의 GRPC 클라이언트로 전송하는 HTTP 서버입니다.
JetStream-PyTorch은 연속 일괄 처리를 사용하여 추론을 수행하는 JetStream 서버입니다.

시작하기 전에

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the required API.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the required API.

Enable the API

Make sure that you have the following role or roles on the project: roles/container.admin, roles/iam.serviceAccountAdmin
Check for the roles
1. In the Google Cloud console, go to the IAM page.
  Go to IAM
2. Select the project.
3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.
  IAM으로 이동
2. 프로젝트를 선택합니다.
3. 액세스 권한 부여를 클릭합니다.
4. 새 주 구성원 필드에 사용자 식별자를 입력합니다. 일반적으로 Google 계정의 이메일 주소입니다.
5. 역할 선택 목록에서 역할을 선택합니다.
6. 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
7. 저장을 클릭합니다.

TPU v5e PodSlice Lite 칩 8개에 대해 충분한 할당량이 있는지 확인합니다. 이 튜토리얼에서는 온디맨드 인스턴스를 사용합니다.
Hugging Face 토큰이 없는 경우 만듭니다.

모델 액세스 권한 얻기

GKE에 배포하기 위해 Hugging Face의 다양한 모델에 대한 액세스 권한을 얻습니다.

Gemma 7B-it

GKE에 배포하기 위해 Gemma 모델에 액세스하려면 먼저 라이선스 동의 계약에 서명해야 합니다.

Hugging Face의 Gemma 모델 동의 페이지에 액세스합니다.
아직 로그인하지 않았다면 Hugging Face에 로그인합니다.
모델 이용약관을 검토하고 수락합니다.

Llama 3 8B

GKE에 배포하기 위해 Llama 3 모델에 액세스하려면 먼저 라이선스 동의 계약에 서명해야 합니다.

Hugging Face의 Llama 3 모델 동의 페이지에 액세스합니다.
아직 로그인하지 않았다면 Hugging Face에 로그인합니다.
모델 이용약관을 검토하고 수락합니다.

환경 준비

이 튜토리얼에서는 Cloud Shell을 사용하여 Google Cloud에서 호스팅되는 리소스를 관리합니다. Cloud Shell에는 kubectl 및 gcloud CLI를 포함하여 이 튜토리얼에 필요한 소프트웨어가 사전 설치되어 있습니다.

Cloud Shell로 환경을 설정하려면 다음 단계를 따르세요.

Google Cloud 콘솔에서 Cloud Shell 활성화를 클릭하여 Cloud Shell 세션을 시작합니다. 그러면 Google Cloud 콘솔 하단 창에서 세션이 시작됩니다.
기본 환경 변수를 설정합니다.
```
gcloud config set project PROJECT_ID
export PROJECT_ID=$(gcloud config get project)
export CLUSTER_NAME=CLUSTER_NAME
export BUCKET_NAME=BUCKET_NAME
export REGION=REGION
export LOCATION=LOCATION
export CLUSTER_VERSION=CLUSTER_VERSION
```
다음 값을 바꿉니다.
- PROJECT_ID: Google Cloud 프로젝트 ID입니다.
- CLUSTER_NAME: GKE 클러스터의 이름입니다.
- BUCKET_NAME: Cloud Storage 버킷 이름입니다. gs:// 프리픽스를 지정할 필요가 없습니다.
- REGION: GKE 클러스터, Cloud Storage 버킷, TPU 노드가 위치한 리전입니다. 리전에는 TPU v5e 머신 유형을 사용할 수 있는 영역이 포함됩니다(예: us-west1, us-west4, us-central1, us-east1, us-east5 또는 europe-west4). Autopilot 클러스터의 경우 선택한 리전에 충분한 TPU v5e 영역 리소스가 있는지 확인합니다.
- (표준 클러스터만 해당) LOCATION: TPU 리소스를 사용할 수 있는 영역입니다(예: us-west4-a). Autopilot 클러스터의 경우 영역을 지정할 필요 없이 리전만 지정하면 됩니다.
- CLUSTER_VERSION: 사용하려는 머신 유형을 지원해야 하는 GKE 버전입니다. 기본 GKE 버전은 대상 TPU에 대한 가용성이 없을 수 있습니다. TPU 머신 유형별로 사용 가능한 최소 GKE 버전 목록은 GKE의 TPU 가용성을 참고하세요.

Google Cloud 리소스 만들기 및 구성

다음 안내에 따라 필요한 리소스를 만듭니다.

GKE 클러스터 만들기

TPU를 활용하여 GKE Autopilot 또는 Standard 클러스터에서 Gemma를 제공할 수 있습니다. 완전 관리형 Kubernetes 환경을 위해서는 Autopilot을 사용하는 것이 좋습니다. 워크로드에 가장 적합한 GKE 작업 모드를 선택하려면 GKE 작업 모드 선택을 참조하세요.

Autopilot

Autopilot GKE 클러스터를 만듭니다.

gcloud container clusters create-auto CLUSTER_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --cluster-version=CLUSTER_VERSION

표준

GKE용 워크로드 아이덴티티 제휴를 사용하는 리전의 GKE Standard 클러스터를 만듭니다.

gcloud container clusters create CLUSTER_NAME \
    --enable-ip-alias \
    --machine-type=e2-standard-4 \
    --num-nodes=2 \
    --cluster-version=CLUSTER_VERSION \
    --workload-pool=PROJECT_ID.svc.id.goog \
    --location=REGION

클러스터 만들기는 몇 분 정도 걸릴 수 있습니다.

2x4 토폴로지와 2개의 노드를 사용하여 TPU v5e 노드 풀을 만듭니다.

gcloud container node-pools create tpu-nodepool \
  --cluster=CLUSTER_NAME \
  --machine-type=ct5lp-hightpu-8t \
  --project=PROJECT_ID \
  --num-nodes=2 \
  --region=REGION \
  --node-locations=LOCATION

Cloud Storage 버킷 만들기

변환된 체크포인트를 저장할 Cloud Storage 버킷을 만듭니다.

gcloud storage buckets create gs://BUCKET_NAME --location=REGION

Cloud Shell에서 Hugging Face CLI 토큰 생성

토큰을 아직 만들지 않았다면 새 Hugging Face 토큰을 생성합니다.

내 프로필 > 설정 > 액세스 토큰을 클릭합니다.
새 토큰을 클릭합니다.
원하는 이름과 Read 이상의 역할을 지정합니다.
Generate a token(토큰 생성)을 클릭합니다.
모델의 Hugging Face 저장소에 대한 읽기 액세스 권한을 갖도록 액세스 토큰의 권한을 수정합니다.
클립보드에 생성된 토큰을 복사합니다.

Hugging Face 사용자 인증 정보용 Kubernetes 보안 비밀 만들기

Cloud Shell에서 다음을 수행합니다.

클러스터와 통신하도록 kubectl을 구성합니다.

gcloud container clusters get-credentials CLUSTER_NAME --location=REGION

Hugging Face 사용자 인증 정보를 저장할 보안 비밀을 만듭니다.
```
kubectl create secret generic huggingface-secret \
    --from-literal=HUGGINGFACE_TOKEN=HUGGINGFACE_TOKEN
```
HUGGINGFACE_TOKEN을 Hugging Face 토큰으로 바꿉니다.

GKE용 워크로드 아이덴티티 제휴를 사용하여 워크로드 액세스 구성

Kubernetes 서비스 계정을 애플리케이션에 할당하고 IAM 서비스 계정으로 작동하도록 Kubernetes 서비스 계정을 구성합니다.

애플리케이션의 IAM 서비스 계정을 만듭니다.
```
gcloud iam service-accounts create wi-jetstream
```

IAM 서비스 계정이 Cloud Storage를 관리할 수 있도록 IAM 정책 바인딩을 추가합니다.

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member "serviceAccount:wi-jetstream@PROJECT_ID.iam.gserviceaccount.com" \
    --role roles/storage.objectUser

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member "serviceAccount:wi-jetstream@PROJECT_ID.iam.gserviceaccount.com" \
    --role roles/storage.insightsCollectorService

Kubernetes 서비스 계정과 IAM 서비스 계정 사이에 IAM 정책 바인딩을 추가하여 Kubernetes 서비스 계정이 IAM 서비스 계정을 가장하도록 허용합니다. 이러한 바인딩으로 Kubernetes 서비스 계정이 IAM 서비스 계정 역할을 하도록 허용합니다.
```
gcloud iam service-accounts add-iam-policy-binding wi-jetstream@PROJECT_ID.iam.gserviceaccount.com \
    --role roles/iam.workloadIdentityUser \
    --member "serviceAccount:PROJECT_ID.svc.id.goog[default/default]"
```

Kubernetes 서비스 계정에 IAM 서비스 계정의 이메일 주소를 주석으로 추가합니다.

kubectl annotate serviceaccount default \
    iam.gke.io/gcp-service-account=wi-jetstream@PROJECT_ID.iam.gserviceaccount.com

모델 체크포인트 변환

이 섹션에서는 다음 작업을 수행할 작업을 만듭니다.

기본 체크포인트를 Hugging Face에서 로컬 디렉터리로 다운로드합니다.
체크포인트를 JetStream-Pytorch 호환 체크포인트로 변환합니다.
체크포인트를 Cloud Storage 버킷에 업로드합니다.

모델 체크포인트 변환 작업 배포

Gemma 7B-it

Gemma 7B 모델 체크포인트 파일을 다운로드하고 변환합니다.

다음 매니페스트를 job-checkpoint-converter.yaml로 저장합니다.

apiVersion: batch/v1
kind: Job
metadata:
  name: checkpoint-converter
spec:
  ttlSecondsAfterFinished: 30
  template:
    spec:
      restartPolicy: Never
      containers:
      - name: inference-checkpoint
        image: us-docker.pkg.dev/cloud-tpu-images/inference/inference-checkpoint:v0.2.3
        args:
        - -s=jetstream-pytorch
        - -m=google/gemma-7b-it-pytorch
        - -o=gs://BUCKET_NAME/pytorch/gemma-7b-it/final/bf16/
        - -n=gemma
        - -q=False
        - -h=True
        volumeMounts:
        - mountPath: "/huggingface/"
          name: huggingface-credentials
          readOnly: true
        resources:
          requests:
            google.com/tpu: 8
          limits:
            google.com/tpu: 8
      nodeSelector:
        cloud.google.com/gke-tpu-topology: 2x4
        cloud.google.com/gke-tpu-accelerator: tpu-v5-lite-podslice
      volumes:
      - name: huggingface-credentials
        secret:
          defaultMode: 0400
          secretName: huggingface-secret

Llama 3 8B

Llama 3 8B 모델 체크포인트 파일을 다운로드하고 변환합니다.

다음 매니페스트를 job-checkpoint-converter.yaml로 저장합니다.

apiVersion: batch/v1
kind: Job
metadata:
  name: checkpoint-converter
spec:
  ttlSecondsAfterFinished: 30
  template:
    spec:
      restartPolicy: Never
      containers:
      - name: inference-checkpoint
        image: us-docker.pkg.dev/cloud-tpu-images/inference/inference-checkpoint:v0.2.3
        args:
        - -s=jetstream-pytorch
        - -m=meta-llama/Meta-Llama-3-8B
        - -o=gs://BUCKET_NAME/pytorch/llama-3-8b/final/bf16/
        - -n=llama-3
        - -q=False
        - -h=True
        volumeMounts:
        - mountPath: "/huggingface/"
          name: huggingface-credentials
          readOnly: true
        resources:
          requests:
            google.com/tpu: 8
          limits:
            google.com/tpu: 8
      nodeSelector:
        cloud.google.com/gke-tpu-topology: 2x4
        cloud.google.com/gke-tpu-accelerator: tpu-v5-lite-podslice
      volumes:
      - name: huggingface-credentials
        secret:
          defaultMode: 0400
          secretName: huggingface-secret

BUCKET_NAME을 이전에 만든 GSBucket으로 바꿉니다.

sed -i "s|BUCKET_NAME|BUCKET_NAME|g" job-checkpoint-converter.yaml

매니페스트를 적용합니다.

kubectl apply -f job-checkpoint-converter.yaml

작업을 예약하는 포드가 실행되기 시작할 때까지 기다립니다.
```
kubectl get pod -w
```
출력은 다음과 비슷합니다. 몇 분 정도 걸릴 수 있습니다.
```
NAME                        READY   STATUS              RESTARTS   AGE
checkpoint-converter-abcd   0/1     ContainerCreating   0          28s
checkpoint-converter-abcd   1/1     Running             0          51s
```
Autopilot 클러스터의 경우 필요한 TPU 리소스를 프로비저닝하는 데 몇 분 정도 걸릴 수 있습니다.

작업의 로그를 확인하여 작업이 완료되었는지 확인합니다.

kubectl logs -f jobs/checkpoint-converter

작업이 완료되면 출력은 다음과 비슷합니다.

Completed uploading converted checkpoint from local path /pt-ckpt/ to GSBucket gs://BUCKET_NAME/pytorch/<model_name>/final/bf16/"

JetStream 배포

JetStream 컨테이너를 배포하여 모델을 제공합니다.

다음 매니페스트를 jetstream-pytorch-deployment.yaml로 저장합니다.

Gemma 7B-it

apiVersion: apps/v1
kind: Deployment
metadata:
  name: jetstream-pytorch-server
spec:
  replicas: 2
  selector:
    matchLabels:
      app: jetstream-pytorch-server
  template:
    metadata:
      labels:
        app: jetstream-pytorch-server
      annotations:
        gke-gcsfuse/volumes: "true"
    spec:
      nodeSelector:
        cloud.google.com/gke-tpu-topology: 2x4
        cloud.google.com/gke-tpu-accelerator: tpu-v5-lite-podslice
      containers:
      - name: jetstream-pytorch-server
        image: us-docker.pkg.dev/cloud-tpu-images/inference/jetstream-pytorch-server:v0.2.3
        args:
        - --size=7b
        - --model_name=gemma
        - --batch_size=32
        - --max_cache_length=2048
        - --quantize_weights=False
        - --quantize_kv_cache=False
        - --tokenizer_path=/models/pytorch/gemma-7b-it/final/bf16/tokenizer.model
        - --checkpoint_path=/models/pytorch/gemma-7b-it/final/bf16/model.safetensors
        ports:
        - containerPort: 9000
        volumeMounts:
        - name: gcs-fuse-checkpoint
          mountPath: /models
          readOnly: true
        resources:
          requests:
            google.com/tpu: 8
          limits:
            google.com/tpu: 8
      - name: jetstream-http
        image: us-docker.pkg.dev/cloud-tpu-images/inference/jetstream-http:v0.2.2
        ports:
        - containerPort: 8000
      volumes:
      - name: gcs-fuse-checkpoint
        csi:
          driver: gcsfuse.csi.storage.gke.io
          readOnly: true
          volumeAttributes:
            bucketName: BUCKET_NAME
            mountOptions: "implicit-dirs"
---
apiVersion: v1
kind: Service
metadata:
  name: jetstream-svc
spec:
  selector:
    app: jetstream-pytorch-server
  ports:
  - protocol: TCP
    name: jetstream-http
    port: 8000
    targetPort: 8000

Llama 3 8B

apiVersion: apps/v1
kind: Deployment
metadata:
  name: jetstream-pytorch-server
spec:
  replicas: 2
  selector:
    matchLabels:
      app: jetstream-pytorch-server
  template:
    metadata:
      labels:
        app: jetstream-pytorch-server
      annotations:
        gke-gcsfuse/volumes: "true"
    spec:
      nodeSelector:
        cloud.google.com/gke-tpu-topology: 2x4
        cloud.google.com/gke-tpu-accelerator: tpu-v5-lite-podslice
      containers:
      - name: jetstream-pytorch-server
        image: us-docker.pkg.dev/cloud-tpu-images/inference/jetstream-pytorch-server:v0.2.3
        args:
        - --size=8b
        - --model_name=llama-3
        - --batch_size=32
        - --max_cache_length=2048
        - --quantize_weights=False
        - --quantize_kv_cache=False
        - --tokenizer_path=/models/pytorch/llama-3-8b/final/bf16/tokenizer.model
        - --checkpoint_path=/models/pytorch/llama-3-8b/final/bf16/model.safetensors
        ports:
        - containerPort: 9000
        volumeMounts:
        - name: gcs-fuse-checkpoint
          mountPath: /models
          readOnly: true
        resources:
          requests:
            google.com/tpu: 8
          limits:
            google.com/tpu: 8
      - name: jetstream-http
        image: us-docker.pkg.dev/cloud-tpu-images/inference/jetstream-http:v0.2.2
        ports:
        - containerPort: 8000
      volumes:
      - name: gcs-fuse-checkpoint
        csi:
          driver: gcsfuse.csi.storage.gke.io
          readOnly: true
          volumeAttributes:
            bucketName: BUCKET_NAME
            mountOptions: "implicit-dirs"
---
apiVersion: v1
kind: Service
metadata:
  name: jetstream-svc
spec:
  selector:
    app: jetstream-pytorch-server
  ports:
  - protocol: TCP
    name: jetstream-http
    port: 8000
    targetPort: 8000

매니페스트는 다음과 같은 주요 속성을 설정합니다.

size: 모델의 크기입니다.
model_name: 모델의 이름입니다(gemma, llama-3).
batch_size: 기기당 디코딩 배치 크기이며 여기서 TPU 칩 1개는 기기 1개와 같습니다.
max_cache_length: kv 캐시의 최대 길이입니다.
quantize_weights: 체크포인트가 양자화되었는지 여부입니다.
quantize_kv_cache: kv 캐시가 양자화되었는지 여부입니다.
tokenizer_path: 모델 토크나이저 파일의 경로입니다.
checkpoint_path: 체크포인트의 경로입니다.

BUCKET_NAME을 이전에 만든 GSBucket으로 바꿉니다.

sed -i "s|BUCKET_NAME|BUCKET_NAME|g" jetstream-pytorch-deployment.yaml

매니페스트를 적용합니다.

kubectl apply -f jetstream-pytorch-deployment.yaml

배포를 확인합니다.
```
kubectl get deployment
```
출력은 다음과 비슷합니다.
```
NAME                              READY   UP-TO-DATE   AVAILABLE   AGE
jetstream-pytorch-server          2/2     2            2           ##s
```
Autopilot 클러스터의 경우 필요한 TPU 리소스를 프로비저닝하는 데 몇 분 정도 걸릴 수 있습니다.

HTTP 서버 로그를 보고 모델이 로드 및 컴파일되었는지 확인합니다. 서버가 이 작업을 완료하려면 몇 분 정도 걸릴 수 있습니다.

kubectl logs deploy/jetstream-pytorch-server -f -c jetstream-http

출력은 다음과 비슷합니다.

kubectl logs deploy/jetstream-pytorch-server -f -c jetstream-http

INFO:     Started server process [1]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

JetStream-PyTorch 서버 로그를 보고 컴파일이 완료되었는지 확인합니다.

kubectl logs deploy/jetstream-pytorch-server -f -c jetstream-pytorch-server

출력은 다음과 비슷합니다.

Started jetstream_server....
2024-04-12 04:33:37,128 - root - INFO - ---------Generate params 0 loaded.---------

모델 제공

이 섹션에서는 모델과 상호작용합니다.

포트 전달 설정

이전 단계에서 만든 ClusterIP 서비스를 통해 JetStream 배포에 액세스할 수 있습니다. ClusterIP 서비스는 클러스터 내에서만 연결할 수 있습니다. 따라서 클러스터 외부에서 서비스에 액세스하려면 다음 단계를 완료하세요.

포트 전달 세션을 설정하려면 다음 명령어를 실행합니다.

kubectl port-forward svc/jetstream-svc 8000:8000

curl을 사용하여 모델과 상호작용

새 터미널을 열고 다음 명령어를 실행하여 JetStream HTTP 서버에 액세스할 수 있는지 확인합니다.

curl --request POST \
--header "Content-type: application/json" \
-s \
localhost:8000/generate \
--data \
'{
    "prompt": "What are the top 5 programming languages",
    "max_tokens": 200
}'

모델 준비로 인해 초기 요청이 완료되는 데 몇 초 정도 걸릴 수 있습니다. 출력은 다음과 비슷합니다.

{
    "response": " for data science in 2023?\n\n**1. Python:**\n- Widely used for data science due to its readability, extensive libraries (pandas, scikit-learn), and integration with other tools.\n- High demand for Python programmers in data science roles.\n\n**2. R:**\n- Popular choice for data analysis and visualization, particularly in academia and research.\n- Extensive libraries for statistical modeling and data wrangling.\n\n**3. Java:**\n- Enterprise-grade platform for data science, with strong performance and scalability.\n- Widely used in data mining and big data analytics.\n\n**4. SQL:**\n- Essential for data querying and manipulation, especially in relational databases.\n- Used for data analysis and visualization in various industries.\n\n**5. Scala:**\n- Scalable and efficient for big data processing and machine learning models.\n- Popular in data science for its parallelism and integration with Spark and Spark MLlib."
}

문제해결

Empty reply from server 메시지가 표시되면 컨테이너에서 모델 데이터 다운로드가 완료되지 않았을 수 있습니다. 모델을 제공할 준비가 되었음을 나타내는 Connected 메시지가 있는지 포드의 로그를 다시 확인합니다.
Connection refused가 표시되면 포트 전달이 활성 상태인지 확인합니다.

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

배포된 리소스 삭제

이 가이드에서 만든 리소스에 대한 Google Cloud 계정에 요금이 청구되지 않도록 하려면 다음 명령어를 실행하고 프롬프트를 따르세요.

gcloud container clusters delete CLUSTER_NAME --region=REGION

gcloud iam service-accounts delete wi-jetstream@PROJECT_ID.iam.gserviceaccount.com

gcloud storage rm --recursive gs://BUCKET_NAME

다음 단계

GKE에서 Gemma 모델을 실행하는 방법 및 GKE 플랫폼 조정 기능으로 최적화된 AI/ML 워크로드를 실행하는 방법에 대해 알아보기
GKE의 TPU 자세히 알아보기
JetStream GitHub 저장소 살펴보기
Vertex AI Model Garden 살펴보기

JetStream 및 PyTorch와 함께 GKE에서 TPU를 사용하는 LLM 제공

배경

TPU 정보

JetStream 정보

PyTorch 정보

목표

아키텍처

시작하기 전에

Check for the roles

Grant the roles

모델 액세스 권한 얻기

Gemma 7B-it

Llama 3 8B

환경 준비

Google Cloud 리소스 만들기 및 구성

GKE 클러스터 만들기

Autopilot

표준

Cloud Storage 버킷 만들기

Cloud Shell에서 Hugging Face CLI 토큰 생성

Hugging Face 사용자 인증 정보용 Kubernetes 보안 비밀 만들기

GKE용 워크로드 아이덴티티 제휴를 사용하여 워크로드 액세스 구성

모델 체크포인트 변환

모델 체크포인트 변환 작업 배포

Gemma 7B-it

Llama 3 8B

JetStream 배포

Gemma 7B-it

Llama 3 8B

모델 제공

포트 전달 설정

curl을 사용하여 모델과 상호작용

문제해결

삭제

배포된 리소스 삭제

다음 단계