콘텐츠로 이동하기
개발 및 IT운영

모든 LLM 워크로드가 동일한 것은 아닙니다. 분류와 생성에 대한 TPU 성능 벤치마킹

2026년 10월 1일
https://storage.googleapis.com/gweb-cloudblog-publish/images/hero_2_fvBime0.max-2500x2500.jpg
Rupjit Chakraborty

AI Engineer

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.


실험적 프로토타입에서 엔터프라이즈 프로덕션으로 대규모 언어 모델 (LLM)을 이전하면 인프라가 성능 한계와 단위 경제성을 모두 결정한다는 중요한 사실이 드러납니다. 표준 하드웨어 벤치마크는 모든 LLM 요청이 동일한 방식으로 실리콘에 스트레스를 가하는 것은 아니라는 근본적인 현실을 종종 무시합니다.

이 게시물에서는 Google Cloud TPU v6e에서 Gemma 3 12B와 Gemma 3 27B를 비교하는 포괄적인 벤치마킹 연습을 통해 TPU 인프라는 구조적으로 다른 워크로드를 대규모로 처리할 때 실제로 어떤 성능을 발휘할까요?라는 중요한 아키텍처 질문에 답합니다.

주요 결과 및 제안

방법론을 살펴보기 전에 TPU v6e에 Gemma 3을 배포하는 설계자를 위한 핵심 내용을 소개합니다.

세대별 실적 월

디코딩이 많이 필요한 생성 작업의 경우 Gemma 3 27B 모델은 동시 사용자 수가 64명을 넘으면 성능이 급격히 저하되며, 128명에서는 정규화된 처리량 승수가 4.12배로 정체됩니다. 반면 12B 모델은 최대 8.19배의 승수로 확장됩니다. 

제안: 워크로드에 높은 동시 실행 생성이 필요한 경우 12B 모델로 다운사이징하거나 27B 모델의 경우 복제본당 동시 요청을 64개로 제한하는 엄격한 포드 자동 확장 한도를 설정하세요.

분류 패리티

프리필이 많은 분류 작업의 경우 모델 파라미터 크기가 훨씬 덜 중요합니다. 12B 모델과 27B 모델 모두 TPU를 포화시키지 않고 비슷한 최대 확장 (128명의 사용자에서 정규화된 처리량 약 6.0x~6.4x)을 달성합니다.

제안: 처리량 페널티 없이 요약 또는 분류 워크플로를 위해 더 크고 강력한 모델을 안전하게 배포할 수 있습니다. 평균 --max-num-seqs 또는 --max-model-len은 평균 사용자 부하와 요청당 평균 토큰을 기반으로 신중하게 유지해야 합니다. 그렇지 않으면 요청이 삭제될 수 있습니다.

메시지 월을 중심으로 설계

하드웨어 포화는 심각한 지연 시간 급증과 무음 요청 드롭아웃으로 나타납니다. 이를 완화하려면 표준 CPU/메모리 확장 트리거에 의존하지 마세요. 대신 E2E (End-to-End) 지연 시간 측정항목을 기반으로 확장하고 적극적인 vLLM 버킷 패딩 최적화 (VLLM_TPU_BUCKET_PADDING_GAP)를 구현하여 메모리를 절약합니다.

아키텍처 설정

추론 스택은 다음과 같은 세 가지 핵심 요소로 나눌 수 있습니다.

1. 인프라: GKE 및 TPU

배포의 기반은 Google Kubernetes Engine (GKE) Autopilot 클러스터입니다. 여기에 2x2 칩 토폴로지로 구성된 단일 호스트 TPU v6e 노드 풀이 연결되어 있습니다.

2. 소프트웨어 및 도구: vllm

서빙 프레임워크로는 vllm-project/tpu-inference를 통해 vllm을 활용했습니다.

3. 모델: Gemma 3 12B 및 27B

Google Cloud는 Gemma 3 12B와 Gemma 3 27B라는 두 가지 고성능 개방형 가중치 모델을 평가했습니다. 이러한 모델은 HuggingFace를 통해 액세스되었습니다.

워크로드: 분류 대 생성

모든 LLM 요청이 시스템에 동일한 수준의 스트레스를 주는 것은 아닙니다. 16, 32, 64, 128명의 동시 사용자를 대상으로 분류와 생성이라는 두 가지 시나리오를 벤치마킹했습니다.

  • 분류 (높은 입력, 낮은 출력): 이 사용 사례는 이커머스 규정 준수 작업을 모방합니다. 프롬프트에는 제품 규칙, 항목 설명, OCR로 추출한 텍스트가 대량으로 포함되어 있습니다. 출력은 매우 작으며 일반적으로 항목을 '허용' 또는 '금지'로 분류합니다. 입력 시퀀스 길이 (ISL)는 약 4,000토큰이고 출력 시퀀스 길이 (OSL)는 약 10토큰입니다.

  • 생성 (낮음/중간 입력, 높음 출력): 이 사용 사례는 장문의 텍스트 생성을 모방합니다. 프롬프트는 노동 시장에서 AI의 미래에 관한 자세한 분석 정책 요약문을 요청합니다. 모델은 대부분의 시간을 수백 개의 토큰을 디코딩하고 스트리밍하는 데 사용합니다. 입력 시퀀스 길이 (ISL)는 500토큰이고 출력 시퀀스 길이 (OSL)는 약 1,000토큰입니다.

결과 및 관찰

처리량 (요청/초), 엔드 투 엔드 지연 시간과 같은 측정항목을 측정했으며, 그 결과 파라미터 크기와 하드웨어 대역폭이 어떻게 상호작용하는지에 대한 흥미로운 인사이트를 얻을 수 있었습니다. 아키텍처 일관성을 보장하기 위해 모든 벤치마크는 vllm-project/tpu-inference 하드웨어 플러그인을 사용하여 실행되었으며, max-model-len=128000, max-num-batched-tokens=8192, 및 max-num-seqs=512의 표준화된 글로벌 서빙 구성을 활용했습니다.

세대별 확장 차이

생성 작업에서는 두 모델이 최대 64명의 동시 사용자까지 비슷한 성능을 보입니다. 그러나 128명의 동시 사용자를 기준으로 Gemma 3 12B 모델은 Gemma 3 27B 모델의 4.12배에 비해 8.19배의 정규화된 처리량 승수를 달성하여 훨씬 더 우수한 확장성을 보여줍니다 (16명의 사용자를 기준으로 Gemma 3 12B 기준에 대해 정규화됨). 이는 더 큰 27B 모델이 높은 생성 부하에서 훨씬 더 일찍 메모리 또는 컴퓨팅 한계에 도달한다는 것을 시사합니다.

 

동시 사용자

Gemma 3 12B 처리량 (req/s)

Gemma 3 27B 처리량 (req/s)

사용자 16명

1.00 x

1.05배

사용자 32명

1.98배

1.97배

사용자 64명

2.96배

4.00 x

사용자 128명

8.19 x

4.12 x

 
https://storage.googleapis.com/gweb-cloudblog-publish/images/generation_scaling.max-1800x1800.jpg

분류 성능 패리티

분류 작업에서는 Gemma 3 12B 모델과 Gemma 3 27B 모델 간의 확장 동작에 미미한 차이만 있습니다. 두 모델 모두 하드웨어 용량 내에서 효율적으로 작동하며 확장성이 뛰어나 128명의 동시 사용자에서 약 6.04배~6.37배의 최대 정규화된 처리량을 달성합니다 (16명의 사용자에서 Gemma 3 12B 기준 대비 정규화됨).

 

동시 사용자 Gemma 3 12B 처리량 (req/s) Gemma 3 27B 처리량 (req/s)
사용자 16명 1.00배 0.76배
사용자 32명 1.18배 1.53배
사용자 64명 2.04배 3.15배속
사용자 128명 6.37배 6.04배
https://storage.googleapis.com/gweb-cloudblog-publish/images/classification_perf_table_image2.max-1800x1800.png

지연 시간 임곗값 분석

엔드 투 엔드 (E2E) 지연 시간은 모델 크기와 작업에 따라 다른 확장 동작을 보입니다. 동일한 서빙 하이퍼파라미터 (--max-num-seqs=512)를 사용할 때 Gemma 3 12B 모델의 분류 지연 시간은 사용자 수가 32명에서 64명으로 늘어날 때 대략 두 배로 증가하여 리소스 경합을 나타냅니다. 그러나 더 큰 Gemma 3 27B 모델의 경우 분류 지연 시간은 32명에서 64명 사이의 사용자 수에서 비교적 평탄하게 유지되다가 128명에 도달하면 두 배로 증가합니다.

 

모델 작업 사용자 16명 사용자 32명 사용자 64명 사용자 128명
Gemma 3 12B 생성 1.00배 1.13배 1.40배 1.70배
Gemma 3 12B 분류 1.00배 0.99배 1.79배 2.90배
Gemma 3 27B 생성 1.20배 1.68배 2.93배 3.33배
Gemma 3 27B 분류 1.20배 1.95배 1.95배 3.88배

 

https://storage.googleapis.com/gweb-cloudblog-publish/images/latency_threshold_image3.max-1800x1800.png

결론

Google Cloud TPU v6e 아키텍처에서 Gemma 3 12B 및 27B 모델을 벤치마킹한 결과, 원시 파라미터 개수만으로는 추론 성능을 예측할 수 없으며 서빙 프레임워크, 하드웨어 토폴로지, 워크로드 토큰 비율 간의 상호작용이 효율성을 결정한다는 사실이 밝혀졌습니다. 생성 작업 (낮은 입력, 높은 출력)의 경우 12B 모델은 높은 동시 실행에서 우수한 성능을 보이며, 27B 모델이 4.12배에서 포화되는 반면 8.19배의 상대적 처리량 승수를 유지합니다. 반대로, 프리필이 많은 분류 작업의 경우 두 모델 모두 유사한 성능을 보이므로 조직은 심각한 확장 페널티 없이 더 큰 모델을 배포할 수 있습니다. 또한 평가를 통해 분류의 경우 64명의 사용자에서 엔드 투 엔드 지연 시간이 두 배로 늘어나고 생성의 경우 128명의 사용자에서 급격히 감소하는 등 정확한 하드웨어 포화 임곗값을 매핑하여 비용이 많이 드는 과도한 프로비저닝이 아닌 정확한 데이터 기반 자동 확장 트리거를 사용할 수 있게 되었습니다. 궁극적으로 이러한 최고 수준의 측정항목을 달성하려면 일괄 처리된 토큰을 조정하고 TPU별 버킷 패딩을 구성하여 컴퓨팅 낭비를 방지하는 등 vllm 파라미터를 적극적으로 튜닝해야 합니다. 이는 비용 효율적인 AI 인프라가 모델 선택 및 서빙 구성을 프로덕션 워크로드의 고유한 입력/출력 프로필에 엄격하게 맞춰야 함을 입증합니다.

LLM 워크로드를 확장할 준비가 되셨나요?

최적화되지 않은 인프라로 인해 엔터프라이즈 AI 출시가 지연되지 않도록 하세요. 다양한 워크로드 형태가 하드웨어 포화에 미치는 영향을 이해했으니 이제 이러한 인사이트를 실무에 적용할 차례입니다.

  • 이러한 벤치마크를 사용하여 프로덕션 아키텍처의 크기를 적절하게 조정하세요. 처리량 손실 없이 사전 입력이 많은 분류 작업에 더 큰 Gemma 3 27B를 안전하게 활용할 수 있지만, 높은 동시 실행에서 디코딩이 많은 생성을 위해 선형 확장을 유지하려면 12B 모델로 전환하는 것이 좋습니다.

  • TPU v6e 노드 풀이 포함된 Google Kubernetes Engine (GKE) 를 사용하여 배포하여 확장성이 뛰어난 관리형 AI 기반과 전용 vllm-project/tpu-inference 하드웨어 플러그인을 빌드합니다. 또는 Gemini Enterprise Agent Platform의 Model Garden을 통해 배포하거나 TPU VM을 가동하여 Gemma 3 모델을 서빙할 수도 있습니다.

프로덕션 배포에서 비슷한 성능 장벽에 부딪힌 적이 있나요? Google Cloud 커뮤니티 포럼에서 확장 전략을 공유하고 질문하며 토론에 참여하세요.

게시 위치