효과적으로 최적화하려면 LLM 추론의 두 가지 단계를 이해해야 합니다.

1. 목표 설명: 최적화되지 않은 모델 배포로 시작합니다.
2. 양자화 적용: 모델 가중치(예: 4비트)를 줄여 메모리에 더 큰 배치를 맞춥니다.
3. 어텐션 최적화: FlashAttention 또는 Grouped-Query Attention(GQA)을 사용하여 메모리 이동 비용을 최소화합니다.
4. 메모리 관리: PagedAttention을 구현하여 KV 캐시를 비연속 블록에 저장하고 단편화를 제거합니다.
5. 실행 및 모니터링: 진행 중 일괄 처리를 통해 배포하여 다른 요청이 완료되는 즉시 새 요청을 시작합니다.

최적화된 추론과 기존의 '단순' 모델 서빙을 비교해 보겠습니다.

Google Cloud는 다양한 기술 수준과 아키텍처 요구사항에 맞게 설계된 다양한 도구를 제공합니다.

Model Garden은 Llama, Gemma, Mistral과 같은 주요 개방형 모델의 최적화된 버전을 배포하는 가장 빠른 경로입니다.

Model Garden으로 이동하여 지원되는 OSS 모델을 찾습니다. 배포를 클릭합니다. 구성에서 vLLM 또는 NVIDIA NIM과 같은 최적화된 런타임을 선택합니다.

모델의 메모리 사용량을 줄이려면 양자화된 버전의 모델(예: 4비트 또는 8비트)을 선택합니다. 이를 통해 동일한 GPU에서 더 큰 배치 크기를 처리하여 처리량을 직접적으로 늘릴 수 있습니다.

서빙 컨테이너가 PagedAttention을 사용하도록 구성되어 있는지 확인합니다. 이 기법을 사용하면 모델이 '메모리'(키-값 캐시)를 비연속 블록에 저장하여 메모리 낭비를 방지하고 더 긴 컨텍스트 윈도우를 허용할 수 있습니다.

배포되면 Vertex AI가 자동으로 진행 중 일괄 처리를 처리하여 기존 요청이 토큰을 완료하는 즉시 새 요청을 처리합니다. Vertex AI Model Monitoring을 사용하여 지연 시간을 추적하고 출력의 '바이브'가 고품질로 유지되도록 합니다.

조정 및 커스텀 추론 커널을 세부적으로 제어해야 하는 팀에게는 GKE가 업계 표준 선택입니다.

특수 GPU 노드(예: L4 또는 H100)가 있는 GKE 클러스터를 프로비저닝합니다. NVIDIA GPU Operator를 설치하여 드라이버 관리 및 성능 튜닝을 자동으로 처리합니다.

vLLM 또는 Triton Inference Server와 같은 컨테이너화된 추론 엔진을 사용합니다. 이러한 서버는 연속 일괄 처리와 텐서 병렬 처리를 지원하므로 여러 GPU에 걸쳐 대규모 모델을 샤딩할 수 있습니다. 또한 vLLM을 사용하면 최소한의 추가 코딩으로 TPU와 GPU 간에 전환할 수 있습니다.

미션 크리티컬 지연 시간 요구사항의 경우 추측 디코딩을 구성합니다. 여기에는 더 작고 빠른 '초안' 모델을 사용하여 토큰을 예측한 다음, 더 큰 '타겟' 모델로 병렬 검증하는 작업이 포함되며, 이를 통해 속도가 2~3배 향상되는 경우가 많습니다.

GKE Inference Quickstart는 테스트된 추론 스택 구성의 사전 구성된 데이터베이스 역할을 합니다. 모델, 지연 시간 요구사항, 비용 우선순위를 지정하면 이 도구가 권장사항과 최신 벤치마크를 기반으로 추천을 제공합니다. 이를 통해 추론 관련 성능 측정항목을 모니터링하고 배포를 동적으로 미세 조정하여 항상 최적화된 기술에서 실행되도록 할 수 있습니다.

GKE Inference Gateway가 정식 버전으로 출시되어 복잡한 생성형 AI 애플리케이션을 관리하기 위한 두 가지 고급 기능을 도입했습니다.

• 프리픽스 인식 라우팅: 멀티턴 채팅이나 문서 분석과 같은 애플리케이션의 경우 이 기능은 이미 컨텍스트가 캐시된 동일한 가속기로 요청을 라우팅하여 응답 시간을 개선합니다.
• 분할 서빙: 이 기법은 초기 '사전 입력' 단계(프롬프트 처리)를 '디코드' 단계(토큰 생성)와 분리합니다. 이러한 단계는 리소스 요구사항이 다르므로 별도의 최적화된 머신 풀에서 실행하여 효율성을 극대화할 수 있습니다.

Anywhere Cache는 기존 Google Cloud Storage(GCS) 버킷과 함께 작동하여 가속기와 동일한 영역 내에서 데이터를 캐싱하는 완전히 일관된 새로운 읽기 캐시입니다. 이를 통해 읽기 지연 시간을 최대 96% 줄이고 읽기 중심 워크로드와 관련된 네트워크 비용을 최소화할 수 있습니다.

전체 인프라를 하나로 묶는 것은 Google의 전 세계 규모 인프라를 기반으로 빌드된 완전 관리형 글로벌 네트워크인 Cloud WAN입니다. Cloud WAN은 다양한 리전, 클라우드, 온프레미스 환경 전반에서 AI 컴퓨팅 리소스를 연결하여 추론 애플리케이션 환경을 40% 개선하고 기존 WAN 솔루션에 비해 TCO를 40% 절감합니다.