HuggingFace는 LLM을 더 쉽게 만들고 검색할 수 있도록 하는 선행 학습된 모델, 미세 조정 스크립트, 개발 API를 제공합니다. Model Garden은 HuggingFace에서 텍스트 생성 추론을 지원하는 모든 모델을 지원합니다.
배포 옵션
Vertex AI 또는 Google Kubernetes Engine(GKE)에 텍스트 생성 추론 지원 모델을 배포할 수 있습니다. Hugging Face 텍스트 생성 모델을 배포하려면 모델 가든으로 이동하여 Hug Face에서 배포를 클릭합니다.
Vertex AI에 배포
Vertex AI는 사내 MLOps 전문 지식 없이도 머신러닝 프로젝트를 빌드 및 확장할 수 있는 관리형 플랫폼을 제공합니다. Vertex AI를 Hugging Face 모델을 제공하는 다운스트림 애플리케이션으로 사용할 수 있습니다. 엔드 투 엔드 MLOps 역량, 고급형 ML 기능, 간소화된 개발을 위한 서버리스 환경이 필요한 경우 Vertex AI를 사용하는 것이 좋습니다.
시작하려면 다음 예시를 참조하세요.
- 일부 모델에는 자세한 모델 카드와 확인된 배포 설정이 있습니다(예: google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf, mistralai/Mistral-7B-v0.1)
- 일부 모델에는 확인된 배포 설정이 있지만 NousResearch/Genstruct-7B와 같은 자세한 모델 카드가 없습니다.
- 일부 모델에는 ai4bharat/Airavata와 같이 자동으로 계산되는 확인되지 않은 배포 설정이 있습니다.
GKE에 배포
Google Kubernetes Engine(GKE)은 확장성, 보안, 복원력, 비용 효율성을 제공하는 관리형 Kubernetes용 Google Cloud 솔루션입니다. Kubernetes를 이미 도입했거나 조직 내부에 MLOps 전문가가 있거나 특별한 보안, 데이터 파이프라인, 리소스 관리 요구사항에 따라 복잡한 AI/ML 워크로드를 세밀하게 제어해야 하는 경우 이 옵션을 사용하는 것이 좋습니다.
시작하려면 다음 예시를 참조하세요.
- 일부 모델에는 자세한 모델 카드와 확인된 배포 설정이 있습니다(예: google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf, mistralai/Mistral-7B-v0.1)
- 일부 모델에는 확인된 배포 설정이 있지만 NousResearch/Genstruct-7B와 같은 자세한 모델 카드가 없습니다.