Gemma 개방형 모델 사용

Gemma는 가벼운 생성형 인공지능(AI) 개방형 모델의 집합입니다. Gemma 모델은 애플리케이션과 하드웨어, 휴대기기 또는 호스팅된 서비스에서 실행할 수 있습니다. 또한 개발자와 사용자에게 중요한 태스크를 수행할 때 뛰어난 성능을 발휘하도록 조정 기법을 사용하여 이러한 모델을 맞춤설정할 수 있습니다. Gemma 모델은 Gemini 모델을 기반으로 하며 AI 개발 커뮤니티가 이를 확장하고 발전할 수 있도록 고안되었습니다.

미세 조정을 사용하면 특정 태스크에서 모델 성능을 향상시킬 수 있습니다. Gemma 모델 제품군의 모델은 개방형 가중치이므로 원하는 AI 프레임워크와 Vertex AI SDK를 사용하여 이러한 모델을 조정할 수 있습니다. 노트북 예시를 열어 Model Garden의 Gemma 모델 카드에서 제공되는 링크를 사용하여 Gemma 모델을 미세 조정할 수 있습니다.

Vertex AI에서 사용할 수 있는 Gemma 모델은 다음과 같습니다. Gemma 모델을 자세히 알아보고 테스트하려면 Model Garden 모델 카드를 참조하세요.

모델 이름	사용 사례	Model Garden 모델 카드
Gemma 3	질의 응답, 요약, 추론을 비롯한 텍스트 생성 및 이미지 이해 태스크에 가장 적합합니다.	Gemma 3 모델 카드로 이동
Gemma 2	텍스트 생성, 요약, 추출에 가장 적합합니다.	Gemma 2 모델 카드로 이동
Gemma	텍스트 생성, 요약, 추출에 가장 적합합니다.	Gemma 모델 카드로 이동
CodeGemma	코드 생성 및 완성에 가장 적합합니다.	CodeGemma 모델 카드로 이동
PaliGemma 2	이미지 캡션 태스크와 시각적 질문 및 답변 태스크에 가장 적합합니다.	PaliGemma 2 모델 카드로 이동
PaliGemma	이미지 캡션 태스크와 시각적 질문 및 답변 태스크에 가장 적합합니다.	PaliGemma 모델 카드로 이동
ShieldGemma 2	합성 이미지와 자연 이미지의 안전성을 확인하여 견고한 데이터 세트와 모델을 빌드하는 데 도움이 됩니다.	ShieldGemma 2 모델 카드로 이동
TxGemma	분류, 회귀, 생성, 추론 태스크를 비롯한 치료제 예측 태스크에 가장 적합합니다.	TxGemma 모델 카드로 이동

다음은 Gemma를 사용할 수 있는 몇 가지 옵션입니다.

Vertex AI에서 Gemma 사용

Vertex AI는 사내 MLOps 전문 지식 없이도 머신러닝 프로젝트를 빠르게 빌드 및 확장할 수 있는 관리형 플랫폼을 제공합니다. Vertex AI를 Gemma 모델을 제공하는 다운스트림 애플리케이션으로 사용할 수 있습니다. 예를 들어 Gemma의 Keras 구현에서 가중치를 포팅할 수 있습니다. 그런 다음 Vertex AI로 해당 버전의 Gemma를 서빙하여 예측을 얻을 수 있습니다. 엔드 투 엔드 MLOps 역량, 고급형 ML 기능, 간소화된 개발을 위한 서버리스 환경이 필요한 경우 Vertex AI를 사용하는 것이 좋습니다.

Gemma를 시작하려면 다음 노트북을 참조하세요.

• Vertex AI에서 Gemma 3 서빙

• Vertex AI에서 Gemma 2 서빙

• Vertex AI에서 Gemma 서빙

• PEFT를 사용하여 Gemma 3를 미세 조정한 후 Vertex에서 Vertex AI로 배포

• PEFT를 사용하여 Gemma 2를 미세 조정한 후 Vertex에서 Vertex AI로 배포

• PEFT를 사용하여 Gemma를 미세 조정한 후 Vertex에서 Vertex AI로 배포

• PEFT를 사용하여 Gemma를 미세 조정한 후 Huggingface에서 Vertex AI로 배포

• KerasNLP를 사용하여 Gemma를 미세 조정한 후 Vertex AI로 배포

• Vertex AI에서 Ray를 사용하여 Gemma를 미세 조정한 후 Vertex AI로 배포

• Hugging Face Transformer를 사용하여 ShieldGemma 2로 로컬 추론 실행

다른 Google Cloud 제품에서 Gemma 사용

Google Kubernetes Engine, Dataflow 등 다른 Google Cloud 제품과 함께 Gemma를 사용할 수 있습니다.

GKE에서 Gemma 사용

Google Kubernetes Engine(GKE)은 확장성, 보안, 복원력, 비용 효율성을 제공하는 관리형 Kubernetes용 Google Cloud 솔루션입니다. Kubernetes를 이미 도입했거나 조직 내부에 MLOps 전문가가 있거나 특별한 보안, 데이터 파이프라인, 리소스 관리 요구사항에 따라 복잡한 AI/ML 워크로드를 세밀하게 제어해야 하는 경우 이 옵션을 사용하는 것이 좋습니다. 자세한 내용은 GKE 문서의 다음 튜토리얼을 참조하세요.

• vLLM으로 Gemma 서빙
• TGI로 Gemma 서빙
• Triton 및 TensorRT-LLM으로 Gemma 서빙
• JetStream으로 Gemma 제공
• Saxml로 Gemma 서빙

Dataflow에서 Gemma 사용

감정 분석을 위해 Dataflow에서 Gemma 모델을 사용할 수 있습니다. Dataflow를 사용하여 Gemma 모델을 사용하는 추론 파이프라인을 실행합니다. 자세한 내용은 Gemma 개방형 모델로 추론 파이프라인 실행을 참조하세요.

Colab에서 Gemma 사용

Colaboratory와 함께 Gemma를 사용하여 Gemma 솔루션을 만들 수 있습니다. Colab에서 Gemma를 PyTorch, JAX 등의 프레임워크 옵션과 함께 사용할 수 있습니다. 자세한 내용은 다음을 참조하세요.

• Keras를 사용하여 Gemma 시작하기
• PyTorch를 사용하여 Gemma 시작하기
• Keras를 사용하여 Gemma로 기본 미세 조정
• Keras를 사용하여 Gemma로 분산 조정

Gemma 모델 크기 및 기능

Gemma 모델은 사용 가능한 컴퓨팅 리소스, 필요한 기능, 실행할 위치에 따라 생성형 AI 솔루션을 빌드할 수 있도록 여러 크기로 제공됩니다. 조정된 버전과 조정되지 않은 버전에서 각 모델을 사용할 수 있습니다.

• 선행 학습 - 이 모델 버전은 Gemma 핵심 데이터 학습 세트를 제외하고 특정 태스크 또는 명령에 대해 학습되어 있지 않습니다. 이 모델을 사용하려면 일부 조정을 수행하는 것이 좋습니다.

• 조정된 명령 - 이 모델 버전은 간단한 채팅 봇과 유사하게 대화에 참여할 수 있도록 인간 언어 상호작용에 맞춰 학습되어 있습니다.

• 미세 조정된 혼합 - 이 버전의 모델은 학술 데이터 세트 혼합에서 미세 조정되며 자연어 프롬프트를 허용합니다.

파라미터 크기가 작을수록 리소스 요구사항이 적고 배포 유연성이 높아집니다.

모델 이름	매개변수 크기	입력	출력	조정된 버전	의도된 플랫폼
Gemma 3
Gemma 27B	270억	텍스트 및 이미지	텍스트	선행 학습 조정된 명령	대규모 서버 또는 서버 클러스터
Gemma 12B	12억	텍스트 및 이미지	텍스트	선행 학습 조정된 명령	고급형 데스크톱 컴퓨터 및 서버
Gemma 4B	40억	텍스트 및 이미지	텍스트	선행 학습 조정된 명령	데스크톱 컴퓨터 및 소형 서버
Gemma 1B	10억	텍스트	텍스트	선행 학습 조정된 명령	휴대기기 및 노트북
Gemma 2
Gemma 27B	270억	텍스트	텍스트	선행 학습 조정된 명령	대규모 서버 또는 서버 클러스터
Gemma 9B	90억 개	텍스트	텍스트	선행 학습 조정된 명령	고급형 데스크톱 컴퓨터 및 서버
Gemma 2B	20억	텍스트	텍스트	선행 학습 조정된 명령	휴대기기 및 노트북
Gemma
Gemma 7B	70억	텍스트	텍스트	선행 학습 조정된 명령	데스크톱 컴퓨터 및 소형 서버
Gemma 2B	22억	텍스트	텍스트	선행 학습 조정된 명령	휴대기기 및 노트북
CodeGemma
CodeGemma 7B	70억	텍스트	텍스트	선행 학습 조정된 명령	데스크톱 컴퓨터 및 소형 서버
CodeGemma 2B	20억	텍스트	텍스트	선행 학습	데스크톱 컴퓨터 및 소형 서버
PaliGemma 2
PaliGemma 28B	280억	텍스트 및 이미지	텍스트	선행 학습 미세 조정된 혼합	대규모 서버 또는 서버 클러스터
PaliGemma 10B	100억	텍스트 및 이미지	텍스트	선행 학습 미세 조정된 혼합	고급형 데스크톱 컴퓨터 및 서버
PaliGemma 3B	30억	텍스트 및 이미지	텍스트	선행 학습 미세 조정된 혼합	데스크톱 컴퓨터 및 소형 서버
PaliGemma
PaliGemma 3B	30억	텍스트 및 이미지	텍스트	선행 학습 미세 조정된 혼합	데스크톱 컴퓨터 및 소형 서버
ShieldGemma 2
ShieldGemma 2	40억	텍스트 및 이미지	텍스트	미세 조정됨	데스크톱 컴퓨터 및 소형 서버
TxGemma
TxGemma 27B	270억	텍스트	텍스트	선행 학습 조정된 명령	대규모 서버 또는 서버 클러스터
TxGemma 9B	90억	텍스트	텍스트	선행 학습 조정된 명령	고급형 데스크톱 컴퓨터 및 서버
TxGemma 2B	20억	텍스트	텍스트	선행 학습	휴대기기 및 노트북

Gemma는 Google의 특화된 v5e TPU 하드웨어와 NVIDIA의 L4(G2 Standard), A100(A2 Standard), H100(A3 High) GPU 하드웨어를 통해 테스트되었습니다.

다음 단계

• Gemma 문서를 참조하세요.