모델 가든은 Vertex AI를 탐색, 테스트, 맞춤설정 및 배포하고 OSS 모델 및 애셋을 선택할 수 있게 해주는 플랫폼입니다. Vertex AI에서 사용 가능한 AI 모델 및 API를 살펴보려면 Google Cloud 콘솔의 Model Garden으로 이동합니다.
다음 주제에서는 Model Garden에서 사용할 수 있는 AI 모델과 이를 사용하는 방법을 소개합니다.
모델 살펴보기
사용 가능한 Vertex AI 및 오픈소스 기반, 조정, 작업별 모델 목록을 보려면 Google Cloud 콘솔의 Model Garden 페이지로 이동합니다.
Model Garden에서 사용할 수 있는 모델 카테고리는 다음과 같습니다.
| 카테고리 | 설명 |
|---|---|
| 기반 모델 | Generative AI Studio, Vertex AI API, Python용 Vertex AI SDK를 사용하여 특정 태스크에 대해 조정하거나 맞춤설정할 수 있는 사전 학습된 멀티태스크 대규모 모델입니다. |
| 미세 조정 가능한 모델 | 커스텀 노트북이나 파이프라인을 사용하여 미세 조정할 수 있는 모델입니다. |
| 태스크별 솔루션 | 이러한 사전 빌드된 모델 중 대부분은 즉시 사용할 수 있습니다. 많은 경우 자체 데이터를 사용하여 맞춤설정할 수 있습니다. |
필터 창에서 모델을 필터링하려면 다음을 지정합니다.
- 모델: 원하는 모델 유형을 클릭합니다.
- 태스크: 모델로 수행할 태스크를 클릭합니다.
- 기능: 모델에서 지원하려는 기능을 클릭합니다.
각 모델에 대해 자세히 알아보려면 모델 카드를 클릭하세요.
Vertex AI의 오픈소스 조정 또는 제공 레시피가 있는 모델 목록
다음 표에는 Vertex AI의 오픈소스 조정 또는 제공 레시피를 지원하는 모델이 나와 있습니다.
| 모델 이름 | 형식 | 설명 | 빠른 시작 |
|---|---|---|---|
| Llama 2 | 언어 | Vertex AI에서 Meta의 Llama 2 기반 모델(7B, 13B, 70B)을 미세 조정하고 배포합니다. | 모델 카드 |
| Code Llama | 언어 | Vertex AI에 Meta의 Code Llama 기반 모델(7B, 13B, 34B)을 배포합니다. | 모델 카드 |
| Falcon-instruct | 언어 | PEFT를 사용하여 Falcon-instruct 모델(7B, 40B)을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| OpenLLaMA | 언어 | PEFT를 사용하여 OpenLLaMA 모델(3B, 7B, 13B)을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| T5-FLAN | 언어 | T5-FLAN(base, small, large)을 미세 조정하고 배포합니다. | 모델 카드(미세 조정 파이프라인 포함) |
| BERT | 언어 | PEFT를 사용하여 BERT를 미세 조정하고 배포합니다. | Colab 모델 카드 |
| BART-large-cnn | 언어 | 양방향(BERT 유사) 인코더와 자동 회귀(GPT 유사) 디코더를 사용하는 변환기 인코더-인코더(seq2seq) 모델인 BART를 배포합니다. | Colab 모델 카드 |
| RoBERTa-large | 언어 | PEFT를 사용하여 RoBERTa-large를 미세 조정하고 배포합니다. | Colab 모델 카드 |
| XLM-RoBERTa-large | 언어 | PEFT를 사용하여 XLM-RoBERTa-large(RoBERTa의 다국어 버전)를 미세 조정하고 배포합니다. | Colab 모델 카드 |
| Dolly-v2-7b | 언어 | 매개변수가 69억 개 있는 안내형 대규모 언어 모델인 Dolly-v2-7b를 배포합니다. | Colab 모델 카드 |
| Stable Diffusion XL v1.0 | 언어, 비전 | 텍스트-이미지 생성을 지원하는 Stable Diffusion XL v1.0을 배포합니다. | Colab 모델 카드 |
| Stable Diffusion v2.1 | 언어, 비전 | Dreambooth를 사용하여 Stable Diffusion v2.1(텍스트-이미지 생성 지원)을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| Stable Diffusion 4x upscaler | 언어, 비전 | 텍스트 조건부 이미지 초해상도를 지원하는 Stable Diffusion 4x upscaler를 배포합니다. | Colab 모델 카드 |
| InstructPix2Pix | 언어, 비전 | 텍스트 프롬프트를 사용하여 이미지 수정을 지원하는 InstructPix2Pix를 배포합니다. | Colab 모델 카드 |
| Stable Diffusion Inpainting | 언어, 비전 | 텍스트 프롬프트를 사용하여 마스킹된 이미지 인페인팅을 지원하는 Stable Diffusion Inpainting을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| SAM | 언어, 비전 | 제로샷 이미지 세분화를 지원하는 Segment Anything을 배포합니다. | Colab 모델 카드 |
| 텍스트-동영상(ModelScope) | 언어, 비전 | 텍스트-동영상 생성을 지원하는 ModelScope Text-to-Video를 배포합니다. | Colab 모델 카드 |
| 텍스트-동영상 제로샷 | 언어, 비전 | 제로샷 텍스트-동영상 생성을 지원하는 Stable Diffusion 텍스트-동영상 생성기를 배포합니다. | Colab 모델 카드 |
| Pic2Word 구성 이미지 가져오기 | 언어, 비전 | 멀티모달 구성 이미지 가져오기를 지원하는 Pic2Word를 배포합니다. | Colab 모델 카드 |
| BLIP2 | 언어, 비전 | 이미지 캡션 및 시각적 질문-답변을 지원하는 BLIP2를 배포합니다. | Colab 모델 카드 |
| Open-CLIP | 언어, 비전 | 제로샷 분류를 지원하는 Open-CLIP를 미세 조정하고 배포합니다. | Colab 모델 카드 |
| F-VLM | 언어, 비전 | 개방형 어휘 이미지 객체 감지를 지원하는 F-VLM을 배포합니다. | Colab 모델 카드 |
| tfhub/EfficientNetV2 | 비전 | EfficientNetV2 이미지 분류 모델의 Tensorflow Vision 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| EfficientNetV2(TIMM) | 비전 | EfficientNetV2 이미지 분류 모델의 PyTorch 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| Proprietary/EfficientNetV2 | 비전 | EfficientNetV2 이미지 분류 모델의 Google 독점 체크포인트를 미세 조정하고 배포합니다. | Colab 모델 카드 |
| EfficientNetLite(MediaPipe) | 비전 | MediaPipe 모델 제조업체를 통해 EfficientNetLite 이미지 분류 모델을 미세 조정합니다. | Colab 모델 카드 |
| tfvision/vit | 비전 | ViT 이미지 분류 모델의 Tensorflow Vision 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| ViT(TIMM) | 비전 | ViT 이미지 분류 모델의 PyTorch 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| Proprietary/ViT | 비전 | ViT 이미지 분류 모델의 Google 독점 체크포인트를 미세 조정하고 배포합니다. | Colab 모델 카드 |
| Proprietary/MaxViT | 비전 | MaxViT 하이브리드(CNN + ViT) 이미지 분류 모델의 Google 독점 체크포인트를 미세 조정하고 배포합니다. | Colab 모델 카드 |
| ViT(JAX) | 비전 | ViT 이미지 분류 모델의 JAX 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| tfvision/SpineNet | 비전 | SpineNet 객체 감지 모델의 Tensorflow Vision 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| Proprietary/Spinenet | 비전 | SpineNet 객체 감지 모델의 Google 독점 체크포인트를 미세 조정하고 배포합니다. | Colab 모델 카드 |
| tfvision/YOLO | 비전 | YOLO 1단계 객체 감지 모델의 Tensorflow Vision 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| Proprietary/YOLO | 비전 | YOLO 1단계 객체 감지 모델의 Google 독점 체크포인트를 미세 조정하고 배포합니다. | Colab 모델 카드 |
| YOLOv8(Keras) | 비전 | 객체 감지를 위해 YOLOv8 모델의 Keras 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| tfvision/YOLOv7 | 비전 | 객체 감지를 위해 YOLOv7 모델을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| ByteTrack 동영상 객체 추적 | 비전 | ByteTrack 추적기를 사용하여 동영상 객체 추적에 대한 일괄 예측을 실행합니다. | Colab 모델 카드 |
| ResNeSt(TIMM) | 비전 | ResNeSt 이미지 분류 모델의 PyTorch 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| ConvNeXt(TIMM) | 비전 | Vision Transformer의 설계에서 영감을 얻은 이미지 분류의 순수 합성곱 모델인 ConvNeXt를 미세 조정하고 배포합니다. | Colab 모델 카드 |
| CspNet(TIMM) | 비전 | CSPNet(교차 단계 부분 네트워크) 이미지 분류 모델을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| Inception(TIMM) | 비전 | Inception 이미지 분류 모델을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| DeepLabv3+(체크포인트 포함) | 비전 | 시맨틱 이미지 세분화를 위해 DeepLab-v3 Plus 모델을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| Faster R-CNN(Detectron2) | 비전 | 이미지 객체 감지를 위해 Faster R-CNN 모델의 Detectron2 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| RetinaNet(Detectron2) | 비전 | 이미지 객체 감지를 위해 RetinaNet 모델의 Detectron2 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| Mask R-CNN(Detectron2) | 비전 | 이미지 객체 감지 및 세분화를 위해 Mask R-CNN 모델의 Detectron2 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| ControlNet | 비전 | ControlNet 텍스트-이미지 생성 모델을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| MobileNet(TIMM) | 비전 | MobileNet 이미지 분류 모델의 PyTorch 구현을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| MobileNetV2(MediaPipe) Image Classification | 비전 | MediaPipe 모델 제조업체를 사용하여 MobileNetV2 이미지 분류 모델을 미세 조정합니다. | Colab 모델 카드 |
| MobileNetV2(MediaPipe) 객체 감지 | 비전 | MediaPipe 모델 제조업체를 사용하여 MobileNetV2 객체 감지 모델을 미세 조정합니다. | Colab 모델 카드 |
| MobileNet-MultiHW-AVG(MediaPipe) | 비전 | MediaPipe 모델 제조업체를 사용하여 MobileNet-MultiHW-AVG 객체 감지 모델을 미세 조정합니다. | Colab 모델 카드 |
| DeiT | 비전 | 이미지 분류를 위해 DeiT(데이터 효율적인 이미지 변환기) 모델을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| BEiT | 비전 | 이미지 분류를 위해 BEiT(이미지 변환기의 양방향 인코더 표현) 모델을 미세 조정하고 배포합니다. | Colab 모델 카드 |
| 손 동작 인식(MediaPipe) | 비전 | MediaPipe를 사용하여 기기에서 손 동작 인식 모델을 미세 조정하고 배포합니다. |