O Model Garden no console do Google Cloud é uma biblioteca de modelos de ML que ajuda a descobrir, testar, personalizar e implantar modelos e recursos de OSS seletos e reservados do Google.
Os tópicos a seguir apresentam os modelos de IA disponíveis no Model Garden e como usá-los.
Explorar modelos
Para visualizar a lista de Vertex AI disponíveis e a base de código aberto, modelos ajustáveis e específicos de tarefas, acesse a página Model Garden no Console do Google Cloud.
As categorias de modelo disponíveis no Model Garden são:
Categoria | Descrição |
---|---|
Modelos de fundação | Modelos pré-treinados de multitarefa que podem ser ajustados ou personalizados para tarefas específicas usando a Vertex AI Studio, a API Vertex AI e o SDK Vertex AI para Python. |
Modelos ajustáveis | Modelos que podem ser ajustados com um notebook ou pipeline personalizado. |
Soluções específicas para tarefas | A maioria desses modelos prontos está pronta para uso. Muitos podem ser personalizados usando seus próprios dados. |
Para filtrar modelos no painel de filtros, especifique o seguinte:
- Modalidades: clique nas modalidades (tipos de dados) que você quer incluir no modelo.
- Tarefas: clique na tarefa que você quer que o modelo execute.
- Recursos: clique nos recursos que você quer no modelo.
Para saber mais sobre cada modelo, clique no card correspondente.
Modelos disponíveis no Model Garden
Encontre modelos primários do Google e selecione modelos de código aberto no Model Garden.
Lista de modelos primários do Google
A tabela a seguir lista os modelos primários do Google disponíveis no Model Garden:
Nome do modelo | Modalidade | Descrição | Guias de início rápido |
---|---|---|---|
Gemini 1.5 Flash | Idioma, áudio e visão | O modelo multimodal Gemini mais rápido e econômico. Ele foi criado para tarefas de alto volume e aplicativos acessíveis, sensíveis à latência. Devido à responsividade do Gemini 1.5 Flash, ele é uma boa opção para criar assistentes de chat e aplicativos de geração de conteúdo sob demanda. | Card de modelo |
Gemini 1.5 Pro | Idioma, áudio e visão | Modelo multimodal compatível com a adição de arquivos de imagem, áudio, vídeo e PDF em comandos de texto ou chat para uma resposta de texto ou código. | Card de modelo |
Gemini 1.0 Pro | Idioma | Projetado para processar tarefas de linguagem natural, chat de código e texto com várias interações e geração de código. | Card de modelo |
Gemini 1.0 Pro Vision | Linguagem, visão | Modelo multimodal compatível com a adição de arquivos de imagem, vídeo e PDF em comandos de texto ou chat para uma resposta de texto ou código. | Card de modelo |
PaLM 2 para texto | Idioma | Ajustado para seguir instruções de linguagem natural e adequado para várias tarefas de linguagem. | Card de modelo |
PaLM 2 para chat | Idioma | Ajustado para conduzir conversas naturais. Use este modelo para criar e personalizar seu próprio aplicativo de chatbot. | Card de modelo |
Codey para preenchimento de código | Idioma | Gera código com base em solicitações. Bom para sugestões de código e para minimizar bugs no código. | Card de modelo |
Codey para geração de códigos | Idioma | Gera código com base na entrada de linguagem natural. Bom para escrever funções, classes, testes de unidade e muito mais. | Card de modelo |
Codey para chat de código | Idioma | Receba assistência relacionada ao código por meio de conversa natural. Bom para perguntas sobre uma API, sintaxe em uma linguagem compatível e muito mais. | Card de modelo |
Embeddings para texto | Idioma | Converte dados textuais em vetores numéricos que podem ser processados por algoritmos de machine learning, especialmente modelos grandes. | Card de modelo |
Imagen para geração de imagens | Vision | Crie ou edite imagens com nível de estúdio em escala usando comandos de texto. | Card de modelo |
Imagem para legendas e VQA | Idioma | Gera uma descrição relevante para uma determinada imagem. | Card de modelo |
Embeddings para multimodal | Vision | Gera vetores com base em imagens, que podem ser usadas para tarefas downstream, como classificação e pesquisa de imagens. | Card de modelo |
Chirp | Fala | Uma versão de um modelo de fala universal que tem mais de 2 bilhões de parâmetros e pode transcrever em mais de cem idiomas em um único modelo. | Card de modelo |
Lista de modelos com receitas de ajuste ou disponibilização de código aberto no Model Garden
A tabela a seguir lista os modelos de OSS compatíveis com ajuste de código aberto ou receitas de veiculação no Model Garden:
Nome do modelo | Modalidade | Descrição | Guia de início rápido |
---|---|---|---|
E5 | Idioma | Implantar o E5, uma série de modelos de embedding de texto. | Colab Card de modelo |
ID instantâneo | Linguagem, visão | Implante o Instant ID, um modelo de geração de texto para imagem que preserva a identidade. | Colab Card de modelo |
Llama 3 | Idioma | Faça análises e criações com os modelos Llama 3 da Meta (8B, 70B) na Vertex AI. | Card de modelo |
Gemma 2 | Idioma | Modelos de peso abertos (9B, 27B) que são criados a partir da mesma pesquisa e tecnologia usada para criar os modelos do Google Gemini. | Card de modelo |
Gemma | Idioma | Modelos de peso abertos (2B, 7B) que são criados a partir da mesma pesquisa e tecnologia usada para criar os modelos do Google Gemini. | Card de modelo |
CodeGemma | Idioma | Modelos de peso aberto (2B, 7B) projetados para geração e preenchimento de código desenvolvidos a partir da mesma pesquisa e tecnologia usadas para criar os modelos Gemini do Google. | Card de modelo |
PaliGemma | Idioma | Modelo 3B de peso aberto projetado para tarefas de legendagem de imagens, perguntas visuais e respostas criadas com a mesma pesquisa e tecnologia usada para criar os modelos Gemini do Google. | Card de modelo |
Vicuna v1.5 | Idioma | Implante os modelos da série Vicuna v1.5, que são modelos de fundação ajustados com LLama2 para geração de texto. | Card de modelo |
NLLB | Idioma | Implante modelos da série nllb para tradução em vários idiomas. | Card de modelo Colab |
Mistral-7B | Idioma | Implante o Mistral-7B, um modelo de fundação para geração de texto. | Card de modelo |
BioGPT | Idioma | Implante o BioGPT, um modelo generativo de texto para o domínio biomédico. | Card de modelo Colab |
BiomedCLIP | Linguagem, visão | Implante o BiomedCLIP, um modelo de fundação multimodal para o domínio biomédico. | Card de modelo Colab |
ImageBind | Idioma, visão, áudio |
Implante o ImageBind, um modelo de fundação para incorporação multimodal. | Card de modelo Colab |
DITO | Linguagem, visão | Ajuste e implante o DITO, um modelo de fundação multimodal para tarefas de detecção de objetos de vocabulário aberto. | Card de modelo Colab |
OWL-ViT v2 | Linguagem, visão | Implante o OWL-ViT v2, um modelo de fundação multimodal para tarefas de detecção de objetos de vocabulário aberto. | Card de modelo Colab |
FaceStylizer (Mediapipe) | Vision | Um pipeline generativo para transformar imagens de rostos humanos em um novo estilo. | Card de modelo Colab |
Llama 2 | Idioma | Ajuste e implante os modelos de fundação Llama 2 da Meta (7B, 13B, 70B) na Vertex AI. | Card de modelo |
Code Llama | Idioma | Implante os modelos de fundação Code Llama da Meta (7B, 13B, 34B) na Vertex AI. | Card de modelo |
Falcon-instruct | Idioma | Ajuste e implante modelos Falcon-instruct (7B, 40B) usando PEFT. | Colab Card de modelo |
OpenLLaMA | Idioma | Ajuste e implante modelos OpenLLaMA (3B, 7B, 13B) usando PEFT. | Colab Card de modelo |
T5-FLAN | Idioma | Ajuste e implante o T5-FLAN (base, pequeno, grande). | Card de modelo (pipeline de ajuste fino incluso) |
BERT | Idioma | Ajuste e implante o BERT usando PEFT. | Colab Card de modelo |
BART-large-cnn | Idioma | Implante o BART, um modelo codificador-codificador de transformação (seq2seq) com um codificador bidirecional (do tipo BERT) e um decodificador autorregressivo (do tipo GPT). | Colab Card de modelo |
RoBERTa-large | Idioma | Ajuste e implante o RoBERTa-large usando PEFT. | Colab Card de modelo |
XLM-RoBERTa-large | Idioma | Ajuste e implante o XLM-RoBERTa-large (uma versão multilíngue do RoBERTa) usando PEFT. | Colab Card de modelo |
Dolly-v2-7b | Idioma | Implante o Dolly-v2-7b, um modelo de linguagem grande que segue instruções com 6,9 bilhões de parâmetros. | Colab Card de modelo |
Stable Diffusion v1.5 | Linguagem, visão | Modelo de difusão de texto latente para imagem capaz de gerar imagens fotorrealistas quando recebe uma entrada de texto. | Card de modelo |
Stable Diffusion XL v1.0 | Linguagem, visão | Implante o Stable Diffusion XL v1.0, que é compatível com geração de texto para imagem. | Colab Card de modelo |
Stable Diffusion XL Lightning | Linguagem, visão | Implante o Stable Diffusion XL Lightning, um modelo de geração de texto para imagem. | Colab Card de modelo |
Stable Diffusion v2.1 | Linguagem, visão | Ajuste e implante o Stable Diffusion v2.1 (compatível com a geração de texto para imagem) usando o DreamBooth. | Colab Card de modelo |
Stable Diffusion 4x Upscaler | Linguagem, visão | Implante o Stable Diffusion 4x Upscaler, que é compatível com a super-resolução de imagens condicionadas por texto. | Colab Card de modelo |
InstructPix2Pix | Linguagem, visão | Implante o InstructPix2Pix, que é compatível com a edição de imagens usando um comando de texto. | Colab Card de modelo |
Stable Diffusion Inpainting | Linguagem, visão | Ajuste e implante o Stable Diffusion Inpainting, que é compatível com retoque de uma imagem mascarada usando um comando de texto. | Colab Card de modelo |
SAM | Linguagem, visão | Implante o Segment Anything, que é compatível com a segmentação de imagens zero-shot. | Colab Card de modelo |
Texto para vídeo (ModelScope) | Linguagem, visão | Implante a conversão de texto em vídeo do ModelScope, que é compatível com a geração de texto para vídeo. | Colab Card de modelo |
Texto para vídeo zero-shot | Linguagem, visão | Implante geradores de texto para vídeo do Stable Diffusion, que são compatíveis com a geração de texto para vídeo zero-shot. | Colab Card de modelo |
Recuperação de imagens compostas do Pic2Word | Linguagem, visão | Implante o Pic2Word, que é compatível com a recuperação multimodal de imagens compostas. | Colab Card de modelo |
BLIP2 | Linguagem, visão | Implante o BLIP2, que é compatível com legendagem de imagens e resposta a perguntas visuais. | Colab Card de modelo |
Open-CLIP | Linguagem, visão | Ajuste e implante o Open-CLIP, que é compatível com a classificação zero-shot. | Colab Card de modelo |
F-VLM | Linguagem, visão | Implante o F-VLM, que é compatível com a detecção de objetos de imagem de vocabulário aberto. | Colab Card de modelo |
tfhub/EfficientNetV2 | Vision | Ajuste e implante a implementação do TensorFlow Vision do modelo de classificação de imagens EfficientNetV2. | Colab Card de modelo |
EfficientNetV2 (TIMM) | Vision | Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens EfficientNetV2. | Colab Card de modelo |
EfficientNetV2/Reservado | Vision | Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens EfficientNetV2. | Colab Card de modelo |
EfficientNetLite (MediaPipe) | Vision | Ajuste o modelo de classificação de imagens EfficientNetLite com o criador de modelos MediaPipe. | Colab Card de modelo |
tfvision/vit | Vision | Ajuste e implante o modelo de classificação de imagens ViT do TensorFlow Vision. | Colab Card de modelo |
ViT (TIMM) | Vision | Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens ViT. | Colab Card de modelo |
ViT/Reservado | Vision | Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens ViT. | Colab Card de modelo |
Proprietary/MaxViT | Vision | Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens MaxViT híbrido (CNN + ViT). | Colab Card de modelo |
ViT (JAX) | Vision | Ajuste e implante a implementação do JAX do modelo de classificação de imagens ViT. | Colab Card de modelo |
tfvision/SpineNet | Vision | Ajuste e implante a implementação do TensorFlow Vision do modelo de detecção de objetos SpineNet. | Colab Card de modelo |
SpineNet/Reservado | Vision | Ajuste e implante o checkpoint reservado do Google do modelo de detecção de objetos SpineNet. | Colab Card de modelo |
tfvision/YOLO | Vision | Ajuste e implante o modelo de detecção de objetos em fase única YOLO do TensorFlow Vision. | Colab Card de modelo |
YOLO/Reservado | Vision | Ajuste e implante o checkpoint reservado do Google do modelo de detecção de objetos em única fase YOLO. | Colab Card de modelo |
YOLOv8 (Keras) | Vision | Ajuste e implante a implementação do Keras do modelo YOLOv8 para detecção de objetos. | Colab Card de modelo |
tfvision/YOLOv7 | Vision | Ajuste e implante o modelo YOLOv7 para detecção de objetos. | Colab Card de modelo |
Rastreamento de objetos de vídeo do ByteTrack | Vision | Execute a previsão em lote para rastreamento de objetos de vídeo usando o rastreador ByteTrack. | Colab Card de modelo |
ResNeSt (TIMM) | Vision | Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens ResNeSt. | Colab Card de modelo |
ConvNeXt (TIMM) | Vision | Ajuste e implante o ConvNeXt, um modelo puro de convolução para classificação de imagens inspirado no design do Vision Transformers. | Colab Card de modelo |
CspNet (TIMM) | Vision | Ajuste e implante o modelo de classificação de imagens CSPNet (rede parcial de vários estágios). | Colab Card de modelo |
Inception (TIMM) | Vision | Ajuste e implante o modelo de classificação de imagens Inception. | Colab Card de modelo |
DeepLabv3+ (com checkpoint) | Vision | Ajuste e implante o modelo DeepLab-v3 Plus para segmentação de imagens semânticas. | Colab Card de modelo |
Faster R-CNN (Detectron2) | Vision | Ajuste e implante a implementação do Detectron2 do modelo Faster R-CNN para detecção de objetos de imagem. | Colab Card de modelo |
RetinaNet (Detectron2) | Vision | Ajuste e implante a implementação do Detectron2 do modelo RetinaNet para detecção de objetos de imagem. | Colab Card de modelo |
Mask R-CNN (Detectron2) | Vision | Ajuste e implante a implementação do Detectron2 do modelo Mask R-CNN para detecção e segmentação de objetos de imagem. | Colab Card de modelo |
ControlNet | Vision | Ajuste e implante o modelo de geração de texto para imagem do ControlNet. | Colab Card de modelo |
MobileNet (TIMM) | Vision | Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens MobileNet. | Colab Card de modelo |
Classificação de imagens MobileNetV2 (MediaPipe) | Vision | Ajuste o modelo de classificação de imagens MobileNetV2 usando o criador de modelos MediaPipe. | Colab Card de modelo |
Detecção de objetos MobileNetV2 (MediaPipe) | Vision | Ajuste o modelo de detecção de objetos MobileNetV2 usando o criador de modelos MediaPipe. | Colab Card de modelo |
MobileNet-MultiHW-AVG (MediaPipe) | Vision | Ajuste o modelo de detecção de objetos MobileNet-MultiHW-AVG usando o criador de modelos MediaPipe. | Colab Card de modelo |
DeiT | Vision | Ajuste e implante o modelo DeiT (transformadores de imagens com eficiência de dados) para classificação de imagens. | Colab Card de modelo |
BEiT | Vision | Ajuste e implante o modelo BEiT (representação do codificador bidirecional via transformadores de imagens) para classificação de imagens. | Colab Card de modelo |
Reconhecimento de gestos da mão (MediaPipe) | Vision | Ajuste e implante no dispositivo os modelos de reconhecimento de gestos da mão usando o MediaPipe. | Colab Card de modelo |
Classificador médio de embedding de palavras (MediaPipe) | Vision | Ajuste e implante no dispositivo os modelos de classificador médio de embedding de palavras usando o MediaPipe. | Colab Card de modelo |
Classificador MobileBERT (MediaPipe) | Vision | Ajuste e implante no dispositivo os modelos do Classificador MobileBERT usando o MediaPipe. | Colab Card de modelo |
Classificação de videoclipes da MoViNet | Vídeo | Ajuste e implante modelos de classificação de videoclipes da MoViNet. | Colab Card de modelo |
Reconhecimento de ações em vídeo da MoViNet | Vídeo | Ajuste e implante modelos da MoViNet para inferência de reconhecimento de ações. | Colab Card de modelo |
LCM Stable Diffusion XL | Vision | Implante este modelo que usa o Modelo de consistência latente (LCM, na sigla em inglês) para melhorar a geração de texto para imagem em modelos de difusão latente, permitindo a criação de imagens mais rápida e de alta qualidade em menos etapas. | Colab Card de modelo |
LLaVA 1.5 | Visão, linguagem | Implantar modelos LLaVA 1.5. | Colab Card de modelo |
PyTorch-ZipNeRF | Visão, Vídeo | Treine o modelo Pytorch-ZipNeRF, que é uma implementação de última geração do algoritmo ZipNeRF no framework Pytorch, projetado para uma reconstrução 3D eficiente e precisa a partir de imagens 2D. | Colab Card de modelo |
Mixtral 8x7B | Idioma | Implante o modelo Mixtral 8x7B, que é uma combinação de modelos de linguagem grandes (LLM, na sigla em inglês) desenvolvidos pela Mistral AI. Ele é um modelo somente decodificador com 46,7 bilhões de parâmetros e foi relatado para corresponder ou superar o LLaMA 2 70B e GPT 3.5 em muitos comparativos de mercado. | Card de modelo |
Lhama 2 (quantizada) | Idioma | Ajuste e implante uma versão quantizada dos modelos Llama 2 da Meta. | Colab Card de modelo |
LaMa (retoque de máscaras grandes) | Vision | Implante o LaMa, que usa convoluções de Fourier (FFCs, na sigla em inglês) rápidas, uma alta perda perceptível de campo receptivo e grandes máscaras de treinamento para retoques de imagens com resolução robusta. | Colab Card de modelo |
AutoGluon | Tabular | Com o AutoGluon, é possível treinar e implantar modelos de machine learning de alta precisão e aprendizado profundo para dados tabulares. | Colab Card de modelo |
MaMMUT | Linguagem, visão | Uma arquitetura de codificador de visão e de decodificador de texto para multimodais como respostas visuais a perguntas, recuperação de imagens-texto, recuperação de imagens de texto e geração de embeddings multimodais. | Colab Card de modelo |
Lista de modelos de parceiros disponíveis no Grupo de modelos
A tabela a seguir lista os modelos disponíveis nos parceiros do Google no Grupo de modelos:
Nome do modelo | Modalidade | Descrição | Guia de início rápido |
---|---|---|---|
Anthropic Claude 3 Opus | Idioma | O modelo mais eficiente da Anthropic para tarefas complexas rapidamente. Ele foi criado para responder a comandos abertos e novos cenários. | Card de modelo |
Soneto Anthropic Claude 3 | Idioma | Um modelo de visão e texto que equilibra o desempenho e a velocidade de processamento de cargas de trabalho empresariais. Ele foi projetado para implantações de IA escalonadas e de baixo custo. | Card de modelo |
Haiku Anthropic Claude 3 | Idioma | A visão mais rápida e compacta da Anthropic de texto que fornece respostas rápidas a consultas diretas. Ele é destinado a experiências de IA que imitam interações humanas. | Card de modelo |
Como usar cards de modelo
Clique em um cartão de modelo para usar o modelo associado a ele. Por exemplo, é possível clicar em um cartão de modelo para testar solicitações, ajustar um modelo, criar aplicativos e ver amostras de código.
Para saber como usar modelos associados a cartões de modelo, clique em uma das seguintes guias:
Solicitações de teste
Use o cartão de modelo da API Vertex AI PaLM para testar as solicitações.
No Console do Google Cloud, acesse a página Model Garden.
Encontre um modelo compatível que você queira testar e clique em Ver detalhes.
Clique em Abrir design de solicitação.
Você será direcionado à página Design do prompt.
Em Prompt, digite o prompt que você quer testar.
Opcional: configure os parâmetros do modelo.
Clique em Enviar.
Ajustar um modelo
Para ajustar modelos compatíveis, use um pipeline da Vertex AI ou um notebook.
Ajustar usando um pipeline
Os modelos BERT e T5-FLAN são compatíveis com o ajuste de modelos usando um pipeline.
No Console do Google Cloud, acesse a página Model Garden.
Em Pesquisar modelos, digite BERT ou T5-FLAN e clique na lupa.
Clique em Ver detalhes no card do modelo T5-FLAN ou BERT.
Clique em Abrir pipeline de ajuste.
Você será direcionado para a página de pipelines da Vertex AI.
Para iniciar o ajuste, clique em Criar execução.
Ajustar um notebook
Os cards de modelo para a maioria dos modelos básicos de código aberto e modelos ajustáveis são compatíveis com ajustes em um notebook.
No Console do Google Cloud, acesse a página Model Garden.
Encontre um modelo compatível que você queira ajustar e clique em Ver detalhes.
Clique em Abrir notebook.
Implantar um modelo
O cartão do modelo de difusão estável é compatível com a implantação em um endpoint.
No Console do Google Cloud, acesse a página Model Garden.
Encontre um modelo compatível que você quer implantar. No cartão de modelo, clique em Ver detalhes.
Clique em Implantar.
É necessário salvar uma cópia do modelo no Registro de modelos.
Em Nome do modelo, digite um nome para o modelo.
Clique em Salvar.
O painel Implantar no endpoint é exibido.
Defina seu endpoint da seguinte maneira:
- Em Nome do Endpoint, insira um nome para o endpoint.
- Região: selecione uma região para criar o endpoint.
- Acesso: para tornar o endpoint acessível por meio de uma API REST, selecione Padrão. Para criar uma conexão particular com o endpoint, selecione Particular.
Clique em Continuar.
Siga as instruções no Console do Google Cloud e defina as configurações do modelo.
Clique em Continuar.
Opcional: clique em Ativar monitoramento de modelos para este endpoint para ativar o monitoramento de modelos.
Clique em Implantar.
Veja exemplos de código
A maioria dos cartões de modelos de soluções específicas de tarefas contém amostras de código que podem ser copiadas e testadas.
No Console do Google Cloud, acesse a página Model Garden.
Encontre um modelo compatível para ver amostras de código e clique na guia Documentação.
A página rola para a seção de documentação com o código de amostra incorporado.
Criar um app Vision
Os cartões para modelos de visão computacional aplicáveis são compatíveis com a criação de um aplicativo de visão.
No Console do Google Cloud, acesse a página Model Garden.
Na seção "Soluções específicas para tarefas", encontre um modelo de visão que você queira usar para criar um aplicativo de visão e clique em Visualizar detalhes.
Clique em Criar app.
Você será levado à Vertex AI Vision.
Em Nome do aplicativo, insira um nome para seu aplicativo e clique em Continuar.
Selecione um plano de faturamento e clique em Criar.
Você será levado ao Vertex AI Vision Studio, onde poderá continuar criando seu aplicativo de visão computacional.
Preços
Para os modelos de código aberto no Model Garden, a cobrança é feita pelo uso dos itens a seguir na Vertex AI:
- Ajuste do modelo: os recursos de computação usados são cobrados com a mesma taxa do treinamento personalizado. Consulte os preços de treinamento personalizado.
- Implantação do modelo: você é cobrado pelos recursos de computação usados para implantar o modelo em um endpoint. Consulte preços das previsões.
- Colab Enterprise: consulte os preços do Colab Enterprise.
A seguir
- Saiba mais sobre as práticas recomendadas de IA responsável e os filtros de segurança da Vertex AI.
- Saiba mais sobre a IA generativa na Vertex AI.
- Saiba como ajustar modelos de base.