Explore modelos de IA no Model Garden

O Model Garden no console do Google Cloud é uma biblioteca de modelos de ML que ajuda a descobrir, testar, personalizar e implantar modelos e recursos de OSS seletos e reservados do Google.

Os tópicos a seguir apresentam os modelos de IA disponíveis no Model Garden e como usá-los.

Explorar modelos

Para visualizar a lista de Vertex AI disponíveis e a base de código aberto, modelos ajustáveis e específicos de tarefas, acesse a página Model Garden no Console do Google Cloud.

Acessar o Model Garden

As categorias de modelo disponíveis no Model Garden são:

Categoria Descrição
Modelos de fundação Modelos pré-treinados de multitarefa que podem ser ajustados ou personalizados para tarefas específicas usando a Vertex AI Studio, a API Vertex AI e o SDK Vertex AI para Python.
Modelos ajustáveis Modelos que podem ser ajustados com um notebook ou pipeline personalizado.
Soluções específicas para tarefas A maioria desses modelos prontos está pronta para uso. Muitos podem ser personalizados usando seus próprios dados.

Para filtrar modelos no painel de filtros, especifique o seguinte:

  • Modalidades: clique nas modalidades (tipos de dados) que você quer incluir no modelo.
  • Tarefas: clique na tarefa que você quer que o modelo execute.
  • Recursos: clique nos recursos que você quer no modelo.

Para saber mais sobre cada modelo, clique no card correspondente.

Modelos disponíveis no Model Garden

Encontre modelos primários do Google e selecione modelos de código aberto no Model Garden.

Lista de modelos primários do Google

A tabela a seguir lista os modelos primários do Google disponíveis no Model Garden:

Nome do modelo Modalidade Descrição Guias de início rápido
Gemini 1.5 Flash Idioma, áudio e visão O modelo multimodal Gemini mais rápido e econômico. Ele foi criado para tarefas de alto volume e aplicativos acessíveis, sensíveis à latência. Devido à responsividade do Gemini 1.5 Flash, ele é uma boa opção para criar assistentes de chat e aplicativos de geração de conteúdo sob demanda. Card de modelo
Gemini 1.5 Pro Idioma, áudio e visão Modelo multimodal compatível com a adição de arquivos de imagem, áudio, vídeo e PDF em comandos de texto ou chat para uma resposta de texto ou código. Card de modelo
Gemini 1.0 Pro Idioma Projetado para processar tarefas de linguagem natural, chat de código e texto com várias interações e geração de código. Card de modelo
Gemini 1.0 Pro Vision Linguagem, visão Modelo multimodal compatível com a adição de arquivos de imagem, vídeo e PDF em comandos de texto ou chat para uma resposta de texto ou código. Card de modelo
PaLM 2 para texto Idioma Ajustado para seguir instruções de linguagem natural e adequado para várias tarefas de linguagem. Card de modelo
PaLM 2 para chat Idioma Ajustado para conduzir conversas naturais. Use este modelo para criar e personalizar seu próprio aplicativo de chatbot. Card de modelo
Codey para preenchimento de código Idioma Gera código com base em solicitações. Bom para sugestões de código e para minimizar bugs no código. Card de modelo
Codey para geração de códigos Idioma Gera código com base na entrada de linguagem natural. Bom para escrever funções, classes, testes de unidade e muito mais. Card de modelo
Codey para chat de código Idioma Receba assistência relacionada ao código por meio de conversa natural. Bom para perguntas sobre uma API, sintaxe em uma linguagem compatível e muito mais. Card de modelo
Embeddings para texto Idioma Converte dados textuais em vetores numéricos que podem ser processados por algoritmos de machine learning, especialmente modelos grandes. Card de modelo
Imagen para geração de imagens Vision Crie ou edite imagens com nível de estúdio em escala usando comandos de texto. Card de modelo
Imagem para legendas e VQA Idioma Gera uma descrição relevante para uma determinada imagem. Card de modelo
Embeddings para multimodal Vision Gera vetores com base em imagens, que podem ser usadas para tarefas downstream, como classificação e pesquisa de imagens. Card de modelo
Chirp Fala Uma versão de um modelo de fala universal que tem mais de 2 bilhões de parâmetros e pode transcrever em mais de cem idiomas em um único modelo. Card de modelo

Lista de modelos com receitas de ajuste ou disponibilização de código aberto no Model Garden

A tabela a seguir lista os modelos de OSS compatíveis com ajuste de código aberto ou receitas de veiculação no Model Garden:

Nome do modelo Modalidade Descrição Guia de início rápido
E5 Idioma Implantar o E5, uma série de modelos de embedding de texto. Colab
Card de modelo
ID instantâneo Linguagem, visão Implante o Instant ID, um modelo de geração de texto para imagem que preserva a identidade. Colab
Card de modelo
Llama 3 Idioma Faça análises e criações com os modelos Llama 3 da Meta (8B, 70B) na Vertex AI. Card de modelo
Gemma 2 Idioma Modelos de peso abertos (9B, 27B) que são criados a partir da mesma pesquisa e tecnologia usada para criar os modelos do Google Gemini. Card de modelo
Gemma Idioma Modelos de peso abertos (2B, 7B) que são criados a partir da mesma pesquisa e tecnologia usada para criar os modelos do Google Gemini. Card de modelo
CodeGemma Idioma Modelos de peso aberto (2B, 7B) projetados para geração e preenchimento de código desenvolvidos a partir da mesma pesquisa e tecnologia usadas para criar os modelos Gemini do Google. Card de modelo
PaliGemma Idioma Modelo 3B de peso aberto projetado para tarefas de legendagem de imagens, perguntas visuais e respostas criadas com a mesma pesquisa e tecnologia usada para criar os modelos Gemini do Google. Card de modelo
Vicuna v1.5 Idioma Implante os modelos da série Vicuna v1.5, que são modelos de fundação ajustados com LLama2 para geração de texto. Card de modelo
NLLB Idioma Implante modelos da série nllb para tradução em vários idiomas. Card de modelo
Colab
Mistral-7B Idioma Implante o Mistral-7B, um modelo de fundação para geração de texto. Card de modelo
BioGPT Idioma Implante o BioGPT, um modelo generativo de texto para o domínio biomédico. Card de modelo
Colab
BiomedCLIP Linguagem, visão Implante o BiomedCLIP, um modelo de fundação multimodal para o domínio biomédico. Card de modelo
Colab
ImageBind Idioma, visão,
áudio
Implante o ImageBind, um modelo de fundação para incorporação multimodal. Card de modelo
Colab
DITO Linguagem, visão Ajuste e implante o DITO, um modelo de fundação multimodal para tarefas de detecção de objetos de vocabulário aberto. Card de modelo
Colab
OWL-ViT v2 Linguagem, visão Implante o OWL-ViT v2, um modelo de fundação multimodal para tarefas de detecção de objetos de vocabulário aberto. Card de modelo
Colab
FaceStylizer (Mediapipe) Vision Um pipeline generativo para transformar imagens de rostos humanos em um novo estilo. Card de modelo
Colab
Llama 2 Idioma Ajuste e implante os modelos de fundação Llama 2 da Meta (7B, 13B, 70B) na Vertex AI. Card de modelo
Code Llama Idioma Implante os modelos de fundação Code Llama da Meta (7B, 13B, 34B) na Vertex AI. Card de modelo
Falcon-instruct Idioma Ajuste e implante modelos Falcon-instruct (7B, 40B) usando PEFT. Colab
Card de modelo
OpenLLaMA Idioma Ajuste e implante modelos OpenLLaMA (3B, 7B, 13B) usando PEFT. Colab
Card de modelo
T5-FLAN Idioma Ajuste e implante o T5-FLAN (base, pequeno, grande). Card de modelo (pipeline de ajuste fino incluso)
BERT Idioma Ajuste e implante o BERT usando PEFT. Colab
Card de modelo
BART-large-cnn Idioma Implante o BART, um modelo codificador-codificador de transformação (seq2seq) com um codificador bidirecional (do tipo BERT) e um decodificador autorregressivo (do tipo GPT). Colab
Card de modelo
RoBERTa-large Idioma Ajuste e implante o RoBERTa-large usando PEFT. Colab
Card de modelo
XLM-RoBERTa-large Idioma Ajuste e implante o XLM-RoBERTa-large (uma versão multilíngue do RoBERTa) usando PEFT. Colab
Card de modelo
Dolly-v2-7b Idioma Implante o Dolly-v2-7b, um modelo de linguagem grande que segue instruções com 6,9 bilhões de parâmetros. Colab
Card de modelo
Stable Diffusion v1.5 Linguagem, visão Modelo de difusão de texto latente para imagem capaz de gerar imagens fotorrealistas quando recebe uma entrada de texto. Card de modelo
Stable Diffusion XL v1.0 Linguagem, visão Implante o Stable Diffusion XL v1.0, que é compatível com geração de texto para imagem. Colab
Card de modelo
Stable Diffusion XL Lightning Linguagem, visão Implante o Stable Diffusion XL Lightning, um modelo de geração de texto para imagem. Colab
Card de modelo
Stable Diffusion v2.1 Linguagem, visão Ajuste e implante o Stable Diffusion v2.1 (compatível com a geração de texto para imagem) usando o DreamBooth. Colab
Card de modelo
Stable Diffusion 4x Upscaler Linguagem, visão Implante o Stable Diffusion 4x Upscaler, que é compatível com a super-resolução de imagens condicionadas por texto. Colab
Card de modelo
InstructPix2Pix Linguagem, visão Implante o InstructPix2Pix, que é compatível com a edição de imagens usando um comando de texto. Colab
Card de modelo
Stable Diffusion Inpainting Linguagem, visão Ajuste e implante o Stable Diffusion Inpainting, que é compatível com retoque de uma imagem mascarada usando um comando de texto. Colab
Card de modelo
SAM Linguagem, visão Implante o Segment Anything, que é compatível com a segmentação de imagens zero-shot. Colab
Card de modelo
Texto para vídeo (ModelScope) Linguagem, visão Implante a conversão de texto em vídeo do ModelScope, que é compatível com a geração de texto para vídeo. Colab
Card de modelo
Texto para vídeo zero-shot Linguagem, visão Implante geradores de texto para vídeo do Stable Diffusion, que são compatíveis com a geração de texto para vídeo zero-shot. Colab
Card de modelo
Recuperação de imagens compostas do Pic2Word Linguagem, visão Implante o Pic2Word, que é compatível com a recuperação multimodal de imagens compostas. Colab
Card de modelo
BLIP2 Linguagem, visão Implante o BLIP2, que é compatível com legendagem de imagens e resposta a perguntas visuais. Colab
Card de modelo
Open-CLIP Linguagem, visão Ajuste e implante o Open-CLIP, que é compatível com a classificação zero-shot. Colab
Card de modelo
F-VLM Linguagem, visão Implante o F-VLM, que é compatível com a detecção de objetos de imagem de vocabulário aberto. Colab
Card de modelo
tfhub/EfficientNetV2 Vision Ajuste e implante a implementação do TensorFlow Vision do modelo de classificação de imagens EfficientNetV2. Colab
Card de modelo
EfficientNetV2 (TIMM) Vision Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens EfficientNetV2. Colab
Card de modelo
EfficientNetV2/Reservado Vision Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens EfficientNetV2. Colab
Card de modelo
EfficientNetLite (MediaPipe) Vision Ajuste o modelo de classificação de imagens EfficientNetLite com o criador de modelos MediaPipe. Colab
Card de modelo
tfvision/vit Vision Ajuste e implante o modelo de classificação de imagens ViT do TensorFlow Vision. Colab
Card de modelo
ViT (TIMM) Vision Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens ViT. Colab
Card de modelo
ViT/Reservado Vision Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens ViT. Colab
Card de modelo
Proprietary/MaxViT Vision Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens MaxViT híbrido (CNN + ViT). Colab
Card de modelo
ViT (JAX) Vision Ajuste e implante a implementação do JAX do modelo de classificação de imagens ViT. Colab
Card de modelo
tfvision/SpineNet Vision Ajuste e implante a implementação do TensorFlow Vision do modelo de detecção de objetos SpineNet. Colab
Card de modelo
SpineNet/Reservado Vision Ajuste e implante o checkpoint reservado do Google do modelo de detecção de objetos SpineNet. Colab
Card de modelo
tfvision/YOLO Vision Ajuste e implante o modelo de detecção de objetos em fase única YOLO do TensorFlow Vision. Colab
Card de modelo
YOLO/Reservado Vision Ajuste e implante o checkpoint reservado do Google do modelo de detecção de objetos em única fase YOLO. Colab
Card de modelo
YOLOv8 (Keras) Vision Ajuste e implante a implementação do Keras do modelo YOLOv8 para detecção de objetos. Colab
Card de modelo
tfvision/YOLOv7 Vision Ajuste e implante o modelo YOLOv7 para detecção de objetos. Colab
Card de modelo
Rastreamento de objetos de vídeo do ByteTrack Vision Execute a previsão em lote para rastreamento de objetos de vídeo usando o rastreador ByteTrack. Colab
Card de modelo
ResNeSt (TIMM) Vision Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens ResNeSt. Colab
Card de modelo
ConvNeXt (TIMM) Vision Ajuste e implante o ConvNeXt, um modelo puro de convolução para classificação de imagens inspirado no design do Vision Transformers. Colab
Card de modelo
CspNet (TIMM) Vision Ajuste e implante o modelo de classificação de imagens CSPNet (rede parcial de vários estágios). Colab
Card de modelo
Inception (TIMM) Vision Ajuste e implante o modelo de classificação de imagens Inception. Colab
Card de modelo
DeepLabv3+ (com checkpoint) Vision Ajuste e implante o modelo DeepLab-v3 Plus para segmentação de imagens semânticas. Colab
Card de modelo
Faster R-CNN (Detectron2) Vision Ajuste e implante a implementação do Detectron2 do modelo Faster R-CNN para detecção de objetos de imagem. Colab
Card de modelo
RetinaNet (Detectron2) Vision Ajuste e implante a implementação do Detectron2 do modelo RetinaNet para detecção de objetos de imagem. Colab
Card de modelo
Mask R-CNN (Detectron2) Vision Ajuste e implante a implementação do Detectron2 do modelo Mask R-CNN para detecção e segmentação de objetos de imagem. Colab
Card de modelo
ControlNet Vision Ajuste e implante o modelo de geração de texto para imagem do ControlNet. Colab
Card de modelo
MobileNet (TIMM) Vision Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens MobileNet. Colab
Card de modelo
Classificação de imagens MobileNetV2 (MediaPipe) Vision Ajuste o modelo de classificação de imagens MobileNetV2 usando o criador de modelos MediaPipe. Colab
Card de modelo
Detecção de objetos MobileNetV2 (MediaPipe) Vision Ajuste o modelo de detecção de objetos MobileNetV2 usando o criador de modelos MediaPipe. Colab
Card de modelo
MobileNet-MultiHW-AVG (MediaPipe) Vision Ajuste o modelo de detecção de objetos MobileNet-MultiHW-AVG usando o criador de modelos MediaPipe. Colab
Card de modelo
DeiT Vision Ajuste e implante o modelo DeiT (transformadores de imagens com eficiência de dados) para classificação de imagens. Colab
Card de modelo
BEiT Vision Ajuste e implante o modelo BEiT (representação do codificador bidirecional via transformadores de imagens) para classificação de imagens. Colab
Card de modelo
Reconhecimento de gestos da mão (MediaPipe) Vision Ajuste e implante no dispositivo os modelos de reconhecimento de gestos da mão usando o MediaPipe. Colab
Card de modelo
Classificador médio de embedding de palavras (MediaPipe) Vision Ajuste e implante no dispositivo os modelos de classificador médio de embedding de palavras usando o MediaPipe. Colab
Card de modelo
Classificador MobileBERT (MediaPipe) Vision Ajuste e implante no dispositivo os modelos do Classificador MobileBERT usando o MediaPipe. Colab
Card de modelo
Classificação de videoclipes da MoViNet Vídeo Ajuste e implante modelos de classificação de videoclipes da MoViNet. Colab
Card de modelo
Reconhecimento de ações em vídeo da MoViNet Vídeo Ajuste e implante modelos da MoViNet para inferência de reconhecimento de ações. Colab
Card de modelo
LCM Stable Diffusion XL Vision Implante este modelo que usa o Modelo de consistência latente (LCM, na sigla em inglês) para melhorar a geração de texto para imagem em modelos de difusão latente, permitindo a criação de imagens mais rápida e de alta qualidade em menos etapas. Colab
Card de modelo
LLaVA 1.5 Visão, linguagem Implantar modelos LLaVA 1.5. Colab
Card de modelo
PyTorch-ZipNeRF Visão, Vídeo Treine o modelo Pytorch-ZipNeRF, que é uma implementação de última geração do algoritmo ZipNeRF no framework Pytorch, projetado para uma reconstrução 3D eficiente e precisa a partir de imagens 2D. Colab
Card de modelo
Mixtral 8x7B Idioma Implante o modelo Mixtral 8x7B, que é uma combinação de modelos de linguagem grandes (LLM, na sigla em inglês) desenvolvidos pela Mistral AI. Ele é um modelo somente decodificador com 46,7 bilhões de parâmetros e foi relatado para corresponder ou superar o LLaMA 2 70B e GPT 3.5 em muitos comparativos de mercado. Card de modelo
Lhama 2 (quantizada) Idioma Ajuste e implante uma versão quantizada dos modelos Llama 2 da Meta. Colab
Card de modelo
LaMa (retoque de máscaras grandes) Vision Implante o LaMa, que usa convoluções de Fourier (FFCs, na sigla em inglês) rápidas, uma alta perda perceptível de campo receptivo e grandes máscaras de treinamento para retoques de imagens com resolução robusta. Colab
Card de modelo
AutoGluon Tabular Com o AutoGluon, é possível treinar e implantar modelos de machine learning de alta precisão e aprendizado profundo para dados tabulares. Colab
Card de modelo
MaMMUT Linguagem, visão Uma arquitetura de codificador de visão e de decodificador de texto para multimodais como respostas visuais a perguntas, recuperação de imagens-texto, recuperação de imagens de texto e geração de embeddings multimodais. Colab
Card de modelo

Lista de modelos de parceiros disponíveis no Grupo de modelos

A tabela a seguir lista os modelos disponíveis nos parceiros do Google no Grupo de modelos:

Nome do modelo Modalidade Descrição Guia de início rápido
Anthropic Claude 3 Opus Idioma O modelo mais eficiente da Anthropic para tarefas complexas rapidamente. Ele foi criado para responder a comandos abertos e novos cenários. Card de modelo
Soneto Anthropic Claude 3 Idioma Um modelo de visão e texto que equilibra o desempenho e a velocidade de processamento de cargas de trabalho empresariais. Ele foi projetado para implantações de IA escalonadas e de baixo custo. Card de modelo
Haiku Anthropic Claude 3 Idioma A visão mais rápida e compacta da Anthropic de texto que fornece respostas rápidas a consultas diretas. Ele é destinado a experiências de IA que imitam interações humanas. Card de modelo

Como usar cards de modelo

Clique em um cartão de modelo para usar o modelo associado a ele. Por exemplo, é possível clicar em um cartão de modelo para testar solicitações, ajustar um modelo, criar aplicativos e ver amostras de código.

Para saber como usar modelos associados a cartões de modelo, clique em uma das seguintes guias:

Solicitações de teste

Use o cartão de modelo da API Vertex AI PaLM para testar as solicitações.

  1. No Console do Google Cloud, acesse a página Model Garden.

    Acessar o Model Garden

  2. Encontre um modelo compatível que você queira testar e clique em Ver detalhes.

  3. Clique em Abrir design de solicitação.

    Você será direcionado à página Design do prompt.

  4. Em Prompt, digite o prompt que você quer testar.

  5. Opcional: configure os parâmetros do modelo.

  6. Clique em Enviar.

Ajustar um modelo

Para ajustar modelos compatíveis, use um pipeline da Vertex AI ou um notebook.

Ajustar usando um pipeline

Os modelos BERT e T5-FLAN são compatíveis com o ajuste de modelos usando um pipeline.

  1. No Console do Google Cloud, acesse a página Model Garden.

    Acessar o Model Garden

  2. Em Pesquisar modelos, digite BERT ou T5-FLAN e clique na lupa.

  3. Clique em Ver detalhes no card do modelo T5-FLAN ou BERT.

  4. Clique em Abrir pipeline de ajuste.

    Você será direcionado para a página de pipelines da Vertex AI.

  5. Para iniciar o ajuste, clique em Criar execução.

Ajustar um notebook

Os cards de modelo para a maioria dos modelos básicos de código aberto e modelos ajustáveis são compatíveis com ajustes em um notebook.

  1. No Console do Google Cloud, acesse a página Model Garden.

    Acessar o Model Garden

  2. Encontre um modelo compatível que você queira ajustar e clique em Ver detalhes.

  3. Clique em Abrir notebook.

Implantar um modelo

O cartão do modelo de difusão estável é compatível com a implantação em um endpoint.

  1. No Console do Google Cloud, acesse a página Model Garden.

    Acessar o Model Garden

  2. Encontre um modelo compatível que você quer implantar. No cartão de modelo, clique em Ver detalhes.

  3. Clique em Implantar.

    É necessário salvar uma cópia do modelo no Registro de modelos.

  4. Em Nome do modelo, digite um nome para o modelo.

  5. Clique em Salvar.

    O painel Implantar no endpoint é exibido.

  6. Defina seu endpoint da seguinte maneira:

    • Em Nome do Endpoint, insira um nome para o endpoint.
    • Região: selecione uma região para criar o endpoint.
    • Acesso: para tornar o endpoint acessível por meio de uma API REST, selecione Padrão. Para criar uma conexão particular com o endpoint, selecione Particular.
  7. Clique em Continuar.

  8. Siga as instruções no Console do Google Cloud e defina as configurações do modelo.

  9. Clique em Continuar.

  10. Opcional: clique em Ativar monitoramento de modelos para este endpoint para ativar o monitoramento de modelos.

  11. Clique em Implantar.

Veja exemplos de código

A maioria dos cartões de modelos de soluções específicas de tarefas contém amostras de código que podem ser copiadas e testadas.

  1. No Console do Google Cloud, acesse a página Model Garden.

    Acessar o Model Garden

  2. Encontre um modelo compatível para ver amostras de código e clique na guia Documentação.

  3. A página rola para a seção de documentação com o código de amostra incorporado.

Criar um app Vision

Os cartões para modelos de visão computacional aplicáveis são compatíveis com a criação de um aplicativo de visão.

  1. No Console do Google Cloud, acesse a página Model Garden.

    Acessar o Model Garden

  2. Na seção "Soluções específicas para tarefas", encontre um modelo de visão que você queira usar para criar um aplicativo de visão e clique em Visualizar detalhes.

  3. Clique em Criar app.

    Você será levado à Vertex AI Vision.

  4. Em Nome do aplicativo, insira um nome para seu aplicativo e clique em Continuar.

  5. Selecione um plano de faturamento e clique em Criar.

    Você será levado ao Vertex AI Vision Studio, onde poderá continuar criando seu aplicativo de visão computacional.

Preços

Para os modelos de código aberto no Model Garden, a cobrança é feita pelo uso dos itens a seguir na Vertex AI:

A seguir