O Model Garden no console do Google Cloud é uma biblioteca de modelos de ML que ajuda a descobrir, testar, personalizar e implantar modelos e recursos de OSS seletos e reservados do Google.
Os tópicos a seguir apresentam os modelos de IA disponíveis no Model Garden e como usá-los.
Explorar modelos
Para visualizar a lista de Vertex AI disponíveis e a base de código aberto, modelos ajustáveis e específicos de tarefas, acesse a página Model Garden no Console do Google Cloud.
As categorias de modelo disponíveis no Model Garden são:
| Categoria | Descrição |
|---|---|
| Modelos de fundação | Modelos pré-treinados de multitarefa que podem ser ajustados ou personalizados para tarefas específicas usando a Vertex AI Studio, a API Vertex AI e o SDK Vertex AI para Python. |
| Modelos ajustáveis | Modelos que podem ser ajustados com um notebook ou pipeline personalizado. |
| Soluções específicas para tarefas | A maioria desses modelos prontos está pronta para uso. Muitos podem ser personalizados usando seus próprios dados. |
Para filtrar modelos no painel de filtros, especifique o seguinte:
- Modalidades: clique nas modalidades (tipos de dados) que você quer incluir no modelo.
- Tarefas: clique na tarefa que você quer que o modelo execute.
- Recursos: clique nos recursos que você quer no modelo.
Para saber mais sobre cada modelo, clique no card correspondente.
Modelos disponíveis no Model Garden
Encontre modelos primários do Google e selecione modelos de código aberto no Model Garden.
Lista de modelos primários do Google
A tabela a seguir lista os modelos primários do Google disponíveis no Model Garden:
| Nome do modelo | Modalidade | Descrição | Guias de início rápido |
|---|---|---|---|
| Gemini 1.0 Pro | Idioma | Projetado para processar tarefas de linguagem natural, chat de código e texto com várias interações e geração de código. | Card de modelo |
| Gemini 1.0 Pro Vision | Linguagem, visão | Modelo multimodal compatível com a adição de imagem e vídeo em comandos de texto ou de chat para uma resposta de texto ou código. | Card de modelo |
| PaLM 2 para texto | Idioma | Ajustado para seguir instruções de linguagem natural e adequado para várias tarefas de linguagem. | Card de modelo |
| PaLM 2 para o Chat | Idioma | Ajustado para conduzir conversas naturais. Use este modelo para criar e personalizar seu próprio aplicativo de chatbot. | Card de modelo |
| Codey para preenchimento de código | Idioma | Gera código com base em solicitações. Bom para sugestões de código e para minimizar bugs no código. | Card de modelo |
| Codey para geração de código | Idioma | Gera código com base na entrada de linguagem natural. Bom para escrever funções, classes, testes de unidade e muito mais. | Card de modelo |
| Codey para chat de código | Idioma | Receba assistência relacionada ao código por meio de conversa natural. Bom para perguntas sobre uma API, sintaxe em uma linguagem compatível e muito mais. | Card de modelo |
| Embeddings para texto | Idioma | Converte dados textuais em vetores numéricos que podem ser processados por algoritmos de machine learning, especialmente modelos grandes. | Card de modelo |
| Imagen para geração de imagens | Visão | Crie ou edite imagens com nível de estúdio em escala usando comandos de texto. | Card de modelo |
| Imagem para legendas e VQA | Idioma | Gera uma descrição relevante para uma determinada imagem. | Card de modelo |
| Embeddings para multimodal | Visão | Gera vetores com base em imagens, que podem ser usadas para tarefas downstream, como classificação e pesquisa de imagens. | Card de modelo |
| Sec-PaLM2 | Idioma | Pré-treinado para diversas tarefas específicas da segurança, como inteligência de ameaças, operações de segurança e análise de malware. | Card de modelo |
| Chirp | Voz | Uma versão de um modelo de fala universal que tem mais de 2 bilhões de parâmetros e pode transcrever em mais de cem idiomas em um único modelo. | Card de modelo |
Lista de modelos com receitas de ajuste ou disponibilização de código aberto no Model Garden
A tabela a seguir lista os modelos de OSS compatíveis com ajuste de código aberto ou receitas de veiculação no Model Garden:
| Nome do modelo | Modalidade | Descrição | Guia de início rápido |
|---|---|---|---|
| Gemma | Idioma | Modelos de peso abertos (2B, 7B) que são criados a partir da mesma pesquisa e tecnologia usada para criar os modelos do Google Gemini. | Card de modelo |
| Vicuna v1.5 | Idioma | Implante os modelos da série Vicuna v1.5, que são modelos de fundação ajustados com LLama2 para geração de texto. | Card de modelo |
| NLLB | Idioma | Implante modelos da série nllb para tradução em vários idiomas. | Card de modelo Colab |
| Mistral-7B | Idioma | Implante o Mistral-7B, um modelo de fundação para geração de texto. | Card de modelo Colab |
| BioGPT | Idioma | Implante o BioGPT, um modelo generativo de texto para o domínio biomédico. | Card de modelo Colab |
| BiomedCLIP | Linguagem, visão | Implante o BiomedCLIP, um modelo de fundação multimodal para o domínio biomédico. | Card de modelo Colab |
| ImageBind | Idioma, visão, áudio |
Implante o ImageBind, um modelo de fundação para incorporação multimodal. | Card de modelo Colab |
| DITO | Linguagem, visão | Ajuste e implante o DITO, um modelo de fundação multimodal para tarefas de detecção de objetos de vocabulário aberto. | Card de modelo Colab |
| OWL-ViT v2 | Linguagem, visão | Implante o OWL-ViT v2, um modelo de fundação multimodal para tarefas de detecção de objetos de vocabulário aberto. | Card de modelo Colab |
| FaceStylizer (Mediapipe) | Visão | Um pipeline generativo para transformar imagens de rostos humanos em um novo estilo. | Card de modelo Colab |
| Llama 2 | Idioma | Ajuste e implante os modelos de fundação Llama 2 da Meta (7B, 13B, 70B) na Vertex AI. | Card de modelo |
| Code Llama | Idioma | Implante os modelos de fundação Code Llama da Meta (7B, 13B, 34B) na Vertex AI. | Card de modelo |
| Falcon-instruct | Idioma | Ajuste e implante modelos Falcon-instruct (7B, 40B) usando PEFT. | Colab Card de modelo |
| OpenLLaMA | Idioma | Ajuste e implante modelos OpenLLaMA (3B, 7B, 13B) usando PEFT. | Colab Card de modelo |
| T5-FLAN | Idioma | Ajuste e implante o T5-FLAN (base, pequeno, grande). | Card de modelo (pipeline de ajuste fino incluso) |
| BERT | Idioma | Ajuste e implante o BERT usando PEFT. | Colab Card de modelo |
| BART-large-cnn | Idioma | Implante o BART, um modelo codificador-codificador de transformação (seq2seq) com um codificador bidirecional (do tipo BERT) e um decodificador autorregressivo (do tipo GPT). | Colab Card de modelo |
| RoBERTa-large | Idioma | Ajuste e implante o RoBERTa-large usando PEFT. | Colab Card de modelo |
| XLM-RoBERTa-large | Idioma | Ajuste e implante o XLM-RoBERTa-large (uma versão multilíngue do RoBERTa) usando PEFT. | Colab Card de modelo |
| Dolly-v2-7b | Idioma | Implante o Dolly-v2-7b, um modelo de linguagem grande que segue instruções com 6,9 bilhões de parâmetros. | Colab Card de modelo |
| Stable Diffusion XL v1.0 | Linguagem, visão | Implante o Stable Diffusion XL v1.0, que é compatível com geração de texto para imagem. | Colab Card de modelo |
| Stable Diffusion v2.1 | Linguagem, visão | Ajuste e implante o Stable Diffusion v2.1 (compatível com a geração de texto para imagem) usando o DreamBooth. | Colab Card de modelo |
| Stable Diffusion 4x Upscaler | Linguagem, visão | Implante o Stable Diffusion 4x Upscaler, que é compatível com a super-resolução de imagens condicionadas por texto. | Colab Card de modelo |
| InstructPix2Pix | Linguagem, visão | Implante o InstructPix2Pix, que é compatível com a edição de imagens usando um comando de texto. | Colab Card de modelo |
| Stable Diffusion Inpainting | Linguagem, visão | Ajuste e implante o Stable Diffusion Inpainting, que é compatível com retoque de uma imagem mascarada usando um comando de texto. | Colab Card de modelo |
| SAM | Linguagem, visão | Implante o Segment Anything, que é compatível com a segmentação de imagens zero-shot. | Colab Card de modelo |
| Texto para vídeo (ModelScope) | Linguagem, visão | Implante a conversão de texto em vídeo do ModelScope, que é compatível com a geração de texto para vídeo. | Colab Card de modelo |
| Texto para vídeo zero-shot | Linguagem, visão | Implante geradores de texto para vídeo do Stable Diffusion, que são compatíveis com a geração de texto para vídeo zero-shot. | Colab Card de modelo |
| Recuperação de imagens compostas do Pic2Word | Linguagem, visão | Implante o Pic2Word, que é compatível com a recuperação multimodal de imagens compostas. | Colab Card de modelo |
| BLIP2 | Linguagem, visão | Implante o BLIP2, que é compatível com legendagem de imagens e resposta a perguntas visuais. | Colab Card de modelo |
| Open-CLIP | Linguagem, visão | Ajuste e implante o Open-CLIP, que é compatível com a classificação zero-shot. | Colab Card de modelo |
| F-VLM | Linguagem, visão | Implante o F-VLM, que é compatível com a detecção de objetos de imagem de vocabulário aberto. | Colab Card de modelo |
| tfhub/EfficientNetV2 | Visão | Ajuste e implante a implementação do TensorFlow Vision do modelo de classificação de imagens EfficientNetV2. | Colab Card de modelo |
| EfficientNetV2 (TIMM) | Visão | Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens EfficientNetV2. | Colab Card de modelo |
| EfficientNetV2/Reservado | Visão | Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens EfficientNetV2. | Colab Card de modelo |
| EfficientNetLite (MediaPipe) | Visão | Ajuste o modelo de classificação de imagens EfficientNetLite com o criador de modelos MediaPipe. | Colab Card de modelo |
| tfvision/vit | Visão | Ajuste e implante o modelo de classificação de imagens ViT do TensorFlow Vision. | Colab Card de modelo |
| ViT (TIMM) | Visão | Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens ViT. | Colab Card de modelo |
| ViT/Reservado | Visão | Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens ViT. | Colab Card de modelo |
| MaxViT/Reservado | Visão | Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens MaxViT híbrido (CNN + ViT). | Colab Card de modelo |
| ViT (JAX) | Visão | Ajuste e implante a implementação do JAX do modelo de classificação de imagens ViT. | Colab Card de modelo |
| tfvision/SpineNet | Visão | Ajuste e implante a implementação do TensorFlow Vision do modelo de detecção de objetos SpineNet. | Colab Card de modelo |
| SpineNet/Reservado | Visão | Ajuste e implante o checkpoint reservado do Google do modelo de detecção de objetos SpineNet. | Colab Card de modelo |
| tfvision/YOLO | Visão | Ajuste e implante o modelo de detecção de objetos em fase única YOLO do TensorFlow Vision. | Colab Card de modelo |
| YOLO/Reservado | Visão | Ajuste e implante o checkpoint reservado do Google do modelo de detecção de objetos em única fase YOLO. | Colab Card de modelo |
| YOLOv8 (Keras) | Visão | Ajuste e implante a implementação do Keras do modelo YOLOv8 para detecção de objetos. | Colab Card de modelo |
| tfvision/YOLOv7 | Visão | Ajuste e implante o modelo YOLOv7 para detecção de objetos. | Colab Card de modelo |
| Rastreamento de objetos de vídeo do ByteTrack | Visão | Execute a previsão em lote para rastreamento de objetos de vídeo usando o rastreador ByteTrack. | Colab Card de modelo |
| ResNeSt (TIMM) | Visão | Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens ResNeSt. | Colab Card de modelo |
| ConvNeXt (TIMM) | Visão | Ajuste e implante o ConvNeXt, um modelo puro de convolução para classificação de imagens inspirado no design do Vision Transformers. | Colab Card de modelo |
| CspNet (TIMM) | Visão | Ajuste e implante o modelo de classificação de imagens CSPNet (rede parcial de vários estágios). | Colab Card de modelo |
| Inception (TIMM) | Visão | Ajuste e implante o modelo de classificação de imagens Inception. | Colab Card de modelo |
| DeepLabv3+ (com checkpoint) | Visão | Ajuste e implante o modelo DeepLab-v3 Plus para segmentação de imagens semânticas. | Colab Card de modelo |
| Faster R-CNN (Detectron2) | Visão | Ajuste e implante a implementação do Detectron2 do modelo Faster R-CNN para detecção de objetos de imagem. | Colab Card de modelo |
| RetinaNet (Detectron2) | Visão | Ajuste e implante a implementação do Detectron2 do modelo RetinaNet para detecção de objetos de imagem. | Colab Card de modelo |
| Mask R-CNN (Detectron2) | Visão | Ajuste e implante a implementação do Detectron2 do modelo Mask R-CNN para detecção e segmentação de objetos de imagem. | Colab Card de modelo |
| ControlNet | Visão | Ajuste e implante o modelo de geração de texto para imagem do ControlNet. | Colab Card de modelo |
| MobileNet (TIMM) | Visão | Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens MobileNet. | Colab Card de modelo |
| Classificação de imagens MobileNetV2 (MediaPipe) | Visão | Ajuste o modelo de classificação de imagens MobileNetV2 usando o criador de modelos MediaPipe. | Colab Card de modelo |
| Detecção de objetos MobileNetV2 (MediaPipe) | Visão | Ajuste o modelo de detecção de objetos MobileNetV2 usando o criador de modelos MediaPipe. | Colab Card de modelo |
| MobileNet-MultiHW-AVG (MediaPipe) | Visão | Ajuste o modelo de detecção de objetos MobileNet-MultiHW-AVG usando o criador de modelos MediaPipe. | Colab Card de modelo |
| DeiT | Visão | Ajuste e implante o modelo DeiT (transformadores de imagens com eficiência de dados) para classificação de imagens. | Colab Card de modelo |
| BEiT | Visão | Ajuste e implante o modelo BEiT (representação do codificador bidirecional via transformadores de imagens) para classificação de imagens. | Colab Card de modelo |
| Reconhecimento de gestos da mão (MediaPipe) | Visão | Ajuste e implante no dispositivo os modelos de reconhecimento de gestos da mão usando o MediaPipe. | Colab Card de modelo |
| Classificador médio de embedding de palavras (MediaPipe) | Visão | Ajuste e implante no dispositivo os modelos de classificador médio de embedding de palavras usando o MediaPipe. | Colab Card de modelo |
| Classificador MobileBERT (MediaPipe) | Visão | Ajuste e implante no dispositivo os modelos do Classificador MobileBERT usando o MediaPipe. | Colab Card de modelo |
| Classificação de videoclipes da MoViNet | Video | Ajuste e implante modelos de classificação de videoclipes da MoViNet. | Colab Card de modelo |
| Reconhecimento de ações em vídeo da MoViNet | Video | Ajuste e implante modelos da MoViNet para inferência de reconhecimento de ações. | Colab Card de modelo |
| LCM Stable Diffusion XL | Visão | Implante este modelo que usa o Modelo de consistência latente (LCM, na sigla em inglês) para melhorar a geração de texto para imagem em modelos de difusão latente, permitindo a criação de imagens mais rápida e de alta qualidade em menos etapas. | Colab Card de modelo |
| LLaVA 1.5 | Visão, linguagem | Implantar modelos LLaVA 1.5. | Colab Card de modelo |
| PyTorch-ZipNeRF | Visão, Vídeo | Treine o modelo Pytorch-ZipNeRF, que é uma implementação de última geração do algoritmo ZipNeRF no framework Pytorch, projetado para uma reconstrução 3D eficiente e precisa a partir de imagens 2D. | Colab Card de modelo |
| WizardLM | Idioma | Implante o AssistenteLM, que é um modelo de linguagem grande (LLM) desenvolvido pela Microsoft, ajustado com instruções complexas adaptando o método Evol-Instruct. | Colab Card de modelo |
| WizardCoder | Idioma | Implante o AssistantCoder, um modelo de linguagem grande (LLM) desenvolvido pela Microsoft, ajustado com instruções complexas adaptando o método Evol-Instruct ao domínio do código. | Colab Card de modelo |
| Mixtral 8x7B | Idioma | Implante o modelo Mixtral 8x7B, que é uma combinação de modelos de linguagem grandes (LLM, na sigla em inglês) desenvolvidos pela Mistral AI. Ele é um modelo somente decodificador com 46,7 bilhões de parâmetros e foi relatado para corresponder ou superar o LLaMA 2 70B e GPT 3.5 em muitos comparativos de mercado. | Colab Card de modelo |
| Lhama 2 (quantizada) | Idioma | Ajuste e implante uma versão quantizada dos modelos Llama 2 da Meta. | Colab Card de modelo |
| LaMa (retoque de máscaras grandes) | Visão | Implante o LaMa, que usa convoluções de Fourier (FFCs, na sigla em inglês) rápidas, uma alta perda perceptível de campo receptivo e grandes máscaras de treinamento para retoques de imagens com resolução robusta. | Colab Card de modelo |
| AutoGluon | Tabular | Com o AutoGluon, é possível treinar e implantar modelos de machine learning de alta precisão e aprendizado profundo para dados tabulares. | Colab Card de modelo |
Lista de modelos de parceiros disponíveis no Grupo de modelos
A tabela a seguir lista os modelos disponíveis nos parceiros do Google no Grupo de modelos:
| Nome do modelo | Modalidade | Descrição | Guia de início rápido |
|---|---|---|---|
| Soneto Anthropic Claude 3 | Idioma | Um modelo equilibrado de visão e texto que combina inteligência e velocidade para cargas de trabalho corporativas. Ele foi projetado para implantações de IA escalonadas e de baixo custo. | Card de modelo |
| Haiku Anthropic Claude 3 | Idioma | O modelo de texto e visão mais rápido e compacto da Anthropic responde a consultas simples. Ele é destinado a experiências de IA que imitam interações humanas. | Card de modelo |
Como usar cards de modelo
Clique em um cartão de modelo para usar o modelo associado a ele. Por exemplo, é possível clicar em um cartão de modelo para testar solicitações, ajustar um modelo, criar aplicativos e ver amostras de código.
Para saber como usar modelos associados a cartões de modelo, clique em uma das seguintes guias:
Solicitações de teste
Use o cartão de modelo da API Vertex AI PaLM para testar as solicitações.
No Console do Google Cloud, acesse a página Model Garden.
Encontre um modelo compatível que você queira testar e clique em Ver detalhes.
Clique em Abrir design de solicitação.
Você será direcionado à página Design do prompt.
Em Prompt, digite o prompt que você quer testar.
Opcional: configure os parâmetros do modelo.
Selecione Enviar.
Ajustar um modelo
Para ajustar modelos compatíveis, use um pipeline da Vertex AI ou um notebook.
Ajustar usando um pipeline
Os modelos BERT e T5-FLAN são compatíveis com o ajuste de modelos usando um pipeline.
No Console do Google Cloud, acesse a página Model Garden.
Em Pesquisar modelos, digite BERT ou T5-FLAN e clique na lupa.
Clique em Ver detalhes no card do modelo T5-FLAN ou BERT.
Clique em Abrir pipeline de ajuste.
Você será direcionado para a página de pipelines da Vertex AI.
Para iniciar o ajuste, clique em Criar execução.
Ajustar um notebook
Os cards de modelo para a maioria dos modelos básicos de código aberto e modelos ajustáveis são compatíveis com ajustes em um notebook.
No Console do Google Cloud, acesse a página Model Garden.
Encontre um modelo compatível que você queira ajustar e clique em Ver detalhes.
Clique em Abrir notebook.
Implantar um modelo
O cartão do modelo de difusão estável é compatível com a implantação em um endpoint.
No Console do Google Cloud, acesse a página Model Garden.
Encontre um modelo compatível que você quer implantar. No cartão de modelo, clique em Ver detalhes.
Clique em Implantar.
É necessário salvar uma cópia do modelo no Registro de modelos.
Em Nome do modelo, digite um nome para o modelo.
Clique em Save.
O painel Implantar no endpoint é exibido.
Defina seu endpoint da seguinte maneira:
- Em Nome do Endpoint, insira um nome para o endpoint.
- Região: selecione uma região para criar o endpoint.
- Acesso: para tornar o endpoint acessível por meio de uma API REST, selecione Padrão. Para criar uma conexão particular com o endpoint, selecione Particular.
Clique em Continuar.
Siga as instruções no Console do Google Cloud e defina as configurações do modelo.
Clique em Continuar.
Opcional: clique em Ativar monitoramento de modelos para este endpoint para ativar o monitoramento de modelos.
Clique em Implantar.
Veja exemplos de código
A maioria dos cartões de modelos de soluções específicas de tarefas contém amostras de código que podem ser copiadas e testadas.
No Console do Google Cloud, acesse a página Model Garden.
Encontre um modelo compatível para ver amostras de código e clique na guia Documentação.
A página rola para a seção de documentação com o código de amostra incorporado.
Criar um app Vision
Os cartões para modelos de visão computacional aplicáveis são compatíveis com a criação de um aplicativo de visão.
No Console do Google Cloud, acesse a página Model Garden.
Na seção "Soluções específicas para tarefas", encontre um modelo de visão que você queira usar para criar um aplicativo de visão e clique em Visualizar detalhes.
Clique em Criar app.
Você será levado à Vertex AI Vision.
Em Nome do aplicativo, insira um nome para seu aplicativo e clique em Continuar.
Selecione um plano de faturamento e clique em Criar.
Você será levado ao Vertex AI Vision Studio, onde poderá continuar criando seu aplicativo de visão computacional.
Preços
Para os modelos de código aberto no Model Garden, a cobrança é feita pelo uso dos itens a seguir na Vertex AI:
- Ajuste do modelo: os recursos de computação usados são cobrados com a mesma taxa do treinamento personalizado. Consulte os preços de treinamento personalizado.
- Implantação do modelo: você é cobrado pelos recursos de computação usados para implantar o modelo em um endpoint. Consulte preços das previsões.
- Colab Enterprise: consulte os preços do Colab Enterprise.
A seguir
- Saiba mais sobre as práticas recomendadas de IA responsável e os filtros de segurança da Vertex AI.
- Saiba mais sobre a IA generativa na Vertex AI.
- Saiba como ajustar modelos de base.