Explorar modelos de IA e APIs no Model Garden

Disponibilidade geral

As APIs PaLM para texto, chat, código, embeddings e ajustes supervisionados para text-bison agora são de disponibilidade geral e geram custos quando são usadas. Para mais informações, consulte Preços do suporte para IA generativa na Vertex AI e Suporte para IA generativa nas notas da versão da Vertex AI.

Licenças de código aberto

O Model Garden pode incluir um link para o repositório público em que os modelos disponíveis abertamente estão hospedados. Para confirmar que você está em conformidade com os termos de licença, revise todas as licenças aplicáveis de modelo, conjunto de dados ou software. Confirme também se você obedece a quaisquer restrições da licença, como restrições baseadas em uso incluídas na licença RAIL-M do CreativeML Open.

O Model Garden é uma plataforma que ajuda a descobrir, testar, personalizar e implantar a Vertex AI e selecionar modelos e recursos de OSS. Para explorar os modelos de IA e as APIs disponíveis na Vertex AI, acesse o Model Garden no Console do Google Cloud.

Os tópicos a seguir apresentam os modelos de IA disponíveis no Model Garden e como usá-los.

Explorar modelos

Para visualizar a lista de Vertex AI disponíveis e a base de código aberto, modelos ajustáveis e específicos de tarefas, acesse a página Model Garden no Console do Google Cloud.

Acessar o Model Garden

As categorias de modelo disponíveis no Model Garden são:

Categoria	Descrição
Modelos de fundação	Modelos pré-treinados de multitarefa que podem ser ajustados ou personalizados para tarefas específicas usando o Generative AI Studio, a API Vertex AI e o SDK Vertex AI para Python.
Modelos ajustáveis	Modelos que podem ser ajustados com um notebook ou pipeline personalizado.
Soluções específicas para tarefas	A maioria desses modelos prontos está pronta para uso. Muitos podem ser personalizados usando seus próprios dados.

Para filtrar modelos no painel de filtros, especifique o seguinte:

• Modelos: clique no tipo de modelo que você quer.
• Tarefas: clique na tarefa que você quer que o modelo execute.
• Recursos: clique nos recursos que você quer no modelo.

Para saber mais sobre cada modelo, clique no card correspondente.

Lista de modelos com roteiros de código aberto para ajuste ou disponibilização na Vertex AI

A tabela a seguir lista os modelos compatíveis com receitas de código aberto para ajuste ou disponibilização na Vertex AI:

Nome do modelo	Modalidade	Descrição	Guia de início rápido
Llama 2	Idioma	Ajuste e implante os modelos de fundação Llama 2 da Meta (7B, 13B, 70B) na Vertex AI.	Card de modelo
Code Llama	Idioma	Implante os modelos de fundação Code Llama da Meta (7B, 13B, 34B) na Vertex AI.	Card de modelo
Falcon-instruct	Idioma	Ajuste e implante modelos Falcon-instruct (7B, 40B) usando PEFT.	Colab Card de modelo
OpenLLaMA	Idioma	Ajuste e implante modelos OpenLLaMA (3B, 7B, 13B) usando PEFT.	Colab Card de modelo
T5-FLAN	Idioma	Ajuste e implante o T5-FLAN (base, pequeno, grande).	Card de modelo (pipeline de ajuste fino incluso)
BERT	Idioma	Ajuste e implante o BERT usando PEFT.	Colab Card de modelo
BART-large-cnn	Idioma	Implante o BART, um modelo codificador-codificador de transformação (seq2seq) com um codificador bidirecional (do tipo BERT) e um decodificador autorregressivo (do tipo GPT).	Colab Card de modelo
RoBERTa-large	Idioma	Ajuste e implante o RoBERTa-large usando PEFT.	Colab Card de modelo
XLM-RoBERTa-large	Idioma	Ajuste e implante o XLM-RoBERTa-large (uma versão multilíngue do RoBERTa) usando PEFT.	Colab Card de modelo
Dolly-v2-7b	Idioma	Implante o Dolly-v2-7b, um modelo de linguagem grande que segue instruções com 6,9 bilhões de parâmetros.	Colab Card de modelo
Stable Diffusion XL v1.0	Linguagem, visão	Implante o Stable Diffusion XL v1.0, que é compatível com geração de texto para imagem.	Colab Card de modelo
Stable Diffusion v2.1	Linguagem, visão	Ajuste e implante o Stable Diffusion v2.1 (compatível com a geração de texto para imagem) usando o DreamBooth.	Colab Card de modelo
Stable Diffusion 4x Upscaler	Linguagem, visão	Implante o Stable Diffusion 4x Upscaler, que é compatível com a super-resolução de imagens condicionadas por texto.	Colab Card de modelo
InstructPix2Pix	Linguagem, visão	Implante o InstructPix2Pix, que é compatível com a edição de imagens usando um comando de texto.	Colab Card de modelo
Stable Diffusion Inpainting	Linguagem, visão	Ajuste e implante o Stable Diffusion Inpainting, que é compatível com retoque de uma imagem mascarada usando um comando de texto.	Colab Card de modelo
SAM	Linguagem, visão	Implante o Segment Anything, que é compatível com a segmentação de imagens zero-shot.	Colab Card de modelo
Texto para vídeo (ModelScope)	Linguagem, visão	Implante a conversão de texto em vídeo do ModelScope, que é compatível com a geração de texto para vídeo.	Colab Card de modelo
Texto para vídeo zero-shot	Linguagem, visão	Implante geradores de texto para vídeo do Stable Diffusion, que são compatíveis com a geração de texto para vídeo zero-shot.	Colab Card de modelo
Recuperação de imagens compostas do Pic2Word	Linguagem, visão	Implante o Pic2Word, que é compatível com a recuperação multimodal de imagens compostas.	Colab Card de modelo
BLIP2	Linguagem, visão	Implante o BLIP2, que é compatível com legendagem de imagens e resposta a perguntas visuais.	Colab Card de modelo
Open-CLIP	Linguagem, visão	Ajuste e implante o Open-CLIP, que é compatível com a classificação zero-shot.	Colab Card de modelo
F-VLM	Linguagem, visão	Implante o F-VLM, que é compatível com a detecção de objetos de imagem de vocabulário aberto.	Colab Card de modelo
tfhub/EfficientNetV2	Visão	Ajuste e implante a implementação do TensorFlow Vision do modelo de classificação de imagens EfficientNetV2.	Colab Card de modelo
EfficientNetV2 (TIMM)	Visão	Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens EfficientNetV2.	Colab Card de modelo
EfficientNetV2/Reservado	Visão	Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens EfficientNetV2.	Colab Card de modelo
EfficientNetLite (MediaPipe)	Visão	Ajuste o modelo de classificação de imagens EfficientNetLite com o criador de modelos MediaPipe.	Colab Card de modelo
tfvision/vit	Visão	Ajuste e implante a implementação do TensorFlow Vision do modelo de classificação de imagens ViT.	Colab Card de modelo
ViT (TIMM)	Visão	Ajuste e implante a implementação do PyTorch do modelo de classificação de imagens ViT.	Colab Card de modelo
ViT/Reservado	Visão	Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens ViT.	Colab Card de modelo
MaxViT/Reservado	Visão	Ajuste e implante o checkpoint reservado do Google do modelo de classificação de imagens MaxViT híbrido (CNN + ViT).	Colab Card de modelo
ViT (JAX)	Visão	Ajuste e implante a implementação do JAX do modelo de classificação de imagens ViT.	Colab Card de modelo
tfvision/SpineNet	Visão	Ajuste e implante a implementação do TensorFlow Vision do modelo de detecção de objetos SpineNet.	Colab Card de modelo
SpineNet/Reservado	Visão	Ajuste e implante o checkpoint reservado do Google do modelo de detecção de objetos SpineNet.	Colab Card de modelo
tfvision/YOLO	Visão	Ajuste e implante a implementação do TensorFlow Vision do modelo de detecção de objetos em única fase YOLO.	Colab Card de modelo
YOLO/Reservado	Visão	Ajuste e implante o checkpoint reservado do Google do modelo de detecção de objetos em única fase YOLO.	Colab Card de modelo
YOLOv8 (Keras)	Visão	Ajuste e implante a implementação do Keras do modelo YOLOv8 para detecção de objetos.	Colab Card de modelo
tfvision/YOLOv7	Visão	Ajuste e impl