Informações gerais sobre modelos autoimplantados

O Model Garden oferece modelos abertos, de parceiros e personalizados autogerenciados que podem ser implantados e veiculados na Vertex AI. Esses modelos são diferentes das ofertas de modelo como serviço (MaaS), que são sem servidor e não exigem implantação manual.

Ao fazer a implantação automática de modelos, você os implanta com segurança no seu projeto Google Cloud e na rede VPC.

Autoimplantação de modelos abertos

Os modelos abertos oferecem recursos pré-treinados para várias tarefas de IA, incluindo modelos do Gemini que se destacam no processamento multimodal. Um modelo aberto está disponível gratuitamente, você tem a liberdade de publicar as saídas dele e pode ser usado em qualquer lugar, desde que você respeite os termos de licenciamento. A Vertex AI oferece modelos abertos (também conhecidos como peso aberto) e de código aberto.

Ao usar um modelo aberto com a Vertex AI, você usa a Vertex AI na infraestrutura. Você também pode usar modelos abertos com outros produtos de infraestrutura, como PyTorch ou Jax.

Modelos de peso aberto

Muitos modelos abertos são considerados modelos de linguagem grande (LLMs) com peso aberto. Os modelos abertos fornecem mais transparência do que os modelos que não têm peso aberto. Os pesos de um modelo são os valores numéricos armazenados na arquitetura de rede neural do modelo que representam os padrões aprendidos e as relações dos dados com os quais um modelo é treinado. Os parâmetros pré-treinados, ou pesos, de modelos de peso abertos são lançados. É possível usar um modelo de peso aberto para inferência e ajuste, enquanto detalhes como o conjunto de dados original, a arquitetura do modelo e o código de treinamento não são fornecidos.

Modelos de código aberto

Os modelos abertos são diferentes dos modelos de IA de código aberto. Embora os modelos abertos geralmente exponham os pesos e a representação numérica principal dos padrões aprendidos, eles não fornecem necessariamente o código-fonte completo ou os detalhes do treinamento. Fornecer pesos oferece um nível de transparência do modelo de IA, permitindo que você entenda os recursos do modelo sem precisar criá-lo.

Modelos de parceiros autoimplantados

O Model Garden ajuda você a comprar e gerenciar licenças de modelos de parceiros que oferecem modelos exclusivos como uma opção de autodeploy. Depois de comprar o acesso a um modelo do Cloud Marketplace, você pode implantar em hardware sob demanda ou usar suas reservas do Compute Engine e descontos por compromisso de uso para atender aos requisitos de orçamento. Você recebe cobranças pelo uso do modelo e pela infraestrutura da Vertex AI que usa.

Para solicitar o uso de um modelo de parceiro autoimplantado, encontre o modelo relevante no console do Model Garden, clique em Entre em contato com a equipe de vendas e preencha o formulário, que inicia o contato com um representante de vendas da Google Cloud .

Para mais informações sobre como implantar e usar modelos de parceiros, consulte Implantar um modelo de parceiro e fazer solicitações de previsão.

Considerações

Considere as seguintes limitações ao usar modelos de parceiros autogerenciados:

  • Ao contrário dos modelos abertos, não é possível exportar pesos.
  • Se você tiver o VPC Service Controls configurado para seu projeto, não será possível fazer upload de modelos, o que impede a implantação de modelos de parceiros.
  • Para endpoints, apenas o tipo endpoint público compartilhado é compatível.

Saiba mais sobre modelos autônomos na Vertex AI