A HuggingFace fornece modelos pré-treinados, scripts de ajuste e APIs de desenvolvimento que facilitam o processo de criação e descoberta de LLMs. O Model Garden é compatível com todos os modelos compatíveis com Inferência de geração de texto na HuggingFace.
Opções de implementação
É possível implantar os modelos compatíveis com a Inferência de geração de texto na Vertex AI ou no Google Kubernetes Engine (GKE). Para implantar um modelo de geração de texto de Hugging Face, acesse Model Garden e clique em Implantar do Hugging Face.
Implantar na Vertex AI
A Vertex AI oferece uma plataforma gerenciada para criar e escalonar projetos de machine learning sem experiência interna em MLOps. É possível usar a Vertex AI como o aplicativo downstream que veicula os modelos de Hugging Face. Recomendamos o uso da Vertex AI se você quiser recursos de MLOps completos, recursos de ML com valor agregado e uma experiência sem servidor para um desenvolvimento simplificado.
Para começar, consulte os exemplos a seguir:
- Alguns modelos têm cards de modelo detalhados e configurações de implantação verificadas, como google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf e mistralai/Mistral-7B-v0.1.
- Alguns modelos têm configurações de implantação verificadas, mas nenhum cartão de modelo detalhado, como NousResearch/Genstruct-7B.
- Alguns modelos têm configurações de implantação não verificadas que foram calculadas automaticamente, como o ai4bharat/Airavata.
Implantar no GKE
O Google Kubernetes Engine (GKE) é a solução do Google Cloud para o Kubernetes gerenciado que oferece escalonabilidade, segurança, resiliência e economia. Recomendamos essa opção se você tiver investimentos atuais no Kubernetes, se sua organização tiver experiência interna em MLOps ou se precisar de controle granular sobre cargas de trabalho complexas de IA/ML com segurança, pipeline de dados e recursos exclusivos de gerenciamento de projetos.
Para começar, consulte os exemplos a seguir:
- Alguns modelos têm cards de modelo detalhados e configurações de implantação verificadas, como google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf e mistralai/Mistral-7B-v0.1.
- Alguns modelos têm configurações de implantação verificadas, mas nenhum cartão de modelo detalhado, como NousResearch/Genstruct-7B.