A HuggingFace fornece modelos pré-treinados, scripts de ajuste e APIs de desenvolvimento que facilitam o processo de criação e descoberta de LLMs. O Model Garden é compatível com a Inferência de embedding de texto e com a Inferência de Pytorch regular com suporte a modelos conhecidos no Huggingface e a todos os modelos compatíveis com a Inferência de geração de texto no HuggingFace.
Opções de implantação
Para implantar um modelo HuggingFace com suporte, acesse Model Garden e clique em Implantar usando o HuggingFace.
Implantar na Vertex AI
A Vertex AI oferece uma plataforma gerenciada para criar e escalonar projetos de machine learning sem experiência interna em MLOps. É possível usar a Vertex AI como o aplicativo downstream que veicula os modelos de Hugging Face. Recomendamos o uso da Vertex AI se você quiser recursos de MLOps completos, recursos de ML com valor agregado e uma experiência sem servidor para um desenvolvimento simplificado.
Para começar, consulte os exemplos a seguir:
- Alguns modelos têm cards de modelo detalhados e configurações de implantação verificadas, como google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf, mistralai/Mistral-7B-v0.1, BAAI/bge-m3, intfloat/multilingual-e5-large-instructstabilityai/stable-diffusion-2-1 e HuggingFaceFW/fineweb-edu-classifier.
- Alguns modelos têm configurações de implantação verificadas, mas nenhum cartão de modelo detalhado, como NousResearch/Genstruct-7B.
- Alguns modelos têm configurações de implantação não verificadas que foram calculadas automaticamente, como o ai4bharat/Airavata.
Implantar no GKE
O Google Kubernetes Engine (GKE) é a solução do Google Cloud para o Kubernetes gerenciado que oferece escalonabilidade, segurança, resiliência e economia. Recomendamos essa opção se você tiver investimentos atuais no Kubernetes, se sua organização tiver experiência interna em MLOps ou se precisar de controle granular sobre cargas de trabalho complexas de IA/ML com segurança, pipeline de dados e recursos exclusivos de gerenciamento de projetos.
Para começar, consulte os exemplos a seguir:
- Alguns modelos têm cards de modelo detalhados e configurações de implantação verificadas, como google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf e mistralai/Mistral-7B-v0.1.
- Alguns modelos têm configurações de implantação verificadas, mas nenhum cartão de modelo detalhado, como NousResearch/Genstruct-7B.