HuggingFace te permite compilar, entrenar e implementar modelos de IA de vanguardia. Model Garden admite todos los modelos compatibles de inferencia de generación de texto en HuggingFace.
Opciones de implementación
Puedes implementar los modelos compatibles con la inferencia de generación de texto en Vertex AI o Google Kubernetes Engine (GKE). Para implementar un modelo de generación de texto de Hugging Face, ve a Model Garden y haz clic en Implementar desde Hugging Face.
Implementa en Vertex AI
Vertex AI ofrece una plataforma administrada para compilar y escalar con rapidez proyectos de aprendizaje automático sin tener experiencia interna en MLOps. Puedes usar Vertex AI como la aplicación descendente que entrega los modelos de Hugging Face. Recomendamos usar Vertex AI si deseas funciones de MLOps de extremo a extremo, funciones de AA de valor agregado y una experiencia sin servidores para un desarrollo optimizado.
Para comenzar, consulta los siguientes ejemplos:
- Algunos modelos tienen tarjetas de modelo detalladas y configuración de implementación verificada, como google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf y mistralai/Mistral-7B-v0.1).
- Algunos modelos tienen verificada la configuración de implementación, pero no tarjetas de modelo detalladas, como NousResearch/Genstruct-7B.
- Algunos modelos tienen parámetros de configuración de implementación sin verificar que se calcularon automáticamente, como ai4bharat/Airavata.
Implementa en GKE
Google Kubernetes Engine (GKE) es la solución de Google Cloud para Kubernetes administrado que proporciona escalabilidad, seguridad, resiliencia y rentabilidad. Recomendamos esta opción si tienes inversiones existentes en Kubernetes, tu organización tiene experiencia interna en MLOps o si necesitas un control detallado sobre cargas de trabajo de IA/AA complejas con requisitos únicos de seguridad, canalización de datos y administración de recursos.
Para comenzar, consulta los siguientes ejemplos:
- Algunos modelos tienen tarjetas de modelo detalladas y configuración de implementación verificada, como google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf y mistralai/Mistral-7B-v0.1).
- Algunos modelos tienen verificada la configuración de implementación, pero no tarjetas de modelo detalladas, como NousResearch/Genstruct-7B.