HuggingFace fournit des modèles pré-entraînés, des scripts de réglage et des API de développement qui facilitent le processus de création et de découverte des LLM. Model Garden peut diffuser les modèles compatibles avec l'inférence d'embedding textuel, l'inférence Pytorch standard et l'inférence de génération de texte dans HuggingFace.
Options de déploiement pour les modèles Hugging Face
Vous pouvez déployer des modèles Hugging Face compatibles dans Vertex AI ou Google Kubernetes Engine (GKE). L'option de déploiement que vous choisissez peut dépendre du modèle que vous utilisez et du niveau de contrôle que vous souhaitez exercer sur vos charges de travail.
Déployer dans Vertex AI
Vertex AI offre une plate-forme gérée qui permet de créer et de faire évoluer des projets de machine learning sans nécessiter d'expertise MLOps en interne. Vous pouvez utiliser Vertex AI en tant qu'application en aval qui diffuse les modèles Hugging Face. Nous vous recommandons d'utiliser Vertex AI si vous souhaitez bénéficier de fonctionnalités MLOps de bout en bout, de fonctionnalités de ML à valeur ajoutée et d'une expérience sans serveur pour simplifier le développement.
Pour déployer un modèle Hugging Face compatible dans Vertex AI, accédez à Model Garden.
Accédez à la section Modèles Open Source sur Hugging Face, puis cliquez sur Afficher plus.
Recherchez et sélectionnez un modèle à déployer.
Facultatif : Dans le champ Environnement de déploiement, sélectionnez Vertex AI.
Facultatif : Spécifiez les détails du déploiement.
Cliquez sur Déployer.
Pour commencer, consultez les exemples suivants :
- Certains modèles comportent des fiches de modèle détaillées et les paramètres de déploiement sont validés par Google, tels que google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf, mistralai/Mistral-7B-v0.1, BAAI/bge-m3, intfloat/multilingual-e5-large-instruct, stabilityai/stable-diffusion-2-1 et HuggingFaceFW/fineweb-edu-classifier.
- Certains modèles ont des paramètres de déploiement validés par Google, mais n'ont pas de fiches de modèle détaillées, par exemple NousResearch/Genstruct-7B.
- Certains modèles ont des paramètres de déploiement générés automatiquement, par exemple ai4bharat/Airavata.
- Certains modèles ont des paramètres de déploiement générés automatiquement en fonction des métadonnées du modèle, comme certains modèles tendance récents de génération de texte, d'embedding de texte et de génération de texte vers image.
Déployer dans GKE
Google Kubernetes Engine (GKE) est la solution Google Cloud pour les services Kubernetes gérés, qui offre évolutivité, sécurité, résilience et rentabilité. Nous vous recommandons cette option si vous disposez déjà d'investissements Kubernetes, si votre entreprise dispose d'une expertise en MLOps interne ou si vous avez besoin d'un contrôle précis sur des charges de travail d'IA/ML complexes avec une sécurité, des pipelines de données et des ressources uniques et des exigences de gestion des ressources.
Pour déployer un modèle Hugging Face compatible dans GKE, accédez à Model Garden.
Accédez à la section Modèles Open Source sur Hugging Face, puis cliquez sur Afficher plus.
Recherchez et sélectionnez un modèle à déployer.
Pour l'environnement de déploiement, sélectionnez GKE.
Suivez les instructions de déploiement.
Pour commencer, consultez les exemples suivants :
- Certains modèles comportent des fiches de modèle détaillées et des paramètres de déploiement validés, tels que google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf et mistralai/Mistral-7B-v0.1).
- Certains modèles comportent des paramètres de déploiement validés mais n'ont pas de fiches de modèle détaillées, par exemple NousResearch/Genstruct-7B.