HuggingFace bietet vortrainierte Modelle, Feinabstimmungsskripts und Entwicklungs-APIs, die das Erstellen und Erkennen von LLMs vereinfachen. Model Garden unterstützt beliebte, von der Texteinbettung- und der regulären Pytorch-Inferenz gestützte Modelle in Hugging Face sowie alle von der Textgenerierung-Inferenzen unterstützte Modelle in Hugging Face.
Optionen der Bereitstellung
Wenn Sie ein unterstütztes Hugging Face-Modell bereitstellen möchten, rufen Sie Model Garden auf und klicken auf Von Hugging Face bereitstellen.
In Vertex AI bereitstellen
Vertex AI bietet eine verwaltete Plattform zum Erstellen und Skalieren von ML-Projekten, ohne dass interne MLOps-Kenntnisse erforderlich sind. Sie können Vertex AI als nachgelagerte Anwendung verwenden, die Hugging Face-Modelle bereitstellt. Wir empfehlen die Verwendung von Vertex AI, wenn Sie End-to-End-MLOps-Funktionen, Mehrwert-ML-Features und eine serverlose Umgebung für eine optimierte Entwicklung wünschen.
Sehen Sie sich zum Einstieg die folgenden Beispiele an:
- Einige Modelle nutzen detaillierte Modellkarten und geprüfte Bereitstellungseinstellungen, z. B. google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf, mistralai/Mistral-7B-v0.1, BAAI/bge-m3, intfloat/multilingual-e5-large-instruct, stabilityai/stable-diffusion-2-1 und HuggingFaceFW/fineweb-edu-classifier.
- Einige Modelle haben verifizierte Bereitstellungseinstellungen, aber keine detaillierten Modellkarten wie NousResearch/Genstruct-7B.
- Einige Modelle haben nicht geprüfte Bereitstellungseinstellungen, die automatisch berechnet wurden, z. B. ai4bharat/Airavata.
In GKE bereitstellen
Google Kubernetes Engine (GKE) ist die Google Cloud-Lösung für verwaltete Kubernetes, die Skalierbarkeit, Sicherheit, Robustheit und Kosteneffizienz bietet. Wir empfehlen diese Option, wenn Sie bereits Kubernetes-Investitionen haben, Ihre Organisation über interne MLOps-Kenntnisse verfügt oder wenn Sie eine detaillierte Kontrolle über komplexe KI/ML-Arbeitslasten mit besonderer Sicherheit, Datenpipeline und Ressourcen benötigen Managementanforderungen.
Sehen Sie sich zum Einstieg die folgenden Beispiele an:
- Einige Modelle haben detaillierte Modellkarten und überprüfte Bereitstellungseinstellungen, z. B. google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf und mistralai/Mistral-7B-v0.1.
- Einige Modelle haben verifizierte Bereitstellungseinstellungen, aber keine detaillierten Modellkarten wie NousResearch/Genstruct-7B.