Hugging Face-Modelle verwenden

Hugging Face bietet vortrainierte Modelle, Scripts zur Feinabstimmung und Entwicklungs-APIs, die das Erstellen und Entdecken von LLMs erleichtern. Model Garden kann Texteinbettungs--, Text-zu-Bild--, Textgenerierungs-- und Bildtext-zu-Text-Modelle in Hugging Face bereitstellen.

Bereitstellungsoptionen für Hugging Face-Modelle

Sie können unterstützte Hugging Face-Modelle in Vertex AI oder in der Google Kubernetes Engine (GKE) bereitstellen. Die von Ihnen gewählte Bereitstellungsoption kann vom verwendeten Modell und von der gewünschten Kontrolle über Ihre Arbeitslasten abhängen.

In Vertex AI bereitstellen

Vertex AI bietet eine verwaltete Plattform zum Erstellen und Skalieren von ML-Projekten, ohne dass interne MLOps-Kenntnisse erforderlich sind. Sie können Vertex AI als nachgelagerte Anwendung verwenden, die Hugging Face-Modelle bereitstellt. Wir empfehlen die Verwendung von Vertex AI, wenn Sie End-to-End-MLOps-Funktionen, Mehrwert-ML-Features und eine serverlose Umgebung für eine optimierte Entwicklung wünschen.

  1. Wenn Sie ein unterstütztes Hugging Face-Modell in Vertex AI bereitstellen möchten, rufen Sie Model Garden auf.

    Zu Model Garden

  2. Rufen Sie den Abschnitt Open-Source-Modelle bei Hugging Face auf und klicken Sie auf Mehr anzeigen.

  3. Suchen Sie nach einem Modell, das Sie bereitstellen möchten, und wählen Sie es aus.

  4. Optional: Wählen Sie für die Bereitstellungsumgebung die Option Vertex AI aus.

  5. Optional: Geben Sie die Bereitstellungsdetails an.

  6. Klicken Sie auf Bereitstellen.

Sehen Sie sich zum Einstieg die folgenden Beispiele an:

In GKE bereitstellen

Google Kubernetes Engine (GKE) ist die Google Cloud Lösung für verwaltete Kubernetes, die Skalierbarkeit, Sicherheit, Robustheit und Kosteneffizienz bietet. Wir empfehlen diese Option, wenn Sie bereits Kubernetes-Investitionen haben, Ihre Organisation über interne MLOps-Kenntnisse verfügt oder wenn Sie eine detaillierte Kontrolle über komplexe KI/ML-Arbeitslasten mit besonderer Sicherheit, Datenpipeline und Ressourcen benötigen Managementanforderungen.

  1. Wenn Sie ein unterstütztes Hugging Face-Modell in GKE bereitstellen möchten, rufen Sie Model Garden auf.

    Zu Model Garden

  2. Rufen Sie den Abschnitt Open-Source-Modelle bei Hugging Face auf und klicken Sie auf Mehr anzeigen.

  3. Suchen Sie nach einem Modell, das Sie bereitstellen möchten, und wählen Sie es aus.

  4. Wählen Sie als Bereitstellungsumgebung GKE aus.

  5. Folgen Sie der Anleitung zur Bereitstellung.

Sehen Sie sich zum Einstieg die folgenden Beispiele an:

Was bedeutet „Unterstützt von Vertex AI“?

Wir fügen Model Garden automatisch die neuesten und beliebtesten Hugging Face-Modelle hinzu. Dazu gehört die automatische Generierung einer Bereitstellungskonfiguration für jedes Modell.

Um Bedenken hinsichtlich Sicherheitslücken und schädlichem Code auszuräumen, verwenden wir den Hugging Face Malware Scanner, um die Sicherheit von Dateien in jedem Hugging Face-Modellrepository täglich zu bewerten. Wenn ein Modell-Repository als Malware enthaltend gekennzeichnet wird, entfernen wir das Modell sofort von der Hugging Face-Galerieseite.

Wenn ein Modell als von Vertex AI unterstützt gekennzeichnet ist, bedeutet das, dass es getestet wurde und in Vertex AI bereitgestellt werden kann. Wir garantieren jedoch nicht, dass es keine Sicherheitslücken oder schädlichen Code enthält. Wir empfehlen Ihnen, eigene Sicherheitsüberprüfungen durchzuführen, bevor Sie ein Modell in Ihrer Produktionsumgebung bereitstellen.

Bereitstellungskonfigurationen für bestimmte Anwendungsfälle optimieren

Die Standardkonfiguration für die Bereitstellung, die mit der Ein-Klick-Bereitstellungsoption bereitgestellt wird, kann aufgrund der Vielzahl von Anwendungsfällen und der unterschiedlichen Prioritäten in Bezug auf Latenz, Durchsatz, Kosten und Genauigkeit nicht alle Anforderungen erfüllen.

Sie können also zuerst mit der Ein-Klick-Bereitstellung experimentieren, um eine Baseline zu erstellen, und dann die Bereitstellungskonfigurationen mit dem Colab-Notebook (vLLM, TGI, TEI, HF pytorch inference) oder dem Python SDK optimieren. Mit diesem iterativen Ansatz können Sie die Bereitstellung genau an Ihre Anforderungen anpassen, um die bestmögliche Leistung für Ihre spezielle Anwendung zu erzielen.

Was tun, wenn das gewünschte Modell nicht in Model Garden aufgeführt ist?

Wenn Sie nach einem bestimmten Modell suchen, das nicht im Model Garden aufgeführt ist, wird das Modell nicht von Vertex AI unterstützt. In den folgenden Abschnitten wird die Begründung beschrieben und erläutert, was Sie tun können.

Warum wird das Modell nicht aufgeführt?

Die folgenden Gründe erklären, warum ein Modell möglicherweise nicht in Model Garden enthalten ist:

  • Das Modell ist nicht sehr beliebt: Wir priorisieren oft Modelle, die sehr beliebt sind und auf großes Interesse in der Community stoßen.
  • Das Modell ist noch nicht kompatibel: Das Modell funktioniert möglicherweise nicht mit einem unterstützten Serving-Container. Beispiel: Der vLLM-Container für text-generation- und image-text-to-text-Modelle.
  • Nicht unterstützte Pipeline-Aufgaben: Das Modell enthält eine Aufgabe, die derzeit noch nicht vollständig unterstützt wird. Wir unterstützen die folgenden Aufgaben: text-generation, text2text-generation, text-to-image, feature-extraction, sentence-similarity und image-text-to-text.

Welche Möglichkeiten haben Sie?

Sie können weiterhin mit Modellen arbeiten, die in Model Garden verfügbar sind:

  • Selbst bereitstellen mit dem Colab-Notebook: Wir haben die folgenden Colab-Notebooks: (vLLM, TGI, TEI, HF pytorch inference). Sie bieten die Flexibilität, Modelle mit benutzerdefinierten Konfigurationen bereitzustellen. So haben Sie die vollständige Kontrolle über den Prozess.
  • Funktionsanfrage senden: Arbeiten Sie mit Ihrem Support-Techniker zusammen und senden Sie eine Funktionsanfrage über Model Garden. Weitere Informationen finden Sie unter Vertex Generative AI-Support.
  • Bleiben Sie auf dem Laufenden: Wir fügen Model Garden regelmäßig neue Modelle hinzu. Das gesuchte Modell ist möglicherweise in Zukunft verfügbar. Schauen Sie also regelmäßig vorbei.