Bereitgestellter Durchsatz – Übersicht

Auf dieser Seite wird erläutert, was Provisioned Throughput ist und wann Sie Provisioned Throughput verwenden sollten.

Einführung in den bereitgestellten Durchsatz

Bereitgestellter Durchsatz ist ein Abonnement mit fester Gebühr und fester Laufzeit, das in verschiedenen Laufzeiten verfügbar ist und Durchsatz für unterstützte generative KI-Modelle in Vertex AI reserviert. Wenn Sie Durchsatz reservieren möchten, müssen Sie das Modell und die verfügbaren Standorte angeben, an denen das Modell ausgeführt wird.

Wann sollte Provisioned Throughput verwendet werden?

Wenn einer der folgenden Punkte auf Ihren Anwendungsfall zutrifft, sollten Sie Provisioned Throughput verwenden:

  • Sie entwickeln generative KI-Produktionsanwendungen in Echtzeit, z. B. Chatbots und Agents.
  • Ihre kritischen Arbeitslasten erfordern konstant einen hohen Durchsatz. Die Messung des Durchsatzes hängt vom Modell ab.
  • Sie möchten Nutzern Ihrer Anwendungen eine konsistente und vorhersehbare Erfahrung bieten.
  • Sie möchten deterministische Kosten für generative KI, indem Sie einen festen monatlichen oder wöchentlichen Preis bezahlen und Überschreitungen kontrollieren.

Bereitgestellter Durchsatz ist eine von zwei Möglichkeiten, Ihre Modelle für generative KI zu verwenden. Die zweite Möglichkeit ist die On-Demand-Zahlung, auch als „Pay as you go“ bezeichnet.

Nächste Schritte