Auf dieser Seite erfahren Sie, was Provisioned Throughput ist und wann Sie ihn verwenden sollten.
Einführung in den bereitgestellten Durchsatz
Bereitgestellter Durchsatz ist ein monatlicher Abo- oder Wochendienst mit fester Gebühr, der Durchsatz für unterstützte generative KI-Modelle in Vertex AI reserviert. Wenn Sie Ihren Durchsatz reservieren möchten, müssen Sie das Modell und die verfügbaren Standorte angeben, an denen das Modell ausgeführt wird.
Wann sollte Provisioned Throughput verwendet werden?
Wenn einer der folgenden Punkte auf Ihren Anwendungsfall zutrifft, sollten Sie Provisioned Throughput verwenden:
- Ihre kritischen Arbeitslasten erfordern einen konstant hohen Durchsatz. Die Messung des Durchsatzes hängt vom Modell ab.
- Sie entwickeln Echtzeit-Produktionsanwendungen für generative KI, z. B. Chatbots und Agenten.
- Sie möchten Nutzern Ihrer Anwendungen eine einheitliche und vorhersehbare Umgebung bieten.
- Sie möchten deterministische Kosten für generative KI, indem Sie einen festen monatlichen Preis mit Kontrolle über Mehrausgaben bezahlen.
- Sie möchten deterministische Kosten für generative KI, indem Sie einen festen monatlichen oder wöchentlichen Preis zahlen und die Kontrolle über Mehrausgaben haben.
Bereitgestellter Durchsatz ist eine von zwei Möglichkeiten, Ihre Modelle für generative KI zu verwenden. Die zweite Möglichkeit ist die Abrechnung nach Verbrauch, die auch als On-Demand-Verfahren bezeichnet wird.
Nächste Schritte
- Unterstützte Modelle, die Provisioned Throughput verwenden