Durchsatzkontingent

Vertex AI bietet zwei Möglichkeiten zum Verwalten des Durchsatzes für Ihre Modelle für generative KI, mit denen Sie Kosten, Flexibilität und Leistung in Einklang bringen können. Sie können entweder ein flexibles Pay-as-you-go-Modell verwenden oder eine bestimmte Menge an Durchsatz zu einem Festpreis reservieren.

Pay as you go

Für das standardmäßige Pay-as-you-go-Modell verwendet Vertex AI Dynamic Shared Quota, das kein vordefiniertes Nutzungslimit hat. Stattdessen erhalten Sie Zugriff auf einen großen, freigegebenen Ressourcenpool, der dynamisch auf Grundlage der Verfügbarkeit und Nachfrage in Echtzeit zugewiesen wird.

Bei diesem Modell können Ihre Arbeitslasten mehr Ressourcen nutzen, wenn diese verfügbar sind. Wenn Sie den Fehler resource exhausted (429) erhalten, bedeutet das, dass die gemeinsame Nutzung des Pools vorübergehend von vielen Nutzern gleichzeitig stark beansprucht wird. Sie sollten Wiederholungsmechanismen in Ihrer Anwendung implementieren, da sich die Verfügbarkeit schnell ändern kann.

Reservierte Kapazität

Für kritische Produktionsanwendungen, die eine konsistente Leistung und vorhersehbare Kosten erfordern, können Sie bereitgestellten Durchsatz verwenden. Provisioned Throughput ist ein Abo mit festen Kosten, das eine bestimmte Menge an Durchsatz für Ihre Modelle an einem ausgewählten Standort reserviert.

Nächste Schritte