Kontingentlimits für alte Modelle

Auf dieser Seite finden Sie Informationen zu Kontingenten und Limits für Legacy-Modelle. Für Modelle in Legacy-Modellfamilien werden keine neuen stabilen Versionen mehr herausgegeben. Weitere Informationen finden Sie unter Informationen zu Legacy-Modellen.

Google Cloud nutzt Kontingente, um Fairness zu gewährleisten und Spitzen bei Ressourcennutzung und -verfügbarkeit zu reduzieren. Ein Kontingent schränkt ein, wie viel von einer Google Cloud-Ressource Ihr Google Cloud-Projekt nutzen darf. Kontingente gelten für eine Reihe von Ressourcentypen, einschließlich Hardware, Software und Netzwerkkomponenten. Mit Kontingenten können Sie beispielsweise die Anzahl der API-Aufrufe an einen Dienst, die Anzahl der von Ihrem Projekt gleichzeitig verwendeten Load Balancer oder die Anzahl der Projekte begrenzen, die Sie erstellen können. Die Kontingente sollen eine Überlastung von Diensten verhindern und dadurch die Community der Google Cloud-Nutzer schützen. Sie helfen Ihnen auch bei der Verwaltung Ihrer eigenen Google Cloud-Ressourcen.

Das Cloud-Kontingentsystem ermöglicht Folgendes:

  • Ihren Verbrauch von Google Cloud-Produkten und -Diensten überwachen
  • Ihren Verbrauch dieser Ressourcen einschränken
  • Eine Möglichkeit bieten, Änderungen am Kontingentwert anzufordern

Wenn Sie versuchen, mehr von einer Ressource zu verbrauchen, als das Kontingent zulässt, blockiert das System in den meisten Fällen den Zugriff auf die Ressource. Die Aufgabe, die Sie ausführen möchten, schlägt fehl.

Kontingente gelten in der Regel auf Google Cloud-Projektebene. Ihre Nutzung einer Ressource in einem Projekt hat keinen Einfluss auf Ihr verfügbares Kontingent in einem anderen Projekt. Innerhalb eines Google Cloud-Projekts werden die Kontingente für alle Anwendungen und IP-Adressen gemeinsam genutzt.

Kontingente nach Region und Modell

Das Kontingent für Anfragen pro Minute gilt für ein Basismodell und alle Versionen, Kennungen und abgestimmte Versionen dieses Modells. Beispiel: Eine Anfrage an text-bison und eine Anfrage an text-bison@002 werden als zwei Anfragen auf das RPM-Kontingent des Basismodells text-bison angerechnet. Dasselbe gilt für abgestimmte Modelle. Eine Anfrage an chat-bison@002 und ein abgestimmtes Modell basierend auf chat-bison@002 namens my-tuned-chat-model werden als zwei Anfragen an das Basismodell chat-bison gezählt.

Die Kontingente gelten für Generative AI für Vertex AI-Anfragen für ein bestimmtes Google Cloud-Projekt und eine unterstützte Region.

So rufen Sie die Kontingente in der Google Cloud Console auf:

  1. Öffnen Sie in der Google Cloud Console die IAM- und Administrator-Seite Kontingente.

    Kontingente in der Console ansehen

  2. Geben Sie im Feld Filter die Dimension oder den Messwert an.

    • Dimension:Die Modell-ID. Beispiel: base_model:gemini-1.0-prooder base_model:text-bison

    • Messwert:Die Kontingent-ID für PaLM 2-Modelle lautet aiplatform.googleapis.com/online_prediction_requests_per_base_model.

Wählen Sie eine Region aus, um die Kontingentlimits für jedes verfügbare Modell aufzurufen:

Batchkontingente

Die folgenden Kontingente und Limits sind für die Regionen von Generative AI auf Vertex AI-Batchvorhersagejobs gleich:

Kontingent Wert
text_bison_concurrent_batch_prediction_jobs 4
code_bison_concurrent_batch_prediction_jobs 4

Kontingente für benutzerdefiniert trainierte Modelle

Die folgenden Kontingente gelten für Generative AI von Vertex AI-Modellen für ein bestimmtes Projekt und eine bestimmte Region:

Kontingent Wert
Eingeschränkte Image-Trainings-TPU V3 Pod-Kerne pro Region
* unterstützte Region - europe-west4		 64
Eingeschränktes Bildtraining Nvidia A100 80 GB GPUs pro Region
* unterstützte Region - us-central1
* unterstützte Region - us-east4
8
2

* Feinabstimmungsszenarien haben Beschleunigerreservierungen in bestimmten Regionen. Kontingente für die Feinabstimmung werden unterstützt und müssen in bestimmten Regionen angefordert werden.

Kontingente für die Onlinebewertung

Der Online-Bewertungsdienst verwendet das Modell text-bison als Autorater mit IP-Prompts und Mechanismen von Google, um eine konsistente und objektive Bewertung modellbasierter Messwerte zu gewährleisten.

Eine einzelne Bewertungsanfrage für einen modellbasierten Messwert kann zu mehreren zugrunde liegenden Anfragen an den Online-Vorhersagedienst führen. Das Kontingent jedes Modells wird auf Projektbasis berechnet. Das bedeutet, dass alle Anfragen, die zur Modellinferenz und zur modellbasierten Bewertung an das text-bison gerichtet werden, zum Kontingent beitragen. Die Kontingente für die einzelnen Modelle werden unterschiedlich festgelegt. Das Kontingent für den Bewertungsdienst und das Kontingent für das zugrunde liegende Autorater-Modell sind in der Tabelle angezeigt.

Anfragekontingent Standardkontingent
Online-Bewertungsdienst-Anfragen pro Minute 1.000 Anfragen pro Projekt und Region
Anfragen für Onlinevorhersagen pro Minute für „base_model“, „base_model“: text-bison 1.600 Anfragen pro Projekt und Region

Wenn bei der Verwendung des Online-Bewertungsdienstes ein Fehler im Zusammenhang mit Kontingenten auftritt, müssen Sie möglicherweise eine Anfrage zur Kontingenterhöhung einreichen. Weitere Informationen finden Sie unter Kontingente aufrufen und verwalten.

Limit Wert
Zeitlimit für Onlinebewertungsdienst-Anfragen 60 Sekunden

Wenn Sie den Online-Bewertungsdienst zum ersten Mal in einem neuen Projekt verwenden, kann die Ersteinrichtung bis zu zwei Minuten dauern. Das ist ein einmaliger Vorgang. Wenn die erste Anfrage fehlschlägt, warten Sie einige Minuten und versuchen Sie es dann noch einmal. Nachfolgende Bewertungsanfragen werden in der Regel innerhalb von 60 Sekunden abgeschlossen.

Die maximalen Eingabe- und Ausgabetokens sind für die modellbasierten Messwerte gemäß dem Modell begrenzt, das als Autorater verwendet wird. Siehe Modellinformationen | Generative KI in Vertex AI | Google Cloud für Limits für relevante Modelle.

Kontingente für die Pipelinebewertung

Wenn Sie bei der Verwendung des Pipelines-Bewertungsdienstes einen Fehler im Zusammenhang mit Kontingenten erhalten, müssen Sie möglicherweise eine Kontingenterhöhung beantragen. Weitere Informationen finden Sie unter Kontingente aufrufen und verwalten.

Der Pipelines-Bewertungsdienst verwendet Vertex AI Pipelines, um PipelineJobs auszuführen. Sehen Sie sich relevante Kontingente für Vertex AI Pipelines an. Im Folgenden finden Sie allgemeine Empfehlungen für Kontingente:

Dienst Kontingent Empfehlung
Vertex AI API Gleichzeitige LLM-Batchvorhersagejobs pro Region Punktweise: 1 * num_concurrent_pipelines

Paareweise: 2 * num_concurrent_pipelines
Vertex AI API Bewertungsanfragen pro Minute und Region 1.000 * num_concurrent_pipelines

Außerdem kann der Autorater bei der Berechnung modellbasierter Bewertungsmesswerte Kontingentprobleme verursachen. Das relevante Kontingent hängt davon ab, welcher Autorater verwendet wurde:

Tasks Kontingent Basismodell Empfehlung
summarization
question_answering		 Anfragen für Onlinevorhersagen pro Basismodell pro Minute pro Region pro base_model text-bison 60 * num_concurrent_pipelines

Vertex AI Pipelines

Jeder Abstimmungsjob verwendet Vertex AI Pipelines. Weitere Informationen finden Sie unter Vertex AI Pipelines-Kontingente und -Limits.

Kontingent erhöhen

Wenn Sie eines der Kontingente für die generative AI auf Vertex AI erhöhen möchten, können Sie über die Google Cloud Console eine Kontingenterhöhung anfordern. Weitere Informationen zu Kontingenten finden Sie unter Mit Kontingenten arbeiten.

Nächste Schritte