Provisioned Throughput kaufen

Auf dieser Seite finden Sie Informationen, die Sie vor dem Abonnieren von Provisioned Throughput berücksichtigen sollten, die Berechtigungen, die Sie zum Aufgeben oder Ansehen einer Bestellung von Provisioned Throughput benötigen, sowie eine Anleitung zum Aufgeben und Ansehen Ihrer Bestellungen.

Was Sie vor dem Abonnieren beachten sollten

Hier finden Sie eine Liste mit Details zum Abo, die Ihnen bei der Entscheidung helfen sollen, ob Sie Provisioned Throughput abonnieren möchten:

  • Sie können Ihre Bestellung nicht stornieren.

    Der Kauf von Provisioned Throughput ist eine Zusicherung. Das bedeutet, dass Sie die Bestellung nicht stornieren können. Sie können jedoch die Anzahl der gekauften GSUs erhöhen. Wenn Sie versehentlich eine Zusicherung erwerben oder ein Problem mit Ihrer Konfiguration vorliegt, wenden Sie sich bitte an Ihren Google Cloud Account Manager.

  • Sie können Ihr Abo automatisch verlängern lassen.

    Wenn Sie Ihre Bestellung aufgeben, können Sie festlegen, dass Ihr Abo am Ende der Laufzeit automatisch verlängert wird, oder es auslaufen lassen. Sie können die automatische Verlängerung abbrechen. Wenn Sie Ihr Abo kündigen möchten, bevor es automatisch verlängert wird, müssen Sie die automatische Verlängerung 30 Tage vor Beginn des nächsten Abozeitraums kündigen.

    Sie können monatliche Abos so konfigurieren, dass sie jeden Monat automatisch verlängert werden. Bei wöchentlichen Laufzeiten ist keine automatische Verlängerung möglich.

    Wenn Sie Unterstützung bei diesem Vorgang benötigen, wenden Sie sich an Ihren Google Cloud Kundenbetreuer.

  • Sie können Ihre Modellversion oder Region innerhalb einer Frist ändern.

    Nachdem Sie das Projekt, die Region, das Modell und die Version ausgewählt haben, wird Provisioned Throughput aktiviert, sobald Ihre Bestellung genehmigt wurde. Innerhalb von 10 Arbeitstagen nach der Genehmigung Ihrer Bestellung können Sie Ihre Modellversion innerhalb des Anbieters oder der Region Ihres Modells ändern. Verwenden Sie dazu die Google Cloud Console für die Modelle von Google. Weitere Informationen finden Sie unter Bestellten Durchsatzauftrag ändern. Sie können sich auch an Ihren Google Cloud Kundenbetreuer wenden.

    Sie können nur zwischen Modellen desselben Anbieters wechseln. Sie können beispielsweise zwischen den Modellen von Google oder zwischen den Modellen von Partner A wechseln. Sie können jedoch nicht zwischen den Modellen von Google und Partner A wechseln.

  • Wenn Sie von „Pay as you go“ zu „Provisioned Throughput“ wechseln, gibt es keine Ausfallzeit.

    Wenn Sie bei einer Bestellung von Provisioned Throughput zwischen Modellen wechseln, gibt es keine Ausfallzeiten. Die Vorlaufzeit für die Leistungssteigerung ist jedoch erforderlich.

  • Die Überschreitung wird standardmäßig als „Pay-as-you-go“ abgerechnet.

    Wenn Ihr Durchsatz den bestellten Bereitgestellten Durchsatz übersteigt, werden Überschreitungen verarbeitet und als „Pay-as-you-go“ abgerechnet. Sie können Überschreitungen pro Anfrage steuern. Weitere Informationen finden Sie unter REST API verwenden.

  • Anfragen werden priorisiert.

    Anfragen von Provisioned Throughput-Kunden werden vor On-Demand-Anfragen priorisiert und bearbeitet.

  • Sie müssen sich zu einer Mindestnutzung und Zahlung verpflichten.

    Die Mindestnutzung hängt vom ausgewählten generativen KI-Modell ab. Jegliche Nutzung, die über den gekauften Durchsatz hinausgeht, ist nicht garantiert und wird nur bei einem angemessenen Aufwand bedient.

  • Der Durchsatz wird nicht addiert.

    Nicht genutzter Durchsatz wird nicht angesammelt oder auf den nächsten Monat übertragen.

  • Provisioned Throughput wird in Zeichen oder Tokens pro Sekunde gemessen.

    Der zugewiesene Durchsatz wird in Zeichen oder Tokens pro Sekunde gemessen, nicht in Abfragen pro Minute (QPM). Die Messung des bereitgestellten Durchsatzes hängt daher von der Abfragegröße und der Anzahl der Abfragen pro Minute Ihres Anwendungsfalls ab.

  • Bei Provisioned Throughput wird Ihr Kontingent geprüft.

    Ihr Kontingent für den bereitgestellten Durchsatz wird bei jeder Anfrage innerhalb des Kontingentzeitraums geprüft. Für gemini-1.5-flash-002- und gemini-1.5-pro-002-Modelle beträgt das Kontingentfenster 30 Sekunden. Das bedeutet, dass Sie vorübergehend priorisierten Traffic erhalten können, der in einigen Fällen Ihr Kontingent pro Sekunde überschreitet. Ihr Kontingent sollte jedoch nicht auf 30-Sekunden-Basis überschritten werden. Für andere Modelle beträgt das Kontingentfenster eine Minute.

  • Endpunkte mit überwachten, optimierten Modellen und das entsprechende Basismodell werden auf dasselbe Kontingent für den bereitgestellten Durchsatz angerechnet. Dies ist eine Vorabversion. Füllen Sie das Formular zur Zugriffssteuerung für bereitgestellten Durchsatz aus und senden Sie es ab.

    Wenn Sie beispielsweise für gemini-1.5-pro-002 in einem bestimmten Projekt einen bereitgestellten Durchsatz kaufen, werden Anfragen, die von innerhalb dieses Projekts erstellten, mithilfe von KI optimierten Versionen von gemini-1.5-pro-002 stammen, priorisiert. Verwenden Sie die entsprechende Überschrift, um das Verhalten des Traffics zu steuern.

Berechtigungen

Wenn Sie Provisioned Throughput abonnieren möchten, muss Ihrem Projekt eine der folgenden Berechtigungen zugewiesen sein, damit Sie neue Bestellungen auflisten und aufgeben können.

  • aiplatform.googleapis.com/provisionedThroughputAdmin: Spezifisch für Provisioned Throughput.
  • aiplatform.googleapis.com/admin: Gewährt Administratorrechte für alle Ressourcen in Vertex AI.

Mit dieser Rolle können Sie nur Ihre Bestellungen auflisten:

  • aiplatform.googleapis.com/viewer

Provisioned Throughput bestellen

Bevor Sie eine Bestellung für die Verwendung von Imagen-Modellen aufgeben, reichen Sie das Antragsformular zur Gewährung von Berechtigungen ein, um Berechtigungen zu erhalten.

Bevor Sie eine Bestellung für MedLM-large-1.5 aufgeben, wenden Sie sich an Ihren Google Cloud Account Manager, um Zugriff anzufordern. Wenn Sie davon ausgehen,dass Ihre Anzahl der Abfragen pro Minute 30.000 überschreitet, können Sie die Leistung Ihrer Provisioned Throughput-Bestellung maximieren, indem Sie Ihr Standardkontingent für das Vertex AI-System erhöhen. Verwenden Sie dazu die folgenden Informationen:

  • Dienst: Die Vertex AI API.
  • Name: Online prediction requests per minute per region
  • Diensttyp: Ein Kontingent.
  • Dimensionen: Die Region, in der Sie den bereitgestellten Durchsatz bestellt haben.
  • Wert: Das ist das von Ihnen ausgewählte Traffic-Limit für die Online-Prognose.

So kaufen Sie Provisioned Throughput:

Console

  1. Rufen Sie in der Google Cloud Console die Seite „Bereitgestellter Durchsatz“ auf.

    Provisioned Throughput aufrufen

  2. Klicken Sie auf Erstellen, um eine neue Bestellung zu starten.
  3. Geben Sie den Namen einer Bestellung ein.
  4. Wählen Sie das Modell aus.
  5. Wählen Sie die Region aus.
  6. Geben Sie die Anzahl der Skalierungseinheiten der generativen KI (GSUs) ein, die Sie erwerben müssen. Wenn Sie die Anzahl der GSUs schätzen müssen, klicken Sie auf das Schätzungstool.
    1. Wählen Sie Ihr Modell aus.
    2. Geben Sie die Anzahl der Abfragen pro Sekunde ein.
    3. Geben Sie die Anzahl der Eingabezeichen pro Abfrage ein.
    4. Geben Sie die Anzahl der Eingabebilder pro Abfrage ein.
    5. Geben Sie die Anzahl der Videosekunden pro Abfrage ein.
    6. Geben Sie die Anzahl der Audiosekunden pro Abfrage ein.
    7. Geben Sie die Anzahl der Ausgabezeichen pro Abfrage ein.
    8. Wenn Sie die Werte verwenden möchten, die Sie in das Schätzungstool eingegeben haben, klicken Sie auf Berechnung verwenden.
  7. Wählen Sie die Laufzeit aus.

    Wenn Sie eine Woche auswählen, können Sie ein Startdatum und eine Uhrzeit innerhalb von zwei Wochen angeben, zu der eine Bestellung aufgegeben werden soll. Wenn Sie kein Startdatum und keine Uhrzeit angeben, bearbeiten wir die Bestellung, sobald wir sicher sein können, dass die Kapazität verfügbar ist. Die Bearbeitung der gewünschten Startdaten und ‑zeiten erfolgt auf Best-Effort-Basis. Es kann nicht garantiert werden, dass Bestellungen bis zu diesen Terminen erfüllt sind. Dies ist erst dann sicher, wenn der Bestellstatus auf Genehmigt gesetzt ist.

    Wenn das von Ihnen angegebene Startdatum zu nah am aktuellen Datum liegt, wird Ihre Bestellung möglicherweise erst nach dem angegebenen Startdatum genehmigt und aktiviert. Das Enddatum bleibt dann sieben Tage nach dem Aktivierungsdatum.

  8. Wählen Sie die Option Verlängerung aus.
  9. Klicken Sie auf Weiter.
  10. Sehen Sie sich im Abschnitt Zusammenfassung die Preis- und Durchsatzschätzungen für Ihre Bestellung an. Lesen Sie die im Formular aufgeführten und verlinkten Nutzungsbedingungen.
  11. Klicken Sie auf Bestätigen, um die Bestellung abzuschließen.

Bestellung für bereitgestellten Durchsatz ändern

In dieser Tabelle wird beschrieben, wie Sie Ihre Bestellungen für bereitgestellten Durchsatz über die Google Cloud Console entsprechend dem Status Ihrer Bestellung und den vorhandenen Bedingungen ändern können. Wenn Sie Zugriff auf diese Vorschaufunktionen anfordern möchten, füllen Sie das Formular zur Zugriffssteuerung für bereitgestellten Durchsatz aus und reichen Sie es ein.

Bestellstatus Aktion Hinweis Schritte in der Google Cloud Console
Überprüfung steht aus Sie können Ihre Bestellung stornieren.

Wenn Sie weitere Änderungen an Ihrer Bestellung vornehmen möchten, stornieren Sie die ausstehende Bestellung und geben Sie eine neue Bestellung auf.

Wenn Sie mehrere Modelle haben, kann für jedes Modell jeweils nur eine ausstehende Bestellüberprüfung oder eine ausstehende Bestellung vorhanden sein.

 So stornierst du eine ausstehende Bestellung in der Google Cloud Console:
  1. Rufen Sie die Seite Bereitgestellter Durchsatz auf.
  2. Wählen Sie die Region aus, in der sich Ihre ausstehende Bestellung befindet.
  3. Klicken Sie auf die Bestell-ID der Bestellung, die Sie stornieren möchten, um die Seite Bestelldetails aufzurufen.
  4. Klicken Sie auf Abbrechen.
  5. Klicken Sie im Dialogfeld Möchten Sie die Bestellung wirklich stornieren? auf Bestellung stornieren.
Aktiv

Sie können die Anzahl der GSUs bei bestehenden Bestellungen erhöhen.

Sie können automatische Verlängerungen aktivieren oder deaktivieren.

Sie können die Version des Modells ändern.

 Wenn diese beiden Bedingungen erfüllt sind, können Sie Ihre Bestellung nicht ändern:
  • Das Ablaufdatum der Bestellung liegt weniger als 5 Tage in der Zukunft.
  • Die Bestellung ist nicht für die automatische Verlängerung eingerichtet.
 So ändern Sie Ihre aktive Bestellung in der Google Cloud Console:
  • Klicken Sie auf der Seite Bereitgestellter Durchsatz auf das Symbol in der Spalte Aktionen und dann auf Bearbeiten.
  • Klicken Sie auf der Seite Bestelldetails auf die Schaltfläche Bearbeiten.

Bestellstatus prüfen

Nachdem Sie Ihre Bestellung für Provisioned Throughput eingereicht haben, kann der Bestellstatus einen der folgenden Werte haben:

  • Überprüfung ausstehend: Sie haben Ihre Bestellung aufgegeben. Da die Genehmigung von der verfügbaren Kapazität für die Bereitstellung Ihrer Bestellung abhängt, wird Ihre Bestellung derzeit geprüft und genehmigt. Weitere Informationen zum Status Ihrer ausstehenden Bestellung erhalten Sie von Ihrem Google Cloud Kundenbetreuer.
  • Genehmigt: Google hat Ihren Auftrag genehmigt.
  • Aktiv: Google hat Ihre Bestellung aktiviert und die Abrechnung beginnt.
  • Abgelaufen: Ihre Bestellung ist abgelaufen.

Bestellungen von Provisioned Throughput ansehen

So rufen Sie Ihre Bestellungen für Provisioned Throughput auf:

Console

  1. Rufen Sie in der Google Cloud Console die Seite „Bereitgestellter Durchsatz“ auf.

    Provisioned Throughput aufrufen

  2. Wählen Sie die Region aus. Ihre Bestellliste wird angezeigt.

Nächste Schritte