Kontingentrichtlinie

AI Platform begrenzt die Ressourcenzuweisung und -nutzung und legt geeignete Kontingente pro Projekt fest. Die einzelnen Richtlinien variieren je nach Ressourcenverfügbarkeit, Nutzerprofil, Dienstnutzungsverlauf sowie weiteren Faktoren und können ohne Vorankündigung geändert werden.

In den folgenden Abschnitten werden die aktuellen Kontingentlimits des Systems beschrieben.

Limits für Dienstanfragen

Sie können nur eine begrenzte Anzahl von API-Anfragen pro 60-Sekunden-Intervall senden. Jedes Limit gilt wie in den folgenden Abschnitten beschrieben für eine bestimmte API oder eine Gruppe von APIs.

Die Anfragekontingente für Ihr Projekt finden Sie im API Manager für AI Platform in der Google Cloud Platform Console. Sie können eine Kontingenterhöhung anfordern, indem Sie auf das Bearbeitungssymbol neben dem Kontingent und dann auf Höheres Kontingent beantragen klicken.

Jobanfragen

Die folgenden Limits gelten für projects.jobs.create-Anfragen (Trainings- und Batchvorhersagejobs kombiniert):

Zeitraum Limit
60 Sekunden 60

Anfragen für Onlinevorhersagen

Die folgenden Limits gelten für projects-predict-Anfragen:

Zeitraum Limit
60 Sekunden 6.000

Anfragen für Ressourcenverwaltung

Die folgenden Limits gelten für die Gesamtzahl aller unterstützten Anfragen dieser Liste:

Zeitraum Limit
60 Sekunden 300

Darüber hinaus sind alle oben aufgeführten delete-Anfragen und alle create-Anfragen für Versionen auf 10 gleichzeitige Anfragen insgesamt beschränkt.

Ressourcenkontingente

Zusätzlich zu den Limits für Anfragen im Zeitablauf gibt es Limits für die Verwendung von Ressourcen. Diese sind wie folgt:

  • Maximale Anzahl an Modellen: 100.
  • Maximale Anzahl an Versionen: 200. Das Versionslimit gilt für die Gesamtzahl der Versionen in Ihrem Projekt, die nach Bedarf auf Ihre aktiven Modelle verteilt werden können.

Kontingenterhöhung anfordern

Die auf dieser Seite aufgeführten Kontingente werden pro Projekt zugeteilt und können mit der Nutzung im Zeitverlauf erhöht werden. Wenn Sie mehr Verarbeitungskapazität benötigen, können Sie eine Kontingenterhöhung anfordern:

  • In der Google Cloud Platform Console können Sie die Erhöhung von Kontingenten anfordern, die im API Manager für AI Platform aufgeführt sind:

    1. Suchen Sie den Abschnitt für das Kontingent, das Sie erhöhen möchten.

    2. Klicken Sie auf das Stiftsymbol neben dem Kontingentwert am unteren Rand des Nutzungsdiagramms für dieses Kontingent.

    3. Geben Sie die gewünschte Erhöhung ein:

      • Wenn Ihr gewünschter Kontingentwert in den im Dialogfeld für das Kontingentlimit angezeigten Bereich fällt, geben Sie den neuen Wert ein und klicken Sie auf Speichern.

      • Wenn Sie das Kontingent über den angezeigten Maximalwert hinaus erhöhen möchten, klicken Sie auf Höheres Kontingent beantragen und folgen Sie der Anleitung für diese zweite Möglichkeit, eine Erhöhung anzufordern.

  • Verwenden Sie das benutzerdefinierte Anforderungsformular für Kontingente, die nicht in der Google Cloud Platform Console aufgeführt sind, oder wenn Sie ein Kontingent über dem angegebenen Maximum benötigen bzw. ein Modell bereitstellen müssen, das das Standardlimit von 250 MB überschreitet:

    1. Öffnen Sie das Formular zum Anfordern einer Kontingenterhöhung für AI Platform. Sie können auch den Link Höheres Kontingent beantragen in einem Dialogfeld zur Kontingenterhöhung aufrufen.

    2. Füllen Sie die erforderlichen Felder aus, einschließlich einer Beschreibung Ihres Szenarios und des Grunds für die Erhöhung des Kontingents.

    3. Klicken Sie auf Senden. Sie erhalten dann eine E-Mail-Antwort zu Ihrer Anfrage.

Limits für die gleichzeitige Nutzung virtueller Maschinen

Die Nutzung von GCP-Verarbeitungsressourcen in Ihrem Projekt wird anhand der Anzahl virtueller Maschinen für das Training sowie anhand der Anzahl der Knoten für Batchvorhersagen gemessen. In diesem Abschnitt werden die Limits für die gleichzeitige Verwendung dieser Ressourcen in Ihrem Projekt beschrieben.

Limits für die gleichzeitige Nutzung von Knoten für die Batchvorhersage

Ein typisches Projekt ist bei der erstmaligen Verwendung von AI Platform bei der Zahl der gleichzeitig für Batchvorhersagen genutzten Knoten beschränkt:

  • Anzahl der gleichzeitigen Vorhersageknoten: 72

Knotennutzung für Onlinevorhersagen

Für die Knotennutzung für Onlinevorhersagen gelten in AI Platform keine Kontingente. Weitere Informationen über Vorhersageknoten und Ressourcenzuweisung

Limits für die gleichzeitige CPU-Nutzung für das Training

Die Anzahl der für ein typisches Projekt gleichzeitig genutzten virtuellen CPUs wird basierend auf dem Nutzungsverlauf des Projekts skaliert.

  • Gesamtzahl der gleichzeitig verwendeten CPUs: Die Gesamtzahl verwendeter CPUs beträgt mindestens 20 und wird typischerweise auf einen Wert von 450 skaliert. Diese Grenzwerte stellen die kombinierte maximale Anzahl von CPUs dar, die einschließlich aller Maschinentypen gleichzeitig genutzt werden können.

Die CPUs, die Sie zum Trainieren eines Modells nutzen, zählen nicht zu den für Compute Engine verwendeten CPUs. Das Kontingent für AI Platform umfasst außerdem keinen Zugriff auf Compute Engine-VMs für andere Datenverarbeitungsanforderungen. Wenn Sie eine Compute Engine-VM starten möchten, müssen Sie das entsprechende Compute Engine-Kontingent anfordern, wie in der Dokumentation zu Compute Engine beschrieben.

Limits für die gleichzeitige GPU-Nutzung für das Training

Ein typisches Projekt ist bei der erstmaligen Verwendung von AI Platform auf die folgende Anzahl von GPUs beschränkt, die für das Trainieren von ML-Modellen gleichzeitig verwendet werden können:

  • Gesamtzahl der gleichzeitig verwendeten GPUs: Maximale Anzahl der gleichzeitig verwendeten GPUs, aufgeschlüsselt nach Typ:

    • Anzahl gleichzeitiger Tesla K80-GPUs: 30
    • Anzahl gleichzeitiger Tesla P100-GPUs: 30

Die GPUs, die Sie beim Trainieren eines Modells nutzen, zählen nicht zu den für Compute Engine verwendeten GPUs. Das Kontingent für AI Platform umfasst außerdem keinen Zugriff auf Compute Engine-VMs, die GPUs verwenden. Wenn Sie eine Compute Engine-VM starten möchten, die GPUs verwendet, müssen Sie ein entsprechendes Compute Engine-Kontingent anfordern, wie in der Dokumentation zu Compute Engine beschrieben.

Weitere Informationen zu GPUs finden Sie im Abschnitt über die Verwendung von GPUs zum Trainieren von Modellen in der Cloud.

Limits für die gleichzeitige TPU-Nutzung für das Training

Allen Google Cloud Platform-Projekten wird standardmäßig mindestens eine Cloud TPU zugewiesen.

Wenn Sie ein zusätzliches Cloud TPU-Kontingent benötigen, füllen Sie das Anforderungsformular für TPU-Kontingente aus. Das Kontingent wird in Einheiten von je 8 TPU-Kernen pro Cloud TPU zugewiesen.

Sie erhalten eine Benachrichtigung, sobald das Kontingent genehmigt wurde. Im nächsten Schritt konfigurieren Sie Ihr Google Cloud Platform-Projekt für die Verwendung der TPUs. Weitere Informationen finden Sie in der Anleitung TPUs verwenden.

Beachten Sie, dass es aufgrund der hohen Nachfrage eventuell nicht möglich ist, jedes gewünschte Kontingent zuzuweisen.

Weitere Informationen

Hat Ihnen diese Seite weitergeholfen? Teilen Sie uns Ihr Feedback mit:

Feedback geben zu...

AI Platform für TensorFlow