Vorhersagen von einem benutzerdefinierten Modell abrufen

Eine Vorhersage ist die Ausgabe eines trainierten Modells für maschinelles Lernen. Diese Seite bietet einen Überblick über den Workflow zum Abrufen von Vorhersagen aus Ihren Modellen in Vertex AI.

Vertex AI bietet zwei Methoden zum Abrufen von Vorhersagen:

  • Onlinevorhersagen sind synchrone Anfragen an ein Modell, das in einem endpoint bereitgestellt wird. Entsprechend müssen Sie vor dem Senden einer Anfrage zuerst die Ressource Model auf einem Endpunkt bereitstellen. Dadurch werden dem Modell Rechenressourcen zugeordnet, sodass es Onlinevorhersagen mit niedriger Latenz bereitstellen kann. Verwenden Sie Onlinevorhersagen, wenn Sie Anfragen als Reaktion auf Anwendungseingaben stellen oder wenn zeitnahe Inferenzen erforderlich sind.

  • Batchvorhersagen sind asynchrone Anfragen an ein Modell, das nicht auf einem Endpunkt bereitgestellt ist. Sie senden die Anfrage (als BatchPredictionsJob-Ressource) direkt an die Model-Ressource. Verwenden Sie Batchvorhersagen, wenn Sie nicht sofort eine Antwort benötigen und akkumulierte Daten in einer einzigen Anfrage verarbeiten möchten.

Modell lokal testen

Bevor Sie Vorhersagen abrufen, ist es sinnvoll, Ihr Modell während der Entwicklungs- und Testphase auf einem lokalen Endpunkt bereitzustellen. So können Sie sowohl schneller iterieren als auch Ihr Modell testen, ohne es auf einem Onlineendpunkt bereitstellen und ohne dass Vorhersagekosten anfallen. Die lokale Bereitstellung ist für lokale Entwicklung und Tests vorgesehen, nicht für die Produktionsbereitstellung.

Wenn Sie ein Modell lokal bereitstellen möchten, verwenden Sie das Vertex AI SDK für Python und stellen Sie ein LocalModel auf einem LocalEndpoint bereit. Eine Demonstration finden Sie in diesem Notebook.

Auch wenn Ihr Client nicht in Python geschrieben ist, können Sie das Vertex AI SDK für Python verwenden, um den Container und den Server zu starten, sodass Sie Anfragen von Ihrem Client testen können.

Vorhersagen von benutzerdefinierten trainierten Modellen abrufen

Damit Sie Vorhersagen abrufen können, müssen Sie zuerst das Modell importieren. Nach dem Import wird sie zu einer Model-Ressource, die in Vertex AI Model Registry sichtbar ist.

Anschließend erfahren Sie in der folgenden Dokumentation, wie Sie Vorhersagen abrufen:

Nächste Schritte