Begrenzungsrahmenerkennung

Experimental

This feature is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA features are available "as is" and might have limited support. For more information, see the launch stage descriptions.

Wenn Sie ein Beispiel für die Erkennung von Begrenzungsboxen sehen möchten, führen Sie das Jupyter-Notebook „Spatial Understanding with Gemini 2.0“ in einer der folgenden Umgebungen aus:

In Colab öffnen | In Colab Enterprise öffnen | In nutzerverwalteten Vertex AI Workbench-Notebooks öffnen | Auf GitHub ansehen

Mit dieser experimentellen Version stellen wir Entwicklern ein leistungsstarkes Tool für die Objekterkennung und -lokalisierung in Bildern und Videos zur Verfügung. Durch die genaue Identifizierung und Abgrenzung von Objekten mit Begrenzungsboxen können Entwickler eine Vielzahl von Anwendungen nutzen und die Intelligenz ihrer Projekte verbessern.

Hauptvorteile:

• Einfach:Sie können Funktionen zur Objekterkennung ganz einfach in Ihre Anwendungen einbinden, unabhängig von Ihren Kenntnissen im Bereich maschinelles Sehen.
• Anpassbar:Sie können Begrenzungsrahmen anhand benutzerdefinierter Anweisungen erstellen (z.B. „Ich möchte Begrenzungsrahmen für alle grünen Objekte in diesem Bild sehen“), ohne ein benutzerdefiniertes Modell trainieren zu müssen.

Technische Details:

• Eingabe:Ihr Prompt und die zugehörigen Bilder oder Videoframes.
• Ausgabe:Begrenzungsrahmen im [y_min, x_min, y_max, x_max]-Format. Die linke obere Ecke ist der Ursprung. Die x- und y-Achse verlaufen horizontal bzw. vertikal. Die Koordinatenwerte werden für jedes Bild auf 0–1.000 normalisiert.
• Visualisierung:AI Studio-Nutzer sehen Begrenzungsboxen, die in der Benutzeroberfläche dargestellt werden. Vertex AI-Nutzer sollten ihre Begrenzungsboxen mit benutzerdefiniertem Visualisierungscode visualisieren.