Auf dieser Seite wird beschrieben, wie Sie Analysen eines Videostreams aus einer separaten Datei oder aus archivierten Daten abrufen. Unter Livevideostreaming erfahren Sie, wie Sie einen Livevideostream mit Annotationen versehen.
Sie können die Streaming API (StreamingVideoIntelligenceService) zur Videoerkennung in Echtzeit nutzen. Dabei stehen Ihnen die folgenden Funktionen zur Verfügung:
- Labels analysieren
- Szenenwechsel erkennen
- Anstößige Inhalte erkennen
- Annotation an Speicher streamen
- Objekte verfolgen
Sie können Vertex AI AutoML für die folgenden Features verwenden:
Die Streaming API verwenden
Sie können eine Videodatei in Blöcke aufteilen und jeden Block einzeln streamen. Nutzen Sie hierfür gRPC, um mehrere Nachrichten an den Streamingdienst der Video Intelligence API zu senden. Die erste Nachricht kann nur eine StreamingVideoConfig-Nachricht enthalten. Alle weiteren Nachrichten dürfen nur Videodaten enthalten.
Der Streamingdienst der Video Intelligence API gibt eine Antwort mit Ergebnissen zurück, die auf der Funktion basieren, die Sie in Ihrer Videokonfiguration angegeben haben.
Bei einer gRPC-Anfrage werden die Binärdaten direkt in den Stream geschrieben. Sie müssen den Videoinhalt nicht in base64 konvertieren.
Wir empfehlen, die Größe Ihrer Videoblöcke auf unter 10 MB zu beschränken.
Mit Video Intelligence können Sie auch einen Google Cloud Storage-Bucket für Ihre Ergebnisse festlegen.
Unterstützte Videocodecs
Video Intelligence unterstützt die folgenden gängigen Videoformate:
| Format | Hinweise |
|---|---|
| MTS, FLV | Alle MTS- und FLV-Videoformate werden unterstützt. |
| MP4 (MPEG4), MOV, 3GP | Das MOOV-Atom muss sich am Anfang der Datei befinden. Mit dem Tool ffmpeg können Sie das MOOV-Atom wie im folgenden Beispiel gezeigt an den Anfang Ihrer Videodatei setzen:
$ ffmpeg -i input_file.mp4 -c copy -map 0 -movflags faststart output_file.mp4 |
| MKV, WebM | Hinweise müssen am Anfang der Datei stehen. Mit dem Tool mkclean können Sie Hinweise wie im folgenden Beispiel gezeigt an den Anfang der Datei verschieben: $ mkclean --keep-cues --optimize in.mkv out.mkv $ mkclean --keep-cues --optimize --doctype 4 in.webm out.webm |
Für Videoformate, die nicht in der Liste der unterstützten Formate aufgeführt sind, können Sie mithilfe einer Namend Pipe und dem Tool ffmpeg ermitteln, ob Ihre Videodatei Streaming unterstützt. Mit den folgenden Beispielbefehlen wird ein Video bei einer Rate von 0,2 fps in PNG-Bilder decodiert. Wenn Ihre Datei mit diesen Befehlen erfolgreich decodiert werden kann, ist auch ein Streamen mit dem Streamingdienst von Video Intelligence möglich.
$ mkfifo /tmp/inpipe $ ffmpeg -i /tmp/inpipe -r 0.2 output_%04d.png $ cat [FILE NAME] > /tmp/inpipe