Streams erstellen und Daten aufnehmen

Der erste Schritt bei der Analyse Ihrer Videodaten mit einer Anwendung besteht darin, eine Pipeline für den kontinuierlichen Datenfluss zu erstellen. Mit Streams können Videodaten in Echtzeit aufgenommen werden, die dann als Eingabe für Modelle verwendet oder in einem Warehouse gespeichert werden können.

Stream erstellen

Damit Sie Videodaten streamen können, müssen Sie zuerst einen Stream erstellen.

Wenn Sie zum ersten Mal einen Stream in einem neuen Projekt erstellen, kann das einige Zeit dauern. Das dauert etwa 30 Minuten. Dieser Zeitaufwand ist darauf zurückzuführen, dass das System einen Compute-Cluster für nachfolgende Berechnungen initialisieren muss.

Console

Erstellen Sie einen Stream in der Google Cloud Console.

  1. Öffnen Sie den Tab Streams im Vertex AI Vision-Dashboard.

    Zum Tab „Streams“

  2. Klicken Sie auf Registrieren.

  3. Geben Sie den Streamnamen ein und wählen Sie eine Region aus. Sie können auf Zeile hinzufügen klicken, um mehrere Streams gleichzeitig zu registrieren.

  4. Klicken Sie auf die Schaltfläche Registrieren, um einen oder mehrere Streams zu erstellen.

Videos aufnehmen

Nachdem Sie einen Stream erstellt haben, können Sie damit Daten aufnehmen.

Für aufgenommene Videos gelten einige Einschränkungen und Hinweise:

  • Die Eingabevideoquelle muss die folgenden Spezifikationen erfüllen:

    Wenn das Video diese Spezifikationen nicht erfüllt, kann Vertex AI Vision die Eingabe möglicherweise nicht richtig verarbeiten.

  • Audio wird während der Datenaufnahme entfernt.
  • Wenn der Stream Teil einer App ist, die mit einem Warehouse verbunden ist, müssen die Videoparameter (z. B. Framerate oder Auflösung) für den gesamten Stream gleich sein. Abweichungen bei den RTSP-Videodatenparametern oder den lokalen Videodatenparametern werden nicht unterstützt.
  • Aufgrund der Latenz beim Starten des Modells fehlen bei aufgenommenen Videos möglicherweise die ersten Sekunden des Inhalts. Das kann bis zu 15 Sekunden dauern.
  • Die Datenaufnahme kann nach einer langen Verbindung beendet werden (durchschnittlich etwa 5 Stunden). Es gibt keine Möglichkeit, über das vaictl-Tool eine neue Verbindung herzustellen. Nutzer müssen die Verbindung manuell herstellen.
  • vaictl ist zwar ein nützliches Tool für die Datenaufnahme von Videos, es kann aber nicht automatisch nach Netzwerkfehlern wiederhergestellt werden. Diese Fehler können entweder auf Datenquellen- oder auf Cloud-Aufnahmeseite auftreten. Es liegt in der Verantwortung des Nutzers, ein Neustart-Script zum Umgang mit unerwarteten vaictl-Vorgangsbeendigung zu erstellen.

Vertex AI Vision SDK

Wenn Sie eine Anfrage zum Aufnehmen von Videodaten über einen vorhandenen Stream senden möchten, müssen Sie das Vertex AI Vision SDK installieren.

Ersetzen Sie die folgenden Variablen:

  • PROJECT_ID: Ihre Google Cloud -Projekt-ID
  • LOCATION_ID: Ihre Standort-ID. Beispiel: us-central1. Weitere Informationen Unterstützte Regionen
  • LOCAL_FILE.EXT: Der Dateiname einer lokalen Videodatei. Beispiel: my-video.mp4
  • STREAM_ID: Die Stream-ID, die Sie im Cluster erstellt haben, z. B. input-1.
  • RTSP_ADDRESS: Die Adresse deines RTSP-Feeds (Real Time Streaming Protocol). Beispiel: rtsp://my-ip-camera

Lokale Videodaten:

# This command streams a video file to a stream. Streaming ends when the video ends.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT

Lokale Videodaten (Loop):

# This command streams a video file to a stream. Video is looped into the stream until you stop the command.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT --loop

RTSP-Feeddaten (Real Time Streaming Protocol):

# This command will send an RTSP feed into the stream.
# This command has to run in the network that has direct access to the RTSP feed.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send rtsp to streams STREAM_ID --rtsp-uri RTSP_ADDRESS

Aufgenommene Videos abspielen

Nachdem Sie einen Stream erstellt und Videoinhalte an den Stream gesendet haben, können Sie die Videoinhalte abspielen.

Wenn Sie den Tab „Streamansicht“ länger als eine Stunde geöffnet lassen, müssen Sie die Seite aktualisieren, um Videoinhalte weiter zu laden.

Console

In der Google Cloud Console aufgenommene Videos abspielen

  1. Öffnen Sie den Tab Streams im Vertex AI Vision-Dashboard.

    Zum Tab „Streams“

  2. Klicken Sie in der Liste der Streams auf den Namen des Streams.

  3. Auf der Seite mit den Details zum Videostream wird automatisch die Liveansicht des aufgenommenen Videos geladen.