Questa pagina descrive come annotare uno stream video da protocolli di live streaming standard.
L'API Video Intelligence Streaming consente l'analisi in tempo reale dello streaming per contenuti multimediali dal vivo. Le funzionalità supportate includono:
Rilevamento etichette dal vivo
Rilevamento del cambio di inquadratura dal vivo
Rilevamento di contenuti espliciti dal vivo
Rilevamento e monitoraggio di oggetti in tempo reale
La libreria di importazione AIStreamer fornisce un insieme di interfacce open source e codice di esempio per connettersi all'API Video Intelligence Streaming. La biblioteca supporta:
HTTP Live Streaming (HLS): un protocollo di comunicazione e streaming di contenuti multimediali basato su HTTP.
Real Time Streaming Protocol (RTSP): un protocollo di controllo di rete per i server media per lo streaming. Viene utilizzato insieme a RTP (Real Time Protocol) e RTCP (Real Time Control Protocol).
Real Time Messaging Protocol (RTMP): un protocollo per lo streaming di audio, video e dati su internet.
Per iniziare a utilizzare AIStreamer
La libreria di importazione di AIStreamer include i seguenti esempi (incluso un esempio Docker).
Live streaming: istruzioni per supportare i protocolli di live streaming (HLS, RTSP e RTMP) nell'API Video Intelligence.
Docker e Kubernetes: istruzioni per utilizzare il nostro esempio di Docker e il deployment di Kubernetes.
Rilevamento etichette dal vivo: istruzioni per l'analisi delle etichette in streaming.
Rilevamento del cambio di inquadratura dal vivo: istruzioni per l'analisi del cambio di inquadratura in streaming.
Rilevamento di contenuti espliciti dal vivo: istruzioni per l'analisi dei contenuti espliciti in streaming.
Rilevamento e monitoraggio di oggetti in tempo reale: istruzioni per l'analisi in streaming del rilevamento e del monitoraggio di oggetti.
Architettura del codice
La libreria di importazione di AIStreamer include le seguenti tre directory:
client: librerie client Python e C++ per la connessione a Video Intelligence.
env: Esempio di Docker per l'importazione di AIStreamer.
proto: definizioni di proto e interfaccia gRPC per Video Intelligence.
Dipendenze di terze parti
La libreria di importazione AIStreamer open source si basa sulle seguenti librerie open source di proprietà di Google e di terze parti.
Bazel: uno strumento di compilazione e test con supporto multilingue.
gRPC: un framework RPC universale open source ad alte prestazioni.
Protobuf: il meccanismo di Google per la serializzazione dei dati strutturati, indipendente da linguaggi e piattaforme ed estensibile.
rules_protobuf: regole Bazel per la creazione di buffer di protocollo e servizi gRPC.
glog: implementazione in C++ del modulo di logging di Google.
gflags: libreria C++ che implementa l'elaborazione dei flag della riga di comando.
ffmpeg: una soluzione completa e multipiattaforma per registrare, convertire e riprodurre in streaming audio e video.
gStreamer: un altro framework di streaming ed elaborazione multimediale cross-platform.