L'API Video Intelligence Streaming supporta protocolli di live streaming standard come RTSP, RTMP e HLS. La pipeline di importazione di AIStreamer si comporta come un proxy di streaming, convertendo i protocolli di live streaming in una connessione gRPC di streaming bidirezionale.
Per supportare i protocolli di live streaming, l'API Video Intelligence utilizza il framework multimediale open source GStreamer.
Passaggio 1: crea una pipe con nome
Viene creata una pipe con nome per la comunicazione tra GStreamer e il proxy di importazione di AIStreamer. I due processi vengono eseguiti nello stesso contenitore Docker.
- path_to_pipe: percorso del file nel tuo ambiente locale. Ad esempio, /user/local/Desktop/
- name_of_pipe: il nome della pipeline che fornisci. Ad esempio,
my-football-game
$ export PIPE_NAME=/path_to_pipe/name_of_pipe $ mkfifo $PIPE_NAME
Esempio: /user/local/Desktop/my-football-game
Passaggio 2: esegui il proxy di importazione di AIStreamer
Questi esempi C++, disponibile per l'utilizzo, include un unico file binario che supporta tutte le funzionalità. Per compilare gli esempi, segui queste istruzioni di compilazione.
L'esempio seguente mostra come utilizzare il file binario dalla riga di comando.
$ export GOOGLE_APPLICATION_CREDENTIALS=/path_to_credential/credential_json $ export CONFIG=/path_to_config/config_json $ export PIPE_NAME=/path_to_pipe/name_of_pipe $ export TIMEOUT=3600 $ ./streaming_client_main --alsologtostderr --endpoint "dns:///alpha-videointelligence.googleapis.com" \ --video_path=$PIPE_NAME --use_pipe=true --config=$CONFIG --timeout=$TIMEOUT
$GOOGLE_APPLICATION_CREDENTIALS specifica il percorso del file JSON contenente la chiave dell'account di servizio.
Puoi trovare un file di configurazione di esempio ($CONFIG) su github.
Assicurati di impostare il flag di timeout corretto nella riga di comando. Se devi trasmettere in streaming un video di 1 ora, il valore di timeout deve essere di almeno 3600 secondi.
Passaggio 3: esegui la pipeline GStreamer
GStreamer supporta più protocolli di live streaming, tra cui, a titolo esemplificativo:
HTTP Live Streaming (HLS)
Real-time Streaming Protocol (RTSP)
Real-time Protocol (RTP)
Real-time Messaging Protocol (RTMP)
WebRTC
Streaming da webcam
L'API Video Intelligence utilizza la pipeline GStreamer per convertire questi protocolli di live streaming in uno stream video decodificabile e scrive lo stream nella pipe con nome creata nel passaggio 1.
Gli esempi riportati di seguito mostrano come utilizzare la libreria di live streaming con i protocolli HLS, RTSP e RTMP.
HTTP Live Streaming (HLS)
$ export PIPE_NAME=/path_to_pipe/name_of_pipe $ export HLS_SOURCE=http://abc.def/playlist.m3u8 $ gst-launch-1.0 -v souphttpsrc location=$HLS_SOURCE ! hlsdemux ! filesink location=$PIPE_NAME
Real-time Streaming Protocol (RTSP)
$ export PIPE_NAME=/path_to_pipe/name_of_pipe $ export RTSP_SOURCE=rtsp://ip_addr:port/stream $ gst-launch-1.0 -v rtspsrc location=$RTSP_SOURCE ! rtpjitterbuffer ! rtph264depay \ ! h264parse ! flvmux ! filesink location=$PIPE_NAME
Real-time Message Protocol (RTMP)
$ export PIPE_NAME=/path_to_pipe/name_of_pipe $ export RTMP_SOURCE=rtmp://host/app/stream $ gst-launch-1.0 -v rtmpsrc location=$RTMP_SOURCE ! flvdemux ! flvmux ! filesink location=$PIPE_NAME
Istruzioni per la compilazione
L'esempio di file binario viene compilato utilizzando Bazel. Viene inoltre fornito un
esempio Docker
con tutte le dipendenze di compilazione configurate. Puoi trovare il file streaming_client_main compilato nella directory $BIN_DIR dell'immagine Docker.
Per ulteriori informazioni sull'utilizzo di Docker, consulta Utilizzo di Docker e Kubernetes.
Controllo del flusso
Il server dell'API Video Intelligence Streaming ha un controllo del flusso intrinseco.
Nei due casi seguenti, le richiesteStreamingAnnotateVideoRequest vengono rifiutate e le connessioni di streaming gRPC vengono interrotte immediatamente:
Il client di importazione di AIStreamer invia richieste ai server Google con troppa frequenza.
Il client di importazione di AIStreamer invia troppi dati ai server di Google (oltre 20 MB al secondo).
Visualizzatore
Il codice del visualizzatore fornito in AIStreamer deve essere considerato solo come un esempio di codice. Il visualizzatore potrebbe non essere compatibile con l'ambiente locale dell'utente. Gli utenti di AIStreamer non devono fare affidamento sul codice client per visualizzare i risultati dell'annotazione.