Anotación de video en streaming

En esta página, se describe cómo recuperar análisis de una transmisión de video por Internet desde un archivo discreto o a partir de datos archivados. Consulta la transmisión de video en vivo para aprender a anotar una transmisión de video en vivo.

Puedes usar la API de transmisión (StreamingVideoIntelligenceService) para la detección de video en tiempo real con las siguientes funciones:

Puedes usar Vertex AI AutoML para las siguientes funciones:

Usa la API de transmisión

Puedes dividir un archivo de video en fragmentos y transmitirlos a través de gRPC para enviar varios mensajes al servicio de transmisión de la API de Video Intelligence. El primer mensaje solo puede contener un mensaje de StreamingVideoConfig. Todos los mensajes posteriores solo deben contener datos de video.

El servicio de transmisión de la API de Video Intelligence muestra una respuesta que contiene resultados basados en la función que especificaste en la configuración de video.

En una solicitud gRPC, puedes escribir los datos binarios directamente en la transmisión. No es necesario que conviertas el contenido del video en Base64.

Te recomendamos que mantengas el tamaño de las partes de video en menos de 10 MB.

Video Intelligence también te permite especificar un depósito de Google Cloud Storage para tus resultados.

Códecs de video compatibles

Video Intelligence admite los siguientes formatos de video comunes:

Formato Notas
MTS y FLV Se admiten todos los formatos de video MTS y FLV.
MP4 (MPEG4), MOV, 3GP

El Moov Atom debe estar al principio del archivo.

Puedes utilizar la herramienta ffmpeg para colocar el Moov Atom al comienzo de tu archivo de video, como se muestra en el siguiente ejemplo:


$ ffmpeg -i input_file.mp4 -c copy -map 0 -movflags faststart output_file.mp4
MKV y WebM

Las señales deben estar al principio del archivo.

Puedes usar la herramienta mkclean para mover la señal al inicio del archivo, como se muestra en el siguiente ejemplo:


$ mkclean --keep-cues --optimize in.mkv out.mkv
$ mkclean --keep-cues --optimize --doctype 4 in.webm out.webm

Para los formatos de video que no aparecen como compatibles, puedes determinar si el archivo de video admite la transmisión mediante una canalización con nombre y la herramienta ffmpeg. Los siguientes comandos de muestra decodifican un video en imágenes PNG a una velocidad de 0.2 FPS. Si tu archivo se puede decodificar correctamente con estos comandos, puedes transmitirlos mediante el servicio de transmisión de Video Intelligence.

$ mkfifo /tmp/inpipe
$ ffmpeg -i /tmp/inpipe -r 0.2 output_%04d.png
$ cat [FILE NAME] > /tmp/inpipe