La API de Video Intelligence puede identificar entidades que se muestran en videos con la función LABEL_DETECTION y anotarlas con etiquetas (etiquetas). Esta función identifica objetos, ubicaciones, actividades, especies de animales, productos y mucho más.
La detección de etiquetas es distinta del seguimiento de objetos. A diferencia del seguimiento de objetos, la detección de etiquetas proporciona etiquetas para todo el marco (sin cuadros de límite).
Por ejemplo, en un video de un tren en un cruce, la API de Video Intelligence muestra etiquetas como “tren”, “transporte”, “crucero de ferrocarril”, etcétera. Cada etiqueta incluye un segmento de tiempo con la compensación de tiempo (marca de tiempo) para la apariencia de la entidad desde el comienzo del video. Cada anotación también contiene información adicional, incluido un ID de entidad que puedes usar para encontrar más información sobre la entidad en la API de búsqueda en el Gráfico de conocimiento de Google.
Cada entidad que se muestra también puede incluir entidades de categoría asociadas en el campo categoryEntities. Por ejemplo, la etiqueta de entidad "Terrier" tiene la categoría "Perro". Las entidades de categoría tienen una jerarquía. Por ejemplo, la categoría "Perro" es un elemento secundario de la categoría "Mamífero" en la jerarquía. Para obtener una lista de las entidades de categoría comunes que usa Video Intelligence, consulta entry-level-category.json.
El análisis se puede compartimentar de la siguiente manera:
- Nivel de segmento:
Los segmentos seleccionados por el usuario de un video se pueden especificar para analizarlos si se determinan las marcas de tiempo de inicio y finalización para los fines de la anotación (consulta VideoSegment). Luego, las entidades se identifican y etiquetan dentro de cada segmento. Si no se especifican segmentos, todo el video se trata como un solo segmento. - Nivel de toma:
Las tomas (también conocidas como escenas) se detectan automáticamente en cada segmento (o video). Luego, las entidades se identifican y etiquetan dentro de cada escena. Para obtener más detalles, consulta Detección de cambio de plano. - Nivel del marco:
Las entidades se identifican y etiquetan dentro de cada marco (con un muestreo de un fotograma por segundo).
Para detectar etiquetas en un video, llama al método annotate y especifica LABEL_DETECTION en el campo features.
Consulta el Instructivo para analizar videos en busca de etiquetas y el Instructivo de detección de etiquetas.
Visualizador de la API de Video Intelligence
Consulta el visualizador de la API de Video Intelligence para ver esta función en acción.