La API de Video Intelligence puede identificar entidades mostradas en el video con la función LABEL_DETECTION y anotar estas entidades con etiquetas. Esta función identifica objetos, ubicaciones, actividades, especies de animales, productos y mucho más.
La detección de etiquetas difiere del seguimiento de objetos. A diferencia del seguimiento de objetos, la detección de etiquetas proporciona etiquetas para todo el fotograma (sin cuadros de límite).
Por ejemplo, en el caso de un video de un tren en un cruce, la API de Video Intelligence muestra etiquetas como “tren”, “transporte”, “cruce ferroviario”, etcétera. Cada etiqueta incluye un segmento de tiempo con la compensación de tiempo (marca de tiempo) para la aparición de la entidad desde el principio del video. Cada anotación también contiene información adicional, incluido un ID de la entidad que puedes usar para encontrar más información sobre la entidad en la API de búsqueda del Gráfico de conocimiento de Google.
Cada entidad que se muestra también puede incluir entidades de categorías asociadas en el campo categoryEntities. Por ejemplo, la etiqueta de la entidad "Terrier" tiene una categoría de "Perro". Las entidades de categoría tienen una jerarquía. Por ejemplo, la categoría "Perro" es un elemento secundario de la categoría "Mamífero" en la jerarquía. Para obtener una lista de las entidades de categorías comunes que usa Video Intelligence, consulta entry-level-categories.json.
El análisis se puede compartimentar de la siguiente manera:
- Nivel de segmento:
Los segmentos seleccionados por el usuario de un video se pueden especificar para analizarlos si se determinan las marcas de tiempo de inicio y finalización para los fines de la anotación (consulta VideoSegment). Luego, las entidades se identifican y etiquetan dentro de cada segmento. Si no se especifican segmentos, todo el video se trata como un solo segmento. - Nivel de toma:
Las tomas (también conocidas como escenas) se detectan automáticamente en cada segmento (o video). Luego, se identifican y etiquetan las entidades en cada escena. Para obtener más información, consulta Detección de cambios de toma. - Nivel de marco:
se identifican y etiquetan dentro de cada marco (con un fotograma por segundo).
Para detectar etiquetas en un video, llama al método annotate y especifica LABEL_DETECTION en el campo features.
Consulta Analiza videos para etiquetas y el Instructivo de detección de etiquetas.
Visualizador de la API de Video Intelligence
Consulta el visualizador de la API de Video Intelligence para ver esta función en acción.