Analyser les libellés des vidéos

L'API Video Intelligence peut identifier les entités affichées dans les séquences vidéo à l'aide de la fonctionnalité LABEL_DETECTION et les annoter à l'aide de libellés (tags). Cette fonctionnalité identifie des objets, des lieux, des activités, des espèces animales, des produits, etc.

La détection des thèmes diffère du suivi des objets. Contrairement au suivi des objets, la détection des thèmes fournit des libellés sans cadres de délimitation.

Par exemple, pour la vidéo d'un train à un passage à niveau, l'API Video Intelligence renvoie des libellés tels que "train", "transport", "passage à niveau", etc. Chaque libellé est associé à un segment de temps sous forme de décalage temporel (horodatage) depuis le début de la vidéo. Chaque annotation contient également des informations supplémentaires, y compris un ID d'entité que vous pouvez utiliser pour rechercher davantage d'informations sur l'entité dans l'API Google Knowledge Graph Search.

Chaque entité affichée peut également inclure des entités de catégorie associées dans le champ categoryEntities. Par exemple, le libellé d'entité "Territoire" comporte la catégorie "Chien". Les entités de catégories ont une hiérarchie. Par exemple, la catégorie "Chien" est un enfant de la catégorie "Mammifère" dans la hiérarchie. Pour obtenir la liste des entités de catégorie courantes utilisées par Video Intelligence, consultez la section entry-level-categories.json.

L'analyse peut être compartimentée comme suit :

  • Niveau du segment :
    l'utilisateur peut sélectionner des segments d'une vidéo et les spécifier pour l'analyse en indiquant les horodatages de début et de fin à prendre en compte pour l'annotation (voir le type VideoSegment). Les entités sont alors identifiées et libellées dans chaque segment. Si aucun segment n'est spécifié, l'intégralité de la vidéo est traitée comme un segment unique.

  • Niveau de plans:
    Les plans (également appelés scènes) sont automatiquement détectés dans chaque segment (ou vidéo). Les entités sont ensuite identifiées et étiquetées dans chaque scène. Pour en savoir plus, consultez la section Détection de changements de plans.
  • Niveau du cadre :
    les entités sont identifiées et étiquetées dans chaque image (avec un échantillonnage d'une image par seconde).

Pour détecter les libellés dans une vidéo, appelez la méthodeannotate et spécifierLABEL_DETECTION dans lafeatures.

Consultez les pages Analyser les libellés des vidéos et Tutoriel de détection de thèmes.

Visual Video API Visualizer

Consultez le visualisateur de l'API Video Intelligence pour voir cette fonctionnalité en action.