Analyser les étiquettes des vidéos

L'API Video Intelligence peut identifier les entités affichées dans une séquence vidéo à l'aide de la fonctionnalité LABEL_DETECTION et les annoter avec des thèmes (tags). Cette fonctionnalité identifie des objets, des lieux, des activités, des espèces animales, des produits, etc.

La détection des thèmes diffère du suivi des objets. Contrairement au suivi des objets, la détection des thèmes fournit des libellés sans cadres de délimitation.

Par exemple, pour la vidéo d'un train à un passage à niveau, l'API Video Intelligence renvoie des libellés tels que "train", "transport", "passage à niveau", etc. Chaque libellé est associé à un segment de temps sous forme de décalage temporel (horodatage) depuis le début de la vidéo. Chaque annotation contient également des informations supplémentaires, y compris un ID d'entité que vous pouvez utiliser pour rechercher davantage d'informations sur l'entité dans l'API Google Knowledge Graph Search.

Chaque entité renvoyée peut également inclure des entités de catégorie associées dans le champ categoryEntities. Par exemple, le libellé d'entité "Terrier" est associé à la catégorie "Chien". Les entités de catégories ont une hiérarchie. Par exemple, la catégorie "Chiens" est un enfant de la catégorie "Mammifères" dans la hiérarchie. Pour obtenir la liste des entités de catégorie courantes utilisées par Video Intelligence, consultez la page entry-level-categories.json.

L'analyse peut être compartimentée comme suit :

  • Niveau de la séquence :
    les séquences d'une vidéo sélectionnées par l'utilisateur peuvent être spécifiés pour l'analyse en indiquant les horodatages de début et de fin pour les besoins de l'annotation (voir VideoSegment). Les entités sont ensuite identifiées et libellées dans chaque segment. Si aucun segment n'est spécifié, l'intégralité de la vidéo est traitée comme un seul segment.

  • Niveau de la prise de vue :
    prises de vue (également appelées scènes) sont automatiquement détectées dans chaque segment (ou vidéo). Les entités sont ensuite identifiées et libellées dans chaque scène. Pour en savoir plus, consulter la section Détection de changement de plans
  • Niveau du cadre :
    les entités sont identifiées et étiquetées dans chaque image (avec un échantillonnage d'une image par seconde).

Pour détecter les libellés d'une vidéo, appelez la méthode annotate et spécifiez LABEL_DETECTION dans le champ features.

Pour obtenir des exemples, consultez les pages Analyser les thèmes des vidéos et Didacticiel de détection de thèmes.