L'objectif de cette UE est de présenter des approches récentes en matière d'accès intelligents aux contenus multimédia. Elle s'insère dans la continuation des UE de 2A et complète l'UE Vision et Synthèse des Images de 3A. En particulier, l'accent est mis sur les interactions visuelles, tant en 2D qu'en 3D, en termes de conception et de prise en compte des besoins des utilisateurs. La modalité sonore, peu vue dans les autres UE du parcours Image et Multimédia, est traitée au travers de la reconnaissance de la parole, de l'analyse des signaux musicaux et des interactions associées. Enfin, l'analyse, l'indexation et la compression des contenus vidéo complètent ce programme.

Responsable : S. Gasparini
Intervenants : S. Chambon, S. Gasparini, V. Charvillat, J. Farinas.

15 CTD, 13 TP, 2 exams (50%). 5 crédits ECTS

- Conception et technologies des interfaces multimédia. - Introduction aux extensions multimédia d'HTML5/javascript. - Conception de nouvelles interactions pour la vidéo en HTML5.

• Interfaces 3D augmentées ou mixtes.
• Suivi visuel pour les applications de réalité augmentée.
• Exemple(s) des applications réelles.

Les TP seront dédies à la conception d'une application de réalité augmentée en utilisant les bibliothèques open-source OpenCV pour la partie de suivi visuel, et OpenGL pour la partie de rendu graphique.

[Video] Exemple d'application à réaliser lors des séances de TP: application de suivi de caméra en temps réel avec incrustation d'un objet 3D par OpenGL http://ubee.enseeiht.fr/dokuwiki/lib/exe/fetch.php?media=parcoursmm:3in:arteapot.mp4|600x400

Cette partie du cours se base sur les éléments fondamentaux de traitement du signal visités en 2A dans le module TAV. Les points traités sont les suivants : - Description de la parole et paramétrage. - Modélisation par programmation dynamique et modèles de Markov cachés (cf. figure suivante). - Systèmes de transcription. - Illustration des fonctionnalités des systèmes de transcription.

Cette partie de l'UE introduit des concepts avancés de compression vidéo (2D/3D/nD) tant du point de vue théorique (bornes issues de la théorie de l'information de Shannon) que du point de vue pratique (normes émergentes comme H265 par exemple). On montre aussi les nombreux liens entre la compression et l'indexation, discipline qui consiste à décrire les contenus multimédia pour y accéder efficacement, au travers de moteurs de recherche.

Sur ce domaine pointu et en évolution très rapide, des conférences sont prévues chaque année avec des intervenants extérieurs : Jean-Baptiste Kempf (VLC), Stéphane Pateux (Orange).