Traitement des données Audio-Visuelles (TAV)

Ce cours a pour objectif de connaître d’un point de vue théorique et pratique, les traitements et prétraitements des signaux audiovisuels.

Responsable : V. Charvillat
Intervenants : V. Charvillat, J.-D. Durou, S. Mouysset

15 CTD, 14 TP, 1 examen (50%), 1 note de TP (50%) 5 crédits ECTS

Ce module comporte les cinq parties suivantes (chaque partie est illustrée par un exemple issu des TP) :

• Prétraitements et réduction de dimension. Exemple : par analyse en composantes principales (ACP) d'un ensemble d'images, on reconstitue le visage (à droite) à partir d'une image occultée (à gauche).

• Paradigmes méthodologiques de l’apprentissage artificiel. Exemple : en apprenant la séquence réelle du haut (données acquises par T. Stich et M. Magnor), on peut simuler la vidéo du bas.

http://ubee.enseeiht.fr/tp/flame_input.ogv| http://ubee.enseeiht.fr/tp/arp_fire.ogv|

• Classification et modélisation paramétrique de signaux. Exemple : on peut segmenter l'image bruitée ci-dessous en 3 classes, en utilisant la notion de “champ de Markov” (lancez la vidéo).

http://ubee.enseeiht.fr/tp/lena.ogv|600x400

• Méthodes statistiques de détection. Exemple : à partir d'une image satellitaire, on peut détecter et compter le nombre d'individus d'une colonie de flamants roses (lancez la vidéo).

http://ubee.enseeiht.fr/tp/flamants.ogv|600x400

• Transformations fréquentielles et en ondelettes. Exemple : à partir d'un enregistrement musical, on calcule un “sonagramme” (en haut), dont on extrait une partition de manière automatique (en bas).