Voici quelques exemples de stages effectués par des étudiants ayant suivi le parcours Image et Multimédia lors des années précédentes.

Lors de mon stage, j’ai travaillé sur un sujet intitulé “Architecture Virtuelle 3D en Réalité Augmentée”, dont le but est de créer une application qui permet de scanner un marqueur (image caractéristique d’un plan 2D de bâtiment) dans une scène quelconque, et d’afficher un bâtiment, choisi au préalable, en 3D et en réalité augmentée dans la scène. Ce dernier devra rester incrusté dans la scène, et nous aurons la possibilité de nous déplacer autour du bâtiment. Il devra parfaitement se superposer à notre scène réelle.

Pour réussir à faire de la réalité augmentée, nous avons besoin d’algorithmes robustes, qui permettent de connaître un repère dans l’espace, ainsi que les échelles. La première partie de mon stage a donc été de m’intéresser à un algorithme existant de tracking et mapping (PTAM), qui signifie Parallel Tracking And Mapping. Cet algorithme crée une carte de l’environnement que l’on souhaite tracker, et l’agrandi au fur et à mesure que l’on se déplace (enrichi l’environnement). Il est alors possible d’afficher des éléments en réalité augmentée dans notre scène.

Mais un des problèmes de cet algorithme est qu’il ne possède pas de repère, et place les éléments en réalité augmentée n’importe où dans la scène. Or, nous souhaitons placer notre bâtiment à un endroit précis, pour être en accord avec le monde réel. De plus, PTAM tel qu’il est actuellement codé ne dépend pas d’un marqueur. Il ne possède donc pas de notion d’échelle, ce qui est primordial pour notre application. La première mission de mon stage a donc été d’adapter l’algorithme de PTAM, c’est-à-dire modifier son initialisation. J’ai tout d’abord utilisé un détecteur (FERNS) qui reconnaît notre marqueur dans la scène lorsque nous le survolons, puis j’ai défini notre repère, et recherché l’ensemble des points d’intérêts dans notre marqueur pour initialiser notre carte de départ. Une fois les structures de PTAM initialisées, je lançais la routine de PTAM, pour estimer notre position et enrichir la carte en parallèle et en temps réel. La seconde partie de mon stage a été d’adapter mon algorithme de tracking à mon application, et donc de créer l’application de visualisation de bâtiment en réalité augmentée.

L’objet de ce stage de recherche est l’utilisation des réseaux sociaux dans la génération de cartes représentatives de l’intérêt social d’une région. Ce stage a été réalisé au sein du laboratoire MuraseLab, dirigé par Mr. MURASE Hiroshi, au sein de l’université de Nagoya. A la demande de monsieur IDE Ichiro, j’ai ́eté chargée : 1. De réaliser une application de deep learning permettant de détecter le concept représenté par une image. Cette application, en plus d’être utile, devrait être utilisée par toute personne du laboratoire intéréssée. 2. D’utiliser cette application pour ma recherche : à savoir la génération automatique de cartes touristiques basées sur les informations trouvées dans les réseaux sociaux.

Generation of a region’s interesting spots based on social interest

Ground speed measurement of an aircraft rolling on ground may be significantly inaccurate at very low speeds due to the performances of the existing sensors (GPS, IRS, Tachymeters). This has motivated the search for a new sensor to provide a complementary estimation of the ground speed and improve the overall accuracy. In this work a vision-based approach is studied to measure speed of an aircraft from the sequence of images of an on-board camera. Different methods are evaluated together with the image processing techniques involved. The selected algorithms are implemented and tested under controlled scenarios. Finally, the sensitivity of the estimation is evaluated by varying different parameters of the camera.

Estimation of the ground speed vector of an aircraft using an embedded camera

Slides

Slides

Dans le cadre de mon stage de fin d’études, j’ai travaillé dans le pôle Perception & Robotique de la société Magellium, pour implémenter et intégrer des solutions logicielles dédiées à la localisation 3D dans une vidéo. Ce stage s’insère dans un pro- jet existant d’augmentation visuelle appliquée à l’industrie nommée RAI, et dont l’une des applications possibles est l’assistance à la maintenance dans les usines par guidage vers le matériel.

Slides

Ce projet a pour but de tester différents algorithmes pour la détection et quantification de marquages fluorescents réalisés sur des coupes de peau. En particulier, le laboratoire Pierre Fabre souhaitait analyser des images issues d'un microscope bi-photon permettant de faire des coupes 3D de la peau. Les objectifs du stage a été de segmenter 2 types de cellules, les Kératinocytes et les cellules de Langerhans, et le représenter le plus clairement et précisément possible. Tout ceci dans le but de faire différents types d'analyses de ces cellules (nombre, volume, évolution, forme, etc…) et d'optimiser le rendu 3D des coupes.

Slides

Lorsqu’il faut qu’un système robotique prenne une décision relativement à son environnement, il est souvent nécessaire d’agir en fonction de et avec les humains présents. A cet effet, la vision par ordinateur offre des outils de détection et de suivi d’êtres humains, ainsi que d’estimation de leur pose (c’est-à-dire de la position et de l’orientation de certaines de leur parties corporelles). Dans le contexte de mon stage j’ai assisté Jean-Thomas Masse, doctorant au LAAS dans l’équipe de Frédéric Lerasle, pour le développement de la démonstration de son travail de fin de thèse dont le fonctionnement est décrit dans [Masse et al., 2013]. Celui-ci, consiste en l’estimation robuste de la pose d’humains à partir des poses estimées par plusieurs capteurs RGB-D, et requiert l’association des différentes poses détectées entre-elles (il ne faut par exemple pas associer la pose d’un utilisateur avec celle d’un autre utilisateur). Pour cela il est nécessaire de faire correspondre les détections de chacune des caméras entre elles.

Ré-identification de personnes à partir d'un réseau de caméra RGB-D

Slides

Mon stage de fin d’études s’est déroulé au sein du DIMIS (DIstributed and Multimedia Information Systems chair), un des laboratoires de recherche de l’Université de Passau en Bavière (Allemagne). Ce laboratoire participe notamment au développement des standards MPEG-7, MPEG-21 et du W3C. Le thème du stage concernait l’étude des saliency maps (cartes de caractéristiques visuelles saillantes). Plus précisément, cette problématique s'inscrit dans le cadre du développement d'un système d’adaptation personnalisée de vidéos. L’enjeu de l’étude des caractéristiques saillantes est de proposer une meilleure adaptation de la vidéo à l’utilisateur là où son regard se dirige en priorité.

Investigating the usefulness of saliency maps in predicting the perceptual quality of semantically adapted videos

Slides

Le sujet de ce stage réalisé avec Telequid consistait à mettre en place une plateforme de reconnaissance d'images pour mobile. Les deux parties principales étaient :

• La réalisation d'applications iOS et Android permettant la reconnaissance d'images sans déporter les calculs de traitement d'image sur un serveur.
  
• La conception d'un front-end relié à un back-end permettant au client de définir les images devant être reconnues et les actions associées à la reconnaissance.

Reconnaissance d’images sur smartphones

Le sujet consistait d'abord à intégrer la reconnaissance de gestes et de postures à la solution IntuiFace, et à développer un outil de visualisation 3D. Cet objectif a été atteint. Ce travail très orienté vers le design d'interactions homme-machine a aussi permis d'élaborer un prototype pour la désignation (ou pointage) qui devra être amélioré par la suite.

rapportpfe_marie_pietrowski.pdf

La compréhension de la morphogenèse (ensemble des lois déterminant la forme, la structure des organismes) des embryons est un enjeu important dans le domaine de la biologie du développement. Récemment, de nombreux travaux de recherche ont été appliqués à la question de la segmentation des cellules embryonnaires, et ce problème est encore aujourd’hui d’actualité. En raison de la quantité d’information très importante qu’il y a à traiter, il est indispensable de pouvoir proposer des méthodes entièrement automatisées, fiables et algorithmiquement efficaces pour effectuer cette tâche. Ce mémoire présente le travail qui a été effectué sur le sujet de la détection et la segmentation des cellules en imagerie 3D obtenue par microscopie confocale. Nous aborderons dans ce document les aspects théoriques, techniques, expérimentaux et méthodologiques qui ont entouré ce stage.

pfe_gael-michelin.pdf

Société DEVATICS

Les systèmes de recommandations sont en plein essor, facilitant les ventes pour les sites d'e-commerce. L'objectif de mon stage était de mettre en place des méthodes de calcul automatique de produits similaires pour des sites marchands. L'idée est de se baser sur les caractéristiques textuelles accessibles du produit telles que le nom, la description, le prix ou encore la couleur. Par extension, les images associées aux produits à vendre pourraient également être utilisées comme éléments caractéristiques. Pour cela, j'avais à ma disposition un serveur de tests sur lequel se trouvait notamment une copie d'une base de données Infobright contenant les caractéristiques des produits d'un client de la société (Phase Eight). Elle contenait 139816 produits. J'ai développé mes programmes en Python, un langage que je n'avais jamais utilisé auparavant.

Rapport de stage

UPC Barcelona

Ce projet a pour objectif de développer un programme capable de détecter, voire reconnaître les panneaux de signalisation sur une photo. Les applications de ce projet sont multiples : en équipant les voitures de caméra et de ce programme, on sera en mesure non seulement de proposer une aide au conducteur (il n’aura plus besoin de chercher les panneaux puisque ceux-ci s’afficheront sur un écran sur le tableau de bord), mais on pourrait aussi envisager un pilote automatique de voiture, qui aurait donc besoin de connaître les règles particulières aux endroits dans lesquels il roule, et donc de détecter et reconnaître les panneaux.

Évidemment, la principale difficulté à laquelle nous allons devoir faire face est la capacité que devra avoir notre algorithme à fonctionner dans n’importes quelles conditions, notamment météorologiques (brouillard, pluie, obscurité, forte luminosité . . .).

Comme d’habitude en vision par ordinateur, nous allons effectuer une chaîne de transformations qui conduirons petit à petit au résultat. Chaque étape est décrite dans le rapport du travail effectué.

Rapport de stage

Société Fitting Box

Le sujet du stage consiste à améliorer les logiciels de CAO permettant de concevoir efficacement des montures de lunettes. La numérisation 3D et l'essayage de lunettes étant le coeur de métier de Fitting Box, ce sujet est d'intérêt pour le développement de la société. Plus précisément, l'objectif était d'imaginer et de prototyper de nouveaux outils permettant aux designers (habitués à travailler sur des dessins 2D sous Illustrator) de construire et visualiser leurs créations en 3D à partir de deux projections (vues de face et de côté, comme illustré ci-dessus).

Présentation du stage par N. Bellot (rentrée 2013)

Les objectifs de ce stage étaient :

• L'étude et l'implémentation d'une approche de détection de fissures de chaussées par recherche de chemins minimaux.
• La mise en place d'un nouvel algorithme par processus ponctuels marqués faisant intervenir la notion de chemins minimaux.

Calcul de chemins minimaux pour la détection de fissures