The Toulouse Vanishing Point Dataset (TVPD)

Vincent Angladon1,2, Simone Gasparini1, Vincent Charvillat1

1 Université de Toulouse ; INPT – IRIT www.irit.fr
2 Telequid www.telequid.com

Points de fuite et interprétation d'images
Segmentation d'images [Hoiem2007s], détection de plans [Micusik2008] et estimation de l'agencement spatial d'une scène [Schwing2013]
Contexte
Concept d'application de reconstruction 3D de scène intérieure.
Crédit photo : Occipital Inc.
Caméras et capteurs inertiels (IMU)
Une caméra et un capteur inertiel1

video ou
images stabilisées ←

→ données
inertielles

1: Capteur inertiel Bosch BMX055, utilisé dans la tablette du Projet Tango
Fusion de données visuelles et inertielles
IMU Vision
Avantages :
  • Traitement des données instantané
  • Pas de perturbation des données due au mouvement
 Avantages :
  • Grande précision
Inconvénients :
  • Données bruitées
  • Dérive (accumulation d'erreurs lors de l'intégration)
 Inconvénients:
  • Nécessite une scène bien éclairée
  • Sensible aux mouvements (obturateur déroulant et flou de bougé)
  • Traitement de l'image lent en général
  • Doit être calibré
Un nouveau jeu de données
Une nouvelle banque d'images avec des points de fuite et des données inertielles:
le Toulouse Vanishing Point Dataset (TVPD)
Plan
  1. Introduction
  2. Prérequis et travaux antérieurs
    1. Les points de fuite
    2. Les données inertielles
  3. Le jeu de données
  4. Les outils du jeu de données
  5. Travaux additionnels
Définition d'un point de fuite
“En géométrie perspective, la projection de droites parallèles de la scène forme un faisceau de droites qui s'intersectent en un point image appelé point de fuite.”
Définition d'un monde de Manhattan
Point de fuite (PF) et monde de Manhattan
Les trois directions de Manhattan issues des trois points de fuite forment une base orthogonale qui peut être utilisée pour définir un repère monde.

PF + paramètres intrinsèques → orientation de la caméra

L'estimation de points de fuite

1. Calcul de caractéristiques

2. Regroupement en grappes des caractéristiques

3. Calcul de l'intersection des droites pour chaque grappe

Détection des segments de l'image
Les segments regroupés en grappes
Le point de fuite estimé dans la première grappe
Contrainte d'orthogonalité
Plusieurs stratégies :
  • [Tardif2009] (séparé) choisit parmi tous les triplets celui qui satisfait le mieux l'hypothèse de Manhattan
  • [Bazin2012] (global) estimation de l'orientation de la caméra par Séparation et Évaluation
  • [Antunes2013] (global) réduit l'estimation de VP à la résolution d’un problème d’optimisation de chaînes logistiques
Capteurs inertiels
Lien données inertielles -- points de fuite
Le vecteur gravité fourni par les capteurs inertiels est aligné avec l'axe z de la scène de Manhattan.
Plan
  1. Introduction
  2. Prérequis et travaux antérieurs
  3. Le jeu de données
    1. Les autres jeux de données
    2. La création des vérités terrain pour notre jeu de données
  4. Les outils du jeu de données
  5. Travaux additionnels
Le York Urban Database (YUD) [Denis2008]
  • 102 photos 640x480 de scènes urbaines et intérieures
  • Segments vérités terrain
  • PF vérités terrain via l'algorithme de [Collins1990]
  • Orthogonalisation des directions de Manhattan
YUD : critique
Point de fuite et ligne d'horizon avant (, ) et après (, ) l'orthogonalisation des directions de Manhattan
Autres jeux de données
Le jeu de données PKU [Li2012] et l'Eurasian cities dataset [Barinova2010] avec leurs vérités terrain.
Le Toulouse Vanishing Point Dataset
  • Données inertielles incluses avec les photos
  • Photos de résolution supérieure (1920x1080)
  • 114 photos (40 scènes d'intérieur et 74 scènes urbaines)
  • Régions d'incertitude pour les points de fuite
Modélisation de l'incertitude
L'incertitude des segments est modélisée par des disques centrés sur leurs extrémités. Le point de fuite v se situe dans la région grise appelée double wedge [Shufelt1999]
Intersection de double wedges
Intersection de double wedges.
Propriété des double wedges
Les segments longs réduisent la région d'incertitude, les courts ont aucune influence.
Calcul des régions d'incertitude
La région d'incertitude calculée et la ligne d'horizon issue des données inertielles.
Rayon d'incertitude
Valeur maximale du rayon utilisé pour un pixel donné
Comparaison avec le York Urban Database
Comparaison avec le YUD. Nos régions d'incertitude sont en noir.
Plan
  1. Introduction
  2. Prérequis et travaux antérieurs
  3. Le jeu de données
  4. Les outils du dataset
    1. Acquisition des données
    2. Annotation des photos
    3. Calcul des régions d'incertitude
  5. Travaux additionnels
Acquisition des images
L'application iOS d'acquisition d'images

→ Photos contenant les données inertielles,
stockées dans le champ UserComment des données EXIF.

Nécessite de synchroniser les données inertielles
avec le flux d'images issu de la caméra.

Création des segments
L'application web utilisée pour annoter les photos avec des segments.
Calcul des régions d'incertitude
Les régions d'incertitude
Plan
  1. Introduction
  2. Prérequis et travaux antérieurs
  3. Le jeu de données
  4. Les outils du dataset
  5. Travaux additionnels
    1. Restriction aux solutions orthogonales
    2. Application mobile
Restriction aux PF orthogonaux
Polygones et leurs duaux. À droite : zoom sur le polygone vert.
Application mobile
Estimation de points de fuite en temps réel sur un iPhone4.
Conclusion
  • Un jeu de données sous licence Creative Common
  • ... avec des données inertielles
  • ... et des régions d'incertitude
  • Code open source
  • Les capteurs inertiels permettent d'aider la détection des PF
  • ... ainsi que d'autres tâches en vision assistée par ordinateur
Page web de notre jeu de données : http://ubee.enseeiht.fr/tvpd
Références