Laboratoire d informatique fondamentale de Lille CNRS/USTL UMR 8022 Par : Hassen DRIRA (LIFL, Lille 1) Boulbaba BEN AMOR (Institut Telecom, France) Mohamed DAOUDI (Institut Telecom, France) Anuj SRIVASTAVA (FSU, USA)
Apport3D et Challenges 3D vs. 2D imaging Robustesse aux changements de pose. Robustesse aux changements d éclairage. Robustesse aux changements d échelle. Challenges de la biométrie faciale 3D Déformations faciales dues aux expressions Données manquantes. Occultations Probe image Gallery image DB 09/12/2011 Hassen DRIRA 2
Principe notreapproche Ccourbe de référence Variété Riemannienne Chemin géodésique 09/12/2011 Hassen DRIRA 3
Probe image I. Détection et suppression d occultation Suppression Occlutation OUI Pré-traitement Aligneement Alignement fin Presence occultation? Non Extraction Courbes radiales Gallery image Pour chaque courbe Quality Filter? Courbesà restaurer Restauration courbes II. Restauration de données ma anquantes Courbes à conserver Visage restauré (b) Chemin géodésique intra-classe (b) Chemin géodésique intra-classe Framework d analyse de forme des courbes III. Matching élastique des surfaces faciales 09/12/2011 Hassen DRIRA 4
Pré-traitement before after before after Remplissage trous Extraction Lissage Courbes radiale sur le visage 09/12/2011 Hassen DRIRA 5
Probe image I. Détection et suppression d occultation Suppression Occlutation OUI Pré-traitement Aligneement Alignement fin Presence occultation? Non Extraction Courbes radiales Gallery image Pour chaque courbe Quality Filter? Courbesà restaurer Restauration courbes II. Restauration de données ma anquantes Courbes à conserver Visage restauré (b) Chemin géodésique intra-classe (b) Chemin géodésique intra-classe Framework d analyse de forme des courbes III. Matching élastique des surfaces faciales 09/12/2011 Hassen DRIRA 6
Motivation pour l élasticité Comment faire correspondre les points sur les courbes? Les points anatomiques se correspondent (ex. lévres, nez), paramétrisation Abscisse curviligne n estpas suffisante! Bout du nez Bout du nez Lèvre sup Lèvre sup Visage neutre (bouche fermée) Lèvre inf Lèvre inf Visage expressif (bouche ouverte) Matching optimal Re-parametrization Optimale 7 Hassen DRIRA 09/12/2011
Re paramétrisation * 8 Hassen DRIRA 09/12/2011
Analysede formesdes courbesradiales Espace de pre-formes Espace des formes 9 Hassen DRIRA 09/12/2011
Matching élastiquedes courbesradiales Géodésique entre les courbes Visage expressif (bouche ouverte) Equally-spaced curves from the geodesic Visage neutre (bouche fermée) 10 d S Chemin géodésique de S 1 à S 2 Target face 2 λ ) d [ 0, L ] [ 0, L ] + 1 : S S R, d ( S, S ) = d ( c, c λ S 1 2 L 0 λ Hassen DRIRA 09/12/2011
Cheminsgéodésiquesentre des visages Géodésique dans Espace pre-formes Géodésique dans espacedes formes Alignement ICP Interpolation linéaire 11 Hassen DRIRA 09/12/2011
Cheminsgéodésiquesentre des visages 12 Hassen DRIRA 09/12/2011
Expérimentation Evaluation sur la base FRGCv2 466 sujets/4007 scans (scans frontaux; expressions ) Identification (Earlier Neutral vs. remaining) Evaluation surla base GAVAB 61 sujets/9 scans par sujet( Expressions; frontal/non-frontal; quality) Identification (61 Neutral vs. remaining) 13 Hassen DRIRA 09/12/2011
Probe image I. Détection et suppression d occultation Suppression Occlutation OUI Pré-traitement Aligneement Alignement fin Presence occultation? Non Extraction Courbes radiales Gallery image Pour chaque courbe Quality Filter? Courbesà restaurer Restauration courbes II. Restauration de données ma anquantes Courbes à conserver Visage restauré (b) Chemin géodésique intra-classe (b) Chemin géodésique intra-classe Framework d analyse de forme des courbes III. Matching élastique des surfaces faciales 09/12/2011 Hassen DRIRA 14
Suppression d occultation 1- Alignement(ICP algorithm) 2- Distances Point-to-point visage Probe face Gallery 3- Supprimer les points Distance > seuil 4- mise à jour seuil 15 09/12/2011 Hassen DRIRA
Probe image I. Détection et suppression d occultation Suppression Occlutation OUI Pré-traitement Aligneement Alignement fin Presence occultation? Non Extraction Courbes radiales Gallery image Pour chaque courbe Quality Filter? Courbesà restaurer Restauration courbes II. Restauration de données ma anquantes Courbes à conserver Visage restauré (b) Chemin géodésique intra-classe (b) Chemin géodésique intra-classe Framework d analyse de forme des courbes III. Matching élastique des surfaces faciales 09/12/2011 Hassen DRIRA 16
Module de qualité Nose tip 17 Mesh triangulé 09/12/2011 Hassen DRIRA BMVC 2010
Missing data restoration Comment compléter la courbe manquante? La courbe partiellement occultée? Un ensemble de formes d apprentissage Courbe restaurée 18 09/12/2011 Hassen DRIRA
Apprentissage 1 2 3 4 5 6 La base de courbes 19 09/12/2011 Hassen DRIRA
Restaurationde courbes 1 2 6 3 4 5 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 09/12/2011 Hassen DRIRA 20
Evaluation qualitative Déviation signée Restauration Génération De Mesh Visage neutre (Galleryie Visage restaurée Alignement Déviations absolue 21 09/12/2011 Hassen DRIRA
Base BOSPHORUS -105 sujets - 381 sessions Evaluation quantitative Méthode description Numbre de scans Notre approachsans Ignorer courbes 381 manquantes restauration Notre approachavec restauration Restaurer courbes manquantes 381/360 Aluzet al Partition manuel le du visage 381 Colombo et al. Restauration du visage complet 360 22 09/12/2011 Hassen DRIRA
Evaluation quantitative Evaluation surla base BOSPHORUS Occlutations = eye, mouth, eyeglasses, hair Identification (Neutral vs. occluded faces) 23 09/12/2011 Hassen DRIRA Soumis PAMI
24 09/12/2011 Hassen DRIRA
Travauxen cours: Classification expression Extraction caractéristique Classification par apprentissage(multiboost) Décision Heureux Triste Surprise Peur Colère Dégoût 25 En collaboration avec : Ahmed Maalej 09/12/2011 Hassen DRIRA
Travauxen cours: Classification genre Courbes radiales Pour chaque courbe radiale Analyse de forme des courbes ouvertes Décision S2lection Feature(AdaBoost) Fusion (Arithmetic/Geometric mean) Analyse de forme des courbes fermées Pour chaque courbe de niveau Lahoucine Ballihi Courbes de niveau 09/12/2011 Hassen DRIRA
Classification genre L'emplacement des courbes sélectionnées sur les visages des hommes 27 L'emplacement des courbes sélectionnées sur les visages des femmes 09/12/2011 Hassen DRIRA
Conclusions Framework unifié pour les différents challenges biométrie Expressions larges Occultation Variation de pose Résults compétitifs en biométrie 97.2% rank-1 RR on FRGCv2 (2 nd position) 89.2% rank-1 RR on BOSPHORUS (2 nd position) 96.66% rank-1 RR on GAVAB database (2 nd position) Calcul de statistiques avec le même framework Restaurationde donnéesmanquantes, calculde moyennes Clasiffication des expressions et du genre (même framework) 09/12/2011 Hassen DRIRA 28
Limitations and future directions Limitations Paramétrisationbaséesurle bout du nez Détectionmanuelle(pose/occlusion) Directions futures Paramétrisation de Surfaces ( Kurtek et al. CVPR10) Ajouter information couleur(même framework) 29 q x y z q x y z r g b 09/12/2011 Hassen DRIRA
Publications -B. Ben Amor, H. Drira, B. Lahoucine, A. Srivastava, M. Daoudi, An experimental illustration of 3D facial shape analysis under facial expressions, Annals of Telecommunications journal, 64(5-6): 369-379 (2009). -H. Drira, B. Benamor, A. Srivastava, M. Daoudi, and R. Slama. 3D Face Recognition under Expressions, Occlusion and pose Variation Submitted to IEEE Transactions on Pattern Analysisand Machine Intelligence, PAMI. H. Drira, B. Benamor, M. Daoudi, and A. Srivastava. Pose and expression-invariant 3d face recognition using elastic radial curves. In Proceedings of the British Machine Vision Conference, BMVC 2010. -H. Drira, B. B. Amor, A. Srivastava, and M. Daoudi. A Riemannian analysis of 3d nose shapes for partial human biometrics. In IEEE International Conference on Computer Vision, ICCV 2009. -H. Drira, B. B. Amor, M. Daoudi, and A. Srivastava. Nasal Region Contribution in 3D Face Biometrics Using Shape Analysis Framework In IEEE/IAPR International Conference on Biometric, ICB 2009. -H. Drira,B. Ben Amor, M. Daoudi, A. Srivastava, ElasticRadial curvesto model 3D face deformations, in 3DOR workshop, ACMMMultimedia 2010 (ACMMM) 2010. 30