Par : Boulbaba BEN AMOR (Institut Telecom, France) Mohamed DAOUDI (Institut Telecom, France) Anuj SRIVASTAVA (FSU, USA)

Størrelse: px

Starte visningen fra side:

Download "Par : Boulbaba BEN AMOR (Institut Telecom, France) Mohamed DAOUDI (Institut Telecom, France) Anuj SRIVASTAVA (FSU, USA)"

Bertha Møller
4 år siden
Visninger:

1 Laboratoire d informatique fondamentale de Lille CNRS/USTL UMR 8022 Par : Hassen DRIRA (LIFL, Lille 1) Boulbaba BEN AMOR (Institut Telecom, France) Mohamed DAOUDI (Institut Telecom, France) Anuj SRIVASTAVA (FSU, USA)

2 Apport3D et Challenges 3D vs. 2D imaging Robustesse aux changements de pose. Robustesse aux changements d éclairage. Robustesse aux changements d échelle. Challenges de la biométrie faciale 3D Déformations faciales dues aux expressions Données manquantes. Occultations Probe image Gallery image DB 09/12/2011 Hassen DRIRA 2

3 Principe notreapproche Ccourbe de référence Variété Riemannienne Chemin géodésique 09/12/2011 Hassen DRIRA 3

4 Probe image I. Détection et suppression d occultation Suppression Occlutation OUI Pré-traitement Aligneement Alignement fin Presence occultation? Non Extraction Courbes radiales Gallery image Pour chaque courbe Quality Filter? Courbesà restaurer Restauration courbes II. Restauration de données ma anquantes Courbes à conserver Visage restauré (b) Chemin géodésique intra-classe (b) Chemin géodésique intra-classe Framework d analyse de forme des courbes III. Matching élastique des surfaces faciales 09/12/2011 Hassen DRIRA 4

5 Pré-traitement before after before after Remplissage trous Extraction Lissage Courbes radiale sur le visage 09/12/2011 Hassen DRIRA 5

6 Probe image I. Détection et suppression d occultation Suppression Occlutation OUI Pré-traitement Aligneement Alignement fin Presence occultation? Non Extraction Courbes radiales Gallery image Pour chaque courbe Quality Filter? Courbesà restaurer Restauration courbes II. Restauration de données ma anquantes Courbes à conserver Visage restauré (b) Chemin géodésique intra-classe (b) Chemin géodésique intra-classe Framework d analyse de forme des courbes III. Matching élastique des surfaces faciales 09/12/2011 Hassen DRIRA 6

7 Motivation pour l élasticité Comment faire correspondre les points sur les courbes? Les points anatomiques se correspondent (ex. lévres, nez), paramétrisation Abscisse curviligne n estpas suffisante! Bout du nez Bout du nez Lèvre sup Lèvre sup Visage neutre (bouche fermée) Lèvre inf Lèvre inf Visage expressif (bouche ouverte) Matching optimal Re-parametrization Optimale 7 Hassen DRIRA 09/12/2011

8 Re paramétrisation * 8 Hassen DRIRA 09/12/2011

9 Analysede formesdes courbesradiales Espace de pre-formes Espace des formes 9 Hassen DRIRA 09/12/2011

10 Matching élastiquedes courbesradiales Géodésique entre les courbes Visage expressif (bouche ouverte) Equally-spaced curves from the geodesic Visage neutre (bouche fermée) 10 d S Chemin géodésique de S 1 à S 2 Target face 2 λ ) d [ 0, L ] [ 0, L ] + 1 : S S R, d ( S, S ) = d ( c, c λ S 1 2 L 0 λ Hassen DRIRA 09/12/2011

11 Cheminsgéodésiquesentre des visages Géodésique dans Espace pre-formes Géodésique dans espacedes formes Alignement ICP Interpolation linéaire 11 Hassen DRIRA 09/12/2011

12 Cheminsgéodésiquesentre des visages 12 Hassen DRIRA 09/12/2011

13 Expérimentation Evaluation sur la base FRGCv2 466 sujets/4007 scans (scans frontaux; expressions ) Identification (Earlier Neutral vs. remaining) Evaluation surla base GAVAB 61 sujets/9 scans par sujet( Expressions; frontal/non-frontal; quality) Identification (61 Neutral vs. remaining) 13 Hassen DRIRA 09/12/2011

14 Probe image I. Détection et suppression d occultation Suppression Occlutation OUI Pré-traitement Aligneement Alignement fin Presence occultation? Non Extraction Courbes radiales Gallery image Pour chaque courbe Quality Filter? Courbesà restaurer Restauration courbes II. Restauration de données ma anquantes Courbes à conserver Visage restauré (b) Chemin géodésique intra-classe (b) Chemin géodésique intra-classe Framework d analyse de forme des courbes III. Matching élastique des surfaces faciales 09/12/2011 Hassen DRIRA 14

15 Suppression d occultation 1- Alignement(ICP algorithm) 2- Distances Point-to-point visage Probe face Gallery 3- Supprimer les points Distance > seuil 4- mise à jour seuil 15 09/12/2011 Hassen DRIRA

16 Probe image I. Détection et suppression d occultation Suppression Occlutation OUI Pré-traitement Aligneement Alignement fin Presence occultation? Non Extraction Courbes radiales Gallery image Pour chaque courbe Quality Filter? Courbesà restaurer Restauration courbes II. Restauration de données ma anquantes Courbes à conserver Visage restauré (b) Chemin géodésique intra-classe (b) Chemin géodésique intra-classe Framework d analyse de forme des courbes III. Matching élastique des surfaces faciales 09/12/2011 Hassen DRIRA 16

17 Module de qualité Nose tip 17 Mesh triangulé 09/12/2011 Hassen DRIRA BMVC 2010

18 Missing data restoration Comment compléter la courbe manquante? La courbe partiellement occultée? Un ensemble de formes d apprentissage Courbe restaurée 18 09/12/2011 Hassen DRIRA

19 Apprentissage La base de courbes 19 09/12/2011 Hassen DRIRA

20 Restaurationde courbes /12/2011 Hassen DRIRA 20

21 Evaluation qualitative Déviation signée Restauration Génération De Mesh Visage neutre (Galleryie Visage restaurée Alignement Déviations absolue 21 09/12/2011 Hassen DRIRA

22 Base BOSPHORUS -105 sujets sessions Evaluation quantitative Méthode description Numbre de scans Notre approachsans Ignorer courbes 381 manquantes restauration Notre approachavec restauration Restaurer courbes manquantes 381/360 Aluzet al Partition manuel le du visage 381 Colombo et al. Restauration du visage complet /12/2011 Hassen DRIRA

23 Evaluation quantitative Evaluation surla base BOSPHORUS Occlutations = eye, mouth, eyeglasses, hair Identification (Neutral vs. occluded faces) 23 09/12/2011 Hassen DRIRA Soumis PAMI

24 24 09/12/2011 Hassen DRIRA

25 Travauxen cours: Classification expression Extraction caractéristique Classification par apprentissage(multiboost) Décision Heureux Triste Surprise Peur Colère Dégoût 25 En collaboration avec : Ahmed Maalej 09/12/2011 Hassen DRIRA

26 Travauxen cours: Classification genre Courbes radiales Pour chaque courbe radiale Analyse de forme des courbes ouvertes Décision S2lection Feature(AdaBoost) Fusion (Arithmetic/Geometric mean) Analyse de forme des courbes fermées Pour chaque courbe de niveau Lahoucine Ballihi Courbes de niveau 09/12/2011 Hassen DRIRA

27 Classification genre L'emplacement des courbes sélectionnées sur les visages des hommes 27 L'emplacement des courbes sélectionnées sur les visages des femmes 09/12/2011 Hassen DRIRA

28 Conclusions Framework unifié pour les différents challenges biométrie Expressions larges Occultation Variation de pose Résults compétitifs en biométrie 97.2% rank-1 RR on FRGCv2 (2 nd position) 89.2% rank-1 RR on BOSPHORUS (2 nd position) 96.66% rank-1 RR on GAVAB database (2 nd position) Calcul de statistiques avec le même framework Restaurationde donnéesmanquantes, calculde moyennes Clasiffication des expressions et du genre (même framework) 09/12/2011 Hassen DRIRA 28

29 Limitations and future directions Limitations Paramétrisationbaséesurle bout du nez Détectionmanuelle(pose/occlusion) Directions futures Paramétrisation de Surfaces ( Kurtek et al. CVPR10) Ajouter information couleur(même framework) 29 q x y z q x y z r g b 09/12/2011 Hassen DRIRA

30 Publications -B. Ben Amor, H. Drira, B. Lahoucine, A. Srivastava, M. Daoudi, An experimental illustration of 3D facial shape analysis under facial expressions, Annals of Telecommunications journal, 64(5-6): (2009). -H. Drira, B. Benamor, A. Srivastava, M. Daoudi, and R. Slama. 3D Face Recognition under Expressions, Occlusion and pose Variation Submitted to IEEE Transactions on Pattern Analysisand Machine Intelligence, PAMI. H. Drira, B. Benamor, M. Daoudi, and A. Srivastava. Pose and expression-invariant 3d face recognition using elastic radial curves. In Proceedings of the British Machine Vision Conference, BMVC H. Drira, B. B. Amor, A. Srivastava, and M. Daoudi. A Riemannian analysis of 3d nose shapes for partial human biometrics. In IEEE International Conference on Computer Vision, ICCV H. Drira, B. B. Amor, M. Daoudi, and A. Srivastava. Nasal Region Contribution in 3D Face Biometrics Using Shape Analysis Framework In IEEE/IAPR International Conference on Biometric, ICB H. Drira,B. Ben Amor, M. Daoudi, A. Srivastava, ElasticRadial curvesto model 3D face deformations, in 3DOR workshop, ACMMMultimedia 2010 (ACMMM)

Relaterede dokumenter

Deep Learning og Computer Vision. C h r i s H o l m b e r g B a h n s e n

Deep Learning og Computer Vision C h r i s H o l m b e r g B a h n s e n Baggrund Hv em er jeg? Cand. polyt. Elektronik & IT, 2013 Ph.d.-afhandling i robust trafikovervågning, 2018 Visual Analysis of People