Estimation efficace des indices de Sobol du premier ordre

Estimation efficace des indices de Sobol du premier ordre S. Da Veiga-F. G IMT Toulouse BoSanTouVal09 - jeudi 04 Juin 2009

S. Da Veiga-F. G (IMT-LSP) Estimation efficace 2 / 37

Plan 1 Modélisation d un système physique et incertitudes 2 Analyse de sensibilité 3 Estimation efficace d intégrales de fonctionnelles de densité S. Da Veiga-F. G (IMT-LSP) Estimation efficace 3 / 37

Modélisation Phénomène physique, chimique, économique : modélisation Sorties, variables d entrées, paramètres, etc. Confiance du modèle? Entrées incertaines Paramètres incertains Conséquence : incertitudes sur les sorties du modèle S. Da Veiga-F. G (IMT-LSP) Estimation efficace 5 / 37

Notion de sensibilité Hiérarchisation des sources Modèle : Y = f (X 1,..., X d ) avec Y sorties du modèle et X = (X 1,..., X d ) vecteur des d facteurs (entrées + paramètres incertains). Objectif Quels sont les entrées et les paramètres qui ont le plus grand impact sur les sorties du modèle? S. Da Veiga-F. G (IMT-LSP) Estimation efficace 6 / 37

Cadre probabiliste Indices de sensibilité S i = Var(E(Y X i)) Var(Y) (1er ordre) Interprétation : E(Y X i ) : fonction de X i uniquement qui approche le mieux Y Var(E(Y X i )) : fluctuation de la sortie si elle était fonction uniquement de X i puis normalisation par la fluctuation totale de Y, Var(Y) S. Da Veiga-F. G (IMT-LSP) Estimation efficace 8 / 37

Cadre probabiliste Techniques usuelles : Sobol FAST Limitations Nombre de runs Hypothèse d indépendance des entrées Exemples de cas problématiques Réservoir pétrolier (temps de calcul) Cinétique chimique (pas d indépendance) S. Da Veiga-F. G (IMT-LSP) Estimation efficace 9 / 37

Cadre probabiliste Sans hypothèse d indépendance Méthode de Oakley et 0 Hagan : f (X) approchée par processus Gaussiens Puis intégration / loi de X Evaluation numérique d intégrales multiples (dimension 2d 1) Méthode de Da-Veiga, Wahl et Gamboa : E(Y X i ) approchée par polynômes locaux Plug-in pour Var(E(Y X i )) Vitesse de convergence non-paramétrique S. Da Veiga-F. G (IMT-LSP) Estimation efficace 10 / 37

Réécriture du problème (X i, Y i ), i = 1,..., n échantillon de (X, Y), densité f On veut estimer On définit l opérateur T tel que Var(E(Y X)) = E(E(Y X) 2 ) (E(Y)) 2. T(f ) = E(E(Y X) 2 ) = ( y f (x, y)dy f (x, y)dy ) 2 f (x, y)dxdy. S. Da Veiga-F. G (IMT-LSP) Estimation efficace 12 / 37

Travaux existants B. Laurent (1996) a étudié l estimation efficace de fonctionnelles de la forme T(f ) = φ(f (x), x)dx où φ régulière et X 1,..., X n de densité de probabilité f. Idée de construction d un estimateur Développer u φ(u, x) C 3 autour d un estimateur ˆf préliminaire S. Da Veiga-F. G (IMT-LSP) Estimation efficace 13 / 37

Travaux existants B. Laurent (1996) a étudié l estimation efficace de fonctionnelles de la forme T(f ) = φ(f (x), x)dx où φ régulière et X 1,..., X n de densité de probabilité f. Idée de construction d un estimateur Développer u φ(u, x) C 3 autour d un estimateur ˆf préliminaire φ(f (x), x) = φ(ˆf (x), x) + φ u (ˆf (x), x) + 2 φ u 2 (ˆf (x), x) ( ) f (x) ˆf (x) ( f (x) ˆf (x)) 2 + γ. S. Da Veiga-F. G (IMT-LSP) Estimation efficace 13 / 37

Travaux existants B. Laurent (1996) a étudié l estimation efficace de fonctionnelles de la forme T(f ) = φ(f (x), x)dx où φ régulière et X 1,..., X n de densité de probabilité f. Idée de construction d un estimateur Développer u φ(u, x) C 3 autour d un estimateur ˆf préliminaire ( φ(f (x), x) = φ(ˆf (x), x) + φ 1(ˆf (x), x) + φ 1(ˆf (x), x) ) f (x) ˆf (x) ( f (x) ˆf (x)) 2 + γ. S. Da Veiga-F. G (IMT-LSP) Estimation efficace 13 / 37

Travail de B. Laurent T(f ) = φ(f (x), x)dx Γ n négligeable H(ˆf, ) f fonctionnelle linéaire de f : pas de problème K(ˆf, ) f 2 fonctionnelle quadratique de f : estimation optimale (efficacité)? S. Da Veiga-F. G (IMT-LSP) Estimation efficace 14 / 37

Travail de B. Laurent T(f ) = = φ(f (x), x)dx φ(ˆf (x), x)dx + + ( ) φ 1(ˆf (x), x) f (x) ˆf (x) dx ( 2 φ 1(ˆf (x), x) f (x) ˆf (x)) dx + Γn Γ n négligeable H(ˆf, ) f fonctionnelle linéaire de f : pas de problème K(ˆf, ) f 2 fonctionnelle quadratique de f : estimation optimale (efficacité)? S. Da Veiga-F. G (IMT-LSP) Estimation efficace 14 / 37

Travail de B. Laurent T(f ) = = = φ(f (x), x)dx φ(ˆf (x), x)dx + + ( ) φ 1(ˆf (x), x) f (x) ˆf (x) dx ( 2 φ 1(ˆf (x), x) f (x) ˆf (x)) dx + Γn G(ˆf, ) + H(ˆf, ) f + K(ˆf, ) f 2 + Γ n Γ n négligeable H(ˆf, ) f fonctionnelle linéaire de f : pas de problème K(ˆf, ) f 2 fonctionnelle quadratique de f : estimation optimale (efficacité)? S. Da Veiga-F. G (IMT-LSP) Estimation efficace 14 / 37

Estimation efficace de fonctionnelles quadratique On veut estimer K(ˆf, ) f 2 ψ f 2 où f L 2 (dx) densité de X, échantillon (X 1,..., X n ). S. Da Veiga-F. G (IMT-LSP) Estimation efficace 15 / 37

Estimation efficace de fonctionnelles quadratique On veut estimer K(ˆf, ) f 2 ψ f 2 où f L 2 (dx) densité de X, échantillon (X 1,..., X n ). Soit (p i ) i D base orthonormale de L 2 (dx), D dénombrable, a i = fp i. Estimation par projection S. Da Veiga-F. G (IMT-LSP) Estimation efficace 15 / 37

Estimation efficace de fonctionnelles quadratique On veut estimer K(ˆf, ) f 2 ψ f 2 où f L 2 (dx) densité de X, échantillon (X 1,..., X n ). Soit (p i ) i D base orthonormale de L 2 (dx), D dénombrable, a i = fp i. Estimation par projection Cas particulier : ψ = 1 f 2 = a 2 i θ = â 2 i, â i = 1 n p i (X j ), M D n i D i M j=1 Réduction du biais : θ 1 n = p i (X j )p i (X k ) n(n 1) i M j k=1 S. Da Veiga-F. G (IMT-LSP) Estimation efficace 15 / 37

Estimation efficace de fonctionnelles quadratique 1 ψ = 1 θ = n(n 1) n i M j k=1 p i (X j )p i (X k ) S. Da Veiga-F. G (IMT-LSP) Estimation efficace 16 / 37

Estimation efficace de fonctionnelles quadratique 1 n ψ = 1 θ = p i (X j )p i (X k ) n(n 1) i M j k=1 Biais( θ) = (S M f f ) 2 avec S M f = a i p i i M Seulement un bias de projection S. Da Veiga-F. G (IMT-LSP) Estimation efficace 16 / 37

Estimation efficace de fonctionnelles quadratique 1 n ψ = 1 θ = p i (X j )p i (X k ) n(n 1) i M j k=1 Biais( θ) = (S M f f ) 2 avec S M f = a i p i i M Seulement un bias de projection ψ quelconque : (S M f f ) 2 ψ = 2 (S M f )f ψ (S M f ) 2 ψ ψf 2 S. Da Veiga-F. G (IMT-LSP) Estimation efficace 16 / 37

Estimation efficace de fonctionnelles quadratique 1 n ψ = 1 θ = p i (X j )p i (X k ) n(n 1) i M j k=1 Biais( θ) = (S M f f ) 2 avec S M f = a i p i i M Seulement un bias de projection ψ quelconque : (S M f f ) 2 ψ = 2 (S M f )f ψ (S M f ) 2 ψ ψf 2 Estimateur proposé : ˆθ = 2 n(n 1) n i M j k=1 1 n(n 1) i,i M j k=1 p i (X j )(p i ψ)(x k ) n p i (X j )p i (X k ) p i p i ψ(x)dx S. Da Veiga-F. G (IMT-LSP) Estimation efficace 16 / 37

Estimation efficace de fonctionnelles quadratique Hypothèses X 1,..., X n i.i.d. f L 2 (dx). (p i ) i D base orthonormée de L 2 (dx) ψ bornée, { f uniformément bornée et f E, E = a i p i ; a 2 } i c 2 1 i D i D i ( ) 2 M n D tq sup c i 2 M n i/ M n n 2 t L 2 (dµ), (S Mn t t) 2 dµ 0 S. Da Veiga-F. G (IMT-LSP) Estimation efficace 17 / 37

Estimation efficace de fonctionnelles quadratique Théorème (Estimation efficace de θ = ψf 2 ) (i) Si M /n 0 ) n (ˆθ θ N (0, Λ(f, ψ)), ) [ ] 2 M (ˆθ E θ Λ(f, ψ) γ 1 n + S M f f 2 + S M (f ψ) f ψ 2 [ ( ) ] 2 où Λ(f, ψ) = 4 f 3 ψ 2 f 2 ψ, (ii) Sinon ) 2 M E (ˆθ θ γ2 n. S. Da Veiga-F. G (IMT-LSP) Estimation efficace 18 / 37

Estimation efficace de fonctionnelles quadratique Théorème (Estimation efficace de θ = ψf 2 ) (i) Si M /n 0 ) n (ˆθ θ N (0, Λ(f, ψ)), ) [ ] 2 M (ˆθ E θ Λ(f, ψ) γ 1 n + S M f f 2 + S M (f ψ) f ψ 2 [ ( ) ] 2 où Λ(f, ψ) = 4 f 3 ψ 2 f 2 ψ, (ii) Sinon ) 2 M E (ˆθ θ γ2 n. ) 2 lim (ˆθn ne θ = Λ(f, ψ) n S. Da Veiga-F. G (IMT-LSP) Estimation efficace 18 / 37

Estimation efficace de fonctionnelles quadratique Théorème (Estimation efficace de θ = ψf 2 ) (i) Si M /n 0 ) n (ˆθ θ N (0, Λ(f, ψ)), ) [ ] 2 M (ˆθ E θ Λ(f, ψ) γ 1 n + S M f f 2 + S M (f ψ) f ψ 2 [ ( ) ] 2 où Λ(f, ψ) = 4 f 3 ψ 2 f 2 ψ, (ii) Sinon ) 2 M E (ˆθ θ γ2 n. Λ(f, ψ) optimale (borne de Cramér-Rao semi-paramétrique) S. Da Veiga-F. G (IMT-LSP) Estimation efficace 18 / 37

Estimation efficace de fonctionnelles quadratique Théorème (Estimation efficace de θ = ψf 2 ) (i) Si M /n 0 ) n (ˆθ θ N (0, Λ(f, ψ)), ) [ ] 2 M (ˆθ E θ Λ(f, ψ) γ 1 n + S M f f 2 + S M (f ψ) f ψ 2 [ ( ) ] 2 où Λ(f, ψ) = 4 f 3 ψ 2 f 2 ψ, (ii) Sinon ) 2 M E (ˆθ θ γ2 n. Bornes explicites car ψ aléatoire et dépendant de n dans Taylor S. Da Veiga-F. G (IMT-LSP) Estimation efficace 18 / 37

Estimation efficace de fonctionnelles quadratique Esquisse de la démonstration ( E ˆθ ψf 2 ) 2 = Biais 2 (ˆθ) + Var(ˆθ) Biais(ˆθ) = (S M f f ) 2 ψ : Biais(ˆθ) ψ (S M f f ) 2 = ψ i M a i 2 ψ sup c i 2 i M Partie technique : majoration de Var(ˆθ) S. Da Veiga-F. G (IMT-LSP) Estimation efficace 19 / 37

Retour au dvt de Taylor T(f ) = ( ) G(ˆf, ) + φ 1(ˆf, ) ˆf φ 1(ˆf, ) 1 f + 2 φ 1(ˆf, ) f 2 + Γ n estimé par ˆT n = G(ˆf, ) + 1 n 2 ( ) φ n 1(ˆf, ) ˆf φ 1(ˆf, ) (X j ) 2 2 + n 2 (n 2 1) j=1 n 2 i M j k=1 1 n 2 (n 2 1) n 2 i,i M j k=1 p i (X j )(p i 1 2 φ 1(ˆf, ))(X k ) p i (X j )p i (X k ) 1 p i p i 2 φ 1(ˆf, ) S. Da Veiga-F. G (IMT-LSP) Estimation efficace 20 / 37

Retour au dvt de Taylor On montre que ˆT n T(f ) a même comportement asymptotique que 1 n 2 n 2 j=1 φ 1(f, )(X j ) φ 1(f, )f S. Da Veiga-F. G (IMT-LSP) Estimation efficace 21 / 37

Convergence de ˆT n Hypothèses X 1,..., X n i.i.d. f L 2 (dx). (p i ) i D base orthonormée de L 2 (dx) φ C 3, f uniformément bornée et f E a f b et a ɛ ˆf b + ɛ E ˆf f l q Cn lλ 1 l, q 2, λ > 1/6 ( ) 2 M n D tq sup c i 2 M n i/ M n n 2 t L 2 (dµ), (S Mn t t) 2 dµ 0 S. Da Veiga-F. G (IMT-LSP) Estimation efficace 22 / 37

Conclusion travail de B. Laurent Théorème (Estimation efficace de T(f )) (i) Si M /n 0 n (ˆT n T(f ) ) N (0, C(f, φ)) (ii) où lim ne(ˆt n T(f )) 2 = C(f, φ) n C(f, φ) = ( (φ 1(f, )) 2 f ) 2 φ 1(f, )f C(f, φ) constante optimale S. Da Veiga-F. G (IMT-LSP) Estimation efficace 23 / 37

Retour à l estimation des indices de sensibilité On veut estimer T(f ) = E(E(Y X) 2 ) = ( y f (x, y)dy f (x, y)dy ) 2 f (x, y)dxdy. On suit la méthode précédente : on développe T(f ) autour d un estimateur préliminaire ˆf. S. Da Veiga-F. G (IMT-LSP) Estimation efficace 24 / 37

Développement de T(f ) T(f ) = où + [2yˆm(x) ˆm(x) 2 ] f (x, y)dxdy + Γ n = + Γ n 1 ( ˆf (x, y)dy) H(ˆf, x, y)f (x, y)dxdy + H(ˆf, x, y) = 2yˆm(x) ˆm(x) 2 K(ˆf, x, y, z) = [ yz + ˆm(x) 2 (y + z)ˆm(x) ] f (x, y)f (x, z)dxdydz 1 ( ˆf (x, y)dy) K(ˆf, x, y, z)f (x, y)f (x, z)dxdydz [ yz + ˆm(x) 2 (y + z)ˆm(x) ]. S. Da Veiga-F. G (IMT-LSP) Estimation efficace 25 / 37

Estimation de fonctionnelles quadratiques On veut estimer K(ˆf, x, y, z)f (x, y)f (x, z) = ψ(x, y, z)f (x, y)f (x, z) Idée : même procédure que B. Laurent On cherche un estimateur de biais [S M f (x, y) f (x, y)][s M f (x, z) f (x, z)]ψ(x, y, z)dxdydz = 2 S M f (x, y)f (x, z)ψ(x, y, z)dxdydz S M f (x, y)s M f (x, z)ψ(x, y, z)dxdydz f (x, y)f (x, z)ψ(x, y, z)dxdydz S. Da Veiga-F. G (IMT-LSP) Estimation efficace 26 / 37

Estimation de fonctionnelles quadratiques Estimateur proposé : ˆθ n = 2 n(n 1) n i M j k=1 p i (X j, Y j ) 1 n p i (X j, Y j )p i (X k, Y k ) n(n 1) i,i M j k=1 p i (x, y)p i (x, z)ψ(x, y, z)dxdydz. p i (X k, u)ψ(x k, u, Y k )du S. Da Veiga-F. G (IMT-LSP) Estimation efficace 27 / 37

Estimation efficace de fonctionnelles quadratiques Hypothèses X 1,..., X n i.i.d. f L 2 (dx). (p i ) i D base orthonormée de L 2 (dx) ψ(x, { y, z) bornée, f uniformément bornée et f E, E = a i p i ; a 2 } i c 2 1 i D i D i ( ) 2 M n D tq sup c i 2 M n i/ M n n 2 t L 2 (dµ), (S Mn t t) 2 dµ 0 S. Da Veiga-F. G (IMT-LSP) Estimation efficace 28 / 37

Estimation efficace de fonctionnelles quadratiques Théorème (Estimation efficace de θ = ψ(x, y, z)f (x, y)f (x, z)) (i) Si M /n 0 ) n (ˆθ θ N (0, Λ(f, ψ)), ) [ ] 2 M (ˆθ E θ Λ(f, ψ) γ 1 n + S M f f 2 + S M (g) g 2 [ ( ) ] 2 où Λ(f, ψ) = 4 g(x, y) 2 f (x, y)dxdy g(x, y)f (x, y)dxdy où g(x, y) = f (x, u)ψ(x, y, u)du S. Da Veiga-F. G (IMT-LSP) Estimation efficace 29 / 37

Retour au dvt de Taylor T(f ) = H(ˆf, x, y)f (x, y)dxdy + K(ˆf, x, y, z)f (x, y)f (x, z)dxdydz + Γ n Estimateur proposé : ˆθ n = 1 n 2 H(ˆf, X j, Y j ) n 2 j=1 2 + n 2 (n 2 1) n 2 i M j k=1 n 2 p i (X j, Y j ) 1 p i (X j, Y j )p i (X k, Y k ) n 2 (n 2 1) i,i M j k=1 p i (x, y)p i (x, z)k(ˆf, x, y, z)dxdydz. p i (X k, u)k(ˆf, X k, u, Y k )du S. Da Veiga-F. G (IMT-LSP) Estimation efficace 30 / 37

Propriétés de ˆT n Théorème (Estimation efficace de T(f )) (i) Si M /n 0 n (ˆT n T(f ) ) N (0, C(f )) (ii) où C(f ) = lim ne(ˆt n T(f )) 2 = C(f ) n ( H(f, x, y) 2 f (x, y)dµ(x, y) ) 2 H(f, x, y)f (x, y)dµ(x, y) C(f ) = 4E ( Var(Y X)E(Y X) 2) + Var ( E(Y X) 2) constante optimale S. Da Veiga-F. G (IMT-LSP) Estimation efficace 31 / 37

Extensions On peut généraliser très facilement ce résultat aux estimateurs des fonctionnelles E (ψ ( E(φ(Y) X) )) si f L 2 (dxdy), φ C 0 et ψ C 3. Constante optimale : ( [ ] ) 2 C(f ) = E Var(φ(Y) X) ψ (E(Y X)) + Var (ψ (E(φ(Y) X))) S. Da Veiga-F. G (IMT-LSP) Estimation efficace 32 / 37

Meilleure procédure d estimation Pour estimer E(E(Y X i ) 2 ), on utilise un échantillon du couple (X i, Y) On ne tient pas compte des réalisations des autres facteurs X j, j i Perd-on de l information? Asymptotiquement, les autres composantes n apportent pas d information pour estimer S i S. Da Veiga-F. G (IMT-LSP) Estimation efficace 33 / 37

Meilleure procédure d estimation Pour estimer E(E(Y X i ) 2 ), on utilise un échantillon du couple (X i, Y) On ne tient pas compte des réalisations des autres facteurs X j, j i Réponse : Perd-on de l information? La constante optimale en considérant toutes les composantes (X 1,..., X d ) est encore C(f ) Or notre estimateur T n atteint cette vitesse en travaillant uniquement avec (X i, Y) Asymptotiquement, les autres composantes n apportent pas d information pour estimer S i S. Da Veiga-F. G (IMT-LSP) Estimation efficace 33 / 37

Exemple analytique Y = 0.2 exp(x 1 3) + 2.2 X 2 + 1.3X2 6 2X2 2 0.5X2 4 0.5X1 4 +2.5X1 2 + 0.7X1 3 3 + (8X 1 2) 2 + (5X 2 3) 2 + 1 + sin(5x1) cos(3x2 1) S. Da Veiga-F. G (IMT-LSP) Estimation efficace 34 / 37

4 3.5 3 2.5 2 1.5 1 0.5 0!1!0.8!0.6!0.4!0.2 0 0.2 0.4 0.6 0.8 1!0.5 4 3.5 3 2.5 2 1.5 1 0.5 0!1!0.8!0.6!0.4!0.2 0 0.2 0.4 0.6 0.8 1!0.5 4.5 4 3.5 3 2.5 2 1.5 1 0.5 0!1!0.8!0.6!0.4!0.2 0 0.2 0.4 0.6 0.8 1!0.5 4.5 4 3.5 3 2.5 2 1.5 1 0.5 0!1!0.8!0.6!0.4!0.2 0 0.2 0.4 0.6 0.8 1!0.5 2.2 2 1.8 1.6 1.4 1.2 1!1!0.8!0.6!0.4!0.2 0 0.2 0.4 0.6 0.8 1 0.8 2.8 2.6 2.4 2.2 2 1.8 1.6 1.4 1.2 1!1!0.8!0.6!0.4!0.2 0 0.2 0.4 0.6 0.8 1 0.8 Krigeage (courbe théorique, approximation) f (X 1, X 2 ) E(Y X 1 ) E(Y X 2 ) * 1 X 2 Échantillons marginaux Polynômes locaux (courbe théorique, approximation) E(Y X 1 ) E(Y X 2 ) X 1 X 2 X 1 X 2 S. Da Veiga-F. G (IMT-LSP) Estimation efficace 35 / 37

Exemple analytique Krigeage Poly. loc. Est. eff. 100 pts 100 pts 100 pts Var(E(Y X 1 )) 1.0932 1.0539 1.0643 1.1701 Var(E(Y X 2 )) 0.0729 0.1121 0.0527 0.0939 X 1 : résultats comparables X 2 : meilleure précision pour les approximations marginales S. Da Veiga-F. G (IMT-LSP) Estimation efficace 36 / 37

Perspectives Tests numériques (efficacité asymptotique, quid avec n petit?) Autres fonctionnelles faisant intervenir ces formes quadratiques? Méthodes adaptatives? S. Da Veiga-F. G (IMT-LSP) Estimation efficace 37 / 37

Muchas Gracias S. Da Veiga-F. G (IMT-LSP) Estimation efficace 38 / 37