En Bayesiansk tilgang til Credit Scoring

Transkript

1 En Bayesiansk tilgang til Credit Scoring Et akademisk studie af: Daniel Lund, SAS Institute Rune Tousgaard Piil, Jyske Bank Ana Alina Tudoran, Aarhus Universitet

2 Agenda Mål for studiet Vores tilgang til analysen Kort om teorien (frekventistisk vs. bayesiansk logistisk regression) Datagrundlag Metode Resultater Konklusion

3 Mål At udvikle en letfortolkelig credit score, der kan supportere kreditbeslutningsprocesser, og som kan: Integrere information tidligere i modellen Inkorporere forudgående ekspertviden Begrænsning Datagrundlaget omfatter kun spørgeskemadata (udfyldt af bankens kunderådgivere)

4 Vores tilgang Mål modelperformance Estimér model: Non-Bayesian logistisk regression (klassisk/ frekventistisk) Estimér model: Bayesian logistisk regression (med forudgående ekspertinformation) Sammenlign resultater

5 Kort om teorien Frekventistisk logistisk regression (1/2): Probability of Default (PD): p D ( x j ) 1 1 exp( x j ) Hvor: p D (x j ) - Sandsynligheden for, at kunde j defaulter inden 12 måneder x j = (x j1,..., x jp ) - kunde 1 p karakteristiker

6 Kort om teorien Frekventistisk logistisk regression (2/2): Likelihood-funktion: P( X ) N j1 ( p D ( x j )) d j 1 p D ( x j ) 1d j Hvor: X d, x ),...,( d, x ) and d 0, 1 ( 1 1 N N j Kreditscore: s( x j ) x arg max P( X ) ML j ML

7 Kort om teorien Bayesiansk logistisk regression: Bayes theorem: P( X ) P( ) P( X ) P( X ) P( ) P( X ) Posterior distribution Likelihood A priori-viden Kreditscore: s ( x j ) x E X avg j avg

8 Datagrundlaget Spørgeskemaer udfyldt af bankens kunderådgivere Fem kundesegmenter Landbrug, ejendom, erhverv, nyopstartet virksomhed, privatkunder Nye og eksisterende kunder Opdateres årligt Data fra 2002 til 2014

9 Datagrundlaget Antal spørgsmål pr. segment Landbrug: 14 Ejendom: 18 Erhverv: 16 Nyopstart: 18 Private: 10

10 Datagrundlaget Eksempel på et spørgsmål (virksomhed): Kategori: Strategi og ledelse Spørgsmål: Hvor mange års relevant ledelseserfaring? A. Mere end 10 år B år C. 3-4 år D. Mindre end 3 år E. Ukendt (behandles som missing)

11 Datagrundlaget Eksempel på et spørgsmål (privatkunde): Spørgsmål: Hvordan vurderer du kundens indkomststabilitet? A. Høj B. Medium C. Lav

12 Metode for undersøgelsen Datatransformation Omdanne ekspertviden til a priori-sandsynlighedsfordeling Simulation Modelevaluering

13 Datatransformation Normal scores (Blom transformation): t( x) 1 r( x) 3 8 N 1 4 Hvor: r(x) - rank of the value N - number of observations and Φ - cumulative normal distribution Fordele: Monotont forhold mellem rå og transformerede værdier Ingen behov for defaultudfald i data

14 Fra ekspertviden til a priori-sandsynlighed Ekspertbeta: Sum = 100 Relative vægte Vægte fundet gennem spreadsheet-simulationer Ekspertmodellens kreditscore: s( x j ) x ex j A priori-sandsynlighedsfordeling: i ex,i ~ N(, 2 ex, i )

15 Simulationer MCMC-simulationer (PROC MCMC benyttet): Antal: brugt Thinning: Burn in: ~10% Konvergenstests: Autocorrelation (visuelt / EES) Distribution plots Geweke s test Alt er standardoutput fra PROC MCMC

16 Modelevaluering Forward-validering:

17 Resultater Predictive power (AUC) Stabilitet

18

19 Credit Scoring and Credit Control XIV conference, August 26-28, 2015

20 Modellens stabilitet: Score 2004-sample med 2003-model Opdel i 7 ratinggrupper Træn 2004-model (inkl sample) Opdel træningsdata i 7 ratinggrupper Hvor mange kunder bliver fordelt til den samme ratinggruppe? Gentages for alle år Det er et mål for den stabilitet, de finansielle rådgivere oplever, når en kreditscore opdateres

21

22 Konklusion Mulighed for at inkludere ekspertinformation Vi kan udnytte data tidligere (modeludvikling tidligt) Mere stabil ved opdatering af modelparametre Kan foretrækkes, hvis: Der er få events i data Vi har ekspertviden til rådighed Data ændrer sig over tid (udskiftning af spørgsmål)

23 Tak for opmærksomheden!

24 Ressourcer Bayesian Analysis Using SAS/STAT Software: Min kandidatafhandling om emnet: