Forskning III Af Kasper Jørgensen, Tom J. Andersen og Henrik Dam. Exners depressionsindeks til. Rorschachprøven

Transkript

1 Forskning III Af Kasper Jørgensen, Tom J. Andersen og Henrik Dam Exners depressionsindeks til Rorschachprøven De seneste 10 års forskning i Exners depressionsindeks diagnostiske effektivitet har vist overraskende stor variation. En yderst forsigtig anvendelse anbefales ved diagnostiske problemstillinger. 30 Nr

2 I Exners Comprehensive System (CS) for Rorschachprøven (Exner 1993, 1998, 2000, 2001) indgår en række indekser beregnet på at identificere henholdsvis forstyrrelser i perception og tænkning (PTI) (tidligere skizofreniindekset), depression (DEPI), coping vanskeligheder (CDI), hypervigilant (vagtsom, årvågen) forarbejdningsstil (HVI), obsessiv forarbejdningstil (OBS) samt selvmordsrisiko (S-Con). CS-indekserne er i løbet af 1970 erne og 1980 erne udviklet og valideret af Exner og hans medarbejdere med udgangspunkt i amerikanske patientsamples og grupper af kontrolpersoner. I det følgende gennemgås en række nyere udenlandske undersøgelser, der kan belyse depressionsindeksets diagnostiske effektivitet - nærmere bestemt dets sensitivitet, specificitet og diagnostiske træfsikkerhed eller hit rate (Sackett, 1992). For at kunne beregne disse størrelser, er det nødvendigt først at vælge et eksternt kriterium eller en gold standard for tilstedeværelsen af depression som fx den kliniske diagnose stillet ud fra kriterierne i DSM- eller ICD-systemerne. Diagnostisk effektivitet Sensitiviteten af en test eller et indeks udtrykker, hvor stor en del af de personer, som opfylder det eksterne kriterium - i dette tilfælde en diagnose inden for det depressive spektrum - der også identificeres som depressive af testen [sandt positive / (sandt positive + falsk negative)]. Specificiteten udtrykker, hvor stor en del af de personer, som ikke bærer diagnosen, der bliver identificeret som raske af testen [sandt negative / (sandt negative + falsk positive)]. Diagnostisk træfsikkerhed eller hit rate udgør et samlet mål for testens eller indeksets diagnostiske performance, idet det udtrykker, hvor stor en andel af det totale antal testede personer der klassificeres korrekt [(sandt positive + sandt negative / (alle testede personer både med og uden pågældende diagnose)] (figur 1). Metoderne til beregning af diagnostisk effektivitet bygger på en underforstået antagelse om, at det eksterne kriterium er både relevant og præcist med hensyn til at skelne mellem depressive og ikke-depressive personer. Hvis disse betingelser ikke er opfyldt, svækkes gyldigheden af beregningerne naturligvis i afgørende grad. Hvis man har kendskab til et indeks sensitivitet og specificitet, er det endvidere muligt at vurdere sandsynligheden for, at en prøveperson har pågældende sygdom, givet at indekset er positivt (såkaldt positiv prædiktiv værdi) - ligesom det også er muligt at give et bud på sandsynligheden for, at prøvepersonen ikke har sygdommen, givet at indekset er negativt (negativ prædiktiv værdi). Muligheden for at beregne prædiktiv værdi er interessant set ud fra en klinisk synsvinkel, hvor man jo netop Nr

3 kan se sig konfronteret med problemstillinger af typen: Hvor stor er sandsynligheden for, at denne person reelt lider af depression, når DEPI er positivt? Den prædiktive værdi er endvidere bestemt af base rate eller prævalensen af pågældende sygdom. I mange undersøgelser beregnes prædiktiv værdi alene med udgangspunkt i undersøgelsessamplet, men hvis base rate i undersøgelsessamplet afviger væsentligt fra den virkelige prævalens, vil estimatet af den prædiktive værdi være misvisende ved anvendelse i klinisk praksis. For en nærmere redegørelse for principperne for beregning af prædiktiv værdi henvises til fx Foldspang, Juul, Olsen og Sabroe (1986). Depression Uafhængig diagnose Ikke depression Test- Positivt Sandt positive (SP) Falsk positive (FP) resultat Figur 1. Sensitivitet, specificitet og hit rate Negativt Falsk negative (FN) Sandt negative (SN) SP + FN Sensitivitet: Specificitet: Hit rate (diagnostisk træfsikkerhed): SP / (SP + FN) SN / (FP + SN) FP + SN (SP + SN) / (SP + FN + FP + SN) Exners depressionsindeks Et eksperimentelt depressionsindeks blev introduceret i 1982 (Exner og Weiner, 1982), og først i 1990 blev DE- PI revideret til sin nuværende form (Exner, 1990). DEPI er opbygget af 15 strukturelle variabler, der er kombineret til 7 konstellationskriterier eller test, hvoraf mindst 5 skal være opfyldt, for at indekset er positivt (figur 2). Ifølge Exner kan en DEPI score på 5 tolkes som udtryk for en personlighedsstruktur, der indebærer en øget risiko for udvikling af depression eller stemningssvingninger, hvorimod indeksværdier på 6 eller 7 mere definitivt indicerer tilstedeværelsen af en depression (Exner, 1991, p. 23). I den seneste revision af the Comprehensive System anbefaler Exner, at fortolkningen af DEPI også inddrager værdien af Coping Deficit indekset (Exner, 2000, p ), men denne fortolkningsrutine er så ny, at den endnu ikke har genereret noget publiceret forskning. Udvælgelsen af de strukturelle variable, der indgår i DEPI, og det valgte cut-off kriterium på 5 af 7 blev foretaget på baggrund af statistisk analyse af Rorschachprotokoller (n = 1.421) fra patienter med kendt depression diagnosticeret ved hjælp af state of the art kriterier i form af Research Diagnostic Criteria (RDC; Spitzer, Endicott og Robbins, 1985) og/eller Schedule for Affective Disorders and Schizophrenia (SADS; Spitzer og Endicott, 1978) (Exner, 1991; Exner, 1996). Med en cut-off score på mindst 5 identificerer DEPI 75 % af Exners psykiatriske referencesample af depressive (n = 315), mens kun knap 4 % af Exners normative sample af voksne ikke-patienter (n = 700) har DEPI > 5 (Exner, 1998, Tabel og Tabel 11.2). I følge kriterierne for beregning af diagnostisk performance svarer disse klassifikationsrater til en sensitivitet på 0,75, en specificitet på 0,96 og en hit rate på 0,90, hvilket i psykometrisk sammenhæng er udtryk for en meget høj diagnostisk effektivitet (tabel 1). På baggrund af oplysningerne om DEPIs klassifikationsrater i Exners øvrige psykiatriske referencegrupper, der består af henholdsvis skizofrene (n = 320) og karakterforstyrrelser (n = 180) (Exner, 1998, Tabel og Tabel 11.16), kan der for disse grupper tilsammen beregnes en noget lavere specificitet på 0,83. Forekomsten af flere falsk positive i de to nævnte psykiatriske samples er ikke nødvendigvis udtryk for en mangel ved DE- PI, men kunne lige så vel være udtryk for, at indekset korrekt identificerer depressiv symptomatologi i pågældende patientgrupper. Klinisk forskning vedrørende voksne psykiatriske patienter I forbindelse med en undersøgelse vedrørende validiteten af DEPI rapporterede Sells (1990/1991) Rorschachdata fra en målgruppe på 29 depressive patienter, en gruppe ikkedepressive patienter med personlighedsforstyrrelser eller skizofreni (n = 25) samt en diagnostisk blandet patientgruppe med både en affektiv lidelse og samtidig personlighedsforstyrrelse (n = 55). Med udgangspunkt i DEPIs klassifikationsrater i den depressive og den ikke-depressive gruppe (fraregnet den diagnostisk 32 Nr

4 Indekset egner sig næppe til at identificere depression hos børn og unge - og også ved anvendelse på voksne depressive patienter synes der at være alvorlige problemer. blandede gruppe) har vi beregnet indeksets diagnostiske effektivitet i form af en sensitivitet på 0,62 og en specificitet på 0,56 (tabel 1). Singer og Brabender (1993) undersøgte Rorschachprøvens evne til at skelne mellem forskellige typer af affektive lidelser i et sample bestående af 62 depressive patienter opdelt i tre undergrupper: patienter med unipolær depression (n = 29), bipolært maniske patienter (n = 18) og bipolært depressive (n = 15). De fandt, at DEPI identificerede 59 % af patienterne i den unipolære gruppe, 37 % af den bipolært maniske gruppe og kun 26 % af den bipolært depressive gruppe. Med udgangspunkt i disse oplysninger har vi beregnet DEPIs sensitivitet for hele samplet til 0,45. Resultaterne tyder på, at indekset er relativt bedre til at identificere unipolære depressive tilstande end bipolære tilstande. I forbindelse med en undersøgelse af svarantallets (R) indvirkning på de seks CS indekser fandt Meyer (1993), at DEPI manglede diagnostisk skelneevne, idet en sammenligning af DEPI scores i to grupper af patienter henholdsvis med og uden depression ikke viste signifikant forskel. Meyers sample bestod af 90 psykiatriske patienter, der i relation til den aktuelle problemstilling kunne opdeles i en målgruppe af depressive patienter (n = 48) og en klinisk kontrolgruppe af patienter med andre psykiatriske diagnoser. Meyer fandt i øvrigt, at indekset var påvirkeligt af R, idet der var signifikant flere protokoller med mange svar (R > 29), der havde positivt DEPI, end protokoller med få svar (R < 17). Med udgangspunkt i et større sample bestående af 332 psykiatriske patienter opdelt i en målgruppe af de- Nr

5 pressive patienter (n = 267) og en klinisk kontrolgruppe (n = 65) beregnede Meyer (personlig meddelelse, februar 2000) sensitivitet og specificitet for DEPI på henholdsvis 0,49 og 0,63 (tabel 1). I dette større sample fandt Meyer en lille, men signifikant forskel ved sammenligning af DEPI scores i de to undergrupper. Meyer kunne endvidere påvise en lille, men ligeledes signifikant korrelation mellem et positivt DEPI og en diagnose inden for det depressive spektrum. Figur 2. DEPI (Depressionsindekset) 1. (FV+VF+V > 0) eller (FD > 2) 2. (Color-Shading Blends > 0) eller (S > 2) 3. (3r+(2)/R >.44 and Fr+rF = 0) eller (3r+(2)/R <.33) 4. (Afr <.46) eller (Blends < 4) 5. (SumShading > FM+m) eller (Sum C > 2) 6. (MOR > 2) eller (2AB+Art+Ay > 3) 7. (COP < 2) eller (Isolate/R >.24) Indekset er positivt, hvis 5 eller flere kriterier er opfyldt Caine, Kinder og Frueh (1995) sammenlignede Rorschachdata fra bl.a. en gruppe af kvindelige depressive patienter (n = 20) og en ikke-klinisk kontrolgruppe (n = 20). Kun to patienter i den diagnosticerede depressive gruppe havde positivt DEPI i modsætning til fire personer i kontrolgruppen, hvilket svarer til en sensitivitet på kun 0,10 og en specificitet på 0,80 (tabel 1). Caine, Kinder og Frueh fandt i øvrigt, at den depressive gruppe producerede signifikant flere svar med morbidt indhold (MOR) end kontrolgruppen. Ved sammenligning af Rorschachdata fra henholdsvis en målgruppe af depressive patienter (n = 60) og en ikke-klinisk kontrolgruppe (n = 30) fandt Jansak (1996/97), at DEPI havde lav sensitivitet (0,42), men høj specificitet (0,93) (tabel 1). Hun undersøgte endvidere, hvor meget hver af de 7 konstellationskriterier og de 15 strukturelle variable i DEPI bidrog til klassifikationen af depression. Kun ét kriterium [(MOR > 2) eller (2AB+ Art+Ay > 3)] bidrog signifikant til klassifikationen, mens to andre kriterier (nr. 2 og nr. 7 - se tabel 1) nærmede sig signifikans. Carlson, Kula og St. Laurent (1997) undersøgte DEPIs evne til at identificere depression blandt henholdsvis patienter med major depression (n = 20) og patienter med major depression og samtidig borderline personlighedsforstyrrelse (n = 20). Kun 7 af 20 (35 %) af patienterne med major depression og 4 af 20 (20 %) af patienterne med dobbeltdiagnose blev identificeret af DEPI. Ilonen et al. (1999) testede et sample på 70 finske patienter med depression opdelt i en undergruppe af patienter med ikke-psykotisk depression (n = 29), patienter med psykotisk depression (n = 28) og patienter med bipolær lidelse (n = 13). Der blev anvendt både en klinisk kontrolgruppe bestående af skizofrene patienter (n = 27) og en ikke-klinisk kontrolgruppe (n = 60). Ilonen et al. fandt, at DEPI havde en moderat sensitivitet (0,51), når det blev anvendt på det kombinerede sample af depressive, mens specificiteten var henholdsvis 0,59 ved sammenligning med den kliniske kontrolgruppe og 0,88 ved sammenligning med den ikke-kliniske kontrolgruppe (tabel 1). Ved undersøgelse af undergrupperne af depressive patienter tegnede der sig et interessant mønster, idet sensitiviteten var på et højt niveau (0,79) i gruppen med ikkepsykotisk depression, på et middel niveau (0,46) i gruppen med bipolær lidelse og på et lavt niveau (0,25) i gruppen med psykotisk depression. Klinisk forskning vedrørende ungdomspsykiatriske patienter DEPI blev udviklet på baggrund af statistisk analyse af protokoller fra voksne, men dets diagnostiske effektivitet er efterfølgende også blevet af- 34 Nr

6 Nr

7 Tabel 1. DEPIs diagnostiske egenskaber Forfatter N Alder Diagnostiske kriterier SN SP Hit rate Base rate Exner (1995) D = 315 NC = 700 SADS / RDC % Exner (1995) D = 315 CC a = 500 SADS / RDC % Sells (1990) D = 29 CC b = 25 DSM-III-R % Caine et al. (1995) D = 20 NC = 20 DSM-III-R % Jansak (1996) D c = 60 NC = 30 DSM-IV / SCID-IV % Ilonen et al. (1999) D = 70 NC = 60 DSM-IV % Ilonen et al. (1999) D = 70 CC d = 27 DSM-IV % Meyer (personlig meddelelse, 2000) D = 267 CC e = 65 DSM-III-R % Ball et al. (1991) D c = 45 CC e = 54 Unge DSM-III / DSM-III-R % Archer & Krishnamurthy (1997) D = 56 CC f = 96 Unge DSM-III-R % SN = sensitivitet; SP = specificitet; Base rate = procentdel af depressive deltagere i undersøgelsessamplet; D = antal depressive deltagere; NC = antal nonclinical kontrolpersoner; CC = antal kliniske kontrolpersoner; SADS = Schedule for Affective Disorders and Schizophrenia; RDC = Research Diagnostic Criteria. a Inpatient schizophrenics (n = 320) and character disorders (n = 180). b Personality disorder and schizophrenia. c Major depression and/or dysthymia. d First-episode schizophrenia. e Diagnostically mixed. f Conduct disorder and adjustment disorder. Reproduced by special permission of the Publisher, Psychological Assessment Resources, Inc.,Odessa, FL, 33556, from the Assessment, Volume 7, Number 3, Copyright 2000 by PAR, Inc. Further reproduction is prohibited without permission from PAR, Inc. prøvet på yngre patientgrupper. Ball et al. (1991) testede 99 ungdomspsykiatriske patienter (12-18 årige; gennemsnitsalder 15 år) opdelt i en målgruppe af depressive (n = 45) og en klinisk kontrolgruppe (n = 54) med andre diagnoser. De fandt, at DEPI havde en meget lav sensitivitet (0,18) og en moderat specificitet (0,76) (tabel 1). Til sammenligning kan det anføres, at Exners normative sample af 15-årige (n = 110) slet ikke indeholder nogen individer med positivt DE- PI, svarende til en specificitet på 1,00 (Exner, 1998, table 11.10). I Ball et al.s undersøgelse indgik også en gruppe på 67 børne- og ungdomspsykiatriske patienter (5-15 årige; gennemsnitlig alder = 9 år) opdelt i en målgruppe af depressive (n = 33) og en klinisk kontrolgruppe (n = 34). Også i dette yngre sample blev konstateret en lav sensitivitet (0,12) og en moderat specificitet (0,79) for DEPI. Archer og Krishnamurthy (1997) rapporterede Rorschachdata fra 152 ungdomspsykiatriske patienter (13-18 årige; gennemsnitsalder 15 år) opdelt i en målgruppe af depressive (n = 56) og en klinisk kontrolgruppe (n = 96) med andre diagnoser. De fandt en sensitivitet på 0,36 og en specificitet på 0,71 for DEPI (tabel 1). Archer og Krishnamurthy fandt i øvrigt, at gruppen af depressive unge producerede signifikant flere Vista svar (schatteringsbaserede perspektivsvar) end den kliniske kontrolgruppe, og at kriteriet Vista > 0 førte til en mere præcis diagnostisk klassifikation end DEPI > 5. Forskning vedrørende ikke-kliniske kontrolgrupper Undersøgelser af ikke-kliniske kontrolgrupper kan på indirekte vis bidrage til at belyse DEPIs specificitet. Selv om en vis forekomst af depression må forventes i tilfældigt udvalgte grupper af personer uden psykiatrisk diagnose, er en meget høj forekomst af ikke-patienter med positivt DEPI ikke forventelig og kan i givet fald indicere et problem med indeksets specificitet. Mattlar et al. (1993) præsenterede Rorschachdata fra en gruppe finske kontrolpersoner (n = 70), hvoraf ikke mindre end 30 personer (43 %) havde positivt DEPI. I forbindelse med et pilotprojekt om Rorschachtestning af danske kontrolpersoner (n = 27) fandt 36 Nr

8 Jørgensen og Olsen (1999) 8 protokoller (30 %) med positivt DEPI. Shaffer, Erdberg og Haroian (1999) præsenterede Rorschachdata fra californiske kontrolpersoner (n = 123), og fandt 18 personer (15 %) med positivt DEPI. Senest fandt Hamel, Shaffer og Erdberg (2000) 44 individer (44 %) med positivt DEPI i et sample bestående af 100 amerikanske børn uden kendt psykisk lidelse (6-12 årige; gennemsnitsalder 9 år). For yderligere undersøgelser af ikke-kliniske grupper kan henvises til fx Greenwald (1997) og Franklin og Cornell (1997). Diskussion De seneste 10 års forskning i DEPIs diagnostiske effektivitet med inddragelse af forskellige, overvejende amerikanske, patientgrupper har vist overraskende stor variation. Selv om anvendelsen af den kliniske diagnose som gold standard indebærer et metodemæssigt problem, idet psykiatriske diagnoser kan være behæftet med en vis usikkerhed, er det bemærkelsesværdigt, at især sensitiviteten af DEPI i flertallet af undersøgelserne ligger markant lavere end i Exners referencematerialer. Indekset egner sig således næppe til at identificere depression hos børn og unge - og også ved anvendelse på voksne depressive patienter synes der at være alvorlige problemer. Specificiteten af DEPI påvirkes i nogen grad af, hvilken type kontrolgruppe der anvendes, men samlet set synes problemerne med indeksets specificitet at være mindre udtalte. En del af variationen i DEPIs diagnostiske effektivitet kan formentlig forklares ud fra metodemæssige problemstillinger. Flere af de refererede undersøgelser foretager gruppesammenligninger baseret på forholdsvis små samples, og mange undersøgelser mangler en ikke-klinisk kontrolgruppe. I de fleste undersøgelser anvendes diagnostisk heterogene målgrupper af depressive patienter, der Nr

9 omfatter forskellige kombinationer af patienter med major depression, dysthymi, bipolær affektiv lidelse etc. De undersøgelser, der fokuserer på mere homogene undergrupper af affektiv lidelse, finder interessante forskelle. Det ses således, at DEPI har relativt høj sensitivitet over for ikkepsykotisk depression og unipolær depression, men relativt lav sensitivitet over for psykotisk depression og bipolær affektiv lidelse. I undersøgelserne af ikke-kliniske kontrolgrupper fra henholdsvis Finland og USA bemærkes en påfaldende stor variation af deltagere med positivt DEPI, der overskrider gængse mål for prævalensen af depressiv lidelse i befolkningen. I forbindelse med en kritisk evaluering af DEPIs validitet refererede Wood et al. (1996) til det statistiske begreb shrinkage during cross-validation. Begrebet viser hen til den erfaring, at empirisk afledte variabler, der udviser adækvat skelneevne i det originale forsøgssample, undertiden mister en del af deres skelneevne, når de afprøves på andre forsøgsgrupper med en anden sammensætning af individer. Som svar på kritikken fra Wood et al. gav Exner (1996) selv udtryk for bemærkelsesværdig pessimisme vedrørende DEPIs evne til at identificere depression diagnosticeret ud fra DSM kriterier: Depression er et komplekst fænomen, og jeg vil tro at der er andre metoder som fx MMPI eller Beck Depression Inventory, der kan identificere tilstedeværelsen af rapporteret depression langt mere præcist end Rorschachprøven. (oversat fra Exner, 1996, p. 12). Exner kommenterede endvidere, at DSM giver mulighed for at stille diagnosen depression på baggrund af utallige kombinationer af symptomer og adfærdsmønstre, og at det er urealistisk at forestille sig, at et Rorschachbaseret indeks kan have en tilsvarende bredde. Også på internationale konferencer skal Exner de senere år have taget forbehold over for anvendeligheden af DEPI, men disse forbehold er, så vidt vi kan se, ikke nævnt i hans seneste skriftlige arbejder. Med hensyn til anvendelse af indekset i dansk klinisk sammenhæng vil vi konkludere, at man indtil videre også herhjemme bør være yderst forsigtig med at anvende og fortolke DE- PI i relation til diagnostiske problemstillinger Hovedparten af ovenstående artikel er baseret på Jørgensen, Andersen og Dam (2000), der indeholder en mere detaljeret gennemgang og metaanalyse af forskningen vedrørende DEPIs diagnostiske effektivitet og prædiktive værdi. Kasper Jørgensen er neuropsykolog ved neurologisk afdeling, Bispebjerg Hospital. Tom J. Andersen er psykolog og Henrik Dam overlæge ved psykiatrisk afdeling, Rigshospitalet. 38 Nr

10 Referencer: Archer, R.P., & Krishnamurthy, R. (1997). MMPI-A and Rorschach indices related to depression and conduct disorder: An evaluation of the incremental validity hypothesis. Journal of Personality Assessment, 69, Ball, J.D., Archer, R.P., Gordon, R.A., & French, J. (1991). Rorschach depression indices with children and adolescents: Concurrent validity findings. Journal of Personality Assessment, 57, Caine, S.L., Kinder, B.N., & Frueh, B.C. (1995). Rorschach susceptibility to malingered depressive disorders in adult females. In James N.Butcher & Charles D.Spielberger (Eds.), Advances in Personality Assessment. (pp ). Hillsdale, NJ: Lawrence Erlbaum Associates. Carlson, C.F., Kula, M.L., & St.Laurent, C.M. (1997). Rorschach revised DEPI and CDI with inpatient major depressives and borderline personality disorder with major depression: Validity issues. Journal of Clinical Psychology, 53, Exner, J.E. (1990). A Rorschach Workbook for the Comprehensive System. 3rd. ed. Asheville, North Carolina: Rorschach Workshops. Exner, J.E. (1991). The Rorschach: A Comprehensive System. Volume 2: Interpretation. New York: Wiley. Exner, J.E. (1993). The Rorschach: A Comprehensive System. Volume 1: Basic Foundations. New York: Wiley. Exner, J.E. (1996). A comment on The Comprehensive System for the Rorschach: A critical examination. Psychological Science, 7, Exner, J.E. (1998). Manual for Rorschachprøven efter Exners integrerede system. The Comprehensive System. København: Dansk psykologisk Forlag. Exner, J.E. (2000). A Primer for Rorschach Interpretation. Asheville, NC: Rorschach Workshops. Exner, J.E. (2001). A Rorschach Workbook for the Comprehensive System. 5th. ed. Asheville, NC: Rorschach Workshops. Exner, J.E., & Weiner, I.B. (1982). The Rorschach: A Comprehensive System. Volume 3: Assessment of Children and Adolescents. New York: Wiley. Foldspang, A., Juul, S., Olsen, J., & Sabroe, S. (1986). Epidemiologi. Copenhagen: Munksgaard. Franklin, K.W., & Cornell, D.G. (1997). Rorschach interpretation with high-ability adolescent females: psychopathology or creative thinking? Journal of Personality Assessment, 68, Greenwald, D.F. (1997). Comparisons between the Rorschach Depression Index and depression-related measures in a nonpatient sample. Psychological Reports, 80, Hamel, M., Shaffer, T.W., & Erdberg, P. (2000). A study of nonpatient preadolescent Rorschach protocols. Journal of Personality Assessment, 75, Ilonen, T., Taiminen, T., Karlsson, H., Lauerma, H., Leinonen, K.-M., Wallenius, E., Tuimala, P., & Salokangas, R. (1999). Diagnostic efficiency of the Rorschach schizophrenia and depression indices in identifying first-episode schizophrenia and severe depression. Psychiatry Research, 87, Jansak, D.M. (1997). The Rorschach Comprehensive System Depression Index. Depression heterogeneity, and the role of self-schema (Doctoral dissertation, California School of Professional Psychology, San Diego, 1996). 6576B. Jørgensen, K., & Olsen, H. (1999). Rorschachtestning af danske kontrolpersoner i tværkulturelt perspektiv - et pilotprojekt (Rorschach data on Danish nonpatients in crosscultural comparison: A pilot study). Nordisk Psykologi, 51, Mattlar, C.E., Forsander, C., Norrlund, L., Öist, A.-S., Mäki, J., & Alanen, E. (1993). Rasgos del contenido y del resumen estructural Rorschach caracteristicos de los finlandeses: Una comparacion transcultural. Revista Sociedad Espanola Rorschach Met Y Proy, Meyer, G.J. (1993). The impact of response frequency on the Rorschach constellation indices and on their validity with diagnostic and MMPI-2 criteria. Journal of Personality Assessment, 60, Sackett, D.L. (1992). A primer on the precision and accuracy of the clinical examination. Journal of the American Medical Association, 267, Sells, J.E. (1991). A validity study of the DEPI index: The Rorschach Comprehensive System (Doctoral dissertation, University of Utah, 1990). Dissertation Abstracts International, 51, 5590B. Shaffer, T.W., Erdberg, P., & Haroian, J. (1999). Current nonpatient data for the Rorschach, WAIS-R and MMPI-2. Journal of Personality Assessment, 73, Singer, H.K., & Brabender, V. (1993). The use of the Rorschach to differentiate unipolar and bipolar disorders. Journal of Personality Assessment, 60, Spitzer, R.L., & Endicott, J. (1978). A diagnostic interview: The schedule for affective disorders and schizophrenia. Archives of General Psychiatry, 35, Spitzer, R.L., Endicott, J., & Robins, E. (1985). Research diagnostic criteria (RDC) for a selected group of functional disorders. New York: New York State Psychiatric Institute, Biometrics Research. Wood, J.M., Nezworski, M.T., & Stejskal, W.J. (1996). The Comprehensive System for the Rorschach: A critical examination. Psychological Science, 7, Nr