Sammenligning af kvaliteten af kommunernes sagsbehandling 06:2006 ARBEJDSPAPIR. Martin Rasmussen. Forslag til metode

Transkript

1 06:2006 ARBEJDSPAPIR Martin Rasmussen Sammenligning af valiteten af ommunernes sagsbehandling Forslag til metode FORSKNINGSAFDELINGEN FOR SOCIALPOLITIK OG VELFÆRDSYDELSER

2 Sammenligning af valiteten af ommunernes sagsbehandling Forslag til metode Martin Rasmussen Socialpoliti og velfærdsydelser Woring Paper 06:2006 The Woring Paper Series of The Danish National Institute of Social Research contain interim results of research and preparatory studies. The Woring Paper Series provide a basis for professional discussion as part of the research process. Readers should note that results and interpretations in the final report or article may differ from the present Woring Paper. All rights reserved. Short sections of text, not to exceed two paragraphs, may be quoted without explicit permission provided that full credit, including -notice, is given to the source.

3 Om undersøgelsen Anestyrelsen og de regionale sociale nævn gennemfører regelmæssigt prasisundersøgelser, som har til formål at vurdere orretheden af ommunernes afgørelser på det sociale og besæftigelsesmæssige område. Det ser med henbli på at sabe ensartethed i ommunernes sagsbehandling og ligebehandling af borgerne. Anestyrelsen har ønset i højere grad at vantificere resultaterne af disse prasisundersøgelser, blandt andet for at fremme den effet som prasisundersøgelserne gerne sulle have på ommunernes sagsbehandlingsvalitet. Et led i denne vantificering er sammenligning (benchmaring) af valiteten af ommunernes sagsbehandling. Anestyrelsen har bedt Socialforsningsinstituttet bidrage med forslag til, hvordan ommunesammenligningen an tilrettelægges. I dette papir sitseres derfor metoder til ommunesammenligning. En empiris sammenligning an ie foretages på nuværende tidspunt, fordi de hidtidige prasisundersøgelser ie indeholder no observationer fra hver ommune. Også ved de fremtidige prasisundersøgelser bliver antallet af observationer mindre, end man unne ønse sig til sammenligningen. Vi disuterer, hvordan man an øge den statistise sierhed ved samtidig at analysere esperternes vurdering af flere forsellige spørgsmål fra prasisundersøgelser i samme sammenligning. Vi foreslår også, at metoder til såaldte multiple sammenligninger bruges til dele af undersøgelserne. Det er en ældre og ie særlig endt metode, men den er særdeles relevant både i den onrete anvendelse og i andre sammenhænge. Arbejdet bag papiret er brugt som et af flere input til Anestyrelsens mere omfattende rapport (Anestyrelsen (2006)). Anestyrelsens medarbejdere og specielt fuldmægtig Maria Feldfoss og fuldmægtig Britta Maar taes for godt samarbejde. 1

4 1. Indledning Anestyrelsen og de regionale sociale nævn har gennem en årræe gennemført prasisundersøgelser af valiteten af ommunernes sagsbehandling. De består i, at esperter fra fx Anestyrelsen ser på ommunale sager, der er behandlet, og vurderer om afgørelserne og sagsbehandlingen er i overensstemmelse med loven. Hver prasisundersøgelse omfatter en onret lovgivning, fx tildeling af førtidspension, og består af vurderinger af en ræe spørgsmål eller led i sagsbehandlingen. Formålet med prasisundersøgelser er (naturligvis) at øge valiteten i den ommunale sagsbehandling. Hidtil har det vigtigste viremiddel været, at Anestyrelsen på forsellig vis har informeret generelt om, hvor der opstår mange fejl. For at øge effeten af prasisundersøgelserne vil Anestyrelsen fremover lave sammenligning (benchmaring) af ommunerne. Meningen er som med så megen anden benchmaring at ommuner, der er relativt dårlige fatis erender det og derfor overvejer, hvad de an gøre for at blive bedre. Det unne muligvis se ved at lære, hvordan de bedste ommuner gjorde. Anestyrelsens prasisundersøgelser er juridise i sin arater og ie direte en undersøgelse af lienttilfredshed. Forselle søges heller ie forlaret ved baggrundsfatorer som fx ommunens størrelse. I ommunesammenligningerne i dette papir bevares dette træ. For esempel forlares ommuneforselle ie. Ideen er, at loven sal holdes, uanset at en ommune fx er lille. Socialforsningsinstituttet udfører imidlertid i samarbejde med Anestyrelsen et andet projet en effetundersøgelse af prasisundersøgelserne hvor ommuneforselle søges forlaret. Projetet bliver baseret på samme type data. I afsnit 2 er der mere grundigt forlaret, hvad prasisundersøgelser består af, og der gives en disussion af, hvad der an og ie an omme ud af ommunesammenligningen. 2

5 I de hidtidige prasisundersøgelser har Anestyrelsen undersøgt godt 100 sager fra ommunerne. Typis har der været hentet 2-3 sager ind fra hver ommune, der er udvalgt i den onrete undersøgelse. Statistis set er det alt for lidt til at sammenligne ommunernes tendens til at lave fejl. I de fremtidige prasisundersøgelser bliver der hentet måse 10 sager fra hver ommune. Det an vise sig at være for lidt til at sammenligne ommuner. Hver prasisundersøgelse består dog af vurdering af flere led/spørgsmål i sagsbehandlingen ( er betingelse A opfyldt?, er betingelse B opfyldt?, ), og det an tænes, at der er nogle spørgsmål, hvor nogle ommuner laver fejl i mange sager, fordi de ganse enelt ie ender en regel, mens andre ommuner næsten ingen fejl laver. Generelt må vi dog prøve at få flere observationer fra hver ommune ved at se på flere spørgsmål i samme ommunesammenligning. Det ræver til gengæld lidt mere af de statistise metoder. Der sal tages hensyn til, at nogle spørgsmål an være sværere end andre, og at der måse er afhængighed mellem svarene i forsellige spørgsmål. 1 I afsnit 3 besrives problemet med relativt få observationer og de mulige måder at løse problemet. Indledningsvis opstilles en grundlæggende model for ommunesammenligning, og de grundlæggende statistise forudsætninger disuteres. I afsnit 4 disuteres, om hver ommune sal sammenlignes med gennemsnittet over ommuner, eller med den bedste ommune. I afsnit 5 disuteres multiple sammenligninger : antag at man undersøger om hver af 100 ommuner afviger fra (fx) gennemsnittet med et almindeligt 5 procents signifiansniveau. Det betyder, at selv hvis alle ommuner er lige gode til at sagsbehandle, så vil forventeligt 5 ommuner i den statistise analyse blive udpeget, som om de havde for høj tendens til at lave fejl. Metoderne til multiple sammenligninger orrigerer herfor. De er et supplement til eneltvise test for hver ommune. I nogle tilfælde sal den ene type analyse bruges, i andre tilfælde den anden. 1 I øvrigt har Socialforsningsinstituttet tidligere foretaget benchmaringanalyser for Anestyrelsen, se Lindermann og Gregersen (2001) og Gregersen (2000). 3

6 Projetet laves som nævnt for Anestyrelsen, og det sal munde ud i onrete modeller, som Anestyrelsen sal unne bruge forholdsvis rutinemæssigt. I afsnit 6 onretiseres modellerne derfor. Vi ser fx på modeller, hvor Anestyrelsens esperter vurderer sagsbehandlingens valitet hhv. ategoriseret og ontinuert, og på sammenligninger baseret på hhv. et eller flere spørgsmål. De forsellige metoder afprøves på unstige datasæt. I afsnit 7 forlares ort, hvordan de fremtidige prasisundersøgelser tænes tilrettelagt. Arbejdet bag dette arbejdspapir har været brugt som input til en rapport, som Anestyrelsen har lavet om de fremtidige ommunesammenligninger, se Anestyrelsen (2006). 2. Uddybende om prasisundersøgelser og meningen med ommunesammenligninger Prasisundersøgelser foretages af Anestyrelsen og regionale sociale nævn. Anestyrelsen har ansvaret for prasisoordineringen på landsplan, og de regionale nævn har ansvaret på det regionale plan. De regionale nævn er aneinstans for borgere, der ønser at lage over ommunernes afgørelser om retten til sociale ydelser. Anestyrelsen træffer afgørelser i lagesager på næsten alle lovområder på det sociale og besæftigelsesmæssige område og er øverste administrative aneinstans. Anestyrelsens afgørelser saber desuden generel prasis på områder, hvor der hidtil har været tvivl. En prasisundersøgelse omfatter et onret område, fx tildeling af førtidspension (se på Anestyrelsens hjemmeside hvile områder der har været taget op). Hver undersøgelse består af en vurdering af, hvor godt en ræe led i sagsbehandlingen er foregået, og der er en samlet vurdering af hver sag. 4

7 Anestyrelsen og de regionale sociale nævn udfører forsellige informationsativiteter på baggrund af prasisundersøgelserne for at forbedre den ommunale sagsbehandling. Det drejer sig bl.a. om en rapport for hver prasisundersøgelse, tilbagemelding til deltagende ommuner, artiler i Nyt fra Anestyrelsen og undervisning. I hver prasisundersøgelse vurderes hver sag som nævnt på en ræe forsellige spørgsmål. Det an være en overordnet vurdering af, om sagen er afgjort orret, om borgeren er omfattet af den paragraf, som prasisundersøgelsen vedrører, om et støttebeløb er beregnet orret, om borgeren er blevet informeret sriftligt, eller om der er tilstræelig information lagt til grund for sagen. I mange prasisundersøgelser går samme type spørgsmål igen, for esempel spørgsmålet om tilstræeligt doumentationsgrundlag 2. I den juridise jargon deles disse spørgsmål op i materiel og formel orrethed. Den materielle vurdering vedrører, om loven er opfyldt, mens den formelle orrethed vedrører om forvaltnings- og retssierhedsmæssige regler er overholdt (dvs. mere generelle regler end den onrete lov, der prasisundersøges), fx borgerinddragelse. Når der i dette arbejdspapir bruges ordet fejl, sal man være opmærsom på, at det dæer over, at de juridise esperter vurderer, at afgørelsen eller dele heraf ie er i overensstemmelse med lovgivningen eller gældende prasis. Vurderingen foretages på baggrund af det sriftlige materiale, som ommunerne har indsendt vedrørende den allerede afgjorte sag. I princippet an Anestyrelsens esperter naturligvis tage fejl eller være påviret af, at sagen allerede er afgjort. Såfremt der mangler lovpligtig doumentation vurderes det som en fejl. Det an i nogle tilfælde syldes, at ommunen har glemt at indsende alle ater. Fejl dæer ie blot over afvigelser fra loven, men også fra den prasis, der er fastlagt af Anestyrelsen. Endelig an fejl også gradbøjes i esperternes vurdering, idet en uoverensstemmelse an udtryes fx tvivlende eller delvist. Som nævnt er formålet med prasisundersøgelserne at foretage en juridis vurdering af den ommunale sagsbehandling. Det an ved læsning af rapporter om nogle prasisun- 2 I øvrigt peger en gennemgang af de seneste prasisundersøgelser på, at manglende doumentation er en af de absolut hyppigste fejl. 5

8 dersøgelser vire, som om at nogle led i sagsbehandlingen bliver registreret som fejlagtige, selv om hveren borgeren, satteyderne eller andre an være væsentligt påviret af fejlen. 3 Omvendt er det i sagens natur relevant at sire en juridis orret sagsbehandling, og endelig er det vel rimeligt at antage, at borgere og satteydere bliver generelt bedre stillet, desto bedre sagsbehandlingen er ud fra et juridis synspunt. 4 De sager, der undersøges i en prasisundersøgelse an opdeles i bevillingssager og afslagssager. Da fejlmulighederne til dels er forsellige i de to typer sager, og da der er langt flest registrerede bevillingssager, vil afslagssager fremover blive samlet i særsilte prasisundersøgelser. Den type fejl, der an opstå i bevillingssager, har formentlig i særlig grad arater af, at en borger bliver tildelt for generøs en ydelse fra det offentlige, mens der i afslagssager formentlig er en tendens til, at borgeren får for lidt i sager med fejl. Desuden er ravene til begrundelse over for borgeren srappere i afslagssager. De ommunale sager, der indgår i prasisundersøgelser, udvælges ved, at Anestyrelsen beder om de seneste x afgjorte sager i de udvalgte ommuner. Det er et godt princip, men der an for enelte ommuner måse være problemer med repræsentativiteten, hvis det er ulart registreret, hvornår sagerne er afgjort. Mere overordnet set an man naturligvis sagtens forestille sig, at der også opstår fejl, hvis en ommune slet ie åbner en sag. Meningen med ommunesammenligninger Meget abstrat er sammenligningerne af ommunernes sagsbehandlingsvalitet en del af den generelle tendens i samfundet til i højere grad at bruge vantitative metoder til at effetivisere den offentlige setor. Kommunesammenligningerne an derfor være genstand for den debat, der vedrører hele denne tendens. Så vidt jeg an se (men jeg er ie espert på området), er det centrale element, at det ofte er amp om ressourcer til at opnå forsellige mål. Hvis man laver vantificering på et område, an der måse være 3 Der er tale om små beløb i udregnet støtte i prasisundersøgelsen om 84 (s. 21). I prasisundersøgelsen om 77 (s. 9-10) ser det en del steder ud, som om at borgeren får det rigtige, men at udgiften blot er lassificeret under den forerte paragraf. 4 I øvrigt er det Anestyrelsen og de sociale nævns lovgivningsmæssige pligt at vurdere sagsbehandlingen fra et rent juridis synspunt. 6

9 en tendens til, at det i sig selv træer flere ressourcer til området på beostning af andre områder. Rent abstrat unne man fx forestille sig, at de ommunale ledere ansatte urimeligt mange særligt dygtige og højtlønnede sagsbehandlere for at undgå at omme uheldigt ud i en ommunesammenligning, eller at sagsbehandlerne brugte al tiden på at sire, at hver detalje fremgi sriftligt, frem for måse at snae mere med borgeren om hans situation, og om hvad der er den bedste løsning. Så vidt jeg an se, er der generelt ie andet at gøre end at erende dette mulige dilemma og lade være med at lade de målte størrelser få overdreven tildeling af ressourcer. Det modsatte synspunt nemlig at lade være med at måle, hvad der an måles foreommer som destrution af viden. I den onrete sammenhæng virer det umiddelbart svært at se, at der i virelighedens verden sulle være de store dilemmaer de to ovenfornævnte esempler er jo regulært søgte. De tiltag, man i prasis vil gøre for at forbedre sagsbehandlingen som følge af prasisundersøgelser, vil formentlig bestå i mere målrettet og effetiv undervisning, og det an næppe siges at være noget, der træer ressourcer fra andre områder i nævneværdigt omfang. Et andet element i den generelle debat om vantificering er, at selve vantificeringen er ressourcerævende. De estra ressourcer, der ræves for at unne lave ommunesammenligninger, er relativt små i forhold til omostningerne ved de hidtidige prasisundersøgelser og pålægges stort set un Anestyrelsen. Set i forhold til det enorme samlede antal sager, der behandles hvert år i landets ommuner, er det et minimum af ressourcerne, der bruges til den valitetssiring, der ligger i prasisundersøgelser. Endelig er ommunesammenligninger jo ie noget, der i sig selv forbedrer valiteten af sagsbehandlingen. Det samme an siges om de esisterende prasisundersøgelser. Meningen er, at identificere områder eller ommuner, hvor der er størst chance for at forbedre sagsbehandlingen. Kommunesammenligninger har derudover den fordel, at de bedste ommuner også udpeges, og man derigennem har mulighed for at finde ud af, hvad de bedste ommuner rent fatis gør. Det er så muligt, at det ie er ontrollerbare forhold, der gør nogle ommuner særligt gode. Man an fx forestille sig, at store 7

10 ommuner med mange sager er relativt gode, fordi de har stor erfaring. Små ommuner an jo ie opiere dette træ. 5 For nogle sagsområder an man forestille sig, at enelte sagsbehandlere varetager alle sager. Hvis ommunesammenligningerne un inddrager dette enelte område, er det ie muligt at adsille person- og ommuneeffeter. En god ommune an være god, fordi den mere eller mindre tilfældigt er ommet til at ansætte et naturligt sagsbehandlergeni, hvilet de øvrige ommuner ie an opiere. Dette fremhæver imidlertid et anonymitetsproblem ved ommunesammenligningerne, da det måse bliver enelte sagsbehandleres evner, der gemmer sig bag ommunesammenligningerne. Man an naturligvis i princippet vælge mindre end fuld offentlighed omring publiceringen af ommunesammenligningernes resultater. Omvendt er der jo meget lignende af mindst lige så personlig arater, der er offentligt 6, så forholdet er på ingen måde usædvanligt. 3. Få observationer men flere spørgsmål i samme ommunesammenligning Lad os forestille os, at to ommuner med forsellig latent tendens til at lave fejl i et onret spørgsmål i en onret prasisundersøgelse sammenlignes i en statistis test, hvor nulhypotesen er, at ommunerne er ens. Hvis forsellen i den latente fejltendens sal unne vises statistis, sal fejltendensen enten være stor, eller der sal være mange observationer/sager fra hver ommune. Med mange menes i denne sammenhæng, at de planlagte 10 sager pr. ommune ie vil unne vise små og almindeligt foreommende forselle i fejltendenser. Et grundlæggende problem i ommunesammenligningerne er dette umiddelbart relativt lave antal observationer. Der er to måder, hvorpå man an løse problemet med de få observationer. Den ene er at lave ommunesammenligninger på de enelte, detaljerede spørgsmål i hver prasisundersøgelse, og lede blandt spørgsmålene efter ommuneforselle. Den anden er at øge antallet af spørgsmål, der indgår i samme ommunesammenligning. 5 Og dog: man an forestille sig mere udbredt ommunesamarbejde, så mulighederne for specialisering øges. Eller endnu en runde ommunesammenlægninger. 6 Esempler: 1) I almindelighed er det let at finde ud af, hvem der er avanceret til chef i en virsomhed, og hvem der ie er. 2) På mange uddannelsesinstitutioner an araterer ses af medstuderende. 3) For ansatte i forsningsinstitutioner er det offentligt, hvem der får offentliggjort sit arbejde i fine tidssrifter. 8

11 Ved at se på enelte, detaljerede spørgsmål vil man selv med få observationer unne identificere latente fejlforselle, hvis de er store. Sådanne store ommuneforselle an tænes, hvis en ommune ganse enelt ie har forstået et vist element i reglerne. Esemplerne i prasisundersøgelsen om 84, hvor en indvilet regel betød fejl i støttebeløb giver grund til at tro, at sådanne fejlforselle findes. Ved at se på enelte, detaljerede spørgsmål bliver ommunesammenligningerne også anvendelige, idet man let an se, hvile ommuner der laver fejl i præcist hvile spørgsmål. Statistis set selner vi mellem den latente fejltendens og den fatise fejltendens den sidste er lig den første plus et restled, der indeholder de variationer i den fatise fejltendens, der ie ellers er med i modellen. Den latente fejltendens i ommune an benævnes α og den fatise fejltendens benævnes I. Observationerne benævnes j, hvor j løber fra 1 til J, hvor J er * antal observationer fra ommune, altså fx 10 (men modellen tillader forselligt antal observationer fra de forsellige ommuner). Modellen an srives som (1) I = α + e * j j hvor ej er restleddet, og α sal estimeres. Hvordan vi onret an estimere α, giver vi esempler på i afsnit 6. De centrale antagelser bag modellen er, at E( ej s ) = 0, dvs. at ingen ommune får særligt svære sager. Vi erender imidlertid som nævnt, at α ie nødvendigvis un dæer over, hvor dygtig ommunen som organisation er, men også over effeter, som ommunerne ie har indflydelse på, fx ommunestørrelse. Endelig antages cov( e, e ) = 0, dvs. at sagerne er uorrelerede. js j ' s Inddrages vurderingen af flere led/spørgsmål fra prasisundersøgelserne, øges antallet af observationer. Ideen er, at ommune A måse laver flere fejl end B for hvert enelt spørgsmål, vi ser på (dvs. α A > α B for hvert spørgsmål), men for hvert enelt spørgs- 9

12 mål er forsellen ie statistis signifiant. Ved at se på flere spørgsmål samtidig, an forsellen måse fremtræde signifiant. Det gælder naturligvis un, hvis det vitterligt er sådan, at ommune A har en generel tendens til at lave flere fejl end B. Det an lige så vel tænes, at A måse er ringe på et område, men god på et andet område, og i så fald vil ommuneforselle sløres (yderligere) ved at se på flere spørgsmål samtidigt. Lad os forestille os, at vi måse ser på 4 forsellige spørgsmål samtidigt. Det unne være spørgsmål inden for samme prasisundersøgelse, fx er betingelse A opfyldt?,, er betingelse D opfyldt?. Spørgsmålene unne også stamme fra forsellige prasisundersøgelser. Modellen an srives (2) I = α + e * sjs s sjs = α + α + e s sjs Konstantleddet α s betegner ommune s tendens til at lave fejl i spørgsmål s. Det er nødvendigt at antage en vis form for regelmæssighed i denne størrelse for at unne udnytte, at vi ser på flere spørgsmål på en gang, så i andet lighedstegn antages, at α s an opsplittes lineært i et led, der betegner indflydelsen på fejltendensen, der syldes ommunen ( α ), og et led, der syldes, at spørgsmål s er særlig svært eller let ( α ). Som nævnt er det ofte i informationsspørgsmålet, at der laves fejl, så man må forvente, at α er stor. Indeset for observationer er j, hvor j = 1,..., J, og hvor er Information antal observationer fra ommune vedrørende spørgsmål s. s s s s J s Hvis de forsellige spørgsmål i (2) tages fra samme prasisundersøgelse, an det imidlertid til dels være en slags øjenbedrag, at man opnår flere observationer ved at inddrage flere spørgsmål. Det an se, hvis nogle sager ganse enelt er mere bøvlede end andre. I så fald vil der være en stor chance for, at hvis der er fejl i fx informationsspørgsmålet, så er der også fejl i spørgsmålet om, hvorvidt borgeren har fået den rette ydelse. Hvis fejl i informationsspørgsmålet fx altid efterfølges af fejl i ydelsesspørgs- 10

13 målet, så er der ie opnået mere information ved at tage ydelsesspørgsmålet med i ommunesammenligningen. Statistis set er problemet, at restleddene e sjs ie er uafhængige, dvs. cov( e, e ) 0. Det betyder hvis der ie orrigeres for det at sjs s ' js estimaterne for α fremtræder mere sire, end de reelt er. Kovariansen for e sjs er illustreret nedenfor Tabel 1. Kovarians for i model (2) med forsellige spørgsmål fra samme e sjs prasisundersøgelse Kommune Sag Spørgsmål Kommune Sag Spørgsmål I Y I Y I Y I Y 1 1 I 2 σ σ I IY Y 2 σ IY σ Y I σ σ I IY Y σ IY σ Y I σ I 2 1 Y σ IY σ IY σ Y I σ I 2 2 Y σ IY σ IY 2 σ Y Hver sag er indieret i tabellen, sønt sagsnummeret ie optræder i model (2). Derved vises, at forsellige observationer har fællestræ, der ie er orrigeret for via et onstantled i (2), dvs. der indgår ie et led α sag svarende til α og α s. Det er heller ie muligt at indføre α sag i (2). Det syldes, at hver sag jo er nyttet til en bestemt ommune, så α og α sag an ie adsilles i en model som (2 ) I = α + α + α + e (uidentificeret) * sjs sag s sjs Hvis de forsellige spørgsmål derimod ommer fra hver sin prasisundersøgelse, er ovariansmatricen som følger: 11

14 e sjs Tabel 2. Kovarians for i model (2) med forsellige spørgsmål fra forsellige prasisundersøgelser Kommune Spørgsmål Kommune Spørgsmål PU1 PU2 PU1 PU2 1 PU1 2 σ P PU2 0 2 σ PY PU σ I 2 PU2 0 0 σ IY σ IY 2 σ Y Der er her ie noget, der saber ensartethed mellem PU1 og PU2 fra den samme ommune (i modsætning til ovenfor, hvor sagsnummeret var det samme for forsellige spørgsmål). Man sal være opmærsom på, at spørgsmålene i prasisundersøgelserne har forselligt niveau. En gruppe af spørgsmål vedrører udvalgte dele af den proces, en sag sal igennem det an være er betingelse A opfyldt?, er betingelse B opfyldt? osv. En anden gruppe vedrører sagen som helhed. De sidste er derfor en sum af de detaljerede spørgsmål, og derved er der en automatis afhængighed mellem detaljerede og overordnede spørgsmål. Derfor sal der i samme ommunesammenligning ie indgå både detaljerede og overordnede spørgsmål. Metoder til at løse afhængighedsproblemet i (2), når spørgsmål ommer fra samme sag 1. Test σ IY = 0. Hvis hypotesen accepteres, så benyttes model (2), som om der er uafhængighed. Testet an foretages med et Cochran-Mantel-Haenszel test. (Standard i SAS.) Se Agresti (2002), i Rasmussen (2005) er testet anvendt. 2. Modellér ovariansen som et led i modellen. Det an gøres som (3) I = α + α + e * sjs s sjs e = u + u sjs sjs js 12

15 Der er altså indført et led for hver sag, u js, men det er stoastis i modsætning til deterministis i (2 ) og an derfor estimeres. Modellen an estimeres ved mixture metoder. (Standard i SAS for lineære modeller.) Kovariansmatricerne for u sjs og u js an illustreres som Tabel 3a. Kovarians for u sj s i model (3) (forsellige spørgsmål fra samme prasisundersøgelse) Kommune Sag Spørgsmål Kommune Sag Spørgsmål I Y I Y I Y I Y 1 1 I 2 γ I 1 1 Y 0 2 γ Y 1 2 I γ I 1 2 Y γ Y 2 1 I γ I 2 1 Y γ 0 0 Y 2 2 I γ 0 I 2 2 Y γ Y 13

16 Tabel 3b. Kovarians for i model (3) (forsellige spørgsmål fra samme u js prasisundersøgelse) Kommune Sag Spørgsmål Kommune Sag Spørgsmål I Y I Y I Y I Y 1 1 I 2 ρ 2 ρ Y 2 ρ 2 ρ I ρ 2 ρ Y ρ 2 ρ I ρ 2 ρ Y ρ 2 ρ I ρ 2 ρ 2 2 Y ρ 2 ρ De to ovariansmatricer an summeres og give ovariansmatricen for e sjs. Det vil sige, at σ = γ + ρ, σ = γ + ρ og σ = ρ. Y Y I I YI 3. Omformuler modellen således at ommuneparametren α umiddelbart udgår og erstattes af en parameter for hver enelt sag. Hvis α c, og modellen er c indeserer sager, er denne betegnet (4) I = α + α + e * cs c s cs Hver enelt observation er identificeret ved parret (,) cs dvs. sag nummer c, spørgsmål s. Det an betale sig at lade de forsellige sager ( c er) betegnes med et par, (, j ), hvor er ommunen og j er indes for sagen i ommunen. Indeset j løber som før fra 1 til J, dvs. antal sager i ommune (fx 10). Man an nu finde ommuneeffeten ved at se på gennemsnittet af de sagsparametre, der hører til ommunen, dvs. J 1 (5) α = α(, j ) J j = 1 14

17 Restleddene e cs er uafhængige, dvs. cov( e, e ) = 0. Det er en rimelig antagelse, for cs cs ' der er jo netop orrigeret for sagens sværhedsgrad via parametren α c. 4. Sammenligning med gennemsnit eller bedste ommune Givet der er estimeret en effet fra hver ommune, α, på den latente fejltendens, er spørgsmålet, hvordan de sal sammenlignes. I dette afsnit disuteres ort princippet i forsellige metoder. De onrete statistise modeller forlares senere. Man an sammenligne hver ommune med landsgennemsnittet, α, eller med den bedste ommune, hvis parameter an aldes α. Desuden an α -parametrene rangordnes, α < α < <α, og ommunerne an grupperes efter, hvile andre ommuner de ie K adsiller sig fra. Tabellen illustrerer disse parvise sammenligninger. Tabel 4. Sitse af parvise sammenligninger Gruppe 1 Gruppe 2 Gruppe A ( α A = α1 ) X B ( α B = α2 ) X X C ( αc = α3 ) X X X D ( α D = α4 ) X X E ( α E = α5 ) X... Kommune A an ie afvises at have samme fejltendens som ommune B og C, men an afvises at være bedre end D og E. Kommune B an un afvises at lave fejl som ommune E, og E an afvises at være lige så god som A og B. Sammenligning med bedste ommune viser forbedringspotentialet for alle ommuner. Imidlertid er metoden lidt vanseligere at håndtere i nogle onrete statistise modeller 15

18 (se afsnit 6), og det gælder naturligvis i særlig grad, når det erindres, at ommunesammenligningerne sal unne laves rutinemæssigt i Anestyrelsen. 7 De parvise sammenligninger giver et meget ønt billede, men det er svært at se, hvilen estra brugbar information man opnår, ud over hvad man opnår med sammenligninger med bedste ommune. I afsnit 6 vises modeller, der både bruger sammenligninger med gennemsnit og med den bedste ommune. 5. Multiple sammenligninger I afsnittet besrives metoder, der ie nødvendigvis vil blive brugt i Anestyrelsens fremtidige rutinemæssige ommunesammenligninger. Multiple sammenligninger bygger nemlig især (i hvert fald som standardmetoder i SAS) på normalfordelte stoastise variabler, snarere end ategoriserede variabler. Metoderne er altså som standard mere velegnede til lineære end ategoriserede modeller. Metoderne besrives imidlertid, fordi de ie på srivende tidspunt an udelues, og fordi de er relevante. Den mest anvendte metode til at teste, om ommuner adsiller sig signifiant fra hinanden, er at teste, for hver enelt ommune, om ommunen adsiller sig fra den bedste ommune (eller gennemsnittet afhængigt af valget i foregående afsnit). Nulhypotesen er, at ommunerne er ens. Hvis ommunerne rent fatis er ens, og hvis signifiansniveauet vælges til 5 procent, må man forvente, at 5 ud af 100 ommuner statistis fremtræder, som om de er ringere end den bedste ommune. Ud fra et bestemt synspunt er det et problem. Nemlig hvis alle de eneltvise tests er lavet for de 100 ommuner, og man efter resultatet foreligger leder efter de dårligste ommuner, og dernæst onluderer, at de fundne ommuner er dårlige. Omvendt er det netop en opgave for en overord- 7 Bemær endelig, at det i princippet an tænes, at den bedste enhed er baseret på meget få observationer, mens den næstbedste måse er baseret på mange observationer. Derfor an det godt tænes, at man statistis an påvise forselle mellem en dårlig enhed og den næstbedste, men ie forselle mellem den dårlige enhed og den bedste enhed. I ommunesammenligningerne bliver der dog no omtrent lige mange observationer fra hver ommune. 16

19 net ontrolinstans at se, om der er nogle ommuner, der er særligt ringe. Med metoderne til multiple sammenligninger laves tests til sådanne formål. Både eneltvise sammenligninger og multiple sammenligninger er nyttige, men sal bruges med hver sit udgangspunt. Eneltvise sammenligninger sal bruges, hvis man på forhånd er interesseret i en bestemt ommune og ønser at vide, om den er dårligere end den bedste ommune. Dette synspunt er naturligt for den pågældende ommune. Multiple sammenligninger sal bruges af en overordnet myndighed, der er interesseret i, at de ringeste ommuner uagtet hvem de er bliver bedre. Generelt sal der mindre til, for at en ommune afviger fra den bedste ommune i eneltvise test end i multiple sammenligninger. Hvis en ommune bliver udpeget som dårlig i den eneltvise test, men ie i den multiple sammenligning, bør ommunaldiretøren altså ie undsylde sig med, at hans ommune blot er den uheldige med mange fejl, og omvendt bør en overordnet ontrolinstans ie sige, at den er interesseret i netop den pågældende ommune. 8 For at forlare de to typer tests lidt mere formelt an man forestille sig, at man tester, om hver af 100 ommuner har samme fejltendens som den bedste, dvs. om hver α = α for, og der vælges et signifiansniveau på 0,05 i de eneltvise test. Hvis nulhypotesen er sand α = α, er der 1-(1-0,05)=0,05 sandsynlighed for at afvise en sand nulhypotese i hvert eneltvist test. Hvis 100 ommuner sammenlignes mod den bedste ommune, foretages i alt 100 tests af ovenstående type, der involverer størrelserne α ie er, se nedenfor), ville der være α. Hvis disse størrelser var uafhængige (hvad de 8 Og et lidt andet esempel den landsholdsspiller, der brænder et straffe i en straffesparsonurrence bør overveje, om han ie an gøre det bedre, men træneren bør ie nødvendigvis sætte ham af holdet. 17

20 1-(1-0,05) 100 =0,994 sandsynlighed for, at den sande hypotese om ens fejltendenser blev afvist for en eller anden ommune. Hvis man imidlertid valgte 0, i formlen i stedet for 0,05, ville der være 1-(1-0,000513) 100 =0,05 sandsynlighed for, at en eller anden ommune blev afvist at være lige så god som den bedste. Det gælder altså i multiple sammenligninger om at vælge et lavt, eneltvist signifiansniveau (0,000513), så det multiple signifiansniveau bliver 0,05. Hvis vi i stedet ser på onfidensintervaller for α α α og for forlaringens syld lader, som om α er standardiseret normalfordelt, så sal onfidensgrænserne vælges som hhv. 1,96 for enelvise sammenligninger (fordi Pr( α α > 1,96) = 0,05 givet nulhypotesen α = α ) og som 3,283 (fordi Pr( α α > 3, 283 netop for ) 0, givet nulhypotesen α = α ) for multiple sammenligninger, fordi Pr( α α > 3, 283 for nogen ) = Pr( α α > 3, 283) = 0, 05, { α } hvor α = mas = 1,2,...,100. Nu er α α ie normaltfordelt med endt varians og slet ie uafhængige (α indgår jo for alle ) og har endnu mindre middelværdien 0. Men ideen i multiple sammenligninger er alligevel illustreret: Det gælder om at udvide det eneltvise onfidensinterval, således at observationer, der ligger ud over det udvidede multiple onfidensinterval, ie blot an betragtes, som om at den pågældende ommune er den uheldige med særligt mange fejl. I esemplet ovenfor er onfidensintervallet udvidet fra [0, 1,96] til [0, 3,286]. De to test an forlares yderligere ved to nulhypoteser 18

21 0 H α = α for netop (eneltvise tests) H 0 m α = α (multipel sammenligning) Det leder til til onfidensintervaller [0, ] (eneltvise tests) α [0, α ] (multiple sammenligninger) På baggrund af estimater for α, benævnt ˆ α, an man drage onlusionerne: 0 Hvis ˆ α [0, α ] accepteres for den onrete ommune. Ellers afvises for den onrete ommune. 0 H H Hvis ˆ α 0 > α for en bestemt ommune,, så er s afvigelse alene no til, at afvises. H m Bemær, at multiple sammenligninger ie leder til, at vi an acceptere 0 H m. Hypotesen er fx ie nødvendigvis accepteret, hvis fx ˆ α [0, α ] alle. Hvis man direte ville teste 0 H m, unne det gøres ved et traditionelt F-test. Figuren illustrerer de to tests og marerer zoner, der leder til forsellige onlusioner. 19

22 Figur 1. Sitse af eneltvise og multiple sammenligninger Tæthed for ˆ α α Tæthed for α α 5 % 5 % α α En ældre standardmetode inden for multiple sammenligninger er Tueys metode. Den bygger på en fordeling af rangen for en samling stoastise størrelser, hvor rangen altså er w = α α. Hvis α erne er normalfordelt med estimat for standardafvigelsen på s, hvor s er estimeret på baggrund af v frihedsgrader, og hvis der er r enheder (ommuner), der sammenlignes, så er (6) q, rv w = s fordelt efter den såaldte studentized range distribution, se Dunnett (1980). Denne er tabelleret i en del bøger, se Toothaer (1993). De ritise værdier voser naturligvis i r, dvs. desto flere enheder vi sammenligner, og falder i v. Der findes adsillige andre varianter af metoder til multiple sammenligninger. 20

23 Tueys metode (Dunnett (1955, 1980)) bruges til at sammenligne alle par af ommuner. Metoden an fx bruges til at lave sammenligninger som sitseret side 15. Metoden bygger som nævnt på den statistise fordeling af rangen (den masimale minus den minimale observerede værdi). Dunnett (1980) studerer tilfældet, hvor alle ommuner sammenlignes med en på forhånd given ommune. Når vi ønser at sammenligne med den bedste ommune, sal Tueys metode bruges, fordi det ie på forhånd er givet, hvilen ommune der er bedst. Sammenligning med gennemsnittet er mere i stil med Dunnetts (1980) metode. 6. Svarategorier i prasis og statistise modeller I afsnittet præsenteres en ræe forsellige onrete modeller, der an estimere ommunernes effet på fejltendensen, α. Afsnittet har arater af et menuort, fordi vi som nævnt endnu ie har haft lejlighed til at lave empirise modeller og derved udvælge en foretruen estimation. I de ommende prasisundersøgelser an Anestyrelsens esperters vurderinger udtryes på forsellig måde. Der an være tale om diotomise vurderinger af typen rigtigt/forert eller 0/1, ategoriserede vurderinger af type Helt rigtigt/stort set rigtigt/temmelig forert/helt forert, hvor der er en ordning mellem ategorierne, eller ontinuerte vurderinger i tal, der løber mellem 0 og 1, eller fire talværdier mellem 0 og 1. Den statistise behandling sal derudover tage hensyn til, om sammenligningen ser på baggrund af et eller flere spørgsmål, om der sammenlignes med den bedste ommune eller gennemsnittet af ommuner. Endelig er der et afsnit om onsevenserne af, at Anestyrelsens esperter an tage fejl. 21

24 6.1 Logistise modeller De logistise modeller bruges, når esperternes vurdering an falde enten i to ategorier eller i en lille håndfuld ategorier. Udgangspuntet an være tendensen til at lave fejl, her gentaget fra (2) (7) I = α + α + e * sjs s sjs Denne tendens an ie observeres. Det observerbare er esperternes vurdering af det pågældende spørgsmål i den pågældende sag. Tendensen til at lave fejl an srives som en sandsynlighed. Fra I * sjs træes restleddet, så vil I er uden top-* betegne dette.) Sandsynligheden for fejl er I = I e = α + α. (Generelt * sjs sjs sjs s Isj s e (8) Pr('fejl') = 1 + e Isj s i den logistise model. Det er antaget, at restleddet er fordelt efter den såaldte type I extreme value -fordeling. Sandsynligheden for rigtig er (9) 1 Pr('rigtig') = I 1 + e sjs Statistis er problemet at finde estimater for α og α, benævnt ˆ α og α, så der er størst mulig overensstemmelse mellem vurderingerne og de beregnede sandsynligheder. s ˆs Kommunesammenligninger baseret på et spørgsmål Når der i ommunesammenligningen un ses på et enelt spørgsmål, sal spørgsmålsparameteren α s udgå af (7). Modellen til estimation af α er er derfor som i (7)-(9). 22

25 Test mod gennemsnit eller bedste ommune Estimationen giver som resultat estimater for ommuneeffeter ˆ α, = 1,..., K, hvor K er antal ommuner, og tilhørende standardafvigelser σ. Den gennemsnitlige 1 ommuneeffet er ˆ α = ˆ α. Den bedste ommune er ˆ ˆ 0, hvor α < α for alle o. K Det an testes, om ommune er forsellig fra bedste ommune eller gennemsnittet ved hjælp af approsimative t-teststørrelser (10) T T ˆ α ˆ α = o σ + σ 2 2 m ˆ α ˆ ˆ ˆ α α α = σ + σ σ 2 2 i forhold til bedste ommune i forhold til gennemsnit Det omtrentlige lighedstegn an begrundes med, at variansen på gennemsnittet er meget lille i forhold til variansen på hver enelt ommunes gennemsnit. Det ellers tiltalende test i forhold til bedste ommune lider naturligvis af, at usierheden på αˆ0 an være så stor, at få ommuner an afvises at være forsellige fra den bedste ommune. I prasis an man derfor vælge en gruppe af de bedste ommuner og teste de øvrige mod dem Konfidensintervaller og præsentation Der an beregnes øvre og nedre onfidensgrænser for ˆ α ˆ α eller ˆ α ˆ. Hvis 0 α onfidensintervallerne betegnes d og d, an man til præsentationsformål beregne (11) ˆ α = d + ˆ α (evt. = d + ˆ α ) 0 ˆ α ˆ = d + α (evt. = d + ˆ α ) 0 Resultaterne an i Anestyrelsens ommunesammenligninger præsenteres som i figur 2. 23

26 Figur 2. Præsentation af estimerede parametre og indiation om signifiante forselle x x x ˆ α 0 x y y y o Kommuner I figuren aflæses de estimerede α -parametre i rangordning (x-erne i figuren). Man sal huse på, at selv om masser af ommuner ie an afvises at have samme fejltendens som den bedste ommune, så er estimatet alligevel bedste bud på ommunens fejltendens. Dernæst an man af figurens y-er aflæse ˆ α erne. En ommune afvises at have samme fejltendens som den bedste ommune, hvis ˆ α > ˆ α. Bemær at ˆ α ie er 0 nedre onfidensinterval for ˆ α, fordi α ie er en onstant, jf. (11). ˆ0 Hvis man tester i forhold til gennemsnittet, sal ˆ α naturligvis indgå i figuren i stedet for α. ˆ0 I øvrigt vil det måse være mere sigende at præsentere en version af figuren, hvor sandsynligheder baseret på (8) er beregnet. Man unne beregne 24

27 (12) ˆ α e Pr('fejl') = ˆ 1 + α e for middelsøn ˆ α e Pr('fejl') = ˆ 1 + α e for nedre søn Med un et spørgsmål i ommunesammenligningen er der ret beset mere oplagte modeller at anvende end den logistise model i (7)-(9), nemlig test af forsellene i sandsynligheder for binomialfordelte stoastise variabler. Derved får man direte middelsøn og onfidensintervaller for sandsynligheder i stedet for først at sulle beregne α - parametre. Imidlertid er den logistise model god, fordi den let an udvides til flere spørgsmål, flere ordnede ategorier o.l Flere spørgsmål, indbyrdes uafhængige Modellen i (7)-(9) an bruges, og der an beregnes ˆ α er, testes og præsenteres som i foregående afsnit. Den ritise uafhængighedsantagelse er (13) cov( esj, es ' j ) = 0 for s s' s s Hvis der sammenlignes på baggrund af vurderingen af flere spørgsmål, sal vurderingen unne behandles af samme type statistise model dvs. alle spørgsmål sal være fx vurderet som rigtigt/forert eller vurderet lineært. Det er fordi, ommuneparameteren α sal unne toles på samme måde i hvert spørgsmål. I modellen i ligning (7) ( I * s sj s sjs = α + α + e ) er det nødvendigt, at de samme spørgsmål indgår for flere ommuner ellers bliver det ie muligt at adsille (identificere) ommuneeffeter fra de effeter, der syldes, at nogle spørgsmål er sværere end andre. Se nærmere om hvordan der an opstå identifiationsproblemer i afsnit Ordinalt ordnede, ategoriserede vurderinger 25

28 De fleste spørgsmål i prasisundersøgelserne har fire snarere end to ategorier til at vurdere valiteten af et bestemt led i sagsbehandlingen. De fire ategorier er ordnede, dvs. de an rangordnes fx ved helt rigtigt, nogenlunde rigtigt, noget mangelfuldt til helt forert. En standard statistis model at behandle denne type data på er den ordinale logistise model. Det ordinale betyder, at de fire ategorier er rangordnede med ordenstal, men der ie er taget stilling til, om det er en større gevinst at springe fra nogenlunde rigtigt til helt rigtigt end fra noget mangelfuldt til nogenlunde rigtigt, eller om helt rigtigt er dobbelt så godt eller 50 procent bedre end nogenlunde rigtigt. I nedenstående figur er modellen forsøgt forlaret. For oversuelighedens syld er der un sitseret tre vurderingsategorier. De tre ommuner er rangordnet, således at den bedste. 0 er 26

29 Figur 3. Sitse af den ordinale logistise model Prob( helt rigtigt ) Prob( nogenlunde rigtigt ) Prob( helt forert ) 1 0 α 0 α α 1 2 Kommuneparameter Desto ringere ommunen er (desto højere fodtegn), desto større er sandsynligheden for, at dens sagsbehandling vurderes helt forert, og desto lavere er sandsynligheden for, at sagsbehandlingen vurderes helt rigtigt. Sandsynligheden for mellemvurderingerne an dog både stige og falde i den latente fejltendens. Kommune 1 har således en større sandsynlighed end ommune 0 for vurderingen nogenlunde rigtigt, mens ommune 2 derimod har lavere sandsynlighed for denne vurdering end for ommune 1. Man an sige, at nogenlunde rigtigt er et godt resultat set fra den ringe ommune 2 s side. Formelt er modellen meget lig (7)-(9). Der indføres blot et onstantled vurderingsategori, h. c h for hver (14) I = c + α + α + e * h, sjs h s sjs 27

30 Indeset h løber fra 1 til 4, hvis der er 4 vurderingsategorier, og onstantleddet voser i h, ch < c h + 1 ( h = 4 er den ringeste ategori). Rent statistis estimeres fx (15) e Pr(' vurderet som 'nogenlunde rigtig' eller bedre') = 1 + e Ihsj, s Ihsj, s Sandsynligheden for at blive vurderet i netop en ategori (dvs. den slags sandsynligheder, der er afbilledet i figuren), fx nogenlunde rigtigt, er derfor (16) Pr('vurderet som 'nogenlunde rigtigt' ') = Pr('vurderet som 'nogenlunde rigtigt' eller bedre') - Pr('vurderet som 'helt rigtigt' eller bedre') 6.2. Lineære modeller, ardinale vurderinger Man an forestille sig, at man i stedet for at vurdere sagsbehandlingen ategoris som i 6.1 vurderer sagsbehandlingen ontinuert, dvs. graden af forerthed unne blive indplaceret på en sala fra fx 0 til 1. Hvis bedømmelsen aldes V sjs, er modellen (17) V = α + α + e sjs s sjs En forsel på den lineære og ategoriserede model er, at V sjs an observeres, hvilet * I ie an. Den lineære model an estimeres med mindste vadraters metode. Som for modellen for ategoriserede vurderinger gælder, at hvis der un ses på et spørgsmål ( α s udgår), så findes mere direte modeller til at sammenligne ommuner, nemlig t-test for forselle mellem ommunegennemsnit. Ved ommunesammenligninger baseret på flere spørgsmål er de nødvendige antagelser om uafhængighed mellem restleddene som i den ategoriserede model. Hvis sagsbehandlingen bedømmes med et tal mellem 0 og 1, og hvis man bruger modellen (17), an man risiere, at den forudsagte værdi for nogle ommuner ligger over 1 eller under 0. Det an løses ved alternativt at anvende modellen 28

31 (18) V så v α e = 1 + e + αs+ esj s sjs α+ αs+ esj s V sjs = log = α + α + e 1 V sjs sjs s sjs Her er V sjs mellem 0 og 1, men transformationen betyder, at der an estimeres lineært Vægtet firepunts-model I nogle tilfælde vil Anestyrelsens esperter ønse at sætte værdier (fx 1, 0,67, 0,33 og 0) på vurderingerne helt forert, noget mangelfuldt, nogenlunde rigtigt og helt rigtigt. Hvis det fx ønses, at ommuner, der svarer helt rigtigt i stedet for nogenlunde rigtigt, sal præmieres yderligere ved en relativt høj α -værdi, så an værdierne ændres, så nogenlunde rigtigt sættes til 0,5. Der an udregnes et gennemsnit, M, for hver ommune eller hver ombination af ommune og spørgsmål (det sidste sal vælges, hvis ommunesammenligningen baseres på flere spørgsmål). (19) M = 0 Pr('helt rigtigt') + 0,33 Pr('nogenlunde rigtigt') + 0,67 Pr('noget mangelfuldt') + 1 Pr('helt forert') Dette M an nu observeres og estimeres som funtion af α og α s -parametre. Modellen er meget lig almindelig mindste vadraters metode. 6.3 Esperters fejl og idiosynrasi Som nævnt bedømmes ommunens sagsbehandling af Anestyrelsens esperter, der jo an tage fejl. Desuden an nogle esperter an være generelt mere strenge i deres bedømmelse end andre. Det rejser to problemer. Det ene er, om prasisundersøgelser overhovedet siger noget om, hvorvidt loven har været fulgt. Det andet er, at de estimerede ommuneforselle i vireligheden blot an tænes at dæe over forselle i esperternes særtræ. 29

32 I afsnit viser vi, at prasisundersøgelser siger noget om lovens overholdelse, hvis esperterne blot har et minimum af uddannelse. Og da esperterne i virelighedens verden i sagens natur er særdeles ompetente, har vi dermed argumenteret for prasisundersøgelsernes værdi til trods for, at esperterne an tage fejl. I afsnit forlares, at man an orrigere for espertens identitet for at sire sig, at ommuneforselle ie dæer over esperters særtræ. Følgelig er det ie en afgørende indvending mod prasisundersøgelser eller ommunesammenligninger, at Anestyrelsens esperter an tage fejl Prasisundersøgelser har værdi selv om esperter an tage fejl Afsnittet falder lidt uden for arbejdspapiret i øvrigt, og gælder prasisundersøgelser generelt. Vi forestiller os, at en sag eller en del af en sag an tænes af have en ræe forsellige afgørelser, og at en del af disse falder inden for loven. Vi forestiller os altså, at det i princippet objetivt an afgøres, om en afgørelse falder inden for loven. Lad hændelsen r betegne, at en onret afgørelse er inden for loven. Lad a betegne den hændelse, at en espert A bedømmer, om afgørelsen er inden for loven, og lad tilsvarende b gælde for espert B. Espert A an være Anestyrelsens espert, og B an være ommunens sagsbehandler. Udgangspuntet er, at B har behandlet en sag, og hændelsen b er derfor indtruffet B laver jo ie med vilje fejl i behandlingen. Vi sal vise, at (20) Pr( r ab) > Pr( r b) dvs., der er større chance for, at behandlingen objetivt er rigtig, når både A og B mener det, end hvis un B mente det. Vi antager desuden, at 30

33 (21) Pr( a r) > Pr( a) dvs. at der er større chance for, at A bedømmer en behandling rigtig, hvis den rent fatis er det, end at A bedømmer en hvilen som helst sag rigtig (herunder også de objetivt forerte). Betingelsen er meget svag og siger blot, at A ie sal vurdere sagsbehandlinger helt tilfældigt. Betingelsen an formentlig opfyldes blot med et minimum af uddannelse og ræver fx ie, at Anestyrelsens esperter sal være dygtigere end ommunens sagsbehandlere. Vi antager også, at (22) Pr( ab r) = Pr( a r) Pr( b r) Pr( ab) = Pr( a) Pr( b) Disse er uafhængighedsantagelser, der siger, at A sal vurdere sagsbehandlingen uden at lade sig påvire af den afgørelse, der rent fatis er truffet. Esperten A sal ie tæne, Det er no rigtigt, når det nu er afgjort sådan i ommunen eller omvendt I dag vil jeg nageme vise mig effetiv og finde en masse fejl hos sagsbehandleren. Med disse antagelser får man det ønsede (ligning (20)) (23) Pr( rab) Pr( ab r) Pr( r) Pr( a r) Pr( b r) Pr( r) Pr( r ab) = = = Pr( ab) Pr( a) Pr( b) Pr( a) Pr( b) Pr( br) 1 Pr( a r) Pr( a r) = Pr( r) = Pr( r b) Pr( r) Pr( b) Pr( a) Pr( a) > Pr( r b) Korretion for esperters idiosynrasi i ommunesammenligning Hvis esperterne indeseres med e, an espert e s strenghed i bedømmelsen af sagerne indgå i modellen med parameteren α e. Desto højere α e, desto strengere er desto større sandsynlighed er der for, at sagens bedømmes ritis. Ligning (7) omformes til e og 31

34 (24) I = α + α + α + e * sjs s e sjs For at unne selne α fra α e sal sagerne fra hver ommune behandles af forsellige esperter. Det øger den statistise usierhed i modellen, at esperterne ie vurderer ens. Strengt taget unne man løse problemet ved, at alle sager fra en prasisundersøgelse blev løst af samme espert. 7. Udmøntning Anestyrelsen planlægger fremover at lave ca. 4 prasisundersøgelser om året, med ca. 150 sager i hver. Der vil fremover være 5 statsforvaltninger, som vil gennemføre 10 prasisundersøgelser årligt. I disse vil indgå mellem 50 og 120 sager afhængigt af regionernes størrelse. Se i øvrigt Anestyrelsens rapporter, Anestyrelsen (2006 a,b). I hver prasisundersøgelse vil der indgå ca. 10 sager fra hver ommune. Kommunerne deltager i forsellige prasisundersøgelser og ommunesammenligningen an foretages over forsellige prasisundersøgelser. Som nævnt i afsnit sal det imidlertid sires, at ommuneeffeter og effeter fra de forsellige spørgsmål (fx forsellige prasisundersøgelser) oordineres, så de to effeter an adsilles statistis. I de følgende tabeller er der esempler på, hvordan ommunernes deltagelse i prasisundersøgelser an oordineres, så man hhv. an og ie an sammenligne ommuner. I det følgende tilfælde an ommune A og B sammenlignes, C og D an sammenlignes, men fx A og C an ie sammenlignes, fordi man ie ved, om forselle syldes, at de to prasisundersøgelser er lige lette at sagsbehandle. 32

35 Tabel 5a. Adsillelse af ommune og spørgsmålseffet Prasisundersøgelse nummer Kommune 1 2 A X B X C X D X I det følgende tilfælde an alle ommuner sammenlignes. Kommune A og D an sammenlignes, fordi de er indirete forbundne, i og med at B og C deltager i begge prasisundersøgelser. Via ommune B og C an man nemlig finde forsellen i de to prasisundersøgelsers sværhedsgrad, og dermed rense for denne forsel for ommune A og D. Tabel 5b. Adsillelse af ommune og spørgsmålseffet Prasisundersøgelse nummer Kommune 1 2 A X B X X C X X D X I det følgende tilfælde an A, B, C og D hhv. E, F. G og H sammenlignes indbyrdes, men to ommuner fra hver af de to grupper an ie sammenlignes. Tabel 5c. Adsillelse af ommune og spørgsmålseffet Prasisundersøgelse nummer Kommune A X B X X C X X D X E X F X X G X X H X I prasis bør der være en del ommuner, der deltager i mere end en prasisundersøgelse, for ellers bliver estimaterne over sværhedsgraderne i prasisundersøgelserne for statistis usire. 33