Gode testresultater er ikke forudsigelige

Transkript

1 Gode testresultater er ikke forudsigelige Selv om testresultater ikke er helt sikre, er nogen viden bedre end ingen viden, mener evalueringsprofessor. Peter Dahler-Larsen argumenterer her for vidensbaseret skoleudvikling Af Tonny Hansen I komplekse organisationer som skoler er det aldrig til at sige helt præcis, hvad der kommer ud af evaluering, siger Peter Dahler-Larsen, der er professor i evaluering ved Syddansk Universitet i Odense. Der kan komme fortræffelige ting ud af det, siger han, men en evalueringskultur må løbende holde sig vågen nok til at kunne tage sine egne konsekvenser i betragtning. Det gælder, hvad enten vi taler om bløde evalueringsformer, eller vi taler om test og standardisering. Peter Dahler-Larsen peger derfor på fire hovedprincipper, som det er vigtigt at holde sig i baghovedet, når man går i gang med at opbygge en evalueringskultur på en skole eller i et skolevæsen: 1. Beslutninger i skolen skal mest muligt basere sig på data, hvis det kan lade sig gøre. Det vil sige ikke på fordomme eller ideologier, men data, hvis man overhovedet kan 2. Eksperimenter er en god ting. Dem laver man fordi man siger: jeg er ikke sikker på, hvordan verden er beskaffen. Men vi undersøger dem i fællesskab, samtidig med at man har respekt for, at pædagoger og undervisere kan have andre opfattelser end jeg. Men vi lader virkeligheden afgøre det ved at prøve. Det siger jeg, fordi test, styring og kontrol ikke altid fremmer eksperimenter; nogle gange kan det kvæle dem. 3. Evalueringskulturen må rette udover skolen. Det er ikke kun den enkelte skoles eller teams evalueringer, det drejer sig om. Den skal omfatte hele vidensaspektet omkring skolen. Den må omfatte forskning, for eksempel. Og skolepolitikken. Den må man evaluere, lige så vidt som man evaluerer den enkelte lærer eller den enkelte skole eller den enkelte klasses udvikling. 4. En evalueringskultur må følge med i sine egne konsekvenser. Den må tage i betragtning, hvordan det virker, når vi evaluerer. 5. Man taler ofte om en ny evalueringskultur på samme måde, som man taler om et nyt køkken: når det først er skruet ind i væggen, så har vi det stående i samme form til evig tid, siger Peter Dahler-Larsen. Han opfordrer i stedet til, at man tænker på evaluering som noget levende. Når man undersøger noget, må man selvfølgelige gøre det så godt, som det er muligt, med de metoder, man har til rådighed, siger Dahler-Larsen. Men en god evaluering koster mange penge, og man må i hvert enkelt tilfælde overveje, hvor meget man er indstillet på at betale, for at få den sidste sikkerhed for resultatet med. Og selv om en undersøgelse ikke er 100 procent sikker, har den en effekt alligevel. Den er nemlig med til at ordne verden for os, og til at få ting til at ske. Derfor beskriver han test som fantastisk produktive.

2 Hvis jeg starter med at sige, at nu vil jeg kun studere enten de gode eller de dårlige inden for det valgte område, så skaber det et filter for øjnene, som forhindrer mig i at se. Jeg vil prøve, om jeg kan undgå at sortere i tilsigtet eller utilsigtet, gode eller dårlige. De begreber er for mig at se forfærdelige. Jeg vil hellere se på, hvad der faktisk sker. Ifølge evalueringsprofessorens tese er vi er over den fase, hvor man sagde: vi laver en masse evaluering, men den bliver ikke brugt til noget. Sådan er det ikke i dag. Vi laver i dag en masse evaluering, der har en masse effekter. Men problemet i dag er, at vi ikke har overblik over dem! Godt evalueringsarbejde koster mange penge. I Sverige bruger man rigtig mange resurser på evalueringer. De skal præ-testes, de skal databehandles. Det er ikke noget, man kommer sovende til. De har ret godt styr på det, for de måler alting inklusive deres eget testarbejde. Evalueringsresultater er ikke statiske Politikerne har det med at tro, at hvis man bruger et antal millioner, så ved man en gang for alle, hvordan tingene fungerer, siger Peter Dahler-Larsen. Men sådan er det ikke. Vi ved en hel masse ud fra den pågældende undersøgelse, men der er meget andet, vi ikke ved om spørgsmålet. Han mender derfor, at vi skal blive bedre til at sige: vi har en begrænset viden på dette område. Den bruger vi til at træffe nogle beslutninger på, men vi er opmærksomme på, at der er en vis usikkerhed forbundet med det. I samfundet er det en tendens til at mene, at en bestemt undersøgelse siger alt om et problem, eller også at den er helt umulig og siger ingenting. Selv de bedste undersøgelser indeholder en masse forbehold. Vi mangler en civiliseret måde at bruge evalueringsresultater på, en accept af, at de har deres begrænsninger. Lidt viden er bedre end ingen viden Alternativet til en halvdyr viden er jo en knap så dyr viden. Jeg møder ofte indvendingen: du kan da ikke vælge skole for dit barn på baggrund af de oplysninger om den, der ligger på nettet. Jamen, er det da bedre at gå ned til bageren og spørge om skolens omdømme? Enhver form for viden er mere eller mindre kvalificeret, og mere eller mindre dyr. I penge, energi og kræfter, eller brug af arbejdskraft. I Sverige, hvor man har valgt at koncentrere sig om fagene svensk, matematik og engelsk, har man spurgt lærerne om det bør udbygges til andre fag. Men lærerne peger på, at disse tre fag er de vigtigste, med risiko for at der bliver lagt flere kræfter i dem end i andre fag. De siger: man skal ikke teste i alt. Det er jo en kyndig overvejelse. Et eller andet sted skal man sætte en grænse. Svenske lærere er ret kolde overfor test. De siger: det støtter mig, når jeg skal give karakterer. De oplever, at de nationale test sikrer, at et nital faktisk er et nital.

3 Jeg synes, det er en kyndig måde at begynde at teste i tre fag, og så se, hvordan det virker. Evalueringsmæssigt er det godt, og det er klogt tænkt. Evaluering af evalueringen? Peter Dahler-Larsen er spændt på, om Bertel Haarder har i sinde lave en undersøgelse af, hvordan testene kommer til at virke? Jeg ville gerne lave den. Det vil jo være en måde at få data på bordet om hvordan det her virker, og hvordan det bliver oplevet i virkeligheden. Evalueringsresultater kan ikke forudbestilles Kan man forestille sig, at man sådan nogle steder sætter evalueringer i gang, der mest tjener til at legitimere kommunalbestyrelsens handlinger? Som mennesker har vi allesammen dagsordener, også overfor vores arbejde og vores familie. Det er ikke noget problem. Det er først et problem, hvis man begynder at fifle med tingene for at få sin dagsorden igennem. Men hvis en opdragsgiver har en bestemt dagsorden tager jeg ikke hensyn til den, når jeg laver en evaluering, siger Peter Dahler- Larsen. Han lægger vægt på at evalueringen skal laves håndværksmæssigt godt, med validitet og så uangribeligt som muligt, indenfor de rammer, der er sat for den. Meget ofte viser en evaluering noget helt andet, end opdragsgiveren havde håbet. Selv, hvis man har brugt en metode, som opdragsgiveren foretrækker. Når man ser på en evalueringsopgave, skal man have med, at en ting er at bestemme over designet. En anden ting er at bestemme over resultatet. De meget stramme, eksperimentelle design kan faktisk ofte være ubehagelige for en opdragsgiver, siger han, og henviser som eksempel til den amerikanske forsker Ann Oakley, der har skrevet bogen Experiments in Knowing. Hun er radikal feminist, og desuden tilhænger af kontrollerede eksperimenter. Hendes argument er, at man nogle gange skuffer opdragsgiveren, når man laver meget strikte eksperimentelle design med kontrolgrupper. For de viser sig ofte ikke at have den effekt, som opdragsgiveren har stor tiltro til. Han må altså kunne tage den kritik på sig, at selv om man har fået det design, man har ønsket sig, så får man ikke det resultat, man har ønsket sig. Der er langt imellem de myndighedspersoner, der siger: vil I undersøge det her, bare for at vi kan finde ud af, hvordan det virker. Derimod står den type i kø, der siger: vi vil have undersøgt det og det, for så vil det vise sig at vores forhåndsantagelser er de rigtige. Der er meget langt fra en politisk dagsorden til en undersøgelse, der faktisk bekræfter dagsordenen, siger Dahler-Larsen. Og det er noget sværere at kontrollere resultaterne end designet.

4 Selvfølgelig er der nogle sammenhænge. Men de er slet ikke lineære. Det er en vigtig pointe, for mange tror, at der er en stor automatik i, at bare man har en dagsorden, der ønsker noget bestemt, så skal evalueringen nok komme til at vise det. Selvfølgelig forekommer der bestilt arbejde. Men hvis det er metodisk ordentligt arbejde, forekommer det ofte, at resultatet siger opdragsgiveren imod. Videnproduktion er altså mere kompleks end mange antager. Gamle fronter dur ikke længere Den gamle front i skoledebatten hedder decentralisering versus centralisering, vurderer Peter Dahler-Larsen, og denne front er en velkendt kampplads i skolen. Alle, der siger noget, vil blive tolket ind i en af disse yderpositioner. Hvis jeg for eksempel siger, at man burde lave undersøgelser på tværs af skolerne, råber den ene front: Decentralisering for de bruger de velkendte kategorier, hver gang de ser nye fænomener. Men det interesserer mig egentlig ikke, om det er den enkelte skole, kommunen eller staten, der laver undersøgelsen, altså om evalueringen foregår centralt eller decentralt. Det er jeg da som borger ligeglad med. Men hvis den viden, der kommer ud af undersøgelsen, giver en bedre skole, så har jeg det fint med det, både som borger og som evalueringsforsker. Nogle af de centrale tiltag er ikke særlig videnscentrerede. Det er de decentrale heller ikke. Både de centrale og decentrale tiltag, der kommer nu, kunne være vidensbaserede. Derfor prøver jeg at flytte fronten, og i stedet for centralt eller decentralt at tale om vidensbaseret eller ej. Men hvis jeg udfordrer Grundtvig og går ind for viden, kaldes jeg straks centralist. For så bliver jeg puttet i en af de kasser, der passer til den gamle front. Umuligt at hemmeligholde testresultater I skoleverdenen kunne man godt have forestillet sig, at for eksempel skolelederforeningen sagde: hvordan gør vi det mest muligt til en resurse. Hvordan linker vi testresultater til valg af pædagogisk metode, valg af grundbog, lærernes uddannelse, klassekvotienterne, kurser man bruger i skolevæsenet? Det kunne være sjovt at se, det gjorde en forskel, om der er mere eller mindre end 22 børn i klassen. Om elever, der var undervist med et af fire konkurrerende skolebogssystemer klarede sig bedre end de andre. Når man nu skal have de nationale test, kunne man godt have sagt, at man ville se, om resultaterne kunne knyttes sammen med et af disse spørgsmål. Det kan sagtens gøres med et spørgeskema, og det er ikke uoverkommeligt, hvis man alligevel laver testen. Men det kan meget vel tænkes, at de nationale test har virkninger, som Bertel Haarder ikke har forestillet sig. Hvordan vil han for eksempel sikre sig, at de ikke bliver brugt til at sammenligne skolerne. Hvilken lov skulle forbyde mig, der har mine børn gående på en skole, at samle resultaterne ind der ved stilfærdigt at spørge mig for. Og derefter sammenligne dem med de resultater, en kollega på lignende måde har fundet frem til på den skole, hvor hans børn går? For det kan vel ikke være meningen, at forældrene ikke må få testresultatet at vide? Hvis vi har sådan et sammenligningsspil kørende, hvad kan der så ikke komme ud af det? Kort sagt: det er ikke kun et spørgsmål om test eller ej. Det er et spørgsmål om hele den sammenhæng,

5 de bliver sat i, og hvad de bliver brugt til. Og det kan sagtens være, at de nationale test havner et helt andet sted, end man har forudset. Og at de ikke havner samme sted.