Evaluering i skolen. baggrund praksis teori. Peter Allerup Mogens Jansen Peter Weng

Transkript

1 Evaluering i skolen baggrund praksis teori Peter Allerup Mogens Jansen Peter Weng

2 Peter Allerup, Mogens Jansen, Peter Weng Evauering i skolen baggrund, praksis, teori 1. udgave, 1. oplag Peter Allerup, Mogens Jansen, Peter Weng og Dafolo A/S Redaktør: Mogens Jansen Forlagsredaktør: Anne Marie Mencke Omslag: Niels Elgaard Layout og grafik: Niels Elgaard Tryk: Dafolo A/S Bogen er sat med: Times New Roman og Myriad Pro Grafisk produktion: Dafolo A/S, Frederikshavn Dafolos trykkeri er svanemærket, kvalitetscertificeret efter ISO 9001 og miljøcertificeret efter ISO Dafolo har i sin miljømålsætning forpligtet sig til en stadig reduktion af ressourceforbruget samt en reduktion af miljøpåvirkningerne i øvrigt. Der er derfor i forbindelse med denne udgivelse foretaget en vurdering af materialevalg og produktionsproces, så miljøpåvirkningerne er mindst mulige. Svanemærket trykkeri Kopiering fra denne bog kan kun finde sted på de institutioner, der har indgået aftale med COPY-DAN, og kun inden for de i aftalen nævnte rammer. Forlagsekspedition: Dafolo A/S Suderbovej Frederikshavn Tlf Fax forlag@dafolo.dk dafolo@dafolo.dk Varenr.: kf8047 ISBN:

3 Indhold Indhold Evaluering ja, men hvad taler vi om?... 9 Indledning, en oversigt A Kapitel 1 Udgangspunkter for evaluering Mål for en undervisning Målene ændres Forskellige veje mod samme mål Trinmål, et eksempel Evalueringer af skoler og andre institutioner m.v To udgangspunkter i evaluering af undervisning Betydningen af evaluering kan give problemer Mål- og evalueringsudsagn Kapitel 2 Forskellig brug af evalueringsord Evaluering i hverdagen, i uddannelserne og i forskningssammenhænge I. Hverdagens sprog, den almene brug af ordet II. Uddannelsernes sprog, den pædagogiske brug af ordet III. Forskningens sprog, denne bogs brug af ordet Evaluering, beskrevet i opslagsværker Hvad taler vi om? Et begreb tager form Internationalt samarbejde om evaluering Literacy brugt inden for læsning og matematik samt generelt Læseplansbeskrevne færdigheder eller kompetencebeskrevne? En informationsopgave, der skal løses IEA- og PISA-prøver/opgaver IEA-prøver/opgaver: læseplaner og kognitive domæner PISA-prøver/opgaver: fremtidsorienterede kompetencekrav En IEA- og en PISA-prøve/opgave, to eksempler

4 Indhold B Kapitel 3 Prøver Den almene brug af ordet Den pædagogiske brug af ordet Denne bogs brug af ordet Forskelle mellem prøver og test Danlæsprojektet Sigte og fremgangsmåde Test, spørgeskemaer og analyser Den pædagogiske brug af Danlæs-resultaterne Dansk Evneprøve Opbygning og brug af en prøve, et eksempel Kapitel 4 Screening Den almene brug af ordet Den pædagogiske brug af ordet Denne bogs brug af ordet Kvalitative beskrivelser og kvantitative mål Screening, generelt set Inden for det pædagogiske område Inden for det økonomiske område Inden for læsning og matematik Et medicinsk eksempel og læsning Modeller i stedet for eksterne fortolkere? En læsemodel Screeninger i psykiatrisk og pædagogisk praksis Screening i læsning og matematik Screeninger bliver brugt mange steder Kan man forudsige en elevs læsestandpunkt i 3. klasse? et eksempel Screening i matematik, et eksempel Screening og læsehastighed

5 Indhold Kapitel 5 Test Den almene brug af ordet Den pædagogiske brug af ordet Denne bogs brug af ordet Forskellige testtyper Skalérbare test Diagnostiske test Adaptive test Principiel skildring af det adaptive system Testning ved hjælp af skalaer Testning af læsefærdigheder, et eksempel Testning af psykiske tilstande, et eksempel Evidens Om opslagsværkers brug af ordet evidens Hvordan skaber man evidens for en konklusion? C Kapitel 6 Vurdering og assessment Vurdering Den almene brug af ordet Den pædagogiske brug af ordet Denne bogs brug af ordet Assessment Den almene brug af ordet Den pædagogiske brug af ordet Denne bogs brug af ordene assessment, vurdering og evaluering Vurdering/assessment som del af evaluering Principper bag vurdering/assessment Selvevaluering Terminologi, en oversigt

6 Indhold D Kapitel 7 Portfolio Portfolio Den almene brug af ordet Den pædagogiske brug af ordet Denne bogs brug af ordet Portfolioevaluering Den almene brug af ordet Den pædagogiske brug af ordet Denne bogs brug af ordet Portfolio lægger op til dialog Fire centrale emner Portfolio et nuanceret pædagogisk redskab Portfolio og undervisningsdifferentiering Hvordan? Hvorfor? Hvorfor ikke? Fra arbejdsproces til arbejdsprodukt, et eksempel Portfolio brugt af andre end elever E Kapitel 8 Undervisning og evaluering: test, prøver og fejl En almen diskussion Et systematisk review Nogle overvejelser Læseprøver ændres over tid Læseprøver ændres over tid Læseprøvetekster, et eksempel Den almene brug af ordet prøvetekst Den pædagogiske brug af ordet Denne bogs brug af ordet Prøvetekster og andre læseprøver Baggrunden for udarbejdelsen af prøvetekster Undervisningsmaterialer og evaluering Fra læseplanskrav til evaluering Evaluering og den didaktiske trekant Evaluering af elever, lærere, skoler og undervisningsmaterialer

7 Indhold Læseudvikling, tekster og evaluering Evaluering af teksters læseværdighed (I) Også andet end trykte tekster Evaluering af teksters læsbarhed (II) Evaluering af teksters læselighed (III) Evaluering og udvikling af undervisningsmaterialer, to eksempler Fejl, regnehuller og matematikundervisning Begrebet regnehuller, en beskrivelse Regnehuller og den løbende evaluering i matematik Der kan være mange årsager til et regnehul Elever, muligheder og problemer Regnehuller, integration og inklusion Problemløsning i matematik, evaluering i matematik Fejl giver informationer, der kan føre til viden og handling Den almene brug af ordet fejl Fejl set ud fra en sproglig synsvinkel Fejl set ud fra en statistisk synsvinkel Fejl set ud fra biologiske og udviklingspsykologiske synsvinkler Fejl i fagene Fejl og pædagogisk udviklingsarbejde F Kapitel 9 Evaluering, tilbageblik, forudsætninger og mål To dimensioner i evaluering Når afsender og modtager af evalueringsresultater taler forskellige sprog En tredje dimension tiden Evaluering belyst via tilbageblik Evaluering belyst via karakterskalaer og skolestrukturer efter Ændringer i læseundervisningen og evaluering i læsning efter Undervisningsdifferentiering gør det nødvendigt at evaluere Fra forudsætninger og informationer til viden og handling Evaluering må ses som et forløb Hvem ønsker evaluering, hvem vælger evalueringsform? Hvad og hvordan evalueres der her og nu? Informationer fra evaluering skal blive til modtagernes viden Konsekvenser for alle involverede Evaluering, informationer og kommunikation

8 Indhold 9.4 Faktorer i undervisningen, på vej mod et mål En visuel metafor Grænser for styring af undervisningen? Fjerne mål, nære mål og hverdagens mål G Kapitel 10 Evalueringskultur Evalueringskultur, et dynamisk begreb I. Hverdagens sprog, den almene brug af ordet II. Uddannelsernes sprog, den pædagogiske brug af ordet III. En generel præcisering af begrebet Den pædagogisk-administrative brug af ordet evalueringskultur Sider af en evalueringskultur Elever har ret til evaluering Evalueringsresultater skal bruges En evalueringscirkel H Indeks Litteratur Om bogens forfattere Navneregister Emneregister Stikordsregister

9 Forord Evaluering ja, men hvad taler vi om? Evaluering i uddannelserne er og har altid været et varmt emne. Der har i tidens løb været givet karakterer i skolen, afholdt eksaminer og prøver, været klistret flag ind i bogstavbogen for 1. klasse og sat røde streger under staveord i 2. klasse. Jo mindre opmuntrende antallet af flag var, og jo større betydning karakterer fik, jo mere engagerede elever, forældre, lærere og andre sig i disse evalueringer: De har i mange år været et emne, der interesserede elever, forældre, familie og været en del af den offentlige debat. Samtidig er evalueringer af forskellig art blevet almindelige i uddannelserne og evalueringer er blevet et alment diskussionsemne, hvad enten der hentes eksempler fra lokale, nationale eller internationale evalueringer. Dette gælder både i den pædagogiske, den politiske og den almene debat. Diskussionerne er ikke altid så stringente, som det er ønskeligt dels er emnet af og til meget emotionelt belastet, dels er præcise evalueringer ofte vanskelige, og endelig er de anvendte ord for evaluering tit meget upræcist brugt. At undlade at medtænke dagligdagens brug af evalueringsord, ville være uhensigtsmæssigt. Det altfavnende ord evaluering analyseres i bogens enkelte kapitler, så ordet og forskellige begreber, som ordet dækker i den givne sammenhæng, først bliver defineret og bredt beskrevet. Derefter lægger bogen op til en præcisering og uddybning af de forskellige betydninger, som evaluering har alt efter hvor og hvordan det bruges. At de mål, der ofte styrer evalueringen, tit er vagt formulerede hvis de da overhovedet er formulerede hører med i billedet: Tit glemmes disse mål, når der tales om en aktuel evaluering. Det er mere enkelt at tage stilling til et tal i en prøve (hvad det tal så end står for) end til en målformulering, der involverer dybt personlige forhold, eller som bygger på uargumenterede, overfladiske detaljer. Sådanne forhold er langtfra altid synlige i diskussionen. Dertil kommer, at det er en selvstændig og væsentlig opgave at foreslå, opstille og give retningslinjer for vejen mod målet, 9

10 Forord hvis der da er én vej og hvis målet er forholdsvis klart formuleret. Hvis dette ikke er tilfældet, er det vanskeligt at retningsbestemme eventuelle interventioner, som kan være resultat af en evaluering. Der er ikke enighed om, hvad og af hvem der kan evalueres. Og så rettes opmærksomheden mod evaluering, tja det kan vel godt være i orden?, evaluering..., det er da nødvendigt her, evaluering..., nej!. Men ordene:... hvad taler vi egentlig om? medtænkes ikke altid i diskussionen som den nødvendige eftersætning, det er. 10

11 Indledning en oversigt Indledning Kapitel 1 strejfer emnet mål for evaluering, set i lys af bogens problemstilling. Bogen går ikke ind i en målsætningsdiskussion, men emnets kompleksitet illustreres. I den sammenhæng nævnes det, at en evalueringsdiskussion kvalificeres, når de involverede taler om det samme; at dette ikke nær altid er tilfældet, er et af kapitlets hovedtemaer. Det andet tema illustrerer, at evaluering ikke er et emne, der pludselig er dukket op i et bestemt årti heller ikke i undervisningen, selv om evaluering nu fylder en del i den offentlige debat om skolen og andre uddannelser. Der evalueres ikke for at glorificere eller nedgøre elever, forældre, lærere, skoler eller uddannelsessystemet som sådan. Vurdering er et ganske almindeligt begreb i hverdagen og har altid været det. Når ordet evaluering knyttes specifikt til undervisning, er der brug for en kortlægning af både vurdering og evaluering inden for området. Men en afklaring af diskussionerne kan også betyde, at nogle af dem kommer til at handle om emner, der ikke nær altid er tænkt ind i den undervisningsmæssigt prægede debat, men som kan sætte evaluering ind i en større sammenhæng. Eksempelvis er det ikke alle, der deltager i debatten, der finder det rimeligt at sammenstille institutioner som hospitaler, skoler og hoteller. En sådan sammenstilling kan provokere, skal også nuanceres, men den kan være informativ og tankevækkende. Kapitel 2 illustrerer brug af ordet evaluering i hverdagen, i uddannelserne og i forskningen. Det ene evalueringssprog er ikke mere rigtigt end de to andre, men det er nødvendigt at erkende, at brugen af evalueringens gloser farves af de omgivelser, de trives i. Kapitlet gennemgår systematisk brugen af de almindeligst anvendte evalueringsord. Kapitlets sidste del omtaler en række udenlandske evalueringsforhold, der nu spiller en rolle her i landet helt ned til betydningen af enkelte ord, der er med til at definere de anvendte evalueringer og dermed påvirke undervisningen en hel del. 11

12 Indledning Kapitel 3: Ordet prøve dækker i dagligsproget over mange ting. At prøve noget, at blive prøvet eller at tage en prøve er bare tre eksempler på, at de handlinger, der knyttes til prøve, er meget forskellige. I denne bog drejer prøve sig typisk om, at personer får stillet nogle pædagogiske opgaver, fx en række matematikopgaver, som de skal løse. Ud fra en pædagogisk synsvinkel præciserer bogen ordet prøve som betegnelsen for den slags evalueringsinstrumenter, der løbende benyttes i den daglige undervisning. Af og til bruges ordet også, fx i en elevs skoleliv og i uddannelserne generelt, i forbindelse med afgangsprøver, stopprøver, eksaminer m.v., samt hvor der er tale om forhold uden for undervisningssystemet. Dette sætter ordet prøve ind i et bredt perspektiv. Kapitel 4: Når man slår op i gængse ordbøger fra før 1980, finder man slet ikke ordet screening. Derimod ses ordet i Den Danske Ordbog fra 2005, hvor screening defineres som en kontrollerende undersøgelse eller test, ofte i forbindelse med medicinske undersøgelser. Man screener også for en række sygdomme, eller man screener en modspiller, fx i håndbold. Den pædagogiske brug af ordet screening henviser til, at en screening søges sat pædagogisk ind så tidligt og så hurtigt som muligt, så man (forhåbentlig) kan forebygge problemer: Hvordan vil det gå, hvis man ikke i tide griber ind med passende interventioner? Via screeninger får man en vis viden om fx en elev. Denne viden kan danne grundlag for en pædagogisk indsats, som måske ændrer elevens ellers forventelige kurs, fx mod et uacceptabelt læseniveau. Screeninger kræver, at man har screeningsinstrumenter til sin rådighed. Bogen beskriver de krav, der skal opfyldes, for at sådanne instrumenter er relevante og egnede til opgaven. Kapitel 5: At teste var tidligere ensbetydende med at undersøge bestemte egenskaber ved en genstand eller en person, fx at afprøve, teste, en genstands fysiske eller kemiske holdbarhed. I dag viser en opremsning af sammensatte ord med test som eksempelvis testperson, alkotest, crashtest, dna-test, graviditetstest osv., at ordet test har fået en bredere almen betydning. 12

13 Denne bogs brug af ordet går i retning af, at test er et evalueringsinstrument, der meget specifikt er opbygget af en række delopgaver inden for et bestemt fagligt område. Til forskel fra opgaver i en prøve er opgaver i en test underkastet restriktive krav med hensyn til den måde, hvorpå delopgaverne danner det resultat, der er det praktiske produkt af en test: Svar på delopgaverne har ikke interesse det er alene den samlede opgørelse, fx antal rigtige, der benyttes til analyser. Indledning Kapitel 6 diskuterer brug af ordene vurdering og assessment : Vurdering er et meget almindeligt og ikke særlig præcist ord. Assessment er et ord, der (i hvert fald endnu) næsten ikke anvendes i dansk. Det omtales her, fordi det ser ud til at være på vej ind i dansk evalueringsterminologi, uden at der hverken indholdsmæssigt eller sprogligt kan argumenteres for det. Den væsentligste grund til omtalen er dog, at en beskrivelse af ordet assessment kan præcisere forskelle mellem vurdering som assessment kan sættes lig med og det overordnede ord evaluering. Måske kunne en kommende (upræcis?) brug af assessment blive nedtonet, hvis en definition som den, der gives i kapitlet, blev fastholdt? Kapitel 7 om portfolio og portfolioevaluering lægger især vægt på den formative evaluering. Både den evaluerede og den evaluerende står i centrum for skildringen af portfolioen som det værdifulde dialogredskab, den kan være og oftest er. Selvevaluering er et godt værktøj. Der er mange pædagogiske muligheder gemt i selvevaluering, ikke mindst i ungdomsog voksenuddannelserne. Kapitel 8 skildrer først forholdet mellem undervisning og evaluering. Derefter sammenstilles forskellige testtyper i læsning, og ændringer over tid skildres. Også undervisningsmaterialer kan evalueres i en vis udstrækning. En forskningsbaseret undersøgelse af ABC-materialer og et systematisk udviklingsarbejde skildres. Begrebet regnehuller ses som ét eksempel på en hjælp ved arbejdet med vurdering og evaluering af vanskeligheder, som elever møder i matematikundervisningen. 13

14 Indledning Samspillet mellem den eller de personer, herunder forældre m.fl., der evaluerer, og den eller de personer, institutioner m.fl., der modtager evalueringen, er afgørende for den pågældende evaluerings nytteværdi. Uden et aktivt samspil mellem de evaluerende og eleven, den studerende eller kursisten, vil en evaluering kun have begrænset værdi. Der rettes særlig opmærksomhed mod begrebet fejl, der langtfra kan ses som noget kun negativt i en undervisning: Fejl giver informationer, der kan føre til viden og handling. Kapitel 9 ser indledningsvis evaluering i et todimensionalt perspektiv normativt/summativt over for formativt og eksternt over for internt. Derefter skildres evaluering i et tilbageblik, der generelt ser evaluering i lys af 200 års skiftende skolestrukturer. En sådan indfaldsvinkel konkretiseres ved at forbinde undervisning og evaluering i specielt læsning i det sidste halve århundrede. Det dokumenteres, at begrebet undervisningsdifferentiering bruges på forskellig måde. Nødvendigheden af at erkende begrebets nytteværdi belyses. En evaluerings forudsætninger og informationer ses som oplæg til det afgørende: Hvilken viden og hvilke handlinger afkaster en evaluering? Kapitlet afsluttes med overvejelser over, hvad en evaluering uden videre kan fortælle, og hvad den (ofte) slet ikke kan sige noget om. Det foreslås, at der også er opmærksomhed om forhold, der ligger uden for det, der til daglig evalueres dét, der så at sige ligger under denne evaluering, og som meget vel kan være afgørende for evalueringens resultater og de langsigtede resultater af undervisningen. Sidst i kapitlet gives eksempler på, hvor forskelligt ordene mål for en undervisning og evaluering af denne kan ses anvendt. Kapitel 10 illustrerer, at ordet evalueringskultur har været anvendt på forskellig måde til forskellig tid; der nævnes den nu almindelige administrativ-pædagogiske brug af ordet. Det skildres, hvordan ordet kom ind i dansk uddannelse via udenlandsk påvirkning. Det fremhæves, at elever ifølge lov om folkeskolen har ret til evaluering. Sluttelig skildrer en evalueringscirkel begrebet evaluering set i et overordnet, samlet perspektiv. 14

15 Generelt skal nævnes: I evaluering indgår affektive, emotionelle aspekter. De kan i det enkelte tilfælde have altoverskyggende betydning for en evaluering og spille en væsentlig rolle for et samlet evalueringsforløb både for den evaluerede, for den, der evaluerer, og for andre, der indgår i evalueringsforløbet. De affektive, emotionelle aspekter kunne have været nævnt i alle bogens kapitler. De er ikke glemt. De spiller hele tiden en rolle også der, hvor de ikke direkte nævnes i det pågældende kapitel. Indledning Bogens håndbogskarakter: De enkelte kapitler er beregnet til at blive læst selvstændigt; det betyder, at samme emne vil være taget op flere steder. I nogle tilfælde er der henvist til et eller flere relaterede områder, der giver en bredere belysning af det pågældende emne. Bogens opslagsdele understreger dens brug som opslagsværk: Litteraturlisten: Der er lagt vægt på, at der ud over de nødvendige henvisninger til baggrundslitteratur, frem for alt til faglitteratur, også henvises til skønlitteratur, dag- og fagbladsartikler, interview samt mødereferater m.v., så også hverdagssprogets brug af evaluering kommer ind i billedet. Navneregisteret har både henvisninger til bogens kapitler og til litteraturlisten. I de tilfælde, hvor der alene er nævnt en institution som forfatter, er institutionens navn anført. Emne- og stikordsregistrene er for overskuelighedens skyld søgt begrænset. Udformningen af dem betyder, at mange krydshenvisninger har kunnet undgås. Bogens indholdsfortegnelse og denne indledende oversigt supplerer emne- og stikordsregistrene. Opdatering og korrektioner: Af hensyn til den løbende opdatering af bogen er de tre forfatternavne anført med mail-adresser: Alle korrektioner og ajourføring af emner væsentlige og omfattende såvel som små, også henvisningsfejl og sproglige unøjagtigheder modtages med tak af forfatterne. 15

16 Indledning Nogle generelle kommentarer om bogens sprogbrug: Elever, studerende, kursister og elevernes forældre : Hvor der er omtalt personer før den undervisningspligtige alder eller omtales personer i relation til hjem og forældre, bruges generelt ordet børn. I de tilfælde, hvor skildringer er set fra forældrenes side, er personerne også omtalt som børn. Hvor forældre indgår specifikt i skolesammenhæng, vil de oftest blive omtalt som elevernes forældre. Personer i den undervisningspligtige alder omtales som elever. Personer i ungdomsundervisningen og i diverse efteruddannelser omtales i de fleste tilfælde som studerende og kursister; personer i mellemlange og videregående uddannelser omtales som studerende. Når der er tale om både elever, studerende og kursister, bruges der af praktiske grunde generelt ordet elever. * Tak til Torben Christiansen for kommentarer til kap. 1 og 2, til Lars Klewe for gennemgang af kap. 8.4 og til Marianne Thougaard for kommentarer til især kap Niels Plischewski har tjekket bl.a. henvisninger til love og bekendtgørelser. Helga Hansen har inspireret til kap. 8.2, og Dorte H. Silver og Dorthe Haven har i samme kapitel hjulpet med skildring af undervisningsmaterialers visuelle og autidive udformning. Andre har gennemlæst forskellige kapitler og kommet med mange kommentarer, ikke mindst Lis Pøhler, der har givet inspiration til store dele af kap. 1, og Signe Holm-Larsen, der har inspireret undervejs og bl.a. hjulpet ved udformningen af kap Alle bidrag og kommentarer har været særdeles nyttige. Det skal understreges, at de her nævnte personer ikke har ansvar for den endelige udformning af de kapitler, de har kommenteret. Flere tegnere og forfattere har stillet figurer og tekster til rådighed tak for det. Forlagsredaktør Anne Marie Mencke har kommenteret manuskriptet og set det udefra. Marianne Novrup har læst korrektur undervejs. Tak til begge for god faglig hjælp. 16