Test, prøver og evaluering i grundskolen - MONA-konference. 27/ : Evaluering af kundskaber og færdigheder i matematik og naturfagene

Transkript

1 Test, prøver og evaluering i grundskolen - MONA-konference. 27/ : Evaluering af kundskaber og færdigheder i matematik og naturfagene Ved Jakob Wandall

2 Hvad lægger vi i begreberne? Evaluering af kompetencer i matematik og naturfagene hvorfor og hvordan? Folkeskoleloven: 1. Folkeskolen skal i samarbejde med forældrene give eleverne kundskaber og færdigheder, der

3 Test og prøver i grundskolen Evaluering i folkeskoleloven: I den løbende interne evaluering ( 13): Herunder evalueringsportal med værktøjskasse, Nationale test I forbindelse med prøverne ( 14): Herunder digitale afgangsprøver i naturfag

4 Test og prøver i grundskolen Begrebsafklaring: Undervisningsmål Centralt fastsatte Fælles Mål for hvad undervisningen skal lede frem mod (trin- og slutmål) Læringsmål Lokalt aftalte mål for elevens fremskridt Folkeskoleloven Kundskaber og færdigheder Testmål Afdækning af elevens faglige niveau inden for dele af faget ( profilområder ) Prøvemål Slutmålene i Fælles Mål, som udmøntet i prøvebekendtgørelsen

5 Danske test og prøver Folkeskolens afsluttende prøver: Obligatoriske for folkeskolen, frivillige for frie grundskoler 3 typer af prøver: 1. Mundtlige/praktiske prøver (fx I fysik/kemi) 2. Skriftlige prøver (fx Dansk stil) 3. Standardiserede prøver der scores lokalt (fx færdighedsregning, problemregning) der scores centralt (fx læsning, biologi, geografi) Nationale test: Obligatoriske én gang for folkeskoleelever på udvalgte klassetrin/fag Kan benyttes frivilligt flere gange pr. elev også på friskoler

6 Forskellige former for evaluering Vurdering af elev (subjektiv) Vurdering af elevens niveau (fx årskarakter) Vurdering af mundtlig/praktisk præstation ud fra vurdering Vurdering af skriftlig tekst ud fra fastlagte kriterier Optælling af rigtige/forkerte svar (uden rettevejledning) Optælling af rigtige/forkerte svar (med rettevejledning) Måling af præstation (objektiv)

7 Overensstemmelse mellem lærervurdering og testresultater Sædvanligvis større sammenhæng ved Kundskaber end færdigheder Produktive end receptive færdigheder Spørgsmål med åbne svar end lukkede (fx MC) Generelt overraskende lille sammenhæng Men der er en naturlig forklaring som følger senere

8 Opgaverne til test og prøver - Se eksempler på Evaluering.uvm.dk

9 Demotest og eksempelprøver

10 Demotest

11 Den løbende interne evaluering Evalueringsportal med: vejledning i evaluering, eksempler på god praksis og evalueringsværktøjer herunder test

12 It-baseret oversigt over 27 evalueringsværktøjer med deklaration, vejledning og hjælpeskemaer til download

13 Test i den løbende interne evaluering De nationale test

14 Adaptive test Adaptiv = Tilpasser sig til eleven, - Rigtige svar Sværere spørgsmål - Forkerte svar Lettere spørgsmål Adaptivitet Tilpas svære opgave Effektivitet i testningen Tre test i én 3 profilområder

15 Testopgaverne Alle opgaver er grundigt kvalitetssikrede hver opgave afprøvet på ca. 700 elever opgaver i samme profilområde tester præcis samme slags dygtighed (homogenitet, endimensionalitet) opgavernes præcise sværhed beregnet. Over 500 opgaver til hver test Fordelt ligeligt på profilområder Fordelt ligeligt på sværhed

16 Skalaer i de nationale test - Oversigtstabel med forklaring fra resultatsiderne i testsystemet

17 Item difficulty / pupil ability level Et eksempel: En adaptiv test: Engelsk, profilområde: Læsning Item number

18 Item difficulty / pupil ability level Adaptiv test Engelsk, læsning 5 items pr. profile area Item number

19 Item difficulty / pupil ability level Adaptiv test Engelsk, læsning items pr. profile area > 5 items & SEM > 0,3 =SEM Item number

20 Item difficulty / pupil ability level Adaptiv test Engelsk, læsning items pr. profile area > 5 items & SEM > 0,3 SEM 0, Item number

21 Item difficulty / pupil ability level Adaptiv test 3 profilområder Reading R-Result Vocabulary V-Result Language usage L-Result Wrong Correct Item number

22 Særligt for fagene: Matematik Fysik/kemi Biologi Geografi

23 De nationale test, profilområderne i matematik P1 Tal og Algebra P2 Geometri P3 Matematik i anvendelse

24 Matematik Stærkt orienteret mod færdigheder få men logisk regler naturligt egnet fag til test og prøver Det adaptive princip eleverne svarer rigtigt på ca. hver anden opgave De adaptive forløb kan virke uvant svære på de dygtigste elever, men tilsvarende lette for de svage elever Eleverne skal forberedes godt anbefalingen er at bruge demotestene

25 Særligt for test i Matematik Matematik et tværfagligt fag et redskabsfag i en række andre fag. Testene bestræber sig på at nå rundt i det, der er egnet at teste med denne form for test. Profilområderne er benævnt ligesom CKF ferne i de oprindelige Fælles Mål

26 Særligt for test i Matematik Det fag med stærkest sammenhæng mellem skolens undervisning og elevens kundskaber og færdigheder. På trods heraf stor spredning i klassen:

27 Naturfagene Naturfagenes mangfoldighed giver vægt på kundskaber Beskeden tradition for test i naturfagene i Danmark (mest fokus på det pratisk/mundtlige) Det adaptive princip tanken om svære opgaver er ikke så fremmed Vanskeligt at lave opgaver med stor sværhedsmæssig spredning Eleverne skal forberedes godt Prøv demotestene (husk kortmateriale på evaluering.uvm.dk)

28 Profilområderne i Naturfagene Fælles struktur: To profilområder, som deler faget Tredje profilområde om at bruge faget Fysik/kemi Energi og energiomsætning Fænomener, stoffer og materialer Anvendelser og perspektiver Geografi Kulturgeografi Naturgrundlaget At bruge geografien Biologi Den levende organisme Levende organismers samspil At bruge biologien

29 Folkeskolens afsluttende prøver og mulighederne med øget it.

30 Aktuel anvendelse af it i de afsluttende prøver 1. Til at skrive/regne på ved skriftlige prøver (fx dansk stil, problemregning), Eksempler på prøveopgaver (Bio/Geo) 2. De it-baserede prøver i biologi og geografi 3. CD-rom til oplæsning i fremmedsprog 4. It-støtte til elever med særlige behov

31 Fremtidig anvendelse af it i de afsluttende prøver 1. It-baserede selvscorende prøver (centrale eller distribueret løsninger), 2. It som medie for opgavestillelse (videoklip, lyd og animationer) og besvarelser (egne billeder og optagelser via web-cam under prøve) 3. Nye tekniske muligheder udnyttes fx interaktive opgavetyper og nettet som hjælpemiddel under prøven 4. IT-værktøjer til anvendelse ved mundtlige/praktiske prøver, fx it-atlas eller regneark 5. Integration af evaluering i opgavebesvarelser ved træning (test og undervisning i samme applikation)

32 Fremtidig yderligere anvendelse af It-baserede selvscorende prøver Fordele Ligebehandling alle elever får samme vilkår Retsikkerhed der er intet skønsmoment i bedømmelsen Retter hurtigt/præcist Mulighed for forskning/ Evidens i bedømmelse Administration og Økonomi Ulemper Grænser for hvad, der kan prøves Meget afhængig af at teknikken fungerer Risiko for negativ washback

33 Fremtidig anvendelse af it i de afsluttende prøver Ad 2. It som medie for opgavestillelse (videoklip, lyd og animationer) og besvarelser (egne billeder og optagelser via web-cam under prøve) Fordele Nye spændende opgaver Mere som i omverdenen Ulemper Meget afhængig af at teknikken fungerer Fare for at faget drukner i it hvad prøves?

34 Fremtidig anvendelse af it i de afsluttende prøver Ad 3. Nye tekniske muligheder udnyttes fx interaktive opgavetyper og internettet som hjælpemiddel under prøven Nye opgavetyper, fx interaktive/simuleringer Fordele Mere interessante opgaver Kan afprøve andre kompetencer Ulemper Usikkerhed om hvad prøves fokus på faget Store krav til teknikken ingen plan B Nettet som hjælpemiddel Fordele Afspejler verden udenfor Større lighed visse typer snyd elimineres Ulemper Fare for at alle fag bliver til informationssøgning Mulighed for ny typer snyd (kommunikation)

35 Fremtidig anvendelse af it i de afsluttende prøver Ad 4. IT-værktøjer til anvendelse ved mundtlige/praktiske prøver, fx it-atlas eller regneark Fordele It-værktøjerne fra skolens undervisning (både net og programmer) kan anvendes ved prøven Anvendelse af nettet i både forberedelse og prøve giver virkelighedsnære prøver Ulemper Fare for at alle fag bliver til informationssøgning Mulighed for ny typer snyd (kommunikation)

36 Prøverne ift. it i undervisningen Prøverne udmønter kravene i Slutmålene. Skoler, lærere og elever i overbygningen har stærkt fokus på prøveformer, hjælpemidler og prøvernes krav til kundskaber og færdigheder. Risiko for fokus på it- og løsningsteknikker i stedet for faget (negativ washback). Kun de fag/emner, der egner sig godt, skal afprøves med it-prøver. Integration af it i test og prøver integration af it i undervisningen (positiv washback). Folkeskolens afsluttende prøver sætter kurs for skolen. De skal derfor behandles med stor omtanke også mht. integration af it.

37 Kan lærere vurdere hvordan eleverne vil klare opgaverne?

38 Opgavernes sværhed Yderpunkterne: Det perfekte skøn = 100% Percieved difficulty Realised difficulty

39 Opgavernes sværhed Yderpunkterne: Ingen korrelation = 0% Percieved difficulty Realised difficulty

40 Opgavernes sværhed, biologi 2010 Bio 2010 (R2=30) 100% 90% 80% 70% 60% Faktisk 50% 40% 30% 20% 10% 0% Bio-Faktisk Reglinje 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Skønnet

41 Erfaringer fra Cambridge (r 2 = 0,14 / r 2 = 0,21)

42 Kan lærere vurdere hvordan eleverne klarer opgaverne? Erfaringerne viser: Hvis man kan løse en opgave forekommer den let. For den fagligt dygtige lærer vil alle opgaver synes lette. De kriterier som lærere bedømmer opgaver på (fx lang tekst) er altså grundlæggende forskellige normale elevers. Med stigende faglige kvalifikationer mister lærerne evnen til at skelne mellem hvad der er let og svært for eleverne Og dermed også mellem hvilke elever der er dygtige og mindre dygtige til at løse testopgaverne.

43 Kan lærere vurdere hvordan eleverne klarer opgaverne? Åbent spørgsmål: Hvad er den rigtigste eller mest fair bedømmelse: Testens/prøvens sandsynligheds- og databaserede, objektive, hårde, endimensionale måling eller Lærerens erfaringsbaserede, håndholdte, subjektive vurdering, med inddragelse af intuition og empati

44 Kan lærere vurdere hvordan eleverne klarer opgaverne? Åbent spørgsmål: Hvad er den rigtigste eller mest fair bedømmelse: Testens/prøvens sandsynligheds- og databaserede, objektive, hårde, endimensionale måling eller lærerens erfaringsbaserede, håndholdte, subjektive vurdering, med inddragelse af intuition og empati Svaret er nok at begge dele er nødvendige!!!

45 Tak for opmærksomheden!