Kick-off på Måling af elevernes faglige progression Aarhus d. 12. april 2016 v/jakob Wandall, NordicMetrics
Baggrund Samfundsvidenskab Arbejde med forskning, statistik og analyse UvM og konsulentvirksomhed NordicMetrics Siden 2014 sammen med Epinion og Brøndum & Fliess
Temaer for i dag Indsatsen Måling af elevernes faglige progression sætter et langsigtet fokus på: Faglig progression i Aarhus Kommunes skoler Det pædagogiske og administrative arbejde med DNT Beregneren som redskaber til fortolkning, dialog og formidling af DNT.
Måling af elevernes faglige progression Ambitiøst 3-årigt program for arbejdet med faglig progression Langsigtet mål: Alle skoler i Aarhus arbejder systematisk med progression i læsning og matematik Fase 1: Udvikling af leder-, vejleder- og lærer-kompetencer på en række skoler, der vil gå forrest i arbejdet med læse-progression i 2016. Erfaringerne lægger sporene for det videre arbejde.
Måling af elevernes faglige progression, Fase 1 (2016) Ambition: Deltagelse af 8 Aarhus-skoler Projektets virkemidler: Kompetenceafdækning, redskaber, vejledningsmateriale og workshops Workshops: Skolernes deltagelse: ½ dag for 2 ledere pr skole 2 x ½ dag for læsevejledere ½ dag for dansklærere Erfaringsopsamling og design af den videre proces
Workshops fra 0-100 på 3½ Egne elever som undervisningsmateriale Eksempel på program:
Baggrund for initiativet To projekter, der involverer DNT: Beregneren, læsning (Afsluttet) Brobygning mellem test og prøver i Matematik (I proces, 3 skoler i Aarhus)
Formål med de nationale test Primært Pædagogisk værktøj Målgruppe: Lærere og ledere Sekundært Dokumentation af det faglige niveau Målgruppe: Lærere og ledere, elever og forældre, skolebestyrelser og kommuner, offentligheden
DNT bruges ikke pædagogisk Enighed blandt eksperter (Rambøll, EVA, DPU mv.) og praktikere. Også om hvad der skal til: 1. Resultaterne skal være fortolkelige 2. Brugerne skal kunne fortolke resultater 3. Brugerne skal kunne anvende den erhvervede viden Ad 1: Beregneren Ad 2: Workshops Ad 3: Visible learning er vores bedste bud pt.
DNT = Adaptive test Adaptiv = Tilpasser sig til eleven, - Rigtige svar Sværere spørgsmål - Forkerte svar Lettere spørgsmål Forudsætning: Rasch-godkendte opgaver Dygtighed og sværhed måles på samme skala Fire skalaer: Rasch-logits, 5-trin-skalaen (norm), 6-trin-skala (kriterie) og 100- skalaen (percentil)
Hvad er beregneren? En elektronisk omsætningstabel: Fra 1-100-skalaen (percentiler) fælles progressions-scorer (Rasch) for alle test i faget To problemer er løst i beregneren: 1. Skalaerne for fx de 4 læsetest var ikke sammenlignelige indbyrdes 2. Man kan ikke regne på percentilskalaer (ordinalskalaer)
Ad 1. Ækvivalering af skalaer
Ad. 2 Fra percentil- til Rasch-scorer
Hvor meget betyder skalaen? DNT Som det ser ud for læreren Her måler man rangorden af eleverne DNT Når man måler faglighed
Hvor meget betyder skalaen? Hvem har lært mest: - Altahir, der er gået fra 1 til 10? - Sofie, der er gået fra 30 til 70? fra 1 til 10 fra 30 til 70
Altahir i Folkeskolen Forfra
Altahir i Folkeskolen Forfra
Anvendelsesmuligheder: Fire versioner af beregneren Standard til læsning (2 testresultater) Skole-hjem-udgaven, læsning (3 testresultater) Matematik beregneren (2 testresultater) Skoleudgaven: 2.-9. kl. læsning og 3.-7. kl. matematik.
Eksempel: Skole-hjemudgaven Skole-hjem-beregneren til præsentation Formidling af elevens faglig progression udvikling på den nye skala Det er, hvad man kan se i dag: 3 percentiltabeller
To praktiske problemer: Tilgængelighed og datakvalitet Manglende tilgængelighed til data 1. Meget få lærere har adgang til de elevoplysninger, de har brug for. 2. Det er skoleledelsen, der har ansvaret for rettighederne til, hvem der kan se hvad. 3. Ledelsen har meget sjældent viden herom de fleste tror, at alt er i orden.
Datakvalitet et generelt problem, der skal løses Meget få lærere: 1. ved hvordan man får gode data ud af testene 2. instruerer eleverne hensigtsmæssigt 3. lader eleverne svare på nok opgaver Vejledning på http://www.nordicmetrics.com/beregneren/
DNT og statistisk usikkerhed God instruktion er et must! Rød-Gul-Grøn hvad betyder det? Måleusikkerhed i DNT. Kilderne er: For lidt data Testopgaver passer ikke til modellen MLE-proceduren fejler (matematisk model) Eleverne svarer ikke i overensstemmelse med deres dygtighed
Læreren skal vurdere testresultatet kritisk: Statistisk usikkerhed måles ved SEM Testen går i grøn ved SEM=0,55 lige akkurat reliabelt. Ved ca. 40 opgaver SEM=0,3 Meget høj reliabilitet. Men er betyder det retvisende??
Læreren skal vurdere testresultatet kritisk: Der er forskel på sikkert og retvisende
Læreren skal vurdere testresultatet kritisk: Der er forskel på sikkert og retvisende
Læreren skal vurdere testresultatet kritisk: Der er forskel på sikkert og retvisende
Progression i testsystemet vs. progression i beregneren
Beregneren for Aarhus-skoler http://www.nordicmetrics.com/aarhus Kode: [Spørg Tine: Tino@Aarhus.dk]
Forventet udbytte af deltagelse: Læreren & Vejleder vil kunne Vurdere sine elevers faglige niveau Afdække sine elevers progression Fortolke resultater, herunder skelne mellem en dårlig måling og en problematisk faglig udvikling Lederen & Vejleder vil kunne Vurdere en klasses/skoles gennemsnitsresultat Identificere de atypiske forløb Skabe refleksion vedr. klassers og enkelt-elevers progression gennem konstruktive spørgsmål
Uden frivillige test, kun obligatoriske
Behov for flere målepunkter: De frivillige test inddrages
Vigtige pointer 1 Skolerne kan ikke bedømmes på det elevgrundlag, som de tilfældigvis har fået. Men de kan holdes op på, hvad de gør med det. Progression er den mest reelle målestok for kvalitet og for effekten af skolernes indsats. De Nationale Test er designet til at være lærerens og lederens pædagogiske redskab. Valide og reliable resultater fordrer kvalificeret afvikling (sker pt. sjældent optimalt). Der er ingen garanti for, at viden om elevernes fremgang i sig selv giver progression. Men alternativet er at handle med bind for øjnene.
Vigtige pointer 2 Skal der arbejdes seriøst med progression inden for læsning/matematik, bør der testes hvert år. De frivillige test stilles til rådighed for lærerne/skolerne, men kommunen kan beslutte en politik for anvendelsen. Ved systematisk og strategisk anvendelse øges kvaliteten af informationen fra DNTresultater til både ledelse og pædagogik. Inddragelse af progression i kvalitetsrapporter og reformopfølgning fordrer i realiteten årlige test. Data skal komme via skolerne. DNT kan anvendes til monitorering, men ikke som et rent accountability-redskab. HUSK: resultaterne kan kun komme nedefra.