Halsnæs Lærerkreds 21. maj 2016 Nationale test og målorienteret undervisning Slides på www.jeppe.bundsgaard.net Professor, ph.d. Jeppe Bundsgaard
Hvilken viden giver nationale test?
Item Response Theory Ikke alle opgaver er lige svære Opgaver har sværhedsgrader Elever har dygtigheder Dygtigheder og sværhedsgrader er på samme skala
Man kan begå fejl selvom man godt normalt ville kunne løse opgaven
Definition En elev med dygtighed theta har 50% sandsynlighed for at svare rigtigt på en opgave med sværhedsgrad delta, hvor delta og theta er det samme. Hvis elevens dygtighed er lavere, er sandsynligheden mindre, hvis den er større, er sandsynligheden større. Man kan godt svare rigtigt på opgaver som er sværere end man er dygtig til. Man kan godt svare forkert på opgaver man er dygtigere end.
Et items sværhedsgrad P(T) er sandsynligheden for at en elev med dygtighed theta kan svare rigtigt på et item med sværhedsgraden delta
Nogle vigtige ord Logaritimisk kurve: En s-formet kurve som for et item med en given sværhedsgrad (delta) viser relationen mellem et elevens dygtighed (theta) og sandsynligheden for at denne elev vil svare rigtigt Logit-skalaen: skalaen mellem ±, men reelt mellem ±7 Theta: Elevens dygtighed (på logitskalaen) Delta: Opgavens sværhedsgrad (på logitskalaen) Percentil p: Den gruppe af elever som er bedre end de p-1% elever der ligger i lavere percentiler, og dårligere end de 100-p% elever der ligger i højere percentiler
Virker et item?
Virker et item?
Virker et item?
Elevdygtighed ifht. items sværhedsgrader
Er én opgave nok? Hvis opgaverne ikke er perfekte dvs. hvis en elev med dygtighed theta ikke har 100% sandsynlighed for at svare rigtigt på en opgave med samme sværhedsgrad delta, og 0% sandsynlighed for at svare rigtigt på en opgave med sværhedsgrad lige over delta... Og ikke får netop denne opgave Så skal der mere end én opgave til. Jo flere, des bedre. Opgaverne skal helst ligge tæt på elevens dygtighed Derfor er adaptive test i teorien smarte
Standard Error of Measurement SEM er et udtryk for hvor præcist estimatet for elevens dygtighed er. SEM i nationale test er typisk omkring 0,55. Sikkerheden for et givent estimat beregnes med udgangspunkt i normalfordelingskurven. Hvis man vil have 95% sikkerhed, så er intervallet for estimatet: ±0,55*1,96. Dvs. ca. ±1 logit Hvis man vil have 67% sikkerhed, så er intervallet for estimatet: ±1*0,55. Dvs. ca. ±0,55 logit
Hvad betyder en SEM på 0,45? Percentil-placering på y-aksen, theta på x-aksen. Den orange bar: interval en elev med en given dygtighed vil ligge inden for med 95% sandsynlighed Den blå streg: eksempel på hvilke elever en elev med middel dygtighed vil ligge på niveau med
Hvor mange opgaver skal der til? Beregning af Morten Puck
Præcision set som korrelation Udvikling i elevers resultater i 2. klasse, læsning, tekstforståelse mellem frivillig og obligatorisk test Tid i dage: mellem frivillig test og obligatorisk test
Korrelation mellem frivillig og obligatorisk test for alle tests MBUL (2016): Undersøgelse af de nationale tests reliabilitet
Hvorfor er adaptive test alligevel ikke så smarte endda? Marina Norling: De nationale test 2016 - hvor galt står det til? (1) http://www.folkeskolen.dk/586828/de-nationale-test-2016---hvor-galt-staar-det-til-1
Hvad er indholdet i opgaverne?
Testen på 8. klassetrin, dansk
?
?
?
?
?
?
?
?
?
Eksempelopgaver Nationale test, matematik
Hvilke områder af faget testes?
Problemerne med nationale test Måler alt for usikkert Den adaptive algoritme giver stiafhængighed Måler det forkerte Dertil kommer Elever oplever nederlag, bliver kede af det, stressede, konkurrenceorienterede Forvaltningerne styrer efter de data de har og bliver derved 'dummere' Skole-hjemsamarbejdet kommer til at handle om det forkerte
Diskussion Hvad kan vi bruge nationale test til? Hvordan får vi en diskussion i gang funderet på viden, ikke fordomme eller ønsketænkning?
Kompetencer og dannelse Læringsmål og undervisning
Fælles mål Kompetencer er den bevidste evne til at anvende viden og færdigheder i en given kontekst, eksempelvis i videre læring, i arbejde eller studier Viden omfatter faktuel viden, teoretisk og begrebslig viden, procedure- eller principviden og praksisviden Færdigheder omfatter brug af tilegnet viden og knowhow til udførelse af opgaver og opgaveløsning Kompetencer omfatter at reflektere (attitude) over viden og færdigheder
Centrale pointer Forenklede Fælles Mål peger på at kompetencer er kontekstualiserede Viden og færdigheder forstås ikke banalt og teknisk.
Hvad er faglighed? Et perspektiv En interesse En selvforståelse (rolle) og en plads i et system af relationer (position), samt en måde at kommunikere på (kommunikationsformer) og indgå i sammenhængende forløb på (storylines). En systematisk tilgang til verden En måde at opfatte noget som vigtigt, godt, rigtigt og forkert (værdier), et fokus på løsning af særlige typer af opgaver (interesse) og en måde at begrunde sine handlinger på (motiver). En social konstellation En måde at opfatte hvad verden er (ontologi), og hvordan den kan forstås, tales om og tilgås på (epistemologi). En måde at stille spørgsmål, tilgå og løse opgaver på (metode). Et sprog, samt viden, procedurer, opgaver og artefakter Et sprog til at tale om verden og opgaverne i den (begreber, diskurs), en viden om hvad der er og var i verden (fakta), opgaver der skal løses, handlemønstre til at løse opgaver i verden (procedurer), samt ting, redskaber og teknologier som anvendes i løsningen af opgaver (artefakter).
Målsætter Fælles Mål faglighed i denne forstand? Perspektiv Interesse Eleven kan organisere samarbejde om fremstilling. Eleven har viden om produktionsplanlægning, roller, faser, ressourcer, opgavetyper og deadlines (dansk, fremstilling, målparret planlægning) Systematiske tilgange Eleverne skal opnå forudsætninger for udvikling af kritisk tænkning og et værdigrundlag, så de kan deltage kvalificeret og engageret i samfundet (samfundsfagsformål) Social konstellation Eleverne skal i faget natur/teknologi udvikle naturfaglige kompetencer og dermed opnå indblik i, hvordan naturfag bidrager til vores forståelse af verden (natur/teknologiformål) Eleven kan designe, gennemføre og evaluere undersøgelser i biologi (biologi, undersøgelseskompetencemål) Sprog, viden, procedurer Eleven kan vælge relevante deskriptorer og diagrammer til sammenligning af datasæt. Eleven har viden om statistiske deskriptorer, diagrammer og digitale værktøjer, der kan behandle store datamængder (matematik, statistik, fase 1).
Kritik: Fragmentering Målene er mange og kalder på hak af -tilgang Målene er fragmenterede og skaber en fragmenteret fagpraksis Svar Det må være op til empiriske undersøgelser Herunder undersøgelser af læringskonsulenter og kommunale konsulenters opfattelser og praksisser Vi må bidrage til at kvalificere praksis med læringsmål gennem saglige undersøgelser af potentialer og faldgruber. Herunder gerne kritik af banaliseringspraksisser
Kritik: Målingshysteriet Mål er forbundet med evidentismen Måling, data, evidens repræsenterer et uhensigtsmæssigt styringsbehov Svar Mål og måle er ikke (nødvendigvis) det samme Lad os tage eksamensformer og testformer under saglig behandling Herunder i samarbejde med etnografiske studier af testpraksisser og deres konsekvenser Lad os undersøge målstyringspraksisser, herunder særligt de it-baserede, empirisk, diskursanalytisk og teoretisk
Kritik: Dannelsestabet Bevægelsen imod målbare mål og individuelle målopfyldelsesfoki fører til bortfald af fokus på fællesskab og dannelse. Svar Hvad er dannelse? Hvordan (mener I) bliver elever dannede?
Den kritisk-konstruktive didaktik Formålet er Indholdet er Kritik- og argumentationsberedskab og -kompetencer, empati, sammenhængstænkning Polært supplement epokale nøgleproblemer Centrale kompetencer selvbestemmelses-, medbestemmelses- og solidaritetskompetence Flerdimensionaliteten i menneskelig aktivitet => skolen er for livet og livet i erhvervslivet
Folkeskolen skal (stadig) danne eleverne
Folkeskolens formål Folkeskolen skal i samarbejde med forældrene give eleverne kundskaber og færdigheder, der: forbereder dem til videre uddannelse og giver dem lyst til at lære mere, gør dem fortrolige med dansk kultur og historie, giver dem forståelse for andre lande og kulturer, bidrager til deres forståelse for menneskets samspil med naturen og fremmer den enkelte elevs alsidige udvikling. Stk. 2. Folkeskolen skal udvikle arbejdsmetoder og skabe rammer for oplevelse, fordybelse og virkelyst, så eleverne udvikler erkendelse og fantasi og får tillid til egne muligheder og baggrund for at tage stilling og handle. Stk. 3. Folkeskolen skal forberede eleverne til deltagelse, medansvar, rettigheder og pligter i et samfund med frihed og folkestyre. Skolens virke skal derfor være præget af åndsfrihed, ligeværd og demokrati.
Danskfagets formål Eleverne skal i faget dansk fremme deres oplevelse og forståelse af som kilder til udvikling af litteratur og andre æstetiske tekster, fagtekster, sprog og kommunikation personlig og kulturel identitet. Faget skal fremme elevernes indlevelsesevne og deres æstetiske, etiske og historiske forståelse.
Danskfagets kompetencemål Progression gennem aktionsradius Fra det nære over skolen til det offentlige rum
Fælles Mål er situationsorienteret Et overordnet (situeret) formål Konkretiseres i et (situeret) fagformål Konkretiseres i situerede kompetencemål Underforstået: Hvad er udfordringerne i disse situationer? Færdigheds- og vidensmål er svar på spørgsmålene: Hvilke faglige tilgange, metoder, begreber og procedurer kan støtte eleven i at blive i stand til at håndtere udfordringer i situationerne?
Min kritik Ikke udtryk for sammenhængende curriculumlogik og gennemtænkt indhold Forskelligartede logikker mellem fagene Underkommunikation af mål Undereksemplificerede manglende begrebsforklaringer, manglende sammenhæng med vejledning ikke gennemtænkte inspirationsforløb Underlige fravalg Erkendelsesmål og holdnings-/indstillingsmål
Gruppediskussioner Hvad har jeres skole mest fokus på? Er jeres skolers undervisning dannende? Udvikler eleverne de kompetencer FFM sætter op? Hvordan bliver det bedre?
Hvad er målstyring Flytte opmærksomheden fra hvad vi har undervist i, til hvad eleverne har lært fra tekster og faglige procedurer til kompetencer til at håndtere udfordringer i situationer Lad os kalde det målorientering!
Hvad målorientering ikke er (eller bør være) Mål er ikke kun det der kan måles Mål er ikke simple, men må godt være enkle Mål er ikke instrumentelle Mål er ikke det eneste eleverne lærer Mål er ikke ufleksible
Hvad målorientering er (eller bør være) Mål er noget vi sigter efter, styrer efter Mål er til at forstå Om vi har nået et mål, beror på en fortolkning Det samme mål kan være meget forskelligt for forskellige personer Et mål kan nås på mange måder Hvis vi når et mål, står det næste klar Mål er en hjælp for lærere og elever
Så lad os være målbevidste! Gennem at overveje: Hvorfor skal mine elever lære dette? Hvad kan mine elever gøre for at lære dette? Differentiere mål Der er både gøre-mål, produkt-mål og læringsmål Forskellige (grupper af) elever kan deltage i samme arbejdsproces, men have forskellige gøre-, produktog læringsmål
Dataledelse med læringsplatformene
Eksempler MinUddannelse KMD Educa Meebook itslearning
Et lærings -forløb
Målstyring For det meste vil læringsmålene have afsæt i fælles mål, men de kan også opfylde andre mål for eksempel i forhold til arbejdet med trivsel, sundhed etc. Læringsplatformen skal understøtte arbejdet med målstyret læring i læringsforløb. Der skal således indgå mulighed for at arbejde med kompetencemål, udstillet af MBUL. Kompetencemålene beskriver den overordnede kompetence, som eleven skal opnå. De er obligatoriske og inddelt i fag, emner og klassetrin. Hvert kompetencemål har et målpar, der består af færdighedsmål (eleven kan) og vidensmål (eleven ved). Det er det pædagogiske personales ansvar, eventuelt sammen med eleverne, at nedbryde fælles mål til konkrete mål, for hvad netop han eller hendes elever skal kunne ved afslutning af et læringsforløb. Dette arbejde skal kunne foregå i læringsplatformen.
Målstyring ifølge UVM Omsætning til konkrete læringsmål for undervisningsforløb Valg af undervisningsaktiviteter Hvilke undervisningsaktiviteter fremmer elevernes læring? Tegn på læring Hvad er det nye, eleverne skal lære? Hvad skal eleverne kunne og vide ved afslutningen af et undervisningsforløb? Hvad viser, at eleverne har nået læringsmålene? Evaluering Hvor befinder eleverne sig i forhold til de nedbrudte mål?
Målstyring Egne formuleringer af mål Vurdering af målopfyldelse
Målpilen
At få indblik i egen praksis Når data produceres er det muligt at se bag om egen praksis
Andre indblik Hvordan går det for den enkelte elev? I forskellige fag, i relation til trivsel Hvilke områder har mine elever svært ved? Hvordan ligner og adskiller min praksis sig fra andre læreres
Dashboards
Afvejning Læreren producerer kvalitative data (tal er også kvalitative når der ikke er mange af dem) Åbent spørgsmål: hvor meget data skal jeg producere? Væsentlige spørgsmål: Hvilke data kan bruges til værdige samtaler om praksis? Hvilke data kan bruges mod mine interesser?
Gruppediskussioner Hvordan undgår vi at bruge data på en måde så lærerne begynder at handle strategisk? Hvordan undgår man datadøden som lærer, skoleleder, forvaltning? Hvordan undgår vi at det kommunale niveau bruger data så skoler og lærere begynder at handle strategisk? Hvordan støtter vi lærerne i at anvende data der kan bruges? Hvordan kan nationale testdata (ikke) bruges?
Tak for i dag