FoU-projekt: 135303 Digital formativ sprogscreening på EUD evidencenter Det Nationale Videncenter for e-læring Viborgvej 159A Hasle 8210 Århus V Tlf: 89 36 33 33 E-mail: info@evidencenter.dk Web: www.evidencenter.dk 31. december 2014 1
Version 01 Udgivelsesdato 31. december 2014 Udarbejdet af evidencenter, Det Nationale Videncenter for e-læring Forfattere Mads Vesterager Madsen, Michael Lund-Larsen Indhold i temahæftet kan med kildeangivelse frit benyttes, dog ikke til kommercielt brug. (Creative Commons License Navngivelse-Ikke-kommerciel 2.5 Danmark) 2
Indhold Baggrund og formål med projektet... 4 Målgrupper... 4 Projektets produkter... 4 Afprøvning af projektets resultater... 5 Opnåede effekter... 6 Justeringer i projektet undervejs... 7 Projektets erfaringer... 7 Projektets kommunikations-aktiviteter... 7 Forankring... 8 Projektets væsentlige konklusioner... 8 3
Baggrund og formål med projektet Projektets formål er at udvikle et formativt sprogscreeningsværktøj til EUD, der er let, tidsoverkommeligt og fleksibelt at anvende samt overskueligt, relevant og handlingsanvisende at aflæse. Det er målet, at sprogscreeningsværktøjet skal kunne anvendes i forbindelse med start på en erhvervsuddannelse til afdækning af både etnisk danske elevers og tosprogede elevers sproglige forudsætninger for at deltage med udbytte i undervisningen. Denne afdækning skal give nødvendig viden ift. at planlægge form, indhold og omfang af undervisning for gruppen. Værktøjet skal desuden kunne anvendes til at afdække undervisningsmæssige udfordringer i forhold til relevante førfaglige ord og begreber (gråzonesprog) på 4 af erhvervsuddannelsernes indgange. Værktøjet skal efterfølgende kunne udvides med flere indgange. Endelig er det målet, at udvikle modeller til opfølgning på sprogscreeningsværktøjets resultater. Målgrupper Projektets primære målgruppe er elever, der er optaget på en erhvervsuddannelse, idet sprogscreeningsværktøjets resultater først og fremmest skal medvirke til at sikre disse elever de bedst mulige undervisningsmæssige vilkår for at gennemføre den uddannelse, de er optaget på. Sekundært er projektets målgruppe lærere og læsevejledere ved erhvervsuddannelserne, idet sprogscreeningsværktøjets resultater skal kunne anvendes som planlægningsværktøj i forhold til undervisningens tilrettelæggelse. Projektets produkter Ved projektets start blev projektets formål fortolket i følgende uddybning: Testen skal afdække elevens færdigheder inden for Læsning, Skrivning og Lytning (samt Tale) i forhold til den europæiske referencerammes niveau B2. Den enkelte indgang/uddannelse skal selv kunne fastlægge adgangsniveauer i forhold til denne måling. Der afdækkes det nødvendige bedst muligt med færrest mulige testopgaver. Der afdækkes netop det, der efterfølgende kan gøres noget ved altså det skolen kan handle på det. Det mål er nået. På bare 36 minutter gennemfører den potentielle EUD-elev screeningstesten, som afdækker elevens læse-, lytte- og skrivekompetencer. Et væsentligt supplement til den objektivt scorbare screening er den optionelle frie skriftlige del, som kræver evaluering af en dansklærer eller læsevejleder. Begge dele samles i en række operationelle kompetencespind, oversigter over scorer og adgang til detaljerede besvarelser. Screeningen bidrager til elevens, faglærerens, studievejlederens, dansklærerens, læsevejlederens og skolens viden og dermed handlingsberedskab. Det blev vurderet at Tale alene kunne vurderes ved en selvvurdering, hvorfor det besluttedes at lade dette område teste gennem den selvevaluering, som er knyttet til B2. Vurdering af elevens mundtlige kompetencer, kan derfor dels foregå ved selvevaluering og dels finde sted i forbindelse med erhvervs- og studievejlederens indslusningssamtale med eleven. Synes det er meget nemt at arbejde med. Let og overskueligt for læreren. Og eleverne behøver ikke nogen lang gennemgang af hvad de skal de kan selv bare gå i gang. (CBH Vest) Desuden var målet, at sprogscreeningsværktøjet skulle kunne anvendes i forbindelse med erhvervsuddannelsernes forskellige indgange til at afdække undervisningsmæssige udfordringer i forhold til relevante førfaglige ord og begreber (gråzonesprog) i relation til faglig læsning og skrivning. I første omgang skulle værktøjet dække 4 ud af de i alt daværende 12 indgange. 4
Der er udviklet fire adskilte og målrettede test af gråzoneord ift. hhv. SOSU, den merkantile indgang, bygge og anlæg samt køkken og kantine. Endelig var det målet, at udvikle modeller til opfølgning på sprogscreeningsværktøjets resultater. Til det formål er der udviklet en vejledning til tolkning af og handling på baggrund af screeningsresultaterne. Der er nu tilgængelig på materialesitet: http://avendoc.ventures.dk/vis_materialesamling.asp?id=idlrmjxf2hjls&skole=adv Desuden trækker projektet på de mange bidrag, der er udviklet i projekt Bedre faglig læsning og skrivnings andre delprojekter. Endelig bliver screeningsværktøjet en integreret del af Den sproglige dimension / projekt Gråzonesprog, som er et undervisningsministerielt projekt rettet mod i første omgang 13 erhvervsskoler. Afprøvning af projektets resultater Udviklingen af screeningen blev fra starten underlagt en række kvalitetskrav, der er udviklet af evidencenter igennem en lang række projekter, hvoraf udviklingen af De Nationale Test til grundskolen er det mest omfattende. Kvalitetskravene opfyldes i forbindelse med gennemførelse af udviklingsprocessen efter følgende procedure: Kvalitetssikringsmetode ved konstruktion af test Ved hjælp af metoden blev undervisningsmålene fra B2 først grupperet i områder. Disse områder blev herefter omformet til testmål, der hver især kun beskriver en færdighed eller et vidensmål. Hvert testmål blev derefter omsat til en række opgaver, der har til formål at teste det enkelte testmål. Opgaverne blev ved hjælp af en række kvalitetsfaktorer for design af test (indgår i testmanualen) samt et udbud af forskellige digitale testopgaveskabeloner omsat til et testformat i en opgaveskabelon. Den enkelte opgaves konstruktion er dokumenteret i en test-drejebog. Der blev udviklet i alt 29 testmål og i alt 124 testopgaver. I arbejdet med at udvikle screeningsværktøjet har det været testet gennem flere intensive forløb. De to sidste i større skala. I foråret 2014 gennemførtes en pilottest med 4 skoler involveret, og 86 elever blev testet med henblik på afprøvning af, om de enkelte testopgaver fungerede, eller om visse af opgaverne blev besvaret uhensigtsmæssigt i forhold til testmålene. De 124 testopgaver blev fordelt på 4 sæt af ca. 40 testopgaver og hver afprøvet i en klasse. På baggrund af denne afprøvning blev udvalgt i alt 60 opgaver til den endelige afprøvning. 5
I efteråret var 27 skoler involveret, og mere end 2700 gennemførte testen i afprøvningsprocessen. Skolerne meldte sig frivilligt, men i tildeling af testsæt til afprøvning sikredes det, at afprøvningen blev repræsentativ på både skolestørrelse, geografi og indgang samt sikkerhed for, at der indgik både etnisk danske og tosprogede elever. Yderligere 23 skoler meldte deres interesse, men en del faldt fra af forskellige årsager og en del nåede først at afprøve testen efter deadline for indsamling af afprøvningsdata. Efterårets afprøvnings formål var at danne grundlag for en statistisk (psykometrisk) analyse af testopgavernes egenskaber i forhold til at måle elevernes viden og færdigheder. De 60 opgaver blev fordelt på 2 sæt med i alt 36 testopgaver i hvert sæt. Sættene overlappede hinanden med 12 opgaver, der var udvalgt specielt med henblik på at kunne skabe et fælles grundlag for den efterfølgende analyse. Vi valgte at udsætte afprøvningsdataene for den mest restriktive psykometriske analyse der kendes nemlig en Rasch-analyse. Rasch-analysen godkendte 52 (87%) af de 60 testopgaver til etablering af en fælles måleskala, der kan måle elevernes viden og færdigheder på området med generelt anerkendt forskningsbaseret sikkerhed. En godkendelsesprocent på 87% er uhørt højt i en Rasch-analyse, hvilket i høj grad kan tilskrives den kvalitetssikrede konstruktionsmetode. De 52 testopgaver er fordelt i to endelige opgavesæt af hver 36 testopgaver, der hver for sig kan anvendes til screening af EUD-elever. Der foreligger således et screeningssæt, der kan anvendes ved EUD-elevernes start på uddannelsen samt et sæt, der hvis det ønskes kan anvendes efter et halvt år til at måle elevernes progression. Ud over den statistiske analyse bidrog afprøvningsskolerne også med kvalitative evalueringer af selve screeningstesten og proceduren omkring screeningen. Disse evalueringer blev indsamlet systematisk via kommentarark og er samlet i en fælles opsamling, der dannede grundlag for en række tilpasninger af vejledninger og procedurer samt en række froslag til videreudvikling af værktøjet. Den generelle tilbagemelding var meget positiv. Opnåede effekter Den brede afprøvning af screeningen har bidraget dels til sikring af kvaliteten og dels til kendskabsniveauet for screeningsværktøjet. Det har været udbredt tilfredshed med både det tekniske setup og med værdien af de leverede data, overskueligheden og anvendeligheden. De mange gennemførte test og mange tilbagemeldinger har resulteret i kvalitetsudvikling med justeringer i opgaveformuleringer, layout og teknisk afvikling. Blandt testskolerne har der overvejende være EUD-skoler, men der har også været produktionsskoler, som har set værdien af screeningen: Jeg er super glad for værktøjet, og det er en stor hjælp i danskundervisningen på en produktionsskole, hvor der er stor og hyppig udskiftning af elever. En god screening er her rigtig vigtig. (Produktionsskolen Midt). Den omfattende testning har desuden bidraget til, at det har været muligt med opbakning fra testskolerne at fastsætte vejledende græseværdier for, hvilke elever i den lave ende af skalaen (50 %), der bør SPS-testes (specialpædagogisk støtte: kompenserende værktøjer fx i form af it-rygsæk). Det drejer sig om ca. 23 % af eleverne, og det er vores erfaring, at vi gennem screeningen opdager ca.7 %, der ikke i grundskolen er blevet afdækket som elever med behov for kompenserende udstyr og støtte. Yderligere ca. 7 % af de 23 % møder allerede med kompenserende udstyr og støtte, der er tildelt i grundskolen. En rigtig fin test. Vi oplever den som et godt værktøj i forhold til hurtigt at kunne sætte ind over for elever med skriftsprogsvanskeligheder, samt få et præcist billede af hvori problemet består. Det er af stor vigtighed for os, at kunne finde de elever i løbet af den første uge, og ikke som nu efter 1,5 måned. (Asmildkloster Landbrugsskole). Desuden har vi kunnet fastsætte grænseværdier i den høje ende af skalaen (80 %) for elever, der har læse-, skrive- og lyttekompetencer, der sætter dem i stand til at få fuldt udbytte af læsning af undervisningsmidlerne og af 6
undervisningen. I forbindelse med afprøvningen havde vi meldt ud, at græsen efter vores vurdering ville ligge helt oppe på 85 %. Men de efterfølgende analyser viser, at grænsen i forhold til B2-niveauet kan lægges på 80 %. En grænse på 85 % vil indsnævre den øverste gruppe til 7 9 % svarende til den andel af EUD-elever, der er startet på uddannelsen med karakteren 7 eller derover i folkeskolens afgangsprøver. Og det er selvsagt ikke hensigtsmæssigt, idet denne gruppen ligger noget højere end B2-grænsen. Justeringer i projektet undervejs Projektet fulgte projektplanen hele vejen. Aarhus TECH meldte sig ud af projektet i foråret 2014, hvorefter Århus Købmandsskole overtog de forpligtelser, som Aarhus TECH havde i projektet. Projektets erfaringer Et overraskende stort antal skoler, der har vist interesse for screeningsværktøjet og har bidraget som testskoler. Et produkt af testningen af 2700 elever og af den kommende brug af screeningsværket er, at der indsamles omfattende viden om potentielle danske EUD-elevers sproglige kompetencer. Det bidrager med værdifuld viden om udviklingen i elevforudsætninger fra år til år, afdækning af særligt problematiske felter, men også ressourcer og potentialer. Projektets kommunikations-aktiviteter For mange unge er det at kunne læse og skrive én af de største udfordringer og samtidigt én af de største barrierer, for at kunne gennemføre deres erhvervsuddannelse. Skoler med erhvervsrettede uddannelser skal derfor til stadighed identificere, videreudvikle og implementere metoder og værktøjer, der kan støtte eleverne i at blive bedre til faglig læsning og skrivning. Erhvervsskolerne er desuden forpligtet til at gennemføre en kompetencevurdering af eleven inden for de to første uger efter påbegyndelse af undervisningen (hovedbekendtgørelse, 50, stk. 3). Screening af sprogfærdigheder kan anses som en væsentlig del af afklaring af elevens niveau og behov. Nøgleordene omkring screeningen er: Screening af elevers læse-, tale-, skrive- og lyttefærdigheder Anvendelighed bredt fagligt i hele EUD, samt for etnisk danske elever og for elever med anden etnisk baggrund end dansk Brugervenlighed og overkommeligt tidsforbrug for brugere Let forståelige testresultater, gerne grafisk anskueliggjort Testresultater både som individprofiler og som gruppe-/klasseprofiler Pædagogisk og testfaglig validitet Klare muligheder for pædagogisk håndtering af testresultater i praksis Kommunikationsaktiviteterne har understøttet ovenstående med informationsark, webinar, direct mail til primære målgrupper, materiale til artikler mm. 7
Målet for kommunikationen har i særlig grad været: At understøtte videndeling og information, så projektet National sprogvisitering af EUD-elever s erfaringer og resultater kommer ud til at alle relevante parter med særligt fokus på den primære målgruppe (se senere) At understøtte dokumentationen i forhold til digitale sprogscreeningstest Den primære målgruppe for kommunikationen udgøres af de lærere og læsevejledere i projektet, som skal teste og arbejde med sprogscreeningsværktøjet i praksis. Formålet har været at styrke samarbejdsrelationer, videndeling, networking, erfaringsudvekskling og synliggørelse af resultater. Leverancer og resultater i forbindelse med kommunikationsplanen: Udarbejdelse og løbende opdatering af informationsark om værktøjet Uddelt til samtlige konferencer i projektet, herunder slutkonferencen Direct mail til alle primære målgrupper om værktøjet Testet af over 25 testskoler og 2700 elever Webinar med Michael Lund-Larsen som sprogscreeningsværktøjet https://evidencenter.adobeconnect.com/p5shc4htaqb?launcher=false&fcscontent=true&pbmode=normal Løbende information om projektet på euddansk.dk, evidencenter.dk, ventures.dk og vifin.dk Artikel om værktøjet Digitalt værktøj giver viden om EUD-elevers faglige niveau Artikel Bedre faglig læsning Materialesamling, herunder manual: http://avendoc.ventures.dk/vis_materialesamling.asp?id=idlrmjxf2hjls&skole=adv Debatindlæg http://www.hl.dk/debatindlaeg-vi-kunne-ogsa-vaelge-de-rodharede/664 Forankring Screeningsværktøjet bliver stillet gratis til rådighed for landets EUD-skoler i 2015, herefter kan skolerne mod et mindre bidrag til vedligehold af testen og driften af servere m.m. fortsat kunne anvende testen. Ikke mindst integrationen med ElevPlan og UNI-Login har lettet hele den administrative proces omkring screeningen væsentligt. I Elevplan er det muligt via en skemabrik at linke direkte til screeningen, og via UNI-Login er skabt en integration, der dels sikrer start af testen umiddelbart uden ekstra login og dels sikrer en organisering af testdata i den klassestruktur, som skolerne allerede anvender i fx ElevPlan. Århus Købmandsskole anvender allerede nu testen over for samtlige nye EUD-elever. Det resulterer fx i mere kvalitet i klasseformering, afdækning af et stort antal elever med behov for SPS-støtte og det bidrager med værdifuld viden, som læsevejlederne formidler til teams, faglærere og dansklærere, der formidler resultater og oversigter til eleverne. Derudover har fx Tietgenskolen, Frederikshavns Handelsskole og Teknisk Skole Silkeborg anvendt testen i stor skala og med positive resultater. Endelig bliver screeningsværktøjet en integreret del af Den sproglige dimension / projekt Gråzonesprog, som starter primo 2015 og som involverer i første omgang 13 erhvervsskoler. Her vil screeningen indgå som optakt til og nødvendig baggrundsviden for projektdeltagerne i arbejdet med værktøjer og metoder til at adressere problemet med mange elevers manglende sproglige kompetencer. Projektets væsentlige konklusioner Tidlig og præcis screening er af uvurderlig betydning for faglærerne, eleverne, læsevejlederne, studievejlederne og skolerne. Projektet har bidraget til afdækning af det omfattende behov for faglig læsning og skrivning på landets erhvervsskoler. De mange detaljerede testdata, der nu indsamles, indeholder værdifuld viden om nuværende og kommende elevers sproglige kompetencer. En yderligere granskning af data vil kunne kortlægge fx: 8
hvordan udvikler danske erhvervsskoleelever sproglige kompetencer sig fra år til år? hvordan er niveauet af elevernes sproglige kompetencer og ressourcerne fordelt på EUD-indgangene? hvor mange procent af eleverne kender hvilke gråzoneord? hvor mange ordblinde elever og elever med behov for kompenserende støtte er der, og hvor mange er ikke tidligere afdækket? hvilke typer stavefejl, begår eleverne, og hvilke stavemåder anvender eleverne, der begår fejlene? og mange andre aspekter, der vil udgøre supplere viden for skolernes og lærernes handlinger. Endvidere vil screeningsværktøjet kunne udbygges og videreudvikles, så det ikke alene anvendes ved indgangen til uddannelsen, men kan fungere som formativ testning, der kan måle fremgang i elevernes sproglige kompetencer hen over uddannelsen. Andre oplagte muligheder for at videreudvikle testen er: at der rundt omkring på skolerne fastlægges operationelle græseværdier mellem: a) den gruppe af elever, der i kraft af vejledning, selvindsigt og egnede metoder kan gennemføre uddannelsen med udbytte, uden at der etableres særlig støtte, og b) den gruppe af elever, der er afhængig af, at faglig læsning og skrivning prioriteres, at lærermidler udvælges med omhu, at der er tilpasse udfordringer, sejre og progression etc. at testen matches op mod: a) den nye EUD-adgangsprøve, som elever får tilbudt, hvis de ikke har 02 i folkeskolens afgangsprøve b) FVU trin 3 og 4 at testen suppleres og at grænseværdier justeres i ft den nye EUD-reform, så den nationale EUDscreeningstest kan anvendes som indikation for, om potentielle elever har de nødvendige sproglige kompetencer til at kunne gennemføre fx EUX 9