Elektroniske test i undervisningen

Transkript

1 Elektroniske test i undervisningen Lise Kompetencecenter for e-læring Sønderhøj Viby J Tlf: Fax: info@ventures.dk Web: marts 2006

2 Elektroniske test i undervisningen Temahæfte marts Kompetencecenter for e-læring Forfatter: Lise Steinmüller Faglig og sproglig korrektur: Gitte Christensen Sproglig korrektur: Marianne Skovbogaard Indhold i temahæftet kan med kildeangivelse frit benyttes Kompetencecenter for e-læring Indholdsfortegnelse Elektroniske test i undervisningen...3 Udvikling og anvendelse af test...3 Indledning...3 Anvendelse af test...10 Test og basisviden...11 Forarbejde til testudvikling...12 Test og klare mål...16 Arbejdsmåder, tankegange og anvendelse...18 Genbrug af testopgaver...19 Adaptive test...20 Metode...22 Testopgave-typer...25

3 Elektroniske test i undervisningen Udvikling og anvendelse af test Dette temahæfte er et forslag til, hvordan man som underviser kan udvikle og anvende test i undervisningen. Indholdet bygger på erfaringer fra en række projekter, senest Fou nr Indledning Fordelene ved elektronisk test er, at det er let at differentiere på, om alle skal have ens spørgsmål eller forskellige spørgsmål, og at retning og registreringen af resultater sker automatisk. Samtidig med, at man undgår at skulle rette besvarelserne, får man et godt overblik over standpunkter. Udfordringerne ved at anvende test består i at udvikle test, som ikke væsentlig adskiller sig fra den arbejdsform, de lærende ellers anvender, samt sikre, at testen reelt tester på det faglige niveau, man ønsker. Testen særligt når formen bruges systematisk og foregår elektronisk - er en opgaveform, som ikke er almindelig anvendt i Danmark. Det fleste undervisere har dog arbejdet med testopgaver med frisvarsmulighed og multiple choice-opgaver i papirform - sidstnævnte ofte med tre til fire svarmuligheder, men kun få har erfaringer fra systematisk elektronisk testanvendelse. Test og taksonomisk niveau Der kan testes på flere taksonomiske niveauer. Man kan således teste både viden, forståelse og anvendelse, lidt afhængigt af hvilket fagområde og uddannelsesniveau der skal testes i. Det er ikke afgørende, hvilken taksonomi der anvendes. Den valgte skal bare anvendes konsekvent inden for den samme testopgave, så de mulige forkerte og rigtige svar ikke kommer fra forskellige taksonomiske områder. Eksempler på mulige taksonomier: 3

4 Eksempel 1 1,2 Eksempel 2 Studiemodel for færdighedsindlæring 3 : nybegynder avanceret begynder kompetent kyndig ekspert følger regler slavisk bruger færdighederne lidt i andre sammenhænge teori og refleksion spiller mere ind regler kan bruges selvstændigt og i flere sammenhænge reglerne er glemt, den lærende kan bruge intuition og arbejde med en kompleks konstruktion af viden som baggrund for handling Eksempler på test grupperet efter Blooms taksonomi. Eksemplerne er fra matematik, dansk, tysk og virksomhedsøkonomi på HHX. 1 Baseret på Blooms taksonomi 2 Illustration udført af Jette Koefoed 3 Frit efter Dreyfus og Dreyfus, Dansk pædagogisk tidsskrift En studiemodel er en anden måde at grupperer taksonomier på. Det der især testes, når man anvender studiemodellen som udgangspunkt, er anvendelsesniveauet. 4

5 Matematik 4 Anvendelsesniveau Dette testspørgsmål er fra testopgavetypen Indsættelsesøvelse. Den lærende får præsenteret dele af løsningen af en førstegradsligning og skal trække de manglende og rigtig mellemregninger på plads. Der er angivet flere svarmuligheder end der er rigtige svar, således at sandsynligheden for rigtige svar ved gæt reduceres. I dette testspørgsmål testes der på anvendelsesniveauet. Matematik 5 Viden om Dette testspørgsmål er fra testopgavetypen multiple choice. Spørgsmålet er det første af tre spørgsmål, hvor den lærende med udgangspunkt i en lille case skal anvende sin viden om førstegradsfunktioner til at beskrive ligninger i praksis. 4 Test udarbejdet af Jesper Christensen Lyngby Uddannelsescenter 5 Test udarbejdet af Jesper Christensen Lyngby Uddannelsescenter 5

6 Matematik Forståelse Dette testspørgsmål er fra testopgavetypen Tipskupon. Den lærende skal for en række udsagn om førstegradsligninger afkrydse, hvorvidt udsagnet er sandt eller falsk. Den lærende skal demonstrere sin forståelse for førstegradsligninger i en tekstsammenhæng. Matematik 6 Forståelse for I dette testspørgsmål er testopgavetypen Rækkefølgeøvelse anvendt. Den lærende skal trække udsagnene på plads, således at den rigtige løsningsmetode fremkommer. I eksemplet skal den lærende demonstrere forståelse for en løsningsmetode uden at skulle løse en konkret ligning. 6 Test udarbejdet af Jesper Christensen Lyngby Uddannelsescenter 6

7 Virksomhedsøkonomi 7 Viden I dette testspørgsmål er Indsættelsesøvelse valgt som testopgavetype. Den lærende får et lille caseoplæg, som den efterfølgende tekst er en forlængelse af. I dette testspørgsmål er antallet af svarmuligheder lig antallet af rigtige svar. Den lærende skal demonstrere viden om en konkret virksomhedsøkonomisk model i en anden sammenhæng, end der normalt testes i. 7 Test udarbejdet af Mette Brinch Thomsen Grenaa Handelsskole 7

8 Virksomhedsøkonomi 8 Viden Dette testspørgsmål er af typen Multiple choice. Den lærende får præsenteret et oplæg vedr. en virksomhedsøkonomisk model, som danner baggrund for besvarelsen af selve testspørgsmålet. Den lærende testes her på sin viden om et fagligt begreb. 8 Test udarbejdet af Mette Brinch Thomsen Grenaa Handelsskole 8

9 Dansk 9 Anvendelse Dette spørgsmål er af typen Multiple choice i skemaform. Den lærende præsenteres for en række tekstuddrag, hvor ud af synsvinklen skal bestemmes. I dette eksempel testes evnen til at anvende en række dansk faglige begreber i en konkret tekstsammenhæng. Tysk 10 Viden om I dette testspørgsmål er testopgavetypen Regeløvelse anvendt. Den lærende skal klikke på det rigtige kendeord/bøjning hørende til den viste sætning. Her testes på det laveste erkendelsesniveau. 9 Test udarbejdet af En række hhx-dansklærere fra Aalborg Handelsskole 10 Testudarbejdet 9

10 Anvendelse af test Elektroniske test er særlig anvendelige ved afdækning af faglige niveauer inden for: Paratviden Faktuelle oplysninger Nødvendig basisviden Visse former for bevisførelse Aflæsning af oversigter Basisviden indenfor et fagområde Og kan ofte anvendes i forbindelse med f.eks.: Grammatik Sætningskonstruktioner Stavning Formler Regne og matematik stykker Afdækning af ordforråd Simple oversættelser En almindelig test vil derimod oftest ikke kunne bruges til afdækning af f.eks.: Argumentation Fri tekster af længere art Analyser Komplekse forsøg Mundtlighed udover simple sætninger Ikke målbare kompetencer eller viden så som kreative løsninger og arbejdsformer Sidstnævnte kan i et vist omfang afdækkes med spil og simuleringer, som dog ligger uden for dette skrifts indhold. Test kan afdække viden og færdigheder, men ikke kompetencer, idet kompetencer som udgangspunkt kræver en handlefrihed, som det ikke er muligt at tilbyde i elektroniske test. For at afdække kompetencer skal man i stedet arbejde med simuleringer eller spil. Færdigheder 11 : Evnen til at udføre en aktivitet, der bidrager til effektiv udførelse af et trin i en opgave. 11 Standardiseringsorganisationen IEEE 10

11 Viden 12: Viden om fakta, måder og midler til at håndtere fakta samt generelle principper og teorier. Kompetence 13 : Den demonstrerede (i praksis) evne og vilje til at varetage bestemte og beskrevne opgaver og eller funktioner under bestemte betingelser. Figur 1: Grafisk oversigt over, hvad der kan testes. Test og basisviden Et generelt træk ved mange test er, at deres formål er at afdække de lærendes basisviden inden for et fag eller inden for et tema. Basisviden definerer vi som: den faglige viden, en lærende forventes at have tilegnet sig efter et endt undervisningsforløb, så den lærende kan: arbejde komplekst med det faglige indhold samarbejde ud fra en fælles kontekst løse opgaver på næste niveau Resultaterne af test af basisviden kan anvendes på flere måder: Som et træningsværktøj for den lærende. Dette kræver en respons på både rigtige og forkerte svar, som den lærende kan bruge i sin videre proces. 12 DEL 13 DEl 11

12 Som en standpunktsvurdering af, hvor langt en lærende eller klasse er nået i forståelsen og anvendelsen af faget eller temaets basisviden Som underviserens didaktiske redskab i forbindelse med planlægningen af fremtidige forløb. Eksempler på basisviden 14 : Virksomhedsøkonomi på HHX For at kunne vurdere en virksomheds strategiske muligheder skal den lærende kunne indplacere stærke/svage sider og muligheder/trusler korrekt i en SWOT-matrix. Samfundsfag de gymnasiale forløb For at kunne diskutere regeringens økonomiske politik skal den lærende have viden om de økonomiske mål. Eksempel på test i basisviden 15 Bogføring på HHX Vis den korrekte bogføring af nedenstående bilag på de viste t-skitser (kontoskitsetest). Den lærende skal anvende viden om bogføringsreglerne til at demonstrere færdigheder i at foretage korrekte posteringer. Marker ved afkrydsning om de viste posteringer på t-skitser er foretaget korrekt (sand-falsk). Den lærende skal anvende viden om bogføringsreglerne til at afgøre om en række givne posteringer er korrekte. Træk de viste bilag op i den korrekte kategori afhængig af, om bilaget vedrører indtægter, omkostninger, aktiver eller passiver. (Indsættelsesøvelse). Den lærende skal anvende sin viden om bogføringsreglerne til at afgøre, hvordan påvirkningen er i regnskabet. Forarbejde til testudvikling Udgangspunktet for en test er fagets mål. Inden opgaveudvikleren går i gang med at udarbejde test er det en fordel, helt overordnet at tage stilling til følgende: Hvilke mål eller dele heraf der kan testes Hvilke mål der kan evalueres på andre måder Hvilke måder Hvordan et mål omformes til en række læringsmål, som kan testes Hvordan et læringsmål formuleres, så det er objektivt 14 Jeanette Hassing, Århus Købmandsskole, HHX 15 Jeanette Hassing, Århus Købmandsskole, HHX 12

13 målbart kan afdække den lærendes faglige niveau Under de faglige niveauer, hvor beskrivelsen ofte anvender en taksonomi, bør det afgøres: om testene skal formuleres så det samme spørgsmål stilles på flere taksonomiske niveauer, og om de lærendes niveau så afhænger af, hvor komplicerede spørgsmål de har kunne besvare om der skal stilles en stribe af spørgsmål inden for det samme færdighedsområde, og om antallet af rigtige svar så indikerer den lærendes niveau Yderligere bør man afgøre, hvad den lærende som minimum skal kunne svare på for at være på middelniveau i et fagområde. Læringsmål 16 : Et præcist 3-delt udtryk, der beskriver, hvad deltageren skal være i stand til at udføre udtrykt som den forventede deltager-præstation under specifikke betingelser i forhold til specifikke anerkendte kriterier. Læringsmål skal klart og entydigt beskrive, hvilke deltager-præstationer der skal være demonstreret for at kunne vise kompetence (færdighed) i det lærte stof. Hvis læringsmål skal kunne testes, kan følgende anvendes ved vurderingen af, om de er testbare: Tjekliste for gode læringsmål 17 : Giver målene en klar fornemmelse af meningen med forløbet? Udtrykker målene klart, hvordan formålet med forløbet kommer til udtryk? Hjælper disse mål dig til at definere, hvad du forventer, at dine deltagere skal kunne håndtere efter at de har afsluttet forløbet? Beskriver målene et læringsniveau (taksonomi)? Er de anvendte verber udtryk for noget, som kan observeres eller evalueres? Er det let at se, hvilke aktiviteter der skal til, for at deltagerne kan arbejde med stoffet og træne brugen? Desuden kan der overvejes følgende, når læringsmål skal designes1: Relevante Realistiske Meningsfyldte Tydelige Lærebogsuafhængige 16 Standardiseringsorganisationen IEEE 13

14 Inden man går i gang med den konkrete udarbejdelse af test, er det en fordel at få klarlagt Hvilken testform der skal anvendes: Er der f.eks. tale om en test, der skal visiterer de lærende ind på forskellige niveauer i et forløb, test som de lærende selv kan anvende som led i deres læring, eller test, der skal vise, om et mål er nået? Hvilket taksonomisk niveau der skal bruges i testspørgsmålene. Her bør der være en klar afspejling af den reelle viden, som den lærende skal kunne håndtere. Hvordan vægtningen er mellem fagets eller temaets forskellige indholdsområder. Hvilken kompleksitetsgrad de lærende skal kunne håndtere. Visiteringstest Ved visiteringstest bør testene dreje sig om de faglige forventninger, man har til de lærende, når de skal påbegynde et forløb, en uddannelse eller et nyt fag. Træningstest kræver præcis respons, som den lærende kan anvende til at få en større forståelse for faget. Måltest kan anvendes både til underviserens didaktiske overvejelser og til den lærendes vurdering af målopfyldelsen. Taksonomisk niveau Hvis der i et fag er krav om, at de lærende skal kunne arbejde selvstændig, analytisk og problemløsende, er det ikke nok at stille testspørgsmål, som er rettet mod ren faktuel viden. Vægtning i faget Hvis et givet fag består af 7 temaer med forskellige vægtning, bør antallet af test og sværhedsgraden i disse afspejle den samme vægtning. Hvis et tema dækker 30 % af et fags indhold, bør der således i testen være spørgsmål til temaet svarende til ca. 30 %. Kompleksitetsgrad Hvis hele formålet med et fag eller en uddannelse er, at de lærende skal kunne forholde sig til komplekse forhold, er det vigtigt at gøre sig klart, at disse ikke lader sig afdække ved en test. Ved den elektroniske test kan der kun afdækkes mindre komplekse forhold eller den faktuelle viden eller de færdigheder, som bør være til stede for at kunne forholde sig korrekt til det faglige indhold. 14

15 Objektive kriterier Når man vil bruge test, er det nødvendigt at arbejde ud fra objektive kriterier. Der er masser af faglige områder, hvor dette ikke volder problemer. For eksempel er der kun ét rigtigt svar til lysets hastighed, reglerne for højre vigepligt er fuldstændig entydige, og vand har kun ét kogepunkt. Inden for andre områder kan der være komplekse hensyn, der vanskeliggør et entydigt svar. Nogle fagområder er subjektive i deres natur og kan derfor ikke umiddelbart afprøves i en objektiv test, og andre har et fagligt niveau, som slet ikke kan afspejles i en test. 1. Et eksempel på et kompliceret fagligt indhold kan være: Hvordan opstår sorte huller i rummet? 2. Et eksempel på subjektive forhold kan være: Vurder følgende 5 tekster, hvilke af disse synes du er lettest at forstå? 3. Et eksempel på et komplekst forhold kan være: Redegør for, hvordan du vil prioritere følgende opgaver, som du får af forskellige kolleger tirsdag morgen. Eksempel 1: Hvordan opstår sorte huller? I dette eksempel vil et automatiseret svar i forbindelse med en elektronisk test kun kunne vise, om den lærende har en helt overordnet viden om sorte huller, og vil ikke kunne vise en forståelse for de komplicerede forhold, der ligger bag svaret. Ofte vil det ikke være optimalt at anvende test i forbindelse med komplicerede faglige forhold. Spørgsmålet kan måske godt anvendes i folkeskolen, men næppe overfor en astronomistuderende. Eksempel 2: Vurdér 5 tekster I dette eksempel bliver de lærende bedt om deres subjektive opfattelse. Her er der risiko for, at deltagerne svarer vidt forskelligt og endda med gode begrundelser. Udfordringen ligger i at få sat værdi på de mulige subjektive løsninger. Med andre ord er opgavestilleren nødt til at opstille rammer for acceptable svar inden for de mål, der er i forhold til det lærte. Eksempel 3: Prioritering af opgaver Hvis man skal teste komplekse forhold, bør man overveje at anvende simuleringer eller spil, hvor den lærende stilles over for en række ligeværdige valg, og hvor det er vejen frem til målet, der vurderes sammen med det endelige resultat. Fra subjektive beskrivelser til objektive mål Vurder følgende 5 tekster, hvilke af disse synes du er lettest at forstå? Eksempel på omformulering til objektiv beskrivelse 15

16 I dette forløb skal du lære at skrive tekster til intern brug i virksomheder. Der vil blive lagt vægt på, at du lærer at skrive i et direkte sprog med anvendelse af aktive verber, at undgå sætningsafløsere at bruge danske ord frem for forkortelser og fremmedord at bruge korte, overskuelige sætninger med maksimum 17 ord per sætning Med udgangspunkt i de klare mål for forløbet er det nu muligt at teste, om de lærende har tilegnet sig viden i forhold til målene. Eksemplet med de fem tekster kan nu anvendes ud fra en objektiv ramme, idet det må formodes, at det eneste rigtige svar er den tekst, der opfylder målene for forløbet. Yderligere er det muligt at teste deltagernes viden om de enkelte mål. En ide kunne for eksempel være at lave en test med en række sætningsafløsere, der skal udfoldes til hele sætninger. Test og klare mål Der skal opstilles klare mål for, hvad de lærende skal tilegne sig af viden. Det er i forhold til disse mål at der skal testes. Hvis der til et fag ikke er klare mål, som fremstår objektive og målbare, er det nødvendigt at opgavestilleren inden udarbejdelse af testene udarbejder klare objektive læringsmål. Derfor skal det identificeres, præcis hvad man vil vide om den lærendes færdigheder og viden inden for faget. Eksempel på mål fra Biologi trinmål 8 klasse: Gøre rede for eksempler på naturlige og menneskeskabte ændringer i økosystemerne og deres betydning for den biologiske mangfoldighed. For at kunne udarbejde test, der afdækker den lærendes færdigheder i forhold til ovenstående mål, skal målet indholdsmæssigt præciseres. Der skal f.eks. opstilles læringsmål, som er objektive og målbare, samt tages stilling til, på hvilket taksonomisk niveau der skal testes, for at det afspejler den faglige viden, der skal være til stede, for at den lærende kan opfylde de faglige mål. Det er altså centralt, at testudvikleren har gjort sig klart, hvilket mål testen skal afdække, og på hvilket fagligt niveau. Skal den lærende for eksempel testes i sin viden om miljøpolitik eller i sin viden om den miljømæssige betydning af genopretning af landskaber? Skal vedkommende kunne genkende formlen for fotosyntes eller kunne bruge den i en sammenhæng. Herunder gives seks eksempler på forskellige test om fotosyntesen, udarbejdet ud fra følgende trinmål fra faget Biologi i 8. klasse, under overskriften De levende organismer og deres omgivende natur. 16

17 Gøre rede for hovedtræk af fotosynteseprocessen og dens grundlæggende betydning for økosystemerne Nummer Spørgsmål Testopgaveform Hvad testes 1 Skriv formlen for fotosyntese Indtastningsspørgsmål Her viser de lærende, om de kan huske formlen for fotosyntesen udenad. Taksonomisk er der tale 2 En af følgende formler er formlen for fotosyntese hvilken? 3 Vælg mellem følgende tegn og sammensæt formlen for fotosyntese 4 Formlen for fotosyntes ser sådan ud: xxxx. Angiv med kryds, hvilken af følgende udtalelser der korrekt forklarer, hvorfor formlen ser sådan ud Multiple choice Indsættelsesspørgsmål Multiple choice om et lavt niveau. De lærende viser, om de kan genkende formlen for fotosyntese. Taksonomisk er der tale om et lavt niveau. De lærende viser, om de kan huske formlen og selv sammensætte den. Lavt taksonomisk niveau, men opgaven er mere kompliceret end de to foregående, fordi den lærende selv skal konstruere sit svar. De lærende vil her kunne vise forståelse for fotosyntesens opbygning. Derfor er testen på et højere taksonomisk niveau end de tre foregående. 5 Formlen for fotosyntese er xxxx. Vurder følgende udtalelser om fotosyntesens betydning for planters vækst, og sæt dem i rækkefølge efter, hvor vigtige de er. Nr. 1 er den vigtigste. 6 Forestil dig, at et kæmpe vulkanudbrud resulterer i en næsten uigennemtrængelig sky over et område. Hvilken betydning vil det få for fotosyntesen hos planterne i området? Rækkefølgetest Indtastning eller multiple choise 17 De lærende vil kunne vise forståelse for fotosyntesen og kan desuden vise, at de kan bruge deres viden i praksis. Det taksonomiske niveau er anvendelse, og den lærende vil få god mulighed for at kunne vise sin viden om fotosyntesens anvendelse og betydning.

18 Spørgsmålene kan stilles enkeltvis, i det omfang de passer til den viden, de lærende skal kunne vise. De kan også stilles i en serie, så man får indblik i, hvor dyb den lærendes viden er om fotosyntesen. Det afgørende for brugen af disse test er, om man mener, testspørgsmålene reelt viser de forventninger, der med rimelighed kan stilles til de lærendes viden om fotosynteceprocessen. Præcision er vigtig Når man formulerer testspørgsmål, er det nødvendigt at gøre sig klart, hvilket fagligt indhold man præcist ønsker at afdække, og hvilket mål testen er rettet mod. Selv små unøjagtigheder kan føre til, at der testes i et andet mål, end det man ønskede. Følgende er fire eksempler på testspørgsmål, hvor målet ikke var klart afdækket. Miljøpolitiske holdninger: Hvilken politisk beslutning blev taget i 1999 om områderne langs Skjern Å? I 1999, hvor Svend Auken (S) var miljøminister, blev det besluttet, at Skjern Å skulle genoprettes. Hvad menes med genopretning? Afkryds den forklaring, du mener, er korrekt. Hvilken af følgende udtalelser taler for en genoprettelse af naturen? Hvilken af følgende udtalelser om genopretning af naturen kunne være kommet fra Svend Auken (S) miljøminister i 1999? Det er svært at se, om målet med spørgsmålet er kendskab til politiske beslutninger eller kendskab til landskabet omkring Skjern Å. Under alle omstændigheder virker testen mere som en afdækning af, om den lærende kan huske, hvad der er sket i Her må målet være, at den lærende viser sin forståelse for genopretning i naturen. Hvis valgmulighederne alene vedrører miljøhensyn, er oplysningerne om Svend Auken ikke relevante. I testspørgsmål bør der ikke indgå unødvendige oplysninger. Udtalelserne bør være af miljømæssig art. Hvis de er af politisk art, bør spørgsmålet være formuleret som nedenfor. Her testes altså viden om den miljømæssige betydning af genopretning. Her testes den lærendes forståelse for forskellige miljøpolitiske holdninger. Argumenterne kan evt. tage udgangspunkt i genopbygningen af Skjern Å. Arbejdsmåder, tankegange og anvendelse Som udgangspunkt kan mål, som drejer sig om anvendelse, arbejdsmåder og tankegange, ikke testes direkte, men de nødvendige færdigheder for at kunne opfylde disse typer af mål, kan ofte testes. 18

19 Eksempel Give forslag til løsnings- og handlemuligheder vedr. miljø- og sundhedsproblemer Trinmål 8. kl. biologi arbejdsmåder og tankegange Den lærende kan ikke elektroniske testes i forslag. Dette kræver argumentation og ofte en længere skriftlig eller mundtlig udredning, men den lærende kan testes i den faktuelle viden, der udgør det kompleks af færdigheder, den lærende skal have for at kunne forklare Der kan for eksempel stilles følgende spørgsmål: I 1999, blev det besluttet, at Skjern å skulle genoprettes. Hvad menes med genopretning? Afkryds den forklaring, du mener er korrekt. På fotografiet ser du et parti af Skjern å før og efter genopretningen. Hvilke miljømæssige mål kan nås med genopretning af et å løb? Udvælg dine argumenter fra nedenstående liste og prioriter dem, så nr. 1 er den vigtigste. Når et å løb genoprettes til dets naturlige forløb, har det både en række positive og negative konsekvenser for naturen og mennesket. Grupper følgende konsekvenser under henholdsvis negative og positive konsekvenser. Eksempel Forklar den biologiske baggrund for sundhedsproblemer knyttet til livsstil og levevilkår. Trinmål 8. klasse, biologi. Målet kan ikke umiddelbart ligge til grund for en elektronisk test, og den lærende kan ikke forklare i testen, men opgavestilleren kan udvælge færdigheder, som er nødvendige for at kunne opfylde målet og teste disse. For eksempel kan man ud fra objektive målbare læringsmål f.eks. teste, om den lærende forstår betydning af: Stort fedtindhold i maden Konsekvenser af for højt kolesterolindhold i blodet Konsekvenserne af manglende indtag af fedtsyrer ved omdannelse af A-vitamin Mangelsygdomme i forbindelse med D-vitamin-fattig kost. Genbrug af testopgaver Ved at genbruge testopgaver får man mulighed for at opbygge et stort grundkatalog af opgaver. Ideen er, at man opbygger en række standardspørgsmål, som danner skabelon for et uendeligt antal næsten ens varianter. De lærende kan sjældent hu- 19

20 ske testens indhold. De oplever derfor selv små ændringer som nye spørgsmål. Det de lærende evt. husker, er det første, der er nævnt i testen. Derfor skal det centrale rykkes så langt frem i teksten som muligt. Eksempel på genbrug af en test: Formålet med testen er, at den lærende skal vise forståelse for, at forskellige træer vokser på forskellige typer jordbund. Der laves to eller flere skabelonspørgsmål 1. Grib Skov er kendetegnet ved at have mange løvfældende træer. Hvad fortæller det om jordbundsforholdene? (Skabelon 1) 2. Blåbjerg Plantage er kendetegnet ved at have mange nåletræer. Hvad fortæller det om jordbundsforholdene? (Skabelon 2) Det centrale mål er, at den lærende viser sin viden om jordbundsforhold. Testen kan nu varieres med indsættelse af forskellige skove, f.eks. ændres Grib Skov til Marselisborg Skov, Rold Skov etc., og Blåbjerg Plantage ændres til Vestervig Plantage, Marbæk Plantage etc. Svarmulighederne (f.eks. morbund, muldbund osv.) kan i dette tilfælde genbruges uændret. Man skal dog være opmærksom på, at selv forholdsvis små ændringer kan betyde en ændring i den lærendes forståelse og dermed den subjektive opfattelse af sværhedsgraden. Et eksempel kan være regnestykker lavet med hele lige positive tal, som ændres til hele ulige positive tal. Mange lærende vil opfatte et regnestykke med ulige tal som mere kompliceret end et tilsvarende med lige tal, ligesom udregninger, der giver i mente, er sværere end dem uden. Eksempel: eller eller Adaptive test 18 Inden for alle testformer, der afdækker målopfyldelse, kan man med fordel anvende adaptive test. Adaptive test tilpasser sig i niveau efter, hvad den lærende svarer. Svarer den lærende rigtigt på flere spørgsmål efter hinanden, får den lærende automatisk spørgsmål på et sværere niveau. Svares der omvendt forkert, får den lærende et lettere spørgsmål. 18 A sequential computer-based test in which successive items are selected from a pool of items based on the test taker's performance on previous items. Based in item response theory (IRT), this type of testing is intended to select items that are of appropriate difficulty for the test taker. Adaptive tests can be fixed or variable in length. Definition 2001 by Promissor, Inc. 20

21 Denne testform har den fordel, at den lærende ikke stilles over for en længere række af spørgsmål, som vedkommende ikke kan svare på. Desuden giver det samlede testresultat et godt billede af den lærendes faglige niveau. På den anden side skal der udvikles rigtig mange spørgsmål, og det kan være svært at afgøre, hvor mange gange der skal svares rigtigt eller forkert, før man udtrækker spørgsmål på et andet niveau. Særligt om kompetenceafklaringstest Der er mange måde at forklare ordet kompetence på. Vi forstår en kompetence som et udtryk for erhvervede evner i en kontekst, f.eks. i erhvervsmæssig sammenhæng, hvor man helt konkret udøver en funktion (kompetence) i forhold til et stykke arbejde, der skal udføres. Baggrunden for den erhvervsmæssige kompetence er den formelle kompetence, der opnås og måles af en uddannelsesinstitution. Den har resulteret i det håndgribelige eksamensbevis. Men der er findes også de udokumenterede, uformelle kompetencer. Det vil sige, at ejeren af kompetencen kan udføre en opgave eller en funktion, men har ikke papir på det. Kompetencen er ikke nedskrevet eller på anden måde dokumenteret. At vurdere en realkompetence vil sige, at man undersøger, hvilke kompetencer en lærende har opnået formelle som uformelle, altså både dem med og uden papir. Når man måler realkompetence, måler man dermed den konkrete kompetence. I en realkompetencetest vil det dermed vise sig, om man også har reel kompetence på et område, man har en dokumenteret kompetence inden for. En test af kompetencer kan derfor være med til at afdække et evt. gab imellem de reelle kompetencer og den kompetenceprofil, den lærende skal kunne udfylde efter endt uddannelse. Kompetencegabet kan vise den lærende og undervisere, hvilke områder hun har brug for at arbejde videre med. For at kunne udvikle kompetenceafklaringstest bør man overveje, hvordan man når op på det taksonomiske niveau Anvendelse (se afsnittet om testhierarki). En metode er at bruge autentiske problemstillinger cases - til at afdække de enkelte kompetencer. Den overordnede case bør indeholde test, der afdækker, om basiskompetencerne i erhvervsprofilen er til stede hos den lærende. Autentiske problemstillinger er sammensat af et antal del-problemstillinger. Hvis de kan identificeres, og der kan opstilles mål for dem, er det også muligt at teste den lærendes kompetencer inden for sådanne del-problemer. Har den lærende kompetence til at løse del-problemerne, så kan en test af graden af indblik i de del-problemer, der indgår i den samlede autentiske problemstilling, afklare, om vedkommende kan løse den autentiske problemstilling.. 21

22 Metode De autentiske problemstillinger nedbrydes, til man har identificeret de mindste del-problemstillinger, en autentisk problemstilling kan bestå af. Opstil mål for hver af delproblemstillingerne. Målene knyttes til testspørgsmålene. Udarbejd test til hver af delproblemerne, så det testes, om målene er opfyldt, eller om der er viden til stede, der gør at målene kan opfyldes. Eksempel Mødeledelse Hvilken autentisk problemstilling forestiller vi os at en ansat kan komme i? Denne situation beskrives. F.eks. Kurt Jensen skal indkalde til et møde i sin afdeling. Alle medarbejdere, bortset fra elever og afløsere, skal deltage. På mødet skal der tales om den kommende julehandel, behovet for juleafløsere samt ferieafholdelse i juledagene. Denne problemstilling indeholder flere aspekter. Disse beskrives som næste trin. Det kan være noget om at fastlægge formål for mødet Indhold for mødet Tidspunkt Sted Motivationsteknikker Kommunikationsteknikker Alle delelementer, der kan indgå i den autentiske problemstilling, beskrives. Det kan gøres med en lille case eller med et klart mål: Kurt Jensen skal kunne lave en mødeindkaldelse. En mødeindkaldelse skal indeholde: xxx Når alle delelementerne i en autentisk problemstilling er identificeres, skal testen udarbejdes. Den skal relatere sig til delelementerne og klart angive, hvilket mål der er med testen. Det er vigtigt, at hele kompetencen testes. Altså den eller de kompetencer, der skal være til stede for at kunne løse den autentiske problemstilling. Det vil sige, at det ikke er nok at teste, om Kurt Jensen kan lave en mødeindkaldelse. For det siger ikke noget om, om han kan fastlægge formål og indhold for mødet, eller om han kan motivere og kommunikere. Progression 1 Autentisk problemstilling Der kan være flere for at omfatte alt, hvad den lærende skal testes i. 2 Delmål Der vil typisk være flere delmål til hver autentisk problemstilling. 22

23 3 Hvilke kompetencer skal den lærende have? 4 Hvilken viden skal den lærende give udtryk for? 5 Hvilke færdigheder skal den lærende have? En autentisk problemstilling indeholder typisk viden fra flere forskellige kompetenceområder. Her ses på samspillet mellem de ønskede kompetencer og de færdigheder, den lærende har eller skal have. Det er her et evt. taksonomisk niveau beskrives. For at kunne bruge en kompetence vil der ofte være flere forskellige færdigheder den lærende skal trække på. Her angives hvilke. 6 Oplæg til den samlede test. Oplægget kan være en video, en case, en animation eller Det afgørende er, at den lærende får en autentisk oplevelse og ikke oplever at der testes i færdigheder. 7 Testspørgsmålet 8 Hvad testes? Hvert testspørgsmål skal relateres til et af delmålene så det er klart hvad der testes i. 9 Hvilken testform anbefales (den konkrete test i form af sand falsk, indsætning eller ) 10 Rigtigt svar 11 Plausible forkerte svar De enkelte testformer har forskellige styrker og svagheder. Det er vigtigt at vælge den form der svarer til det delmål der skal testes i. Eksempel på testdrejebog Overskrift Ledetekst Titel Her skrives titlen på den enkelte testopgave. Mål Her skrives målet med den enkelte testopgave, som sikrer at testen rent faktisk rammer læringsmålet (jf. klassificeringsangivelsen). Indhold Her skrives den tekst, der stiller opgaven. Desuden beskrives (evt. ved skitse) visuelle virkemidler Svarmuligheder Her skrives svarmuligheder -rigtige og forkerte symboliseret med et % og et + Respons 1 Her skrives den respons den lærende skal have ved henholdsvis rigtigt og forkert svar. Respons 2 Her skrives den samlede respons den lærende skal have på testens endelige resultat. Tester på hvilket taksonomisk niveau rammer Her skrives hvilket taksonomisk niveau denne testopgave Hvilket fagligt niveau Her beskrives hvilket fagligt niveau testen befinder sig på. 23

24 Link til læringsobjekter og materialer Klassificering Opgavegrundlag Opgavetype Sværhedsgrad Tidsestimat Kendeord Rettigheder Kilder Bemærkninger Eksempelvis niveau F eller C, eller 4. eller 6. klassetrin. Her skrives link til det materiale, der kan arbejdes videre med, hvis testen ikke er klaret tilfredsstillende. Fag Klassetrin Profilområde Trinmål Trinmålsenhed Her angives opgavegrundlag. Evt. henvisning til opgavegrundlag, der er fælles for flere test. Det kan f.eks. være en case. Her angives testopgavens opgavetype. Her angives testopgavens sværhedsgrad Her angives estimeret tid for løsning af opgaven Her skrives søgeord for testopgaven. Her anføres dato for rettighedsclearing samt henvisning til dokumentation. Her anføres evt. kildeangivelser. Her skrives evt. yderligere bemærkninger, der kan være relevante i forbindelse med lærerens evaluering af testopgaven. Tjekskema Nedenfor ses en oversigt, som undervisere, der har udviklet test, kan bruge til at sikre, at testene opfylder de kvalitetskrav, man har stillet sig. Ideen i skemaet er, at underviserne test for test afkrydser, om den konkrete q-faktor er opfyldt eller ikke opfyldt. Vurderes det, at kvalitetskravene ikke er opfyldt, kan underviseren enten vælge at slette testen eller skitsere mulige ændringer/løsninger, som kan gøre testen egnet. Afmærkning i det grå felt indikerer, at der er et problem, som bør løses. Q-faktor Ja Nej Løsning Fremgår målet med testen klart for brugerne? Er der henvist til tidligere spørgsmål Er spørgsmålene præcise Er sværhedsniveauet ens i testene Er der fælder i spørgsmålene Er der mere end ét problem i hvert spørgsmål Er der anvendt negationer Er der anvendt realistiske situationer som case eller problembeskrivelse 24

25 Er alle svarmuligheder sandsynlige svar Er spørgsmålene klart formuleret? Er der taget højde for om deltagerne kan gætte sig til svaret? Er der logisk sammenhæng mellem svarmulighederne? Er anvendte udsagn let gennemskuelige Er der anvendt kendte fagudtryk Kan brugerne rette i valgte svar Er der kun testet én ting i hvert spørgsmål Er svarmulighederne logiske og plausible Er der mere end ét rigtigt svar Er der gentagelser af ord i de enkelte svar muligheder Er der anvendt problemstillinger som indgang til spørgsmålet Er der anvendt små cases som indgang til spørgsmålene Testopgave-typer Nedenfor ses en oversigt over forskellige testopgavetyper. For hver testopgavetypes vedkommende er angivet, hvordan den kan se ud, hvad man særligt skal være opmærksom på ved testtypen, og hvordan point kan gives. Generelt for alle testopgaver gælder dog følgende forhold: Benyt realistiske situationer som optaktsbeskrivelser. Brug ikke henvisninger til tidligere spørgsmål. Stil præcise spørgsmål. Undgå negationer. Udarbejd sandsynlige svarmuligheder. Undgå fælder og spidsfindigheder. Stil kun spørgsmål til ét problem ad gangen. Vær konsekvent og fair i svar-reaktionerne. Test kun en ting i hvert spørgsmål Lav plausible svarmuligheder Undgå svarmulighed med alle eller nogle af ovenstående Hav som udgangspunkt kun et rigtigt svar på spørgsmålet eller vælg en opgaveform der kan håndtere flere rigtige svar 25

26 Ord, der skal gentages, skal stå i spørgsmålet og ikke gå igen i hvert svar Sørg for respektfuld og meningsfuld feedback, som gerne uddyber stoffet Sørg for at svarene er formuleret som naturlige svar på test spørgsmålet Sørg for at spørgsmål og svar står i samme tid Særligt for sand falsk spørgsmål Stil simple, let gennemskuelige spørgsmål/udsagn. Stil spørgsmålene i en logisk rækkefølge Brug de samme fagudtryk som i lærestoffet Brug spørgsmålene til at teste bredden i stoffet ikke dybden 26

27 Kilder Materialer om læring og e-læring Er du blevet interesseret i at læse mere om, hvordan læring kan understøttes i forbindelse med e-læring, kan du evt. anvende følgende materialer: E-differentiering e-læringsmateriale Virtuelle læringsaktiviteter Temahæfte Tekstbaseret e-læringsmateriale Temahæfte Læring e-læringsmateriale - Indhold i temahæftet kan med kildeangivelse frit benyttes - 27