Teori og Praksis for Multiple Choice Prøver Michael I. Schwartzbach
Multiple Choice ved Datalogi Anvendt i mange datalogikurser siden 2006: Oversættelse Databaser Webteknologi Programmingssprog Dynamiske Algoritmer Randomiserede Algoritmer Serverbaseret Webprogrammering Klientbaseret Webprogrammering Interaktionsdesign Omfattende erfaring efterhånden omkring 80 prøver afholdt omkring 6000 individuelle eksaminationer
Multiple Choice på universitetet? Giver en individuel komponent til gruppeprojekter Oversættelse: 70% projekt, 30% multiple choice Dynamiske Algoritmer: 50% projekt, 50% multiple choice Databaser: 60% projekt, 50% multiple choice Dette er verificeret at være en lovlig eksamensform men nok ikke 99% projekt, 1% multiple choice Fordele uniform og fair bedømmelse skalerer godt til store kurser lille indsats fra censor eliminerer to ugers mundtlig eksamen (som tidligere) absolut brugbar til at adskille gruppemedlemmer
Udfordringer ved Multiple Choice Design af spørgsmålene alignment med læringsmålene? mere end udenadslære? Bedømmelse af besvarelserne hvordan kommer man fra x er til procenter? hvordan belønner man delvis viden? Afholdelse af prøven papir eller computer? hvordan undgår man snyd? hvordan håndterer man 150 studenter?
Strukturen af Multiple Choice prøver Et antal uafhængige spørgsmål hvert spørgsmål har netop et rigtigt svar de forkerte svar virker alle lige rimelige svarene gives ved et eller flere er b Beijing Ingen hjælpemidler, et minut per spørgsmål
Forskellige slags svar rigtig forkert b Beijing b Beijing delvist rigtig meget forkert b Beijing b Beijing
Myter om Multiple Choice Myte: Faktum: Myte: Faktum: Myte: Faktum: Myte: Faktum: Det er den dovne lærers valg Arbejdet flyttes fra retning til planlægning Det opfordrer til tom udenadslære Det afhænger af, hvad du spørger om Dårlig alignment med læringsmål (SOLO) Ikke hvis man er lidt kreativ Studenter kan omgå prøven med strategier Simple løsninger om et øjeblik
Dårlige spørgsmål tom udenadslære for let Question 9 The javac compiler works for programs written in: a C# b Java c Snobol Question 13 The 7th line in the algorithm to compute FIRST sets is: a then NULLABLE[] = true b FIRST[Z] <- {} c else FIRST[Z] = FIRST[] d end Question 32 Uninitialized local variables are caught by: dovne forkerte svar a Batman b the definite assignment analysis c surprise
Gode spørgsmål Question 8 Consider the method invocation A.B(1,2,3). To which category can A not belong? a A class name b A package name c A non-static field name d A local name e A static field name dybt kendskab og ræsonnement Question 43 Which Java code could correspond to the following JVM code? iload 1 ldc_int 1 iadd dup istore 2 a x = x + y; b x = x + 1; c x = x + 2; d x = y + 1; avancerede udregninger
Bedømmelse af Multiple Choice prøver Question 1 Which city is largest? b Beijing score Max score Min score bedøm 12 10 7 4 02 00-3 b Beijing
Scoring af Multiple Choice Spørgsmålene er uafhængige, så hvert scores separat Relevante data for et spørgsmål: k er antallet af mulige svar a er antallet af krydser, der sættes c angiver om det rigtige svar er krydset af scoren for er S(3,2,1) =??? b Beijing
Slet ikke oplagt! Mange muligheder: et point for rigtige svar, 0 for forkerte et point for rigtige svar, -1 for forkerte, 0 for blanke Delvis viden? brøkdelen af blanke for rigtige svar, 0 for forkerte Let at blive til grin:
Ingen viden giver intet S(k,k,1) = S(k,0,0) = 0 b Beijing er det samme som b Beijing
Rigtige svar er bedre S(k,a,1) > S(k,a,0) b Beijing er bedre end b Beijing
Forkerte krydser er dårlige S(k,a,c) S(k,b,c), for a b b Beijing er værre end b Beijing
Viden er konstant S(k 1,a 1,1) + S(k 2,a 2,1) = S(k 1 k 2,a 2 a 2,1) b Beijing Question 51 Which ocean is largest? a Atlantic b Pacific er ligesom +51 Which city is a capital and which ocean is largest? and Atlantic b Beijing and Atlantic and Atlantic d New York and Pacific e Beijing and Pacific f Aarhus and Pacific
Gætteri giver i gennemsnit intet k-1 a-1 k-1 a ( ) ( ) S(k,a,1) + S(k,a,0) ( k ) a = 0 S( ) + S( ) a + S( New York ) = 0 b Beijing b Beijing b Beijing c Aarhus
Kun een rigtig måde at score på! Lidt indviklet, men pyt: S(k,a,c) = 0 hvis a = 0 og k = a log(k/a) hvis k > a > 0 og c =1 {-a/(k-a) log(k/a)hvis k > a > 0 og c = 0 (samarbejde med Gudmund Frandsen) Rigtige svar bedømmes efter den afgivne information Forkerte svar straffes så let som muligt Respekterer Socrates: forkert viden er værre end ingen viden!
Papir eller computer? Science and Technology tillader lige nu ikke digital eksamen ministeriet kræver en løsning til sommeren 2012 Papirkopier er uigendrivelige (ligesom stemmesedler) Det er nogle gange nødvendigt at fixe dårlige spørgsmål ignorer spørgsmålet giv alle fuld kredit
Snyd og strategier Hvert eksamenssæt er unikt permuteret spørgsmålene kommer i tilfældig rækkefølge svarene for hvert spørgsmål kommer i tilfældig rækkefølge Undgår meningsløse stategier eller myter vælg aldrig den samme svarmulighed tre gange i træk vælg altid svar fra midten Fjerner effektivt muligheden for snyd hvad du ser er næsten helt sikkert forkert for dig
Multiple Choice prøve i dette lokale
Validering af Multiple Choice Resultaterne ligner almindelige eksamener: 35 30 25 20 15 10 5 0 0 10 20 30 40 50 60 70 80 90 Multiple Choice eksamen skal adskille gruppemedlemmer 85% sammenfald med hjælpelærernes gæt på forhånd op til to karakterers forskel samlet er ikke usædvanligt