Written Exams: In Theory and Practice Kristian J. Sund Associate Professor in Strategy and Organization Business Administration
Agenda 1. What can we learn from a course description? Exercise in reading course descriptions 2. How do you interpret an exam question? Exercise in reading exam questions
Agenda 3. The construction of a written assignment 4. What do examiners look for? Results of a survey
Agenda 5. Examples of assignments Exercise: analysis of assignment 6. General discussion and conclusion
1. The Course Description The typical description contains: Title, ECTS, language, other formalities Learning objectives / Aims Outline of contents Instruction type Exam form Assessment criteria
Alignment The typical lecturer tries to create alignment in a course Learning Objectives Teaching and content Exam
Learning Objectives Define what skills and knowledge students should acquire by completing the course Are linked to the over-all objectives of the program of study Are testable through an exam
Teaching and Content Make it possible to reach the learning objectives that have been planned Leads to the acquisition of knowledge and skills for the student For every hour in class, students should expect to work 2-3 hours at home!
Exam Examine that the student has reached the learning objectives in terms of knowledge and skills Are ideally both valid and relevant (examine what they should), and economical (not exaggerated, e.g. compared to ECTS)
Exercise 1 Read the course description and discuss with the person next to you: What do you think the marker (examiner) will focus on? Is there an alignment between format/content and assessment criteria? Are formal requirements clear? What happens if you fail?
2. How do you interpret exam questions? Course content and exams are planned such that there is progression between semesters. We don t expect the same from 1 st semester students as from 6 th semester students. Describe, paraphrase, refer to Identify, define, apply, explain Analyze, categorize, interpret Criticize, reflect, estimate, judge Create, develop, design, produce
The Written Assignment This type of exam is commonly used at Roskilde University The answering of a problem or a range of questions Useful for testing traditional academic skills within a specific subject context E.g. Analyze and discuss theories, phenomena or constructs; evaluate and choose analytical methods; understand and reflect on subject knowledge
Case Exams These are Also used at RUC Base themselves on a real world example and focus on the correct application of subject knowledge, usage of subject skills, and general academic skills linked to the subject area Useful for testing the ability to apply analytical and problem-solving skills E.g. identifying, analyzing and solving problems; Estimating practical issues; choosing and applying relevant models; understanding and reflecting on subject knowledge.
Typical Goals for First Year Exams Knowledge Skills Demonstrate knowledge in a clearly defined subject area Demonstrate understanding and (some degree of) reflection on course content Analysis and discussion of subject problems, phenomena, and constructs Assess and choose analytical methods Convey your subject abilities in academic writing Prioritize your time and content
Exercise 2 Read the exam question and discuss: What skills will be examined? Hint: look for the verbs? What knowledge might be sought? How should you use the available space?
3. How do you build up your response? There is no right or wrong, and each marker sees things slightly differently. Generally we could say: If there is a front page, or general template, USE IT. Remember always to follow the formal requirements. You don t necessarily loose points if you don t follow these 100%, but it can be distracting to the marker. If the question is short you could include it in your answer, if it is long, don t! It counts in the word/character count. Problem statement, introduction etc. are seldom needed in a short written assignment. After all this is not a miniature project report. References are often a must though and certainly never hurt. Answer questions in order Use subtitles only if it helps the reader You may want to finish off with a short summary or concluding sentence.
Building a Story Create a coherent story Remember that your markers have to read lots of assignments Make the text easy to navigate Answer clearly, leaving no doubts Create links between arguments Write properly avoid errors
4. What do markers look for? I Asked 12 colleagues (SAM) to answer the following (in Danish): Helt overordnet set, hvilke 3 ting ser du efter når du bedømmer en studerendes skriftlige eksamen (på bachelor generelt mellem 1. og 6. semester)? Generally speaking, what 3 things do you look for when marking students written assignments? I have left the answers in original format, but will translate for you.
Besvar spørgsmålet (Answer the Question) Har 1 punkt, som er super vigtigt og meget banalt. Læs opgavebeskrivelsen grundigt. Jeg dumper engang imellem opgaver - og andre trækkes ned i karakter - fordi den studerende har læst opgavebeskrivelsen forkert/misforstået den og dermed ikke "svarer på opgaven". Hvis man som studerende er i tvivl (og faktisk HAR læst opgavebeskrivelse), bør man spørge underviserne. Men ofte handler set simpelthen om, at nogle studerende "tror" de kender opgaven, men ikke har læst beskrivelse ordentligt. Det handler også om krav til sidetal, oplysninger på opgaver etc. Her er første grundregel, at man har ansvar for at læse beskrivelsen af opgaven - og dermed løse/diskutere/svare på det, der kræves. Og ellers: Spørg
At besvarelsen svarer på det spørgsmål, der er stillet og ikke alt muligt andet. Forståelsen af spørgsmålet er lige så vigtigt et kriterie som besvarelsen. Jeg plejer den sidste kursusgang at sige: Hvis I bliver i tvivl om hvordan spørgsmålet skal forstås, så skriv en kort indledning til opgaven, hvor i redegør for jeres forståelse af spørgsmålet. Dette kan hjælpe bedømmeren til at forstå jeres svar. Dette kompenserer naturligvis ikke for misforståelser, der skyldes mangel på faglig forståelse hos den studerende.
Teori / Theory Teoretisk forståelse det rette begreb i den rette sammenhæng. Besvarelsen skal anerkende spændingen, og ræsonnere videre på den, og derved forholde sig til kursusindholdet på en problemorienteret måde. Besvarelsen skal røre ved relevante teoretiske og/eller metodiske måder at se spændingen på, og vise en god følsomhed overfor detaljer i de teoretiske forestillinger de har mødt Besvarelsen skal udtrykke sikkerhed overfor valg der skal gøres for at holde fokus.
Argumentation Hvor godt argumentationen flyder (overlap, repetition, etc.) jeg ser efter en velovervejet besvarelse er der en klar sammenhængende tankestreng i opgaven: fra spørgsmål (for os er dette en funktionsbeskrivelse), overvejelser (analyse af behov, mulige brug af eksisterende produkter og analyse af programmets kodedesign), slutprodukt (kort beskrivelse af programmets endelige design og virkemåde), evaluering af slutprodukt (hvordan har man testet for at de indledende funktionalitetskrav er opfyldt) og konklusion på produkt og proces. Jeg bruger Indholdsfortegnelsen og titlen til at få første indtryk.
En selvstændig kritisk reflekterende tekst, der vel at mærke formår at basere argumenterne på referencer fra pensum eller anden videnskab. Dvs. En selvstændig tekst er ikke fyldt med Jeg synes., men heller ikke et referat eller en række citater over for hinanden, uden selvstændig kritisk refleksion. En veldisponeret besvarelse, der på et begrænset plads formår at fremhæve den selvstændige besvarelse, i stedet for at gentage/referere teksternes eller underviserens pointer. Jeg som bedømmer har jeg jo læst teksterne og gennemgået pointerne. At de kan renskrive deres noter fra min undervisning er fint, men ikke tilstrækkeligt til en top bedømmelse.
Sammenhængende begrebsbrug og argumentation Et mere læserorienteret" og mindre rette-orienteret - og mere dækkende bud fra mig vil være, at jeg helt overordnet ser efter om den studerende "vil noget med sin opgave at opgaven bærer præg af en klar intention, interesse, motivation, nysgerrighed, undren det kan være i form af en relevant problemformulering, men det ligger lige så meget i den samlede opgaves udformning, sprogbrug og struktur.
At der er gedigne analytiske betragtninger, som bidrager med viden om det pågældende genstandsfelt. Det hænger selvfølgelig sammen med stringent begrebsbrug og argumentation, men jeg vælger alligevel at fremhæve analysen.
Sprog / Language Blot et enkelt input: SPROG. Det har stor betydning for mig, når jeg vejleder, eksaminerer eller er censor, at opgavens sprog er korrekt (grammatisk og indholdsmæssigt), og at opgaven er velskrevet. Det hjælper ikke at have tænkt kloge, gode og indsigtsfulde tanker, hvis man ikke kan formidle dem ordentligt. Gennemarbejdet sprog - sproget er "døren" til analysen, og hvis teksten er svær at forstå eller blot sjusket trækker det gevaldigt ned (og eftersom de fleste bliver vidensarbejdere efterfølgende er formidling key!!)
Metatekst: En tekst med meget metatekst ( Nu vil jeg undersøge, Når jeg gør det sådan kan det være med til at vise ) giver den studerende mulighed for faktisk at tænke over tingene i teksten og de overvejelser er med til at vise at den studerende har overblik over sit stof. Og det er med til at skabe overblik. Brug af forbindere som derfor, altså, det vil sige sørger for at teksten kommer til at indeholde et minimum af metatekst. Hvad er niveauet for opgaven: hvor stort/svært et sæt funktionalitetskrav er der beskrevet?
Formalier og referencer (Formal Requirements and References) Sammenhæng mellem opgavens indhold og form og studieordningens krav til samme. Det formelle skal selvfølgelig være i orden det gælder også sproglig præcision og korrekt sprogbrug. Klart sprog og korrekt reference- og citatteknik God og sikker referenceteknik. Der er nu værktøjer (Mendeley, Zotero m.fl.) der kan være med til at forbedre referenceteknikken og sørge for at de studerende ikke bruger selvopfundne systemer.
Sammenhæng mellem opgavens indhold og form og studieordningens krav til samme Er der mangler og er opgavens krav udført (hvis der er krav til antal sider, afsnit, dokumentation) (den klassiske fejl er at man ikke får 12 når man ikke har opfyldt de basale krav)
Agenda 5. Example of exams Exercice: analysis of exam Does it look good? How is it structured? Is there a clear series of arguments? 6. General discussion and conclusion