ft her older KU Sådan kan lærere vurdere innovationskompetencer Jan Alexis Nielsen Institut for Naturfaenes Didaktik Københavns Universitet ISI Afslutninskonference 5. november, 2015 Institut for Naturfaenes Didaktik
Institut for Naturfaenes Didaktik t her Forskninsspørsmål, I hvor høj rad er det mulit at vurdere innovationskompetence summativt (parallelt med de traditionelle falie mål)?
t her The Journal of Educational Research, 108:318 330, 2015 Copyriht Ó Taylor & Francis Group, LLC ISSN: 0022-0671 print / 1940-0675 online DOI:10.1080/00220671.2014.886178 INSTITUT FOR NATURFAGENES DIDAKTIK KØBENHAVNS UNIVERSITET, Downloaded by [Copenhaen University Library] at 05:37 23 September 2015 Assessment of Innovation Competency: A Thematic Analysis of Upper Secondary School Teachers Talk JAN ALEXIS NIELSEN University of Copenhaen, Denmark ABSTRACT. The author employed a 3-step qualitative research desin with multiple instances of source validation to capture expert teachers (n D 28) reflections on which manifest sins they would look for when they asses stts innovation competency. The author reports on the thematic analysis of the recorded talk in interaction that occurred in teacher roup discussion sessions at 5 upper secondary schools. Based on the analysis, it was possible to extrapolate assessment criteria for 5 subcompetencies relevant to innovation (creative competency, collaboration competency, naviation competency, action competency, and communication competency) as well as assessment criteria for a number of skills relevant to these subcompetencies. These assessment criteria, it is arued, larely resonate with existin literature and they provide a detailed limpse into how assessment of innovation competency could be concretized within the framework of the existin disciplines. Keywords: assessment, creativity, competency, evaluation, innovation, skills O ver the last decade or so, policy makers in most societies have increasinly pointed to innovation as the lynchpin of sustainable economic well-bein. Indeed, facilitatin future innovation is one of the key areas of concern of the European Commision (2010) and the Obama Administration (White House, 2011). The quest for fosterin innovation is typically linked to proposed chanes to the educational systems and standards. For example, the Oranization for Economic Cooperation and Development recently emphasized the role of education in this reard: The need to empower people to innovate [...] calls for hih-quality and relevant education as well as the development of wide-ranin skills that complement formal education (Oranization for Economic Cooperation and Development, 2010, p. 3). Consequently, many countries have started to formulate innovation policies that stipulate the important role of educational systems in fosterin innovation competencies. Now, while the term innovation is often related to the economic (Schumpeter, 1934/2004) or hih-tech disciplines, the trend seems to be that policy makers reard innovation as a potential oal for all educational levels and in most of the existin individual disciplines (Commonwealth of Australia, 2009; Danish Government, 2012; Finnish Government, 2009; Nordic Council of Ministers 2011; White House, 2011). But even thouh calls for fosterin innovation competency have permeated the political discourse for the last 18 years there is still the need of findin a way to properly transpose the political ambitions into the school context (Hobel, 2009). In particular, if education for innovation (whatever that may be) is to become a pervasive practice in schools, teachers need useable uidelines for makin formative and summative assessment of the competencies that could be central for stts to enae in innovation processes. Indeed, one of the truisms in educational research seems to be that assessment influences what and how teachers focus their teachin on (Harlen, 2007; Nordenbo, Allerup, Andersen, Korp, & Dolin, 2009). To take initial steps toward formulatin assessment uidelines to be used in schools, in this study I souht to elucidate the followin research question: Which criteria for formative and summative assessment of innovation competency 1 do expert Danish upper secondary school teachers identify? Backround Rather than there bein a shared uniform understandin, there is a hih deree of fuzziness to the construct innovation (Faerber, 2006); so there is a daner that teachers assessment practice of innovation competency become too diverse and thus essentially unreliable. For example, it would make an immense difference whether educational scholars work from a definition, such as innovation is the process of makin chanes to somethin Adss correspondence to Jan Alexis Nielsen, University of Copenhaen, Department of Science Education, Oster Voldade 3, Copenhaen K, 1350 Denmark. (E-mail: janielsen@ind.ku.dk) Rapport fra arbejdsruppe for prøveformer der tester innovationskompetencer i ymnasiet Januar 2015 Udfærdiet på arbejdsruppens vene af Jan Alexis Nielsen http://bit.do/inno-eksamen
Institut for Naturfaenes Didaktik t her Forsø med eksamensformer I hvor høj rad er det mulit at vurdere innovationskompetence parallelt med de traditionelle falie kompetencer?, Definere evaluerinskriterier Udvikle eksamensformer Udvikle evaluerinsvejledniner Afprøvnin o analyse Interviews Desin-baseret forsknin Statistisk analyse (Nielsen, 2014) (Nielsen, 2015)
Institut for Naturfaenes Didaktik t her Evaluerinskriterier, 2x5 ruppeinterviews (N=2x29) Tematisk analyse Kilde- validerin Tværående temaer Nielsen, J. A. (2015). Assessment of Innovation Competency: A Thematic Analysis of Upper Secondary School Teachers Talk. Journal of Educational Research, 108(4), 318-330.
Institut for Naturfaenes Didaktik t her Underkompetencer til innovation, Kreativitet Samarbejde Naviation Selvstæn identificerin af problemser Idéenrerin Arbejde kritisk med ideer Tae medansvar for ruppens arbejdsopaver Være inkluderende o fleksibel Fali forståelse o afkodnin af problems Håndtere viden på en funktionel måde Mestre komplekse arbejdsprocesser Implementerin Formidlin Tae risici o brine si selv o an i spil Træffe informerede beslutniner Søe informationer for ens komfortzone Analysere kommunikationssituationen Mestre kommunikationsteknikker o -redskaber Formidle på en enaerende o motiverende måde
Institut for Naturfaenes Didaktik t her Innovationskompetence, Eleven kan selv eller sammen med an enerere ideer til løsniner af en problems fra en eksisterende praksis, på barund af relevant viden, vurdere disse ideer på deres nyttihed, realisérbarhed o potentielle værdiskabelse be denne vurderin i udvælelsen o udførelsen af ideer, eventuelt i skitseform, o formidle ideer til forskellie aktører.
t her Forsø med eksamensformer I hvor høj rad er det mulit at vurdere innovationskompetence parallelt med de traditionelle falie kompetencer?, Definere evaluerinskriterier Udvikle eksamensformer Udvikle evaluerinsvejledniner Afprøvnin o analyse Interviews Desin-baseret forsknin Statistisk analyse (Nielsen, 2014) (Nielsen, 2015)
t her Forsø med eksamensformer I hvor høj rad er det mulit at vurdere innovationskompetence parallelt med de traditionelle falie kompetencer?, Definere evaluerinskriterier Udvikle eksamensformer Udvikle evaluerinsvejledniner Afprøvnin o analyse Interviews Desin-baseret forsknin Statistisk analyse (Nielsen, 2014) (Nielsen, 2015)
t her Evaluerinsvejledniner ( Scorin Rubrics ), Kreativitet Samarbejde Naviation Handle/ Implementerin Formidlin
5.4 Matematik Ved Anne Øhrstrøm o Jan Alexis Nielsen Lav (2) Middel (7) Høj (12) t her Kreativitet Idéenererin Bearbejdnin af løsninsforsla Noter Kan identificere matematiske problemser fra materialet. Kan identificere o formulere matematiske problemser samt områder, der kan være med til at løse dem. Kan forklare forskellen på Kan forklare, hvorfor et bestemt inddraelse af forskellie matematisk område er bedst til matematiske områder/ værktøjer at besvare problemsen. Kan udvide den matematiske problems o øre den mere kompliceret.. Kan skitsere et desin til løsnin af problemsen samt se perspektiver i en udvidelse. Naviation, Afkodnin o anvendelse Håndterin af viden Kan identificere et falit område, som problemsen kan relatere til. Kan redeøre for bereber. Kan anvende fali terminoloi i arbejdet med problemsen Kan kombinere fali viden i arbejdet med problemsen. Kan arumentere for, hvilke Kan aføre, hvilke falie falie områder, der er relevante områder, der skal inddraes o at inddrae i arbejdet med opstille et desin.. problemsen. Noter Implementerin Tilenelse af viden Kan indhente viden via tidliere bt materiale. Kan vha. udleverede links søe viden. Kan finde supplerende viden ved fx at opsøe kilder Udførelse af handliner Kan påbeynde udførelsen af det planlate arbejde. Kan påbeynde o vedholde udførelsen af det planlate arbejde.. Kan påbeynde, vedholde o færdiøre udførelsen af det planlate arbejde. Kvalificerin af handliner Noter Kan skelne mellem forskellie måder at udføre løsninen på. Kan opstille konsekvenser af forskellie løsninsforsla o sammenline disse Kan berunde hvilke handliner, der skal udføres på barund af konsekvensberenin. Formidlin
t her Afprøvnin, 3-4 uafhænie karakterer pr underkompete nce pr elev
t her Afprøvede fa, Afsætnin A Bioloi C/nf Dansk A Matematik B Samfundsfa B
ft her r s b r venstrekst s, m n n n n d e t e S Department of Science Education Eksamensform Bioloi Da 1 Bedømmere observerer ruppearbejde Da 2 Mundtli eksamen Gruppearbejde (2½ time) Individuel mundtli prøve Undersøelsesbaseret arbejde om en autentisk problems Kort oplæ o fali dialo (15 min. pr. stt) Produkt: En disposition for et oplæ om ruppens løsninsforsla Bedømmere læser dispositioner Video optaet af Batavia Media
Arbejdsruppe for prøveformer der tester innovationskompetencer i ymnasiet t her, Pålidelihed: Konsistens o enihed Bedømmelser (fx 1 til 10) Elev Bedømmer 1 Bedømmer 2 Bedømmer 1 Bedømmer 3 Bedømmer 2 Bedømmer 3 1 1 5 1 3 5 3 2 2 6 2 6 6 6 3 3 7 3 9 7 9 Konsistens 1,00 0,60 0,60 Enihed 0,11 0,24 0,69 Tabel 1: Eksempel på forskellen mellem konsistens o enihed 8 Her ser vi for eksempel, at bedømmer 1 o bedømmer Konsistens: 2 i meet høj rad er internt konsistente i den forstand, at de føler den samme underlæende skala Acceptabel: for bedømmelsen, mellem men 0,7 at de o samtidi 0,8 (fremraende: er uenie om, hvor over på 0,9). skalaen de tre elever lier. Enihed: Acceptabel: mellem 0,4 o 0,75 (fremraende: over 0,75). 3.1 Konklusioner Der draes ud fra den kvantitative undersøelse tre konklusioner: 1. Der er en meet stabil intern konsistens i bedømmelserne. Selv det laveste
t her Bioloi Arbejdsruppe for prøveformer der tester innovationskompetencer i ymnasiet God til fremraende enihed God til fremraende konsistens, Antal elever Antal bedømmere Antal bedømmelser Konsistens Cronbach s Alpha Enihed ICC areement(3,1) Kreativ komp. 13 3 39 0,818 0,603 Naviationskomp. 12 3 36 0,954 0,867 Implementerinskomp. 13 3 39 0,852 0,623 Formidlinskomp. 13 3 39 0,874 0,711 Tabel 6: Oversit over pålidelihedsmål for de dele af innovationskompetence, der blev vurderet i eksamensformen for Bioloi (nf).
t her Arbejdsruppe Matematik for prøveformer der tester innovationskompetencer i ymnasiet 2.6.4 Matematik B, Fiur 5: Diarammatisk overblik over elementerne i den afprøvede eksamensform i Matematik B. Fuldt optrukne sorte linjer repræsenterer information om eleverne som er tilæneli for bedømmere. Den udarbejdede eksamensform var en mundtli eksamen der to afsæt i en undersøelsesbaseret temaopave, som eleverne havde lavet i rupper. Intentionen me temaopaven var at lade eleverne arbejde teoretisk med et kerneområde samt at lade eleverne arbejde analytisk-vurderende o producerende-løsninsorienteret omkrin en autentisk problems. Konkret for denne afprøvnin to eksamen udanspunkt i elevernes analyser af filmsekvenser hvori ledere fra en dansk virksomhed udtalte si om virksomhedens produkter. Eleverne skulle redeøre for hvilke dele af matematikken de
ormidlinskompetence) o 0,926 (implementerinskompetence). Dette indikerer en od l fremraende konsistens mellem bedømmerne. De unede enihedsværdier lå ellem 0,557 (formidlinskompetence) o 0,735 (implementerinskompetence). Dette t dikerer her en moderat Matematik til od enihed blandt bedømmerne. På denne måde kan det onkluderes, at de fire bedømmere på barund af aktiviteterne i den afprøvede ksamensform o ved b af evaluerinsvejledninen pålidelit Moderat kunne til od vurdere enihed de ævnte dele elevernes innovationskompetence i faet Matematik B., God til fremraende konsistens Antal elever Antal bedømmere Antal bedømmelser Konsistens Cronbach s Alpha Enihed ICC areement(3,1) Kreativ komp. 17 4 68 0,861 0,591 Naviationskomp. 17 4 68 0,876 0,617 Implementerinskomp. 17 4 68 0,926 0,735 Formidlinskomp. 17 4 68 0,829 0,557 Tabel 12: Oversit over pålidelihedsmål for de dele af innovationskompetence, der blev vurderet i eksamensformen for Dansk A.
t her Konklusioner, 1. Proof of concept : Gymnasieelevers falit funderede innovationskompetence kan vurderes på en pålideli måde. 2. Bedømmere oplevede at det var svært at nå til en valid vurderin af elevers samarbejdskompetence i en eksamenssituation. 3. Der vil være et overskuelit behov for kompetenceudviklin i forhold at vurdere innovationskompetence. Samlet rapport: http://bit.do/inno-eksamen