Måling af impact eller impact af måling? DARMA Nyborg 17. maj 2018 Professor Peter Dahler-Larsen Institut for Statskundskab, KU

Transkript

1 Målig af impact eller impact af målig? DARMA Nyborg 17. maj 2018 Professor Peter Dahler-Larse Istitut for Statskudskab, KU

2 Gægs takegag Begreb Dimesioer Operatioaliserig Data Brug

3 Gægs takegag Begreb Dimesioer Operatioaliserig Data Brug

4 Gægs takegag Begreb Dimesioer Operatioaliserig Data Brug

5 Gægs takegag Begreb Dimesioer Operatioaliserig Data Brug

6 Tre paradigmer Metrologisk: Måligstekisk focus Deliberativt: Vi drøfter begreb, målig, brug og fider frem til oget godt Kofigurativt/Kostitutivt: Evaluerigsmaskier sætter tig igag

7 Begreb Dimesioer Operatioaliserig Data Brug

8 Wikipedia: Impact I sciece: Impact evet, the collisio of a meteoroid, asteroid or comet with Earth Impact (mechaics), a high force or shock (mechaics) over a short time period Impact crater, a meteor crater caused by a impact evet Impact factor, a measure of the citatios to a sciece or social sciece joural I developmet: Impact evaluatio, a way of evaluatig chages from a itervetio or developmet programme.

9 Impact of social sciece/research Beeficial chages that will happe i the real world (beyod the world of research) as a result of your research. M. Reed (2016) The Research Impact Hadbook. (Kidle versio). Fast Track Impact, box 1. The demostrable cotributio that excellet social ad ecoomic research makes to society ad the ecoomy, of beefit to idividuals, orgaisatios ad atios. ESRC A auditable or otherwise recordable occasio of ifluece Bastow, S., Duleavy. P, Tikler, A.: (2014): The Impact of the Social Scieces: How Academics ad their Research Make a Differece. Sage, p. 296

10 Dimesioer (eksempler) Academic/social/political impact Forskig vs. formidlig Iteratioal vs. atioal

11

12 Øvrige vaskeligheder Mage flere dimesioer Tid? Tilskrivig (hvorda og til hvem) Ekstraordiær impact vs rutie-impact Vurderig god/dårlig

13 Kostitutive virkiger Evaluerig defierer hvad ma påstår at måle, især år gestade er begrebsligt uklar og evaluerbarhede er lav Syekdoke: e del står for helhede

14 Kostitutive virkiger foretrækkes begrebsligt frem for utilsigtede kosekveser Tæk i stedet fx : elektiv affiitet (Weber)

15 Case: kvatificerig af impact på tværs af sprogområder PLOTE: Procetdel af Google Scholar citatioer, der kommer af publikatioer på LOTE ( Laguages Other Tha Eglish ) Casemateriale: 40 professorer med Google Scholar profiler på istitutter i statskudskab Kilde: P Dahler-Larse (2018): Makig Citatios of Publicatios i Laguages other tha Eglish visible: O the Feasibility of the PLOTE-idex. Research Evaluatio olie first.

16 Publikatioer fordelt på sprog Publicatios Citatios Citatios per publicatio Eglish LOTE

17 Citatioer og PLOTE

18 PLOTE i subdisciplier Subfield PLOTE Iteratioal Relatios 3.06 EU studies 5.04 Political behaviour ad istitutios Comparative politics Welfare ad labour market studies Public Admiistratio 32.36

19 Udviklig i PLOTE Time Period Proportio of publicatios i LOTE PLOTE Util ad icludig

20 Case: BFI. Retigslijer for resig af data Stramig af iveau 1-publikatioer Påmidelse om forskig vs. formidlig Påmidelse om yt idhold

21 Kostitutive virkiger og typer af data Kvatitative data Idikatorer sætter målsætiger Resig, sammeligig, ormaliserig Nye idikatorer udvikles Kvalitative data Eks eksemplariske case studier (forbillede, type af impact)

22 Flertydighed ka øge brug af idikatorer Lokale vise mæd fortæller uge forskere hvad der skal til for at slå igeem Forberedelse ifht Forfremmelseskriterier Hvad bedømmelsesudvalg lægger vægt på Hvilket iveau udmøtes e idikator på? ( Buffer )

23 Forskeres sy på idikatorer Optimist Pessimist Klarhed Flertydighed

24 Forskeres sy på idikatorer Optimist Pessimist Klarhed Producet Stresset Flertydighed Pragmatiker Forvirret

25 Multifuktioel stabiliserig af e idikator: Google Scholar Leverer et tal for atal citatioer Leverer et H-idex Giver mulighed for refleksio: Hvilke publikatioer giver hvor meget impact Giver mails om hvilke forskere, der citerer die værker Markedsførigsredskab (idivid/istitut) Evaluerigsmaskie

26 Kostitutive virkiger afhæger bl.a. Vide, implemeterig Praksis for målig, præsetatio, evaluerig Icitameter (NB relative) Status bladt forskere Forestilliger og flertydighed Dyamik i evaluerigssystem Sammefletig af fuktioer

27 Tag med hjem: Syv hurtige Målig af impact = defiitio af impact Med målig af impact forholder ma sig til forskiges opgave i samfudet Målig af impact drevet af mage iteresser Atag ikke at ma ka lave små fikse tekiske kategoriseriger af impact ude kosekveser Mage virkiger af målig; svære at hege id. Flertydighed er produktiv på godt og odt Opmærksomhed!

28 Litteratur P Dahler-Larse (2018): Makig Citatios of Publicatios i Laguages other tha Eglish visible: O the Feasibility of the PLOTE-idex. Research Evaluatio olie first. P Dahler-Larse (2012): The Evaluatio Society. Staford Uiversity Press P Dahler-Larse (2014): Costitutive Effects of Performace Idicators: Gettig beyod uiteded cosequeces. Public Maagemet Review 16(7): P Dahler-Larse (2012): Betydige af bibliometriske idikatorer. I: J. Faye og D. Budtz Pederse (red): Hvorda styres videsamfudet? Demokrati, ledelse og orgaiserig. Nyt fra Samfudsvideskabere.

29

30

31 Kostitutive virkiger Idhold Tid Relatioer Verdessy Adre idikatorer/data

32 Tre modeller Metrologisk Deliberativ Kostitutiv

33 Kostitutive virkiger Idhold Produkt? Kvalitet? Domæe? Metoderegler? Tid Relatioer Samarbejde vs effekt Relatioer til brugere Idivid/miljø Kollegiale relatioer Verdessy Kotrol for forskigsområde/discipli Hesy til ressourcer, lokalitet, målsætiger Er formidlig eksperimetel? Adre idikatorer/data

34 Dyamik Stabiliserig (Purificatio, fakticitet, lock-i, regulerig) Ekspasio/trasformatio (Mahatta, evaluderskud; Reaktio på tværs af iveau) Kapacitetsproblemer: Træthed, udligig Problemdefiitio(er)