Lokal brug af publiceringsindikatoren

Transkript

1 Lokal brug af publiceringsindikatoren Seminar den 28. januar, Oslo CFA Centre for Studies in Research and Research Policy Department of Political Science and Government School of Business and Social Sciences

2 Disposition Om evalueringen Lokal brug som centralt dilemma Økonomisk betydning; betydning i forhold til karriere-beslutninger; samt brugen af indikatoren som strategisk monitoreringsredskab Variationen på tværs af niveauer og enheder Vanskeligheder ved at fastholde indikatoren på aggregeret niveau Vanskeligheder ved at udforme lokale modeller Sammenfatning og personlige refleksioner 2

3 Undersøgelse af lokal brug som element i flere af evalueringens del-analyser Survey-undersøgelse blandt forskere i universitets- og højskolesektoren Besvarelser fra Survey-undersøgelse blandt rektorer, dekaner og institutledere i universitets- og højskolesektoren Besvarelser fra 219 ledere Case-/interview-/dokument-studie på udvalgte universiteter og højskoler 4 institutioner med udvalgte fakulteter og institutter Men kun en mindre del af den samlede evaluering 3

4 Brugen af indikatoren på institutionsniveau Dilemma: Indikatoren udformet til brug på aggregeret niveau til fordeling af midler mellem institutioner, men den skal samtidig påvirke adfærden på individuelt niveau, hvis den skal have en effekt. Hvordan håndteres dette dilemma internt på institutionerne? Hvordan og i hvilket omfang føres incitamenterne ned igennem institutionerne? Hvordan og i hvilket omfang føres midlerne knyttet til publiceringsindikatoren ned igennem institutionerne? I hvilket omfang bruges publiceringsindikatoren på individniveau i forbindelse med opryk, lønforhandlinger samt i forhold til tildeling af bonus og andre goder? I hvilket omfang bruges publiceringsindikatoren som overvågnings- og vurderingsredskab på forskellige niveauer? 4

5 Indikatorens økonomiske betydning Nedføring af midler Figur 5.1. Har enheten din fått tildelt fullt beløp av midler i 2013 på basis av enhetens publikasjonspoeng? (i prosent) 100% 90% 80% % 60% 50% 40% 30% 20% Mere enn 100% 100% Mellom % Under 50% Vet ikke 10% % Institut Fakultet Kilde: Tabel 11 i tabelsamling for ledere. 5

6 Brugen af indikatoren på individuelt niveau Figur 5.2. Hvor viktig er publiseringsindikatoren etter din mening for din enhets beslutninger i forbindelse med opprykk, lønn og bonuser? Prosentandel som er helt enig eller enig i følgende utsagn. Forskere Institutledere Publiseringspoeng er eksplisitt brukt som et kriterium for å kvalifisere seg til akademiske stillinger. Publiseringsindikatoren er brukt som et vurderingskriterium i forhandlinger/drøftinger med enkeltforskere om opprykk eller ansettelse i nye stillinger Publikasjonspoeng blir brukt som et eksplisitt kriterium for å kvalifisere seg til spesifikke lønnstrinn Indikatoren blir brukt som et vurderingskriterium i forhandlinger med de enkelte forskere om lønnsøkninger og bonuser Min enhet tildeler individuelle lønnstillegg for publikasjonspoeng Kilde: Tabel 11a i tabelsamling for forskere og tabel 14a i tabelsamling for ledere

7 Brugen af indikatoren ift. strategier og mål Figur 5.6. Hvor viktig er publiseringsindikatoren for din enhets strategier og mål? Prosentandel som er helt enig eller enig i følgende utsagn. Rektorer Fakultetsledere Institutledere Min enhet bruker indikatoren til å vurdere de enkelte forskernes publiseringsprestasjoner. Min enhet bruker publiseringsindikatoren til interne analyser av publikasjonsaktivitet på fakultetet. Min enhets målsettninger omfatter en høyere andel av internasjonale publikasjoner. Min enhets målsettninger omfatter en høyere andel af publikasjoner i nivå 2 tidsskrifter og bokforlag. Min enhet setter mål for publiseringsaktivitet målt i gjennomsnittlig publikasjonspoeng pr. forsker. Min enhets målsettninger omfatter å øke publisering målt i antall publikasjonspoeng Kilde: Tabel 13a og 13b i tabelsamling for survey blandt ledere

8 Brugen af indikatoren på institutionsniveau Samlet vurdering: Indikatoren slår i mange tilfælde ganske stærkt igennem på individuelt niveau: Karriere Løn Annum Forskningstid Overvågning Sammenligning Prestige Usikkerhed/uklarhed Dette er ikke nødvendigvis problematisk! 8

9 Brugen af indikatoren på institutionsniveau Særdeles heterogent billede Meget stor variation på tværs af institutioner, Men også stor variation internt på institutioner, Variation over tid Meget stor frihed for hver enkelt enhed i forhold til brugen af indikatoren Særlig stor betydning på HUM/SAM samt andre områder, hvor international tidsskriftspublicering har spillet/spiller en begrænset rolle. Visse dele af modellen (artikler/engelsk) tillægges større betydning end andre (bøger/norsk), men der ikke noget i vores undersøgelse, der antyder at modellen belønner det første mere end det andet. 9

10 Hvorfor er det så vanskeligt at fastholde indikatoren på aggregeret niveau? Ledelsesmæssige og administrative tilskyndelser til at bruge indikatoren: Reducerer kompleksitet, forsimpler beslutningsprocesser, Legitimation af vanskelige eller kontroversielle beslutninger, Mulighed for at træffe mekaniske beslutninger frem for vanskelige skøn Giver administrationen et redskab til at forholde sig til forskningen Tilskyndelser for forskere: Klarhed, entydighed Objektiv belønning af præstationer Appellerer til konkurrencementaliteten i forskningsverdenen Knytter sig til parallelle incitamentssystemer Styrker eksisterende akademiske eliter Egenskaber ved modellen Høj grad af gennemsigtighed og en tilsyneladende objektiv og endimensionel skala, der let kan løsrives fra konteksten Kan bypasse organisatoriske niveauer 10

11 Brugen af indikatoren på institutionsniveau Usikkerhed om udformningen af hensigtsmæssige lokale modeller Få bud på hvordan det kan gøres i praksis Tidspres Ingen enkle, tværgående løsninger Omkostninger ved udformning af lokale modeller betales på lokalt niveau Arena for nye konflikter Utydelig grænse mellem hensigtsmæssig og uhensigtsmæssig brug Trods modellens generelle gennemsigtighed er den rolle, som pointoptjeningen spiller i praksis, ofte uigennemsigtig set fra den enkelte forskers perspektiv 11

12 Brugen af indikatoren på institutionsniveau Sammenfatning: Relativt stærke tilskyndelser til at føre incitamenterne langt ned i systemerne Svage tilskyndelser til at udforme gode lokale modeller Behov for øget opmærksomhed på denne problemstilling på alle niveauer Behov for større gennemsigtighed i lokale praksisser og mere eksplicitte diskussioner af prioriteringer og belønningsmekanismer på alle enheder Behov for tværgående diskussioner af hvordan indikatoren kan anvendes på lokalt niveau Mulighed for læring på både vertikalt og horisontalt niveau Men også behov for understregning af indikatorens rummelighed samt manglen på (bedre) alternativer En række af disse problemstillinger var også aktuelle før indikatoren 12

13 Brugen af indikatoren på institutionsniveau Afsluttende personlige refleksioner: Stor ståhej for ingenting? Handler ikke kun om omfordelingseffekter og eksternt pres, men i mindst lige så høj grad om mere indirekte mekanismer Processerne er dynamiske, komplekse, i samspil med andre incitamenter og under konstant forandring Men institutionerne spiller selv en afgørende rolle for hvilken betydning indikatoren skal have Middelvej mellem laissez faire og standardisering Overordnede retningslinjer/guidelines med stort rum til lokal forskellighed DORA deklarationen (San Francisco Declaration on Research Assessment) som inspiration. Afklaring af hvert ledelsesniveaus ansvar for brugen af indikatoren 13