August Succesindikatorer. Ed. Birte Christensen-Dalsgaard DIGHUMLAB Draft version august, 2016

Transkript

1 August 2016 Succesindikatorer Ed. Birte Christensen-Dalsgaard DIGHUMLAB Draft version august, 2016

2 Version history Version no. Data Author Status Changes BCD Draft for discussion with theme leaders BCD Draft based on discussion at management group meeting BCD Draft for steering group meeting BCD Draft for theme leaders Re-arranged and introduction of parameters and measures. Not discussed with theme leaders. Only appendix 1 included. Comments from meeting August included ii

3 INDHOLD Introduktion... 1 Mål for Brug af infrastrukturen... 3 Definition af brugere og aktiviteter:... 3 Brugere... 3 Typer af tjenester, som understøtter Kompetenceopbygning... 4 Ved brugerhenvendelser:... 4 Ved direkte møde med brugeren:... 5 Selvbetjening:... 5 Målinger... 5 Målemetode... 5 Videnskabeligt Udbytte:... 6 Værdiskabelse for samfund og erhverv:... 7 Success... 8 Appendix 1: SAMLET STATISTIK Appendix 2: Statistik for perioden dec juni CLARIN: Tema 2: Netarkivet: LARM Tema iii

4

5 INTRODUKTION DIGHUMLAB skal på linje med andre aktiviteter inden for såvel forsknings- som kultursektoren definere succesindikatorer og generelt komme med et bud på, hvad succes betyder. I profilpapiret adresseres impact: Digital humanities is a relatively new and a growing discipline, which will require investments in a time of cuts at the universities and research libraries and the memory institutions. DIGHUMLAB therefore needs to articulate its potential in terms of potential savings (or smaller investments) and how it contributes to social impact. The collaborative effort of DIGHUMLAB will serve to maximise the relevance and return of the technology investments. By sharing the cost of maintaining the platform, the cost for the individual university will be reduced compared to carrying the operational cost for many, uncorrelated services. A recent report Evaluating and monitoring the Socio-Economic Impact of Investment in Research Infrastructures (technopolis, 2015) points to the potential socio-economic impacts which for DIGHUMLAB can be interpreted as - The combination of digital and humanistic skills of students, might lead to increased employment - Joint venture with companies may contribute to innovation activities And the scientific impact as - New knowledge and - Scientific visibility - Broader research collaborations FI s nye rapportskema stiller også nye krav til indrapporteringen, hvor projektet som noget nyt skal rapportere på en række parametre, som på forskellig vis udgør mål for brug af infrastrukturen. Rapportskemaet blev gennemgået på temaledermødet 28/ og kan findes på FI s hjemmeside ( Skemaet har tre relevante afsnit: 1. Forskningsinfrastrukturen 2. Videnskabeligt udbytte 3. Værdiskabelse for samfund og erhverv Med følgende underpunkter: 1. Forskningsinfrastrukturen: Konstruktion, etablering og indkøb (f.eks. apparatur og software) Projekt- og tidsplan 1

6 Adgangspolitik (alle nationale forskningsinfrastrukturer skal have en klart defineret adgangspolitik for akademiske og industrielle brugere) Data management og tilgængelighed Brugerstøtte (for akademiske og industrielle brugere) Kompetenceopbygning (f.eks. kurser, informations- og undervisningsmateriale) Opsøgende aktiviteter (f.eks. informations- og opstartsmøder, nyhedsbreve, mv.) Planer for driften efter bevillingsperiodens udløb (kun ved slutrapport) Det forventes, at de involverede forskningsinstitutioner pa tager sig ansvar for den videre drift af forskningsinfrastrukturen efter dens etablering 2. Videnskabeligt udbytte: Antal brugere (forskningsformål), herunder om muligt institutionel fordeling af brugere samt evt. internationale brugere Publikationer (som eksplicit er baseret pa brug af/data fra forskningsinfrastrukturen) Internationalt samarbejde (herunder f.eks. samarbejder med ESFRI-projekter) Mobilitet, uddannelse og tiltrækning (f.eks. ph.d. og postdocs) 3. Værdiskabelse for samfund og erhverv: Samarbejder med andre uden for forskningsinstitutioner, f.eks. virksomheder, GTSinstitutter, innovationsnetværk Brugere uden for forskningsinstitutioner, f.eks. fra virksomheder, GTS- institutter, innovationsnetværk, m.fl. Nye teknologier, metoder, processer, mv. baseret pa resultater fra forskningsinfrastrukturen Nye produkter baseret pa resultater fra forskningsinfrastrukturen Nye virksomheder baseret pa resultater fra forskningsinfrastrukturen Samfundsmæssig værdi (f.eks. samarbejder med andre myndigheder, organisationer, m.fl.) Som et første skridt har temalederne indrapporteret statistik fra det forgangne år. Der er mange grunde til, at indrapporteringerne har været meget varierede og i en række tilfælde temmelig fragmentariske. Indrapporteringerne er harmoniseret (ret minimalt), og resultatet er vist i appendix 1 samlet statistik. Det er klart fra indrapporteringerne, at der er behov for en harmonisering og fælles definitioner. Det er også klart, at vi ikke kan lave mål, som passer til alle situationer. Vi har eksempler, hvor websitet alene tjener et oplysende formål og vi har steder, som er decideret arbejdsområder. Ved de oplysende websteder som Netarkivet, vil man forvente mange besøg af kort varighed; det 2

7 modsatte er tilfældet for arbejdssites som Larm, hvor man vil forvente få besøgende, som bliver i lang tid. Det er også klart, at et forskningsfelts størrelse har betydning for, hvornår et vist antal er en succes eller det modsatte. Det er derfor vigtigt at definere, hvornår noget er en succes. Der kan også være andre parametre, som kan være vigtige. Formålet med resten af dette notat er at introducere og definere forskellige mål og at opstille succeskriterier. MÅL FOR BRUG AF INFRASTRUKTUREN I dette afsnit er der fokus på brug af infrastrukturen samt på de aktiviteter, som knytter sig tæt op af brugen. I forhold til FI s måleskema, drejer dette sig om: 1. Forskningsinfrastrukturen: Brugerstøtte (for akademiske og industrielle brugere) a. Brugerstøtte (for akademiske og industrielle brugere) b. Kompetenceopbygning (f.eks. kurser, informations- og undervisningsmateriale) c. Opsøgende aktiviteter (f.eks. informations- og opstartsmøder, nyhedsbreve, mv.) 2. Videnskabeligt udbytte: a. Antal brugere (forskningsformål), herunder om muligt institutionel fordeling af brugere samt evt. internationale brugere Der er flere punkter til videnskabeligt udbytte, men disse har en anden karakter og adresseres i næste afsnit. Nedenfor gives først en definition af relevante begreber, derefter opstilles mulige mål og endelig gives et bud på, hvordan succes defineres i forhold til disse mål. DEFINITION AF BRUGERE OG AKTIVITETER: BRUGERE I definitionen ovenfor opereres med akademiske og industrielle brugere og i andre mål bliver vi bedt om at rapportere om, hvor mange interne og eksterne brugere, der er til infrastrukturen. I det følgende bruges derfor følgende definitioner: Akademiske brugere: brugere, som har et tilhørsforhold til en læreranstalt i Danmark eller i udlandet. De akademiske brugere kan deles i fire kategorier: - medlemmer af DIGHUMLAB konsortiet, medlemmer af et universitet eller kulturinstitution, som er med i DIGHUMLAB - medlem af dansk universitet eller højere læreranstalt, som ikke er medlem af DIGHUMLAB - Udenlandsk forsker 3

8 - Student eller lærer på en af de kortere uddannelser, herunder gymnasier Industrielle brugere: Brugere, som kommer fra ikke-akademiske institutioner det være sig fra den kreative industri, nyhedsformidling, internetvirksomheder eller andre, som kunne være interesseret i DIGHUMLABs produkter eller indhold. I forhold til målinger har vi: Registrerede brugere: Visse tjenester (CLARIN, LARM, Netarkivet) kræver man er registreret. Information kan fås ved analyse af brugerbasen. Her kan skelnes mellem: 1. Medlemmer af DIGHUMLAB konsortiet (dvs. de forskningsgrupper, som deltager), medlemmer af et universitet eller kulturinstitution, som er med i DIGHUMLAB 2. Medlem af dansk universitet eller højere læreranstalt, som ikke er medlem af DIGHUMLAB 3. Udenlandsk forsker 4. Ikke akademisk bruger Identificerede brugere: Flere tjenester (LARM, Netarkivet) tilgås via indlogninger via WAYF uden at man behøver at være en registreret bruger. WAYF kan give information om, hvilket universitet, brugerne kommer fra. Her kan skelnes mellem: Medlemmer af et universitet eller kulturinstitution, som er med i DIGHUMLAB Medlem af dansk universitet eller højere læreranstalt, som ikke er medlem af DIGHUMLAB Udenlandsk forsker Brugere, der ikke logger ind (nogle services i CLARIN kræver ikke login, fx søgning efter/i ressourcer) On-site brugere: En række tjenester er kun tilgængelige på fysiske lokaliteter (VILA, mobil lab). Her kan skelnes mellem: 1. Medlemmer af DIGHUMLAB konsortiet (dvs. de forskningsgrupper, som deltager), medlemmer af et universitet eller kulturinstitution, som er med i DIGHUMLAB 2. Medlem af dansk universitet eller højere læreranstalt, som ikke er medlem af DIGHUMLAB 3. Udenlandsk forsker 4. Ikke akademisk bruger Unikke besøgende: bruges i forbindelse med målinger af brug af websites. Forskellige algoritmer har forskellige definitioner og målemetoder. TYPER AF TJENESTER, SOM UNDERSTØTTER KOMPETENCEOPBYGNING VED BRUGERHENVENDELSER: Faglig rådgivning: Bruges når en forsker spørger om fagligt råd af mere generel karakter (hvad kan jeg, hvilke værktøjer, skal jeg bruge etc.). Vil typisk ske via telefon eller via mail, men kan også være ved fysisk møde. 4

9 Helpdesk/Hotline: Bruges når en bruger (ekspert eller student) skal have hjælp til at bruge et værktøj. Vil typisk ske via telefon eller via mail. Skal understøttes af vidensdelingsværktøjet. For begge disse vil en optælling fordelt på de fire kategorier kunne gennemføres. VED DIREKTE MØDE MED BRUGEREN: Workshop: Et fysisk undervisningsforløb med en eller flere lærere, som fokuserer på brug af et eller flere værktøjer og gerne perspektiveret. Seminar: Et fysisk forløb hvor en eller flere oplægsholdere sætter en problemstilling i perspektiv. For begge disse vil en optælling fordelt på de fire kategorier kunne gennemføres. SELVBETJENING: Online tutorials: Video eller beskrivelse, som viser, hvordan et givet værktøj eller en service bruges. Online showcases: Video eller beskrivelse, som perspektiverer brugen af et givent værktøj. Text Testimonials: Korte udsagn fra prominente forskere. Video Testimonials: Korte videoklip, som introducerer et forskningsspørgsmål. For de ovenstående opereres med unikke brugere og skelnen sker på de præmisser, som webanalyseværktøjet stiller til rådighed. Øvrig information på websitet. MÅLINGER I forhold til de fire områder fra FI s liste, som relaterer sig direkte til brug, og som blev nævnt på foregående side har vi nedenstående mulige målinger: MÅLEMETODE Genstand for mål Bidrager til mål nr (side 3) Mulige målemetode Brug af infrastrukturen 2a 1: Antal registrerede brugere til værktøjet, udlån og brug af udstyr og laboratoriefaciliteter, fordelt på brugerkategorier 2: Antal logins via WAYF fordeling på brugerkategorier 3: Samlet tid brugt på værktøjer, udstyr og data Faglig rådgivning 1a, 1b 1: Antal henvendelser (hvis en person tager 5

10 dage bør det nok noteres) og fordeling på brugerkategorier Helpdesk 1a 1: Antal henvendelser og fordeling på brugerkategorier Workshop 1b 1: Antal afholdte workshops 2: Antal deltagere og fordeling på brugerkategorier 3: Tilfredshed målt via fælles skema Seminar 1b, 1c 1: Antal afholdte seminarer 2: Antal deltagere og fordeling på brugerkategorier 3: Tilfredshed målt via fælles skema Online tutorial 1b 1: Antal besøg/downloads 2: Tid brugt Online showcases 1c 1: Antal besøgende 2: Gennemsnitlig varighed af session Øvrig information på website, inkl. user impressions Brug af internationale værktøjer/websites Offentlige foredrag / kronikker etc. 1c 1: Antal unikke besøgende fordelt på nye og gamle 2: Antal sessioner 3: Antal sidevisninger 4: Gennemsnitlig varighed af session 5: Hvor kommer de fra (henvist fra) 6: Nyhedsbrev - subscribere 7: Facebook, twitter 1b, 1c 1: Antal danske besøgende på de internationale websites? 1c 1: Antal/liste over titler på disse 2: Antal deltagere VIDENSKABELIGT UDBYTTE: I forhold til FI s skema, skal der også rapporteres på nedenstående tre punkter under: 2. Videnskabeligt udbytte: b. Publikationer og videoer (som eksplicit er baseret pa opbygning og brug af data/helpdesk/tutorials/services/tools/laboratoriefaciliteter fra forskningsinfrastrukturen ) c. Internationalt samarbejde (herunder f.eks. samarbejder med ESFRI-projekter) d. Mobilitet, uddannelse og tiltrækning (f.eks. ph.d. og postdocs) 2b og 2c er mål, der tidligere er rapporteret omkring, hvorimod 2d er nyt. Genstand for mål Mobilitet, uddannelse og tiltrækning Målemetode 1: # medlemmer, som tilbringer tid ved anden institution evt. tid 2: # visitors fra udlandet evt. tid 3: # nationale arbejdsmøder, workshops (fagligt samarbejde) 6

11 4: # kurser, ph.d.-kurser, workshops og seminarer nationalt, deltagelse af udenlandske forskere i seminarer 5: # ph.d. 6: # postdocs VÆRDISKABELSE FOR SAMFUND OG ERHVERV: Endelig skal der rapporteres på værdiskabelse, hvor punkterne er: a. Samarbejder med andre uden for forskningsinstitutioner, f.eks. virksomheder, GTSinstitutter, innovationsnetværk b. Brugere uden for forskningsinstitutioner, f.eks. fra virksomheder, GTS- institutter, innovationsnetværk, m.fl. c. Nye teknologier, metoder, processer, mv. baseret pa resultater fra forskningsinfrastrukturen d. Nye produkter baseret pa resultater fra forskningsinfrastrukturen e. Nye virksomheder baseret pa resultater fra forskningsinfrastrukturen f. Samfundsmæssig værdi (f.eks. samarbejder med andre myndigheder, organisationer, m.fl.) For et projekt som DIGHUMLAB forventes at værdiskabelse for samfundet er den mest relevante selv om også nye teknologier og metoder kan være relevant. Disse kan være (skal udarbejdes i samarbejde med temalederne) - samarbejde med andre offentlige institutioner (eksempelvis skoler), som medvirker til bedre service - xxxx 7

12 SUCCESS En ting er målepunkter en anden succes. DIGHUMLAB kan selv definere sine kriterier for succes som kan variere fra tema til tema og relatere disse til målepunkterne. I tabellen nedenfor er alle målepunkterne gentaget og et mål er, at alle felter udfyldes enten med, hvad man kan måle eller med information om, at et givent felt enten ikke kan måles eller at en måling ikke giver mening. Genstand for mål Tema1 Tema2a Tema2b Tema3 (Vila) Brug af infrastrukturen 1: Antal registrerede brugere til værktøjet, udlån og brug af udstyr og laboratoriefaciliteter fordelt på brugerkategorier 2: Antal login via WAYF fordeling på brugerkategorier 3: Samlet tid brugt på brug af værktøjer Faglig rådgivning 1: Antal henvendelser (hvis en person tager dage bør det nok noteres) og fordeling på brugerkategorier Helpdesk 1: Antal henvendelser og fordeling på brugerkategorier Workshop 1: Antal afholdte workshops 2: Antal deltagere og fordeling på brugerkategorier 3: Tilfredshed målt via fælles skema Seminar 1: Antal afholdte seminarer 2: Antal deltagere og fordeling på brugerkategorier Tema 3 (Mobile Labs) 8

13 3: Tilfredshed målt via fælles skema Online tutorials 1: Antal downloads 2: Tid brugt Online showcases 1: Antal unikke besøgende fordelt på nye og gamle 2: Gennemsnitlig varighed af session Øvrig information 1: Antal besøgende fordelt på nye og gamle 2: Antal sessioner 3: Antal sidevisninger 4: Gennemsnitlig varighed af session 5: User impressions 6: Nyhedsbrev - subscribere 7: Facebook, twitter Brug af internationale værktøjer/websites 1: Antal besøgende på de internationale websites Offentlige foredrag / kronikker etc. 1: Antal/liste over titler på disse 2: Antal deltagere 9

14 APPENDIX 1: SAMLET STATISTIK Antal interne brugere af infrastrukturen CLARIN Netlab LARM Vila SDU Faglig rådgivning = 6 1? 195 registrerede Service desk = 6 Service desk = 73 brugere (der var Deltagelse i datasessions = før redesign) Antal eksterne brugere af infrastrukturen Antal kurser og workshops er afholdt inden for det sidste år Antal entydige brugere 230/mdr. Views: 7000 Gennemførte kurser = 3 Antal deltagere: 40 Logfiler tilgængelige 1 planlagt aflyst 3 workshops afholdt marts-maj 2015 med deltagelse af samlet 22 forskere 1470 brugere af hjemmesiden Samlet tid forbrugt: 1057 timer Er ved at blive udviklet til ny platform Youtube views = 1896 Watch time = 5618 minutter Antal Kurser og workshops: 2 Deltagelse i kurser = 12 Deltagelse i workshops = 80 Views = 1446 Watch time = 2003 Antal Kurser og workshops: 5 Deltagelse i Kurser = 81 Deltagelse i Workshops = 79 Antal afholdte seminarer inden for det sidste år 1 gennemført primo juni (40 deltagere) 1 konference (60 deltagere) 1 international teknisk workshop (15 deltagere) 0 2 seminarer 10

15 APPENDIX 2: STATISTIK FOR PERIODEN DEC JUNI 2016 Brugertal for det sidste år Web DIGHUMLAB tællemekanisme har ikke været slået til det er den nu! CLARIN: Antal interne og eksterne brugere af infrastrukturen det sidste år (1/ /5 2016). CLARIN begyndte 1. december 2015 at bruge Piwik til at måle besøgende og nedenstående er genereret ud fra Piwik Visitor Statistics Statistics period: (6 months) Visitor summary: ca visits and 7000 unique pageviews to CLARIN.dk and CST online-tools (cst.dk/tools/) ca. 200 visits and 200 unique pageviews to info.clarin.dk wiki (note: Piwik only records statistics on info.clarin.dk homepage and not on sub-pages due to the CMS used) ca. 230 unique visitors per month to CLARIN.dk and 200 unique visitors per month to CST online-tools Figure: CLARIN.dk pageviews Dec June 2016 (excluding tools workflow service) Demographics review: CLARIN.dk - Ca. 68% visitors from Denmark Top foreign visitors countries that feature are USA and UK European visitors countries that feature are UK, Germany, Sweden, Norway and Netherlands CST online-tools: 11

16 Ca. 13% visitors from Denmark Top overseas visitor countries that feature are USA and India European visitors countries that feature are Germany, France, Spain and Finland Software/browser review: A majority of visitors browse the clarin.dk website from a computer running Windows 7/8.1/10 using modern versions of Chrome, Firefox or Internet Explorer browser Visitors using mobile devices are mostly from iphone computers or tablets running ios 9 and with Mobile Safari browser Referrers: ca. 40% visitors access the CLARIN.dk directly and ca. 45% via search engines, and the remainder from other websites. Direkte hjælp til brugere og projekter: 6 eksterne brugere Hvor mange kurser og workshops er afholdt indenfor det sidste år (1/ /5 2016) Clarin.dk: 3, samlet antal deltagere? Danske deltagere i international CLARIN workshops: 1 CLARIN Antal interne og eksterne brugere af infrastrukturen (1/ /5 2016) Interne: Faglig rådgivning = 6 Gennemførte kurser = 3 Antal deltagere: Ekstern (1/12 31/5): Antal entydige brugere 230/mdr. Views: 7000 watch time =??? Antal kurser og workshops afholdt inden for det sidste år TEI-workshop nr. 2: Fokus for denne workshop er opmærkning af "kritisk apparat"/editionsfilologisk 12

17 (1/ /5 2016) opmærkning og anden opmærkning internt i teksten vha. TEI. Workshop om opmærkning: Denne workshop drejer sig om manuel eller kvalitativ opmærkning, hvor brugeren selv indsætter sine oplysninger. Gamle ord på nye skærme TEIworkshop nr. 3, denne i samarbejde med HUMlab, om TEI opmærkning af personer, steder og events, og om Locus-classicus.org og CLARIN.dk Antal afholdte seminarer inden for det sidste år (1/ /5 2016) Der blev afholdt seminar 7. juni med over 40 deltagere Internationale aktiviteter: Sofie fra Saxo har deltaget i workshop om Oral History afholdt af Europæisk CLARIN. Der er afholdt en CLARIN-PLUS workshop i Bergen for nye CLARIN-medlemslande om Organisering af infrastruktur (8/3 2016), men det var europæiske deltagere, ikke danske. Dog 2 danske undervisere. TEMA 2: NETARKIVET: I netarkivet gemmes logfiler og disse kan analyseres. 13

18 Workshops 2015 (okt.): Planlagt NetLab workshop om webarkivering for et hold KA-studerende på Kinesisk, blev aflyst i sidste øjeblik af opdragsgiveren. 3 workshops afholdt marts-maj 2015 med deltagelse af samlet 22 forskere fra 10 forskellige discipliner. Internationale aktiviteter: 2015 (jun.): Web Archives as Scholarly Sources: Issues, Practices and Perspectives, international konference, 60 papers og workshops, deltagere fra både forsknings- og webarkivmiljøer (kuratorer, it-udviklere) (dec.): NetLab Technical Meetup, IT-udviklerseminar, 15 deltagere fra webarkiver i hele Europa. LARM LARM har lige nu 195 registreret brugere, og det er efter, der er slettet 37 ku brugere. Ku brugerne vil komme på igen næste gang de logger ind. I april blev der registreret 25 nye brugere og 15 i maj. 14

19 Der bruges Google Analytics til anonym statistik, som dække både de brugere der er logget ind og dem der ikke er. Fra den kan ses, at der i perioden 1. december 2015 til 31. maj 2016 har været besøgende*, som har besøgt larm.fm gange og set sider. De besøgende er i gennemsnit på siden i 12 minutter og 43 sekunder ved hvert besøg. Så de besøgende har sammenlagt brugt timer og 10 minutter på larm.fm. Samlet for tema 2: Antal interne og eksterne brugere af infrastrukturen?(1/ /5 2016) Antal kurser og workshops er afholdt indenfor det sidste år (1/ /5 2016) AU, Netlab Kun rå logfiler forefindes. 1 planlagt aflyst 3 workshops afholdt marts-maj 2015 med deltagelse af samlet AU, LARM 195 registrerede brugere 1470 brugere af hjemmesiden Samlet tid forbrugt: 1057 timer Er ved at blive udviklet til ny platform 15

20 Antal afholdte seminarer indenfor det sidste år (1/ /5 2016) 22 forskere fra 10 forskellige discipliner Web Archives as Scholarly Sources: Issues, Practices and Perspectives, international konference, 60 papers og workshops, deltagere fra både forsknings- og webarkivmiljøer (kuratorer, it-udviklere). NetLab Technical Meetup, ITudviklerseminar, 15 deltagere fra webarkiver i hele Europa 0 TEMA 3 Tema 3 benytter sig af Google Analytics og har vist en sammenligning med sidste år. 16

21 Antal interne og eksterne brugere af infrastrukturen?(1/ /5 2016) Antal kurser og workshops afholdt inden for det sidste år (1/ /5 2016) Antal afholdte seminarer inden for det sidste år (1/ /5 2016) AAU Interne: Service desk = 6 Deltagelse i kurser = 12 Deltagelse i workshops = 80 Ekstern: Deltagelse i datasessions = 20 youtube views = 1896, watch time = 5618 minutter 1) Video-Based Interaction Research: Technical course in data collection, video editing, transcription and sharing 2) Introduktion til ELAN 3) 10 datasessions 1) Multimodal video analysis (Aug Nishizaka) 2) New developments in video technology SDU Interne: Service Desk = 73 Deltagelse i Kurser = 81 Deltagelse i Workshops = 79 Eksterne: Views = 1446 Watch time = ) Video-Based Interaction Resarch (4x) 2) Introduktion til CLAN (2x) 3) JavaScript boost kursus (2x) 4) JavaScript boost workshops (4 x) 5) Video Editing Workshop 17