Informationssøgning set i det Integrerede Kognitive Forskningsperspektiv 1

Størrelse: px
Starte visningen fra side:

Download "Informationssøgning set i det Integrerede Kognitive Forskningsperspektiv 1"

Transkript

1 Informationssøgning set i det Integrerede Kognitive Forskningsperspektiv 1 Af Peter Ingwersen og Kalervo Järvelin Abstract Artiklen demonstrerer Laboratorie-perspektivet på informationssøgning og hvordan det er indeholdt i det Integrerede Kognitive Forskningsperspektiv. Først diskuteres Laboratorie-perspektivets underliggende antagelser og velkendte ulemper og begrænsninger. Dernæst diskuteres informationsinteraktion fra et Integreret Kognitivt Perspektiv. Ultra-light og interaktive light eksperimenter med informationssøgning foreslås udført baseret på dette forskningsperspektiv gennem udnyttelsen af perspektivets kontekstuelle muligheder. Disse inkluderer uafhængige variable i relation til samlingen af dokumenter, genfindingsprincipper i søgesystemet og informationssøgerens situation og interessekontekst. Artiklen afsluttes med et konkluderende sammendrag. Peter Ingwersen er professor ved Danmarks Biblioteksskole. Kalervo Järvelin er professor ved Department of Information Studies,University of Tampere, Finland. Indledning Ifølge Järvelin (2007) er begrebet information retrieval theory (herfra benævnt informationssøgningsteori, som også dækker området information seeking) sidst nævnt som et nøgleområde i 2000 i de udsendte konferencematerialer fra den mest centrale konference på området: ACM SIGIR. Det indgår i konferencesektionen for 2000 under IR Theory, including logical, statistical and interactive IR models, and data fusion. Siden da hedder den tilsvarende sektion i invitationen til at indsende bidrag Formal Models, Language Models, Fusion/Combination. Dermed forstår man hvordan begrebet teori fortolkes i en ACM-SIGIR kontekst. Studier af interaktion eller brugere anbringes som regel under en anden sektion, typisk med underkategorier som Interactive IR, user interfaces, visualization, user studies, and user models (s. 970). I denne artikel diskuterer vi udvalgte elementer af en informationsøgningsteori, dvs. Det Integrerede Kognitive Forskningsperspektiv på informationssøgning, som foreslået og analyseret af Ingwersen og Järvelin (2005) idet Laboratorieperspektivet på forskningen også inddrages. De udvalgte elementer er interaktion og relevans, da disse fænomener er centrale for forskningen og forståelsen af informationssøgning. Ved teori forstår vi systematisk indsamling af teoretiske og empiriske lovmæssigheder og de hermed associerede antagelser og hypoteser. En teori forklarer observerede mønstre og producerer hypoteser om Dansk Biblioteksforskning årg. 4, nr. 2,

2 nye mønstre og årsagssammenhænge. Desuden giver en teori en dyberegående forståelse for fænomener gennem anvendelsen af et begrebsapparat, som går ud over det umiddelbart observerbare. Dette indebærer, at videnskabelige teorier repræsenterer virkeligheden, systematiserer vor viden om den og guider forskningen videre, fx ved at foreslå nye hypoteser (Bunge, 1967; Järvelin, 2007). Den integrerede kognitive teori for informationssøgning opstod og blev dybere analyseret i (Ingwersen, 1992; 1996). Dette ledte til en stigning i antallet af empiriske studier, baseret på hypoteser, der byggede på denne teoriudvikling (Ingwersen & Järvelin, 2005). Det integrerede perspektiv erstattede en mere individualistisk orienteret tilgang til det kognitive synspunkt på informationsinteraktion, som havde domineret denne forskningsgren siden 1970-erne. Blandt de moderne hypoteser finder vi princippet for polyrepræsentation (Ingwersen et al, 2008; Kelly et al., 2005; Larsen, et al., 2006; Skov et al., 2008; White, 2006); alternative forståelser af begreberne information og relevans (Borlund, 2003); og et nyt forskningsperspektiv (Ingwersen and Järvelin, 2005, ). I denne artikel fokuserer vi på de elementer af det integrerede kognitive forskningsperspektiv eller -ramme, som inkluderer den snævre Laboratoriebaserede forskningstradition og de udenom liggende konteksttyper. Det Integrerede Kognitive Perspektiv på forskningen i informationssøgning søger at fremkomme med bredere, men også mere dybtgående hypoteser og forskningsdesign ved at tilføje kontekst. Det er målet, at det integrerede forskningsperspektiv leder til et egentligt forskningsprogram for informationssøgning og -formidling (s ). Vi er på linie med D.C. Engelbart (1962), når vi anser Laboratoriemodellen, Figur 1 og 3, og den kognitive model for informationssøgning, Figur 4-5, som conceptual frameworks (perspektiver), som specificerer (s. 2): [Essential] objects or components of the system to be studied. The relationships of the objects that are recognized. The changes in the objects or their relationships that affect the functioning of the system. Promising or fruitful goals and methods of research. Vi definerer begrebet model på linie med Järvelin (2007) som en præcis (ofte formel) repræsentation af objekter og relationer (eller processer) indenfor et forskningsperspektiv (et framework ), eksemplificeret ved begreberne sandsynlighedsmodel og vektorrumsmodel for informationssøgning. I princippet kan en model også betegne en modellering af aktører og organisationer, fx som vist i relevansbedømmelses-modellerne, Figur 2 og 6. Allerede i 1992 startede Robertson & Hancock- Beaulieu diskussionen om de såkaldte tre revolutioner indenfor forskningen i informationssøgning: den interaktive, den relevans-relaterede og den kognitive revolution. Den sidste revolution så de som en konsekvens af de to første. Informationssøgning kunne ses som en proces, som leder eller hjælper til menneskelig erkendelse, dvs. opfattelse og fortolkning af information, læring, erkendelse og skabelse af viden. Dette syn på forskningen i (interaktiv) informationssøgning og -adfærd falder sammen med den tids opfattelse af, at denne forskning er opdelt i en hovedstrømning, bestående af en traditionel, systemorienteret og laboratoriebaseret linie, også kaldet det algoritmiske perspektiv på informationssøgning eller Cranfieldparadigmet, og det naturalistisk-realistiske, bruger-centrerede, interaktive, synspunkt på informationssøgning (Ingwersen, 1992). Selvom denne binære opdeling af forskningen var ret så klar, bidrog den ikke direkte til at forbedre forskningsmiljøet. Denne problemstilling kunne ikke løses umiddelbart, hovedsagelig fordi de to poler ikke modtog nogen befrugtning fra hinanden og det syntes umuligt at finde en fælles basis imellem forskningslinierne. Det Integrerede Kognitive Forskningsperspektiv er derfor et forsøg på at bygge en bro imellem de to synspunkter på forskningen til gensidig berigelse (Ingwersen, 1996; Ingwersen & Järvelin, 2005). Årsagen til at dette perspektiv måske kan få succes, og sandsynligvis allerede har bidraget positivt til en mere afslappet holdning i forskningsmiljøet til nye former for forskningsdesign og evalueringsmetoder er, at alle parter er enige om, at det ultimative mål for informationssøgning er at lette adgangen til og interaktion med information, og dermed til erkendelse og viden. Samtidig kan man også hævde, at jo bedre systemerne er til at samarbejde med søgeren (og omvendt) for at finde den rette information, jo bedre bliver den overordnede søgesucces for alle parter. 18

3 Disse ideer om gensidig udveksling af resultater på tværs af forskningsperspektiver udgør grundlaget for et stigende antal laboratoriestudier og felteksperimenter med såkaldt implicit og eksplicit relevansfeedback; søgeres beskrivelse af deres problemsituation og opgavekontekst; brug af simulering; anbefalingssystemer, social indeksering og søgeadfærd; samt personalisering af søgeprocessen. I deres forskningsmonografi opregner og diskuterer Ingwersen and Järvelin (2005) forskellene og sammenfaldene mellem Laboratorieperspektivet og det Integrerede Kognitive Forskningsperspektiv (s ). Forskellene rækker fra opfattelsen af begrebet information; problem- og opgaveløsnings (u)afhængighed af hinanden; formidlerens rolle; over kontekstens betydning; til evalueringsprocedurer. De to mest centrale forskelle vedrører begreberne interaktion og relevans. Dette berører forskningsdesign og systemevaluering. Denne artikel forsøger at demonstrere, at de to forskningsperspektiver faktisk hænger tæt sammen og tilsammen bidrager til en bedre forståelse af begge begreber og hele informationssøgeprocessen. I sektion 2 diskuteres Laboratorieperspektivet, med fokus på dets underliggende antagelser og kendte begrænsninger, men også muligheder. Dette følges af en diskussion af interaktion og relevansfænomener i relation til evaluering af søgesystemer, der har betydning for at se og forstå informationssøgning i en forlængelse af Laboratorieperspektivet hen imod dets kontekst. Sektion 3 diskuterer interaktiv informationssøgning, set fra et Integreret Kognitivt Forskningsperspektiv. Ultra-light og light interaktive søgeeksperimenter foreslås i sektion 4 udført indledningsvis, for at nå ud og ind i de kontekstuelle områder af informationsinteraktionen mellem søgere og system. Disse eksperimentelle situationer illustrerer uafhængige variable fra en dokumentsamling, genfindingsalgoritmer og brugerens situation. Artiklen afsluttes i sektion 5 med et konkluderende sammendrag. Laboratorieperspektivet på informationssøgning Laboratorieperspektivet er vist på Figur. 1 i den såkaldte grotte-metafor, grundet dets næsten kontekstfrie natur. Ifølge Ingwersen og Järvelin (2005, s. 4-6) består det af et system til informationssøgning, bestående af en dokumentbase, søge- og indekseringsalgoritmer, samt søgeforespørgsler (requests) og systemforespørgsler (queries), og et sæt relevansbedømmelser lavet af et antal bedømmere og lagret i en database for sig (recall base). Systemkomponenterne er placeret i midten af figuren, mens evalueringselementerne ses til venstre og nederst i det grå område. De centrale fokuspunkter for forskningen har enten været repræsentationen af dokumenter og forespørgsler (indekseringsalgoritmer og vægtning) eller søgealgoritmer, som kan producere et relevanssorteret output (query result). Context Search request Relevance assessment Documents Representation Representation Database Query Matching Query Query Recall base Evaluation Evaluation Evaluation Figur 1. Laboratorieperspektivet på forskningen i informationssøgning. (Revision af Ingwersen & Järvelin 2005, s. 5). 19

4 I Laboratorieperspektivet er søgere og brugere af information samt de interesser og behov, der ligger til grund for en søgning ikke nødvendige som led i forskningen. Der er ikke brug for dem til tests af søgealgoritmer op mod hinanden, idet algoritmernes egentlige formål er ret afgrænset: fremfinding og sortering af emnemæssigt relevante dokumenter. Testforespørgsler er typisk emnemæssigt veldefinerede og rige på ord. Dette giver søgealgoritmerne optimale arbejdsbetingelser, men gør også, at forsøgene kan forekomme ret urealistiske; tænk blot på websøgninger med gennemsnitligt to ord per forespørgsel (Spink et al., 2001). Heldigvis er de seneste års globale TREC-eksperimenter, (Text REtrieval Conference) blevet udvidet til også at omfatte en webforsøgslinie med realistiske korte søgeforespørgsler, i nogle forsøg også inddragende egentlige søgere. Alene at evaluere de algoritmiske komponenter retfærdiggør på sin vis dette forskningsperspektivs måde at bedømme søgekvaliteten på. I dette perspektiv er målet gennem konkurrence at udvikle forbedrede søgealgoritmer, som kan identificere og sortere emnerelevante dokumenter, så de kan præsenteres for en bruger med en given forespørgsel. I Laboratorieperspektivet er forskningen dybest set til for at forbedre søgesystemers (algoritmiske) design (Ingwersen & Järvelin, 2005, s. 6-7). I en teoretisk sammenhæng er målet med denne forskning at analysere grundlæggende problemer i informationssøgning. Det er fx brugen af vokabularier og de sproglige problemstillinger som dukker op med anvendelsen af enkelttermer, sammensatte ord, begreber, semantik, samt repræsentation og matchning af dokumenter og systemforespørgsler samt udviklingen af (formelle) teorier til at løse dem. Laboratorieperspektivets eksperimentelle design er karakteriseret ved bestemte typer af tests, testsamlinger med sæt af forespørgsler og dertilhørende relevansbedømmelser af dokumenter per forespørgsel ( topics i TREC-sammenhæng), samt etablerede metoder i forbindelse med måling af søgekvalitet, fx recall/precision, MAP (mean average precision) og cumulated gain (Järvelin & Kekäläinen, 2002). Eksperimenterne er normalt udført i batch-mode. Flere efterfølgende søgninger indenfor samme eksperiment kan forekomme, idet forsøgsopstillingen kan geares til, at et bestemt antal af de højst sorterede dokumenter automatisk anses for relevante. Disse udgør nu en ny forespørgsel til systemet (tilbagekoblingspilen, Figur 1), som dermed forsøger at forbedre det samlede resultat. Denne type pseudorelevansfeedback kan efterprøves med forskellige tærskelværdier i forskellige domæne- og mediemæssige sammenhænge og kan ses som en simulering af en primitiv informationssøger. De mest anvendte testsamlinger er for tiden store samlinger af historiske nyhedsdokumenter, fx fra Wall Street Journal og Financial Times. Disse er suppleret med websamlinger og mindre specialsamlinger fra andre medier. I de seneste år har man afprøvet et slags udvidet Laboratorieperspektiv, Figur 3, ved i TREC at gennemføre et interaktivt spor. Imidlertid afgrænses disse forsøg ofte ved, at de eksisterende relevansbedømmelser indgår, selv om forsøgspersoner foretager søgningerne. Det eksperimentelle forløb kan så blot afprøves henover to sammenhængende søgerunder pr. søgesession. Mere end to runder vil ændre forsøgskarakteren grundet forsøgspersonernes læring under forsøget. atet af en sådan længerevarende søgning vil som konsekvens fjerne sig mere og mere fra den oprindelige relevansbedømmelse udført efter én søgerunde. Denne uhyre korte type interaktive forsøg benævner vi IR 2 interaktion ultra-light. Betragter vi Figur 1, må vi konstatere at grotteloftets to centrale komponenter, dokumenter og søgeforespørgsler (og deres typer og genrer), kunne undergå flere eksperimenter i dybden end tilfældet hidtil har været, selv indenfor Laboratorieperspektivet. Vi har som regel at gøre med emne- eller faktuelle forespørgsler, sjældnere med forespørgsler, der inkluderer andre metadata eller blandinger. Ligeledes må man konstatere, at selve relevansbedømmelsesprocessen ikke udgør et centralt studieobjekt. Undtagelsen er nogle få undersøgelser af, hvordan forsøgsopstillinger gennem statistiske metoder neutraliserer afvigelser fra gennemsnittet, fx hvis man anvender mere end én bedømmer pr. emneforespørgsel (Vorhees, 1998), eller laver sammenligninger mellem binære og skalerede relevansbedømmelser (Sormunen, 2002). 20

5 Topical R Correlation Topical Indexing Features IA Topical Request Document Assessor Figur 2. Emnerelevans korrelerer med indekstermer ved emneforespørgsler indenfor Laboratorieperspektivet (Kekäläinen and Järvelin, 2002a). Laboratorieperspektivets Fordele, Ulemper, Antagelser og Mål En af de centrale fordele ved Laboratorieperspektivet og den iboende Cranfield Model kan forklares via Figur 2. Enkeltstående nøgleord, og andre eksplicitte kendetegn fra tekster eller andre medieformer, korrelerer med høj sandsynlighed med dokumenters emneindhold, når disse kendetegn destilleres af en indekseringsalgoritme (IA) og i stedet resulterer i videnrepræsentationer, samt med forespørgslers indhold, når disse matches. Undtagelser er problemer med homonymer. Når en forsøgsperson (eller en algoritme) behandler en emneforespørgsel, er det med stor sandsynlighed muligt at forudsige, hvilke nøgleord (eller kendetegn) der bør trækkes frem (undtagen vedr. problemer med synonymer og parafraser). Fordi emneforespørgsler netop tilgodeser kriterier for emnerelevans, er chancen for en fair korrelation til stede mellem kendetegnene i de fundne dokumenter og positive relevansbedømmelser (større end ved tilfældige udtræk). Jo flere nøgleord og -kendetegn der kan anvendes som repræsentationer af dokumenter og forespørgsler, des bedre søgekvalitet. Disse observationer er centrale for forståelsen af Laboratorieperspektivets succes i tekstbaseret informationssøgning. Alle de udtrukne nøgleord ses som uafhængige af hinanden, uanset hvilken søgealgoritme, der anvendes. I de forsøg man har udført med afhængige nøgleord, er der ikke indtruffet mærkbare forbedringer af søgeresultatet. Dette viser, at nøglen til søgesucces ligger et andet sted, selv om situationen intuitivt må opfattes som urealistisk: Forfattere skriver jo intentionelt og meningsfuldt. Men det er netop denne meningsfuldhed i teksterne, som leder til succes for informationssøgning: Jo flere meningsfyldte enkelttermer, der bringes sammen i en søgning, jo større er chancen for at ramme nogle få meningsfyldte dele (sætninger) i dokumenter. Få nøgleord rammer derimod uhensigtsmæssigt mange (dele af) dokumenters fulde tekster. Man skal her notere sig, at skriveprocessen ikke er kaotisk men stokastisk, så at sige tilfældig, hvis man betragter fordelingen af ord over store tekstmængder (Egghe & Rousseau, 1990). Denne tilfældighedsfordeling gælder imidlertid alene de funktionelle ord i teksterne (Bookstein & Swanson, 1974), ikke de indholdsbærende ord. Disse er informative ord, som er bedst anvendelige som indekseringstermer, idet de diskriminerer dokumenterne fra hinanden. Disse ords fordeling er ikke tilfældig, men følger et mønster organiseret af det tematiske forløb i teksten (Katz, 1996, s.16). Der eksisterer således en kognitiv forklaring på, hvorfor de ellers indholdsmæssigt isolerede nøgleord alligevel fungerer så godt i Laboratorieperspektivets søgeprocesser. Udvidelsen af Laboratorie-perspektivet til Interaktion Ultra-Light Figur 3 fremstiller Laboratorieperspektivet udvidet med forskellige typer implicit eller eksplicit rele- 21

6 vansfeedback, der er frembragt af en person, som agerer informationssøger. Denne lettere udvidelse af perspektivet skyldes ikke mindst opfindelsen af sandsynlighedsmodellen for informationssøgning (Robertson, 1977). Denne kræver netop en menneskeligt relevansfeedback (højre lodrette pil), for at relevansodds kan beregnes af søgesystemet. Som omtalt ovenfor, tillader Laboratorieperspektivet maksimalt kun to søgerunder pr. søgesession, hvoraf den sidste runde er et resultat af menneskelig relevansfeedback. Hermed bevares de eksisterende relevansbedømmelsers værdi, og dermed Recall-basen intakt, idet der ikke forekommer nogen læringsprocesser hos aktøren. Denne udvidelse af Laboratorieperspektivet på IR indebærer, at søgekvaliteten måles efter andet gennemløb op mod det første, automatiske gennemløb, som ses som benchmark. Dette tillader mange eksperimentelle variationer med typer af automatisk og/eller menneskelig relevansfeedback, forsøg med vægtning af nøgleord og kendetegn, og med algoritmisk modifikation af forespørgsler. Der findes nu to måder hvorpå man kan bedømme relevansen af en sådan kort søgesession bestående af to gennemløb. (1) relevans måles som hidtil i de eksisterende testsamlinger én gang for alle af en ekspertbedømmer (ved måling af sæt af dokumenter, fremfundet fra flere søgemaskiner i første gennemløb over samme forespørgsel lavet af bedømmer, som i TREC). (2) forsøgspersoner bedømmer (første og) andet gennemløbs fremfundne dokumenter, på tværs af søgemaskiner og givne forespørgsler. Dette kræver et forskningsdesign, som undgår eller neutraliserer læringseffekter o.l. Første gennemløb findes lagret i en log. Denne IR interaktion ultra-light situation er på den ene side noget urealistisk (kun to søgerunder), men samtidig optræder relevansbedømmelse (2) som brugerbaseret. Der vil naturligt fremkomme variationer i disse bedømmelser, også i forhold til de oprindelige bedømmelser af eksperterne, som følge af forskellige fortolkninger hos forsøgspersonerne. Netop derfor skal det eksperimentelle design være stringent og robust. I øvrigt vil sådanne ultra-light eksperimenter give anledning til at sammenligne de oprindelige bedømmelser med forsøgspersonernes, samt til at indføre skaleret, ikke-binære relevansbedømmelser (Borlund & Ingwersen, 1998, Borlund, 2000; 2003b; Sormunen, 2002). Den seneste udvikling på området har gjort det muligt at generalisere kvalitetsmålene (Järvelin & Kekäläinen, 2000, 2002; Kekäläinen & Järvelin, 2002b;). Samtidig har TREC-HARD introduceret søgning af højrelevante dokumenter (Vorhees, 2001; Kekäläinen, 2005; Kelly et al., 2005). Målemetode (1) giver mere konsistente mål, da originalbedømmerne som regel også har genereret emneforespørgslerne (TREC topics). Ved målemetode (2) Context Search request Relevance assessment Documents Representation Representation Database Query Matching Query Query Recall base Evaluation Evaluation Evaluation Figur 3. Det udvidede Laboratorieperspektiv på informationssøgning ( Ultra-Light ). 22

7 er dette ikke tilfældet, idet de samme forespørgsler anvendes, men gives til forsøgspersonerne, som nu bedømmer dem. Dette giver en større subjektivitet og dermed usikkerhed, som søges neutraliseret gennem anvendelsen af statistisk tilstrækkelig mange forsøgspersoner og korte søgesessioner. I interaktive Ultralight laboratorieeksperimenter søger man at bevare kontrollen over eksperimenterne, men fjerner sig fra realismen i forsøget. Man kan undgå fortolkningsproblemet og usikkerheden ved at simulere informationssøgere i disse ultra-light forsøg. Dette indebærer, at man enten via informationssøgelitteraturen eller på anden måde danner hypoteser om personers søgeadfærd, fx i forbindelse med relevansfeedback. I forsøg opstilles alle de mulige kombinationer af adfærdsmønstre, som hypotesen leder frem til. Disse afprøves, evt. over mange gennemløb. Da ingen forsøgspersoner deltager, indtræffer der ingen fordrejninger i resultatfasen. Den eller de bedste kombinationer af adfærd, set fra et søgekvalitetssynspunkt, kan senere afprøves i et ultra-light eksperiment med forsøgspersoner eller i interaktion light eller naturalistiske forsøg. Der er lavet en del simuleringseksperimenter. Magennis og Van Rijsbergen (1997) gjorde forsøg med automatisk modifikation af forespørgsler, White et al. (2004; 2005) eksperimenterede med implicit relevansfeedback og brugervalidering, Wang et al. (2006) kiggede på logbaseret collaborative filtering og Keskustalo et al. (2006). undersøgte skaleret relevansfeedback. Vi er nu på vej ind i det Integrerede Kognitive Forskningsperspektiv på informationssøgning, hvor forsøgspersonerne modtager en simuleret informationssituation (en såkaldt dækhistorie), som opstart til et relativt kontrolleret forsøg, eller de producerer selv et informationsbehov (Borlund, 2003b). I det sidste tilfælde er forsøget realistisk, men ret ukontrolleret. Gennem anvendelsen af en simuleret søgesituation opnår man en balance mellem realisme og kontrol, idet situationen er åben for fortolkning (realisme), men samme situation gives til mange forsøgspersoner (kontrol). I dette IR interaktion light forsøg vil målemetode (2) altid blive brugt, idet en testsamlings oprindelige bedømmelser altid forudsætter ikkedynamiske informationsbehov og statisk relevans. Samtidig forudsætter Laboratorieperspektivet, i modsætning til det Integrerede Kognitive Forskningsperspektiv, at de oprindelige bedømmere aldrig lider af træthed og altid glemmer de foregående bedømmelser. I de såkaldte INEX forsøgsrækker (Initiative for the Evaluation of XML retrieval) har man, i modsætning til TREC, anvendt simulerede situationer som baggrund for eksperternes skalerede relevansbedømmelser. INIX er dermed bedre gearet til interaktionseksperimenter med forsøgspersoner (Malik et al., 2007). Antallet af søgerunder vil være bestemmende for, om et forsøg tilhører interaktion ultra light eller light. I Laboratorieperspektivet opereres der med de samme uafhængigheds-antagelser i forbindelse med selve interaktionen som gælder for kendetegn i dokumenter og relevansbedømmelser. Den realistiske, komplekse, og dynamiske interaktion, som vi kender fra dagliglivet, er her brudt op i enkeltstående og uafhængige interaktionsmomenter. En succesfuld enkeltstående interaktion bliver derfor belønnet i dette forskningsperspektiv. Skulle en aktør skifte fortolkning af sin situation, fx på grund af de observerede dokumenter, opstår der blot en ny søgesituation og en ny enkeltstående interaktion. Denne måde at anskue interaktionsforløb på er ikke blot urealistisk, men på sin vis også i strid med ideen bag relevansfeedback i forbindelse med sandsynlighedssøgning, nævnt overfor, som netop indebærer et sammenhæng mellem søgerunderne i interaktionen. Dette punkt er sjældent behandlet indenfor Laboratorieperspektivet. Det Integrerede Kognitive Perspektiv på IR Som omtalt ovenfor nærmer Laboratorieperspektivet på informationssøgning sig nødvendigvis den kognitive og fysiske kontekst udenfor laboratoriegrottens metaforiske åbning, Figur 4. Algoritmisk informationssøgning ses her i kontekst af bredere informationssøgeadfærd samt opgavesituationer og processer, jobbaserede eller fra dagliglivet (Ingwersen & Järvelin, 2005, s. 322). Interaktive processer finder sted horisontalt, mens relevansbedømmelser og feedback sker vertikalt. For hver ny konteksttype angiver modellen typerne af bedømmelseskriterier, som kan anvendes i forsøgsopstillinger. Modellen i Figur 5 er en videreudvikling af det Integrerede Kognitive Forskningsperspektiv. De centrale antagelser er følgende (s. 25): 23

8 Socio-organizational& cultural context Work task context Seeking context Docs Request Seeking Task Work Task Repr DB Match Repr Query Seeking Process Work Process IR context Seeking Task Evaluation Criteria: D: Socio-cognitive relevance; quality of work task result C: Quality of info & work process/result B: Usability, quality of information/process A: Recall, precision, efficiency, quality of information/process Figur 4. Konteksttyper og bedømmelseskriterier for opgavebaseret informationsadgang (udvidelse af Kekäläinen & Järvelin, 2002a) Informationsbehandling finder sted hos både afsendere og modtagere af meddelelser; Informationsbehandlingen sker på forskellige sproglige niveauer; Under kommunikation af information er enhver aktør påvirket af sin fortid og nuværende erfaringer (tiden) og den organisatorisk-sociale og kulturelle kontekst; Individuelle aktører påvirker omgivelserne og domænet; Information er situationel and kontekstuel. For det Integrerede Kognitive Perspektiv på forskningen i informationssøgning betyder det, at den informationsbehandlende mekanisme kan optræde som afsender eller som modtager af tegn, signaler eller data, gennem en kommunikationsproces. Dette indebærer, at perspektivet ikke blot ser menneskelige aktører som modtagere, men også som ophav til tegn til og fra datamaskiner og vidensobjekter (pil 5-8) i Figur 5. Der er således altid flere forskellige menneskelige aktører på spil i IR som variable ikke blot designere af algoritmer, relevansbedømmere i testsamlinger og en informationssøger. Information objects 5 6 Org Cognitive 1 Interface Actor(s) IT: Engines Logics Algorithms (team) = Cognitive transformation and influence = Interactive communication of cognitive structures Social Context 7 Cultural 8 Figur 5. Det Integrerede Kognitive Perspektiv på informationssøgning (Ingwersen & Järvelin, 2005, s. 261). 24

9 Det Integrerede Kognitive Forskningsperspektiv er derfor ikke afgrænset til de bruger-orienterede tilgange til information og informationssøgning. Det favner alle informationsbehandlende aktører og mekanismer skabt af mennesker for mennesker. Datamaskiner og anden form for teknologi indgår derfor på linie med ophav, brugere og diverse processer som overføring og perception samt fortolkning af information. Venstre side af modellen inddrager Laboratorieperspektivet på informationssøgning, jf. Figur 4 og illustrerer med pil 2 søgeforespørgslen og relevansfeedback. Pil 3 henviser til systemforespørgslen (query) eller dens modifikation, mens pil 4 illustrerer indhentningen af dokumenter ved hjælp af en søgealgoritme. Pil 1 refererer til den sociale interaktion imellem fx en informationssøger og dennes umiddelbare sociale kontekst, dvs. informationsøgning uden inddragelse af formelle søgesystemer, dvs. uden IR. Alle fem komponenter i modellen, Figur 5, udgør kontekster til hinanden. Desuden optræder interaktion som en sjette central komponent i det Integrerede Kognitive Forskningsperspektiv. Man kan ikke betragte informationssøgeren isoleret fra sin sociale/organisatoriske kontekst; ej heller kan man se aktøren uden en systemkontekst, Laboratorieperspektivet så at sige. Når én komponent skifter indhold eller form, påvirker det de andre komponenter og kontekster. Der er konstant en dynamisk ubalance til stede i interaktionsprocessen. Interaktion og relevans Som følge af den opsplittede søgeinteraktionsproces under Laboratorieperspektivet er der stort set ingen forsøg med søgestrategier inden for dette forskningsperspektiv. De forskellige blokbygningsteknikker kendt fra traditionel online søgning ved hjælp af sætkombinationer kan ikke overføres til de algoritmiske søgemodeller. Dette gælder også i forbindelse med Google og Yahoo, som teknisk set er Boolsk søgning i ultra-terabyte skala med en relevanssorteringsalgoritme lagt ovenpå. De samme urealistiske uafhængighedsantagelser, som vi omtalte ovenfor, gælder imidlertid også her: en forandring i søgeprofilen indebærer en ny isoleret søgning, og den foregående er glemt af maskinen. Det er først i de senere år lykkedes at (gen)indføre strukturerede søgeforespørgsler, som dermed udnytter blokbygnings- og facetprincipper i den algoritmiske IR (Kekäläinen & Järvelin, 1998). Det har vist sig, at denne form for struktur forbedrer søgeresultatet i forhold til brugen af isolerede nøgleord i de avancerede søgealgoritmer. I naturlig interaktion (og ved brug af simulerede informationssituationer) ses det ofte, at forsøgspersoner fremkommer med forespørgsler, hvis søgeresultat er meget dårligt. Realistiske forespørgsler er som regel korte. Relevansfeedback hjælper ikke altid, da personens viden på området kan være svag. Dette samt det faktum, at flere forsøgspersoner som regel fortolker de samme situationer forskelligt, gør at IR interaktion light og forsøg med naturalistisk informationssøgning nødvendigvis må involvere flere end én variabel, som regel mindst to. Mange andre variable skal endvidere kontrolleres eller neutraliseres, for at opnå valide resultater. I forbindelse med opfattelsen af relevans i det Integrerede Kognitive Forskningsperspektiv Figur 4-5, har Borlund (2003a), Cosijn & Ingwersen (2000) samt Saracevic (1996; 2007a; 2007b), foreslået og diskuteret en relevanstypologi. Denne består af relevans af lavere orden, algoritmisk og emnerelevans, og relevans af højere orden: pertinence, situationel relevans og socio-kognitiv relevans. Pertinence betegner relationen mellem informationsbehovet (som fortolket af den enkelte person) og de fundne dokumenter. Kriterier er her typisk relateret til metadata, som publikationstidspunkt, nyhedsværdi for personen, dokumentets ophavsautoritet, o.l. Hvor emnerelevans (topicality) har at gøre med dokumenters aboutness, har pertinence at gøre med deres isness (Ingwersen & Järvelin, 2005, s. 271), altså en værenhed. Socio-kognitiv relevans illustreres bedst ved objektive bedømmelser foretaget over tid, fx modtagne citationer eller indlænker, som kan betegne anerkendelse, eller andre former for fagfællebedømmelser. Situationel relevans betegner relationen mellem personens problemsituation (eller interesse og opgaveløsning) og de fundne dokumenter. Begrebet situationel relevans er vanskeligt at operationalisere. Et eksempel på denne relevanstype er, når en forfatter giver et andet værk en reference (som senere bliver til en modtaget citation) eller skaber en udlænke. Her er det situationen i det pågældende værk, som dikterer relevansen af det refererede værk. Man kan dermed antage, at en artikels referenceliste betegner en liste af situationelle relevansbedømmel- 25

10 ser, mens ankerteksten inde i artiklen angiver hvorfor disse referencer er lavet. Denne form for situationel relevans er blevet udnyttet af Schneider (2005; 2006) til at konstruere synonymtesauri og navngive klynger. Men ellers har denne type relevans det med at være usynlig i undersøgelser af relevanskriterier (Berry and Schamber, 1998; Vakkari, 2001). Emnerelevans er den mest forekomne type, men afhænger af medie, genre og domæne. For web-informationssøgning har Tombros et al. (2003; 2005) fundet, at indholds- og layoutkriterier udgør de mest benyttede bedømmelseskriterier. De fandt ingen situations-beskrivelser, undtagen udtryk som: this is hot, man. Det der ser ud til at indtræffe for den situationelle relevans er, at personen netop anvender nogen af de samme kendetegn ved dokumentet, som også normalt anvendes ved emnerelevans (Burgin, 1992; Vakkari, 2001). Dermed kollapser den situationelle relevans under forsøgene, og ender som lavere ordens emne- eller indholdsrelevans. Noget tyder på, at ved at forbedre indekseringen af dokumentet gennem human indeksering rettet direkte mod dokumentets brug i en arbejdsopgave-sammenhæng, kan man fremtvinge en situationel relevansbedømmelse hos en aktør under søgeprocessen. Dette fænomen ligner det såkaldte kognitive frie fald, som diskuteres i kognitiv IR teori: at kommunikerede meddelelser taber al mening og intention og disintegrerer i enkeltstående tegn (Ingwersen & Järvelin, 2005, s ) Udenfor Laboratorie-grotten og ind i kontekst: Et Illustrativt Eksempel Ved at bevæge sig ud i de kontekstuelle komponenter i det Integrerede Kognitive Forskningsperspektiv er man tvunget til at lave forsøgsopstillinger, som er så kontrollerede som muligt, samtidig med at realismen bevares (Ingwersen & Järvelin, 2005, s ). Dette kan illustreres ved et udvalgt eksperimentelt eksempel nedenfor. Eksemplet illustrerer hvad man kan kalde naturalistisk IR interaktion. Udføres forsøgene i et laboratorium med simulerede søgeopgaver under meget kontrollerede forhold og med 1-2 uafhængige variable, benævnes eksperimenterne IR interaktion light. I alt indeholder forskningsperspektivet 9 dimensioner af variable, hver med deres værdier. Dimensionerne hidrører fra de seks komponenter i Figur 5, inkl. interaktionsprocessen. Aktøren(e) består af tre dimensioner: personlige egenskaber; fortolkning af herværende situation mhp. arbejdsopgaveløsning eller interesse; fortolkning af søgeopgaven. Information objects Social Interface Work task perception Actor types Search task perception Task Org. Context IT Cultural Figur 6. Dimensioner af det Integrerede Kognitive Forskningsperspektiv, hvorfra uafhængige variable indgår i en forsøgsopstilling i interaktiv informationssøgning (mørke cikler). (Ingwersen &Järvelin, 2005, s. 364) 26

11 Desuden består den social-organisatoriske og kulturelle kontekst af to dimensioner af variable: naturlige arbejdsopgaver eller interesser; naturlige søgeopgaver. Figur 6 viser et forsøgsscenarie, hvor de uafhængige variable vedrører informationsaktør, informationsobjekter og IT-komponenten i en informationssøgesituation. Forskningsspørgsmål og Typen af Variable i eksemplet Denne forsøgsopstilling indeholder Laboratorieperspektivet, men udvidet til at omfatte informationssøgeren i en naturlig, længerevarende interaktion med søgesystemet, Figur 6. Forskningsspørgsmålet kunne være: Givet en specifik organisation X med kendte arbejdsopgaver, hvilken søgealgoritme arbejder så bedst i forhold til to forskellige videnressourcer, når vi tager i betragtning, at søgerne har forskellige erfaringsgrundlag ved udførelsen af arbejdsopgaver? Organisationen kan være et hospital og det faglige domæne klinisk medicin. Denne kontekst bliver dermed en kontrolleret variabel. Typiske arbejdsopgaver er at stille diagnoser, udføre behandlinger, lave kliniske tests, udføre kirurgiske indgreb, udskrive recepter, o.l. Der er tre uafhængige variable i scenariet Søgealgoritmerne, man ønsker afprøvet i dette feltforsøg kunne være vektorrumsmodellen op imod en netværksbaseret metode. Informationssøgerne kan være erfarne overlæger eller 1. reservelæger sat op mod 1.års medicinstuderende. Videnressourcerne kan bestå af medicinske fuldtekstartikler versus akademiske websider. Søgeopgaverne stillet til forsøgspersonerne kunne dels bestå af rigtige arbejdsopgaver, som forsøgspersonerne selv valgte. Men dermed mistes kontrollen let over forsøgene. En mere oplagt mulighed er at udforme realistiske, simulerede arbejdsopgaver, som gør at forsøgspersonerne selv udformer informationsbehov (Borlund, 2003b). Document and Source types Doc. Structure Algorithmic IT Component Doc. Metadata rep. Actor Characteristics Domain Knowledge Perceived Work Task Sturcture/Openness Perceived Search Task Inform. Need Types Doc. Types Doc. Content rep. IS&R Knowledge Strategy/Practice Sturcture/Type Doc. Genres Information Types Doc. Structural rep. Req. Metadata rep. Work Task Exp. Granularity/Sixe Strategy/Practice Search Task Exp. Dependencies Complexity/ Specific Comm. Function Req. Content rep. Work Task Stage Requirements Dependencies Sign Language Rep. Structural rep. Context Perception Domains/Context Stability Layout & Style Match Methods Constraints... Domains/Context Doc. Isness... Motivat./Emotion... Lunk Structures... Human Source... Tabel 1. Uafhængige variable (mørk boks, indrammet), og kontrollerede variable (lysegrå) i et informationsøgningsforsøg. I tilfælde af simulerede arbejdsopgaver, kan man vælge semantisk set lukkede typer, som fortrinsvis leder frem til faktuelle informationsbehov. De kan bestå af røntgen fotos eller videooptagelser optaget med mikrokamera, som det realistisk foregår på et hospital ved diagnosticering. Alle forsøgspersonerne får stillet de samme simulerede opgaver på tværs af de to typer kilder og søgealgoritmer. Deltagerne i forsøget udfører deres søgninger som de normalt ville gøre det på hospitalet uden afsat tidspres, så vidt muligt, men man forbyder kommunikation til kolleger i forsøget for ikke at tilføre yderligere variable (Ingwersen & Järvelin, 2005, s ). Motivationen bag forsøget er den antagelse, at de traditionelle akademiske artikler fremstår som bedre informationskilder for de erfarne læger end websider. Desuden ønsker man at finde ud af hvilken søgealgoritme, som finder de mest relevante dokumenter på tværs af forsøgsgruppen. Vi skal bemærke, at variablen domæneviden ligeledes optræder som uafhængig variabel på aktørsiden i Tabel 1. Dette skyldes, at der ofte kan være en tæt korrelation mellem domæneviden og aktørerfaring med problemløsning. Men i nogle tilfælde er de uafhængige af hinanden. Erstattes de studerende i forsøget af sygeplejersker kan man forestille sig, at både læger og sygeplejersker har tilsvarende erfaringsgrundlag, men er på forskellige niveauer i relation til domæneviden. I så fald vil der optræde i alt fire uafhængige variable i forsøget, hvilket realistisk set påtvinger en reduktion til tre ved at lade informationsressourcerne udgøre en og samme type. 27

12 Eksperimentel Opstilling Tabel 1 demonstrerer de tre uafhængige variable, udvalgt fra de tre centrale dimensioner i Figur 6 (mørke, indrammede bokse). Hver variabel kan udtrykkes med forskellige værdier. For eksempel kan variablen Document Type for dimensionen Document and Source Types strække sig fra aviser over monografier til tidsskriftsartikler, konferencebidrag, musikoptagelser, websider, etc. I vort tilfælde optræder to værdier, som nævnt ovenfor. I det foreliggende forskningsspørgsmål er de kontrollerede variable Structure/Openness og Domain Context for dimensionen Perceived Work Task hospitalsomgivelserne, som forsøgene afholdes i samt de givne arbejds- og søgeopgaver, som alle findes indenfor det medicinske domæne. Disse bokse er grålige. Variablene Information Need Types (faktuelle informationsbehov) og Human Sources (forbud mod kontakt til andre) er ligeledes kontrollerede. Brugergrænsefladen følger de to algoritmer, som afprøves i forsøget. Den afhængige variabel er søgekvalitet, målt som Recall og Precision (Mean Average Precision = MAP). Alle andre variable i de andre dimensioner (ikke alle vist på Tabel 1) optræder formelt som skjulte variable, som kan lave interferens i forsøgene. Gennem at gøre brug af adskillige forsøgspersoner søger man at neutralisere eventuelle mindre forskelle mellem disse, fx vedrørende søgeerfaring. I denne forsøgsopstilling optræder tre variable, hver med to værdier. Dette er en kompleks forsøgssituation, som kræver at der gennemføres mange søgninger, for at resultaterne er statistisk valide. I den foreliggende forsøgsrække tænkes at indgå 32 forsøgspersoner (16 læger og 16 medicinske studerende), otte simulerede søgeopgaver (Q1-Q8), to algoritmer under test (a og b), og to dokumenttyper (D1 og D2). Alle disse personer, opgaver, algoritmer og dokumenttyper blandes i forsøget på en meget systematisk og symmetrisk facon: Otte forsøgspersoner (læger) og 8 studerende får hver to søgeopgaver (Q1-2), som afprøves på algoritme (a) og dokumenttype (D1); desuden afprøver de samme forsøgspersoner (Q3-4) på algoritme (a) og dokumenttype (D2). Dernæst afprøver den samme forsøgsgruppe (Q5-6) og (Q7-8) på algoritme (b) og henholdsvis (D1) og (D2). Otte andre læger og studerende udfører nu forsøgsrækken igen, dog således at de to grupper personer først søger (Q5-Q8) på algoritme (a) og henholdsvis (D1/D2) og dernæst afprøver (Q1-Q4) på algoritme (b) og (D1/D2). Som man bemærker, er der fuld symmetri i udførelsen og hver forsøgsperson kommer igennem alle otte søgeopgaver og begge algoritmer og informationskilder, uden at gentagelser forekommer. Med denne forsøgsopstilling opnår man dels at forsøgspersonerne er i stand til at udføre søgningerne uden at trættes unødigt (fx over to sessioner á fire forsøg), dels at der ved krydstabulering mellem variablene optræder 32 tilfælde for hver kombination. Dette sikrer sikkerheden i fortolkningen af resultaterne. I alt gennemføres 256 tilfælde (32 personer gange 8 søgeopgaver). Det er klart, at ved at reducere antallet af uafhængige variable til to, behøver forsøgsopstillingen færre forsøgspersoner (2 x 8), for at opnå et minimum af statistisk sikkerhed ved fortolkningen. Man kunne derfor tænke sig at udføre forsøgene blot med de to søgealgoritmer og to persongrupper. Ved at udføre forsøgene i et laboratorium opnås bedre observationsforhold og større kontrol. Et sådan eksperiment udenfor hospitalsmiljøet må dog betegnes som et IR interaktion light forsøg. Denne forsøgsopstilling gør det også muligt at studere søgeadfærden hos de forskellige grupper. Hvis man ikke kan skaffe tilstrækkelig med forsøgspersoner, er det nødvendigt at hver person udfører mere end 8 søgninger. Med færre personer bliver resultaterne af adfærdsstudierne dermed mindre sikre, grundet den manglende spredning af personer. Konkluderende sammenfatning Det Integrerede Kognitive Forskningsperspektiv, som danner rammen om dets ni dimensioner af variable, tilbyder en bredere og dybere begrebsmæssig forståelse af informationssøgeprocessen, samt tillader mere interessante hypoteser end Laboratorieperspektivet eller diverse bruger-centrerede tilgange. Ingwersen og Järvelin (2005, s ) peger på følgende centrale parametre, som indgår i deres forståelse af interaktiv IR og de fænomener, som knytter sig hertil: 28

13 [Real] users do not necessarily have ready made verbose needs; Real users interpret their situations differently even if put into the same situation (as far as that is possible, e.g., by means of simulated task situations); Even if experienced professionals, they may approach the information problems from different angles; Real users therefore construct quite different queries and are for long known to assess document relevance differently (Cleverdon, 1984); Real users face vocabulary problems and do not know the collection well; therefore initial queries may fail badly and (pseudo) RF [relevance feedback] may not work. Therefore, they may issue many consecutive queries on the same (but evolving) topic/need as they learn on the fly what works and what does not. Consequently, while ranking well for any given query is important, it is at least equally important to help the user to arrive at a good query (and if it is really good, any ranking method works well). Det Integrerede Kognitive Forskningsperspektiv anviser, hvordan man kan behandle de ovennævnte fænomener: Anvendelsen af forsøgsopstillinger som det foreslåede i sektion 4 eller andre opstillinger, der kombinerer forskellige variable fra de ni dimensioner i Forskningsperspektivet. Det foreslår som maksimum at anvende tre uafhængige variable parvis, hver med to værdier; Sammenligning af informationssøgning i forskellige typer af dokumentsamlinger; Sammenligning af fageksperter og novicer (og grupperinger derimellem), som vist ovenfor; Sammenligning af naturlige arbejdsopgavers løsning gennem informationssøgning med simulerede opgavesituationer. De sidste kan manipuleres bevidst til at være mere eller mindre semantisk åbne, mens de naturlige opgavesituationer kan anvendes som en kontrolmekanisme overfor de simulerede (Borlund, 2003b). I denne artikel har vi analyseret og diskuteret Laboratorieperspektivet på informationssøgning og vist hvordan det fuldt indgår i det Integrerede Kognitive Forskningsperspektiv. Vi har ikke blot opregnet de centrale problemer og fænomener, som skal under- søges og løses, men også søgt et pege på løsninger baseret på teoretiske rammer og gennemarbejdede forskningsmodeller. Vi har vist hvordan det integrerede forskningsperspektiv kan lede til forsøgsopstillinger, som er realistiske og kontrollerede på samme tid. Man kan, efter forskningens målsætning, bevæge sig fra IR interaktion ultra-light over light til naturalistisk informationsinteraktion. Det er via eksperimenter i laboratoriet og undersøgelser i felten, at man opnår forståelse af hvordan de bedste søgealgoritmer faktisk virker i det virkelige liv. Samtidig opnår man viden om menneskers søgeadfærd i forskellige situationer og kontekster. Det er centralt at finde frem til de mest formålstjenlige greb i de interaktive søgeprocesser og systemer; samt hvordan mennesker faktisk håndterer dem. Design af brugergrænseflader og evalueringsmetodik bliver derfor af central betydning for udviklingen af forskningen indenfor informationssøgning i fremtiden. Tendensen gå mod en mere personlig søgeproces, baseret på omfattende social viden om denne proces. Implicit og eksplicit relevansfeedback samt automatisk modifikation af søgeforespørgsler under søgningen (som jo ikke findes i Google eller Yahoo) indebærer grænseflader, som definerer en balance mellem den enkelte søgers behov og systemets behov for data om personen. At kunne fange en god førstegangs-søgeforespørgsel, eller hjælpe til at brugerne kan skabe bedre forespørgsler, udgør væsentlige bidrag til fremtidens IR systemer og digitale medier. Anerkendelse Forfatterne ønsker at takke Nordic Research School of Library and Information Science (NORSLIS) for støtte til deres forskningsprojekt. Noter 1. Denne artikel er en forkortet dansk oversættelse af originalbidraget: On the holistic cognitive theory for informartion retrieval: Drifting outside the cave of the Laboratory Framework. Ingwersen, P. & Järvelin, K. In: Dominich, S & Kisss, F. (eds.): Studies in Theory of Information Retrieval. Budapest: Foundation for Information Society, 2007: IR er forkortelsen for Information Retrieval 29

14 Referencer Barry, CL & Schamber, L (1998). Users criteria for relevance evaluation: A cross-situational comparison. Information Processing and Management, 31(2/3), Bookstein, A & Swanson, D (1974). Probabilistic models for automatic indexing. Journal of the American Society for Information Science, 25(5), Borlund, P (2000). Experimental components for the evaluation of interactive information retrieval systems. Journal of Documentation, 56(1), Borlund, P (2003a). The concept of relevance in IR. Journal of the American Society for Information Science and Technology, 54(10), Borlund, P (2003b). The IIR evaluation model: A framework for evaluation of interactive information retrieval systems. Information Research, 8(3), paper no Cited May 13, Borlund, P & Ingwersen, P (1998). Measures of relative relevance and ranked half-life: Performance indicators for interactive IR. In: WB Croft, et al. (Eds.), 21st ACM-SIGIR Conference. ACM Press, Bunge, M (1967). Scientific Research. Springer. Heidelberg. Burgin, R (1992). Variations in relevance judgements and the evaluation of retrieval performance. Information Processing and Management, 28(5), Cleverdon, CW (1984). Optimizing convenient online access to bibliographic databases. Information Services and Use, 4, Cosijn, E & Ingwersen, P (2000). Dimensions of relevance. Information Processing and Management, 36, Egghe, L & Rousseau, R (1990). Introduction to Informetrics: Quantitative Methods in Library, Documentation and Information Science. Elsevier. Amsterdam. Engelbart, D (1962). Augmenting Human Intellect: A Conceptual Framework. Stanford Research Institute. Menlo Park, CA. Ingwersen, P (1992). Information Retrieval Interaction. Taylor Graham. London Ingwersen, P (1996). Cognitive perspectives of information retrieval interaction: Elements of a cognitive IR theory. Journal of Documentation, 52(1), Ingwersen, P & Järvelin, K (2005). The Turn: Integration of Information Seeking and Retrieval in Context. Springer. Heidelberg. Järvelin, K (2007). An analysis of two approaches in information retrieval: from frameworks to study designs. Journal of American Society for Information Science and Technology, 58(7), Järvelin, K & Kekäläinen, J (2000). IR evaluation methods for retrieving highly relevant documents. In: 23rd ACM-SIGIR Conference. ACM Press, Järvelin, K & Kekäläinen, J (2002). Cumulated gainbased evaluation of IR techniques. ACM Transactions on Information Systems (ACM TOIS), 20(4), Katz, S (1996). Distribution of content words and phrases in text and language modelling. Natural Language Engineering, 2(1), Kekäläinen, J (2005). Binary and graded relevance in IR evaluations - Comparison of the effects on ranking of IR systems. Information Processing and Management, 41(5), Kekäläinen, J & Järvelin, K (1998). The impact of query structure and query expansion on retrieval performance. In: Croft, WB. et al. (Eds.), 21st ACM-SI- GIR Conference. ACM Press, Kekäläinen, J & Järvelin, K (2002a). Evaluating information retrieval systems under the challenges of interaction and multi-dimensional dynamic relevance. In: Bruce, H et al. (Eds.), The CoLIS 4 Conference. University of Washington Kekäläinen, J & Järvelin, K (2002b). Using graded relevance assessments in IR evaluation. Journal of 30

15 the American Society for Information Science and Technology, 53(13), Kelly, D, Dollu, VD & Xin Fu (2005). The loquacious user: A document-independent source of terms for query expansion. In: 28th ACM SIGIR Conference, ACM Press, Keskustalo, H, Järvelin, K & Pirkola, A (2006). The Effects of Relevance Feedback Quality and Quantity in Interactive Relevance Feedback: A Simulation Based on User Modeling. In: Lalmas, M and al. (Eds.), 28th European Conference on Information Retrieval ECIR 06, London, April Heidelberg: Springer, Lecture Notes in Computer Science vol Larsen, B, Ingwersen, P & Kekäläinen, J (2006). The polyrepresentation continuum in IR. In: Ruthven, I. et al. (eds.), Information Interaction in Context: IIiX. Royal School of LIS, Copenhagen, Magennis, M & van Rijsbergen, CJ (1997). The potential and actual effectiveness of interactive query expansion. In: Belkin, NJ, Narasimhalu, AD. and Willett, P (Eds.), 20th ACM-SIGIR Conference. ACM Press, Malik, S, Tombros, A & Larsen, B (2007). The Interactive Track at INEX2006. In: Fuhr, N., Lalmas, M. and Trotman, A. eds. Comparative Evaluation of XML Information Retrival Systems, 5th International Workshop of the Initiative for the Evaluation of XML Retrieval, INEX Berlin: Springer, Lecture Notes in Computer Science ; Robertson, SE (1977). The probability ranking principle in IR. Journal of Documentation, 33(4), Robertson, SE & Hancock-Beaulieu, M (1992). On the evaluation of IR systems. Information Processing and Management, 28(4), Saracevic, T (1996). Relevance reconsidered 96. In: Ingwersen, P. and Pors, N.O. (Eds.), 2nd CoLIS Conference. Royal School of LIS, Copenhagen, Saracevic, T (2007a). Relevance: a review of the literature and a framework for thinking on the notion in information science. Part II: Nature and manifestations of relevance. Journal of American Society for Information Science and Technology, 58(13), Saracevic, T (2007b). Relevance: A review of the literature and a framework for thinking on the notion in information science. Part III: Behavior and effect of relevance. Journal of American Society for Information Science and Technology, 58 (13), Schneider, J & Borlund, P (2005). A bibliometric based semi-automatic approach to identification of candidate thesaurus terms: Parsing and filtering of noun phrases from citation contexts. In: Crestani, F and Ruthven, I (eds.) Context: Nature, Imapct, and Role - Proceedings of the Fifth International Conference on Conceptions of Library and Information Science (CoLIS 5) Schneider, J (2006). Concept symbols revisited: Naming clusters by parsing and filtering of noun phrases from citation contexts of concept symbols. Scientometrics, Vol. 68, No. 3, Skov, M, Larsen, B & Ingwersen, P (2006). Inter and intra-document contexts applied in polyrepresentation. In: Ruthven, I et al. (eds.), Information Interaction in Context: IIiX. Royal School of LIS, Copenhagen, Skov, M, Larsen, B and Ingwersen, P (2008). Inter and intra-document contexts applied in polyrepresentation for best match IR. Information Processing & Management, 44(5), Sormunen, E (2002). Liberal relevance criteria of TREC Counting on negligible documents? In: Beaulieu, M et al (Eds.), 25th ACM-SIGIR Conference, Spink, A, Wolfram, D, Jansen, BJ & Saracevic, T (2001). Searching the Web: the public and their queries. Journal of the American Society for Information Science & Technology, 52(3), Tombros, A, Ruthven, I & Jose, J (2003). Searchers criteria for assessing web pages. 26th ACM-SIGIR Conference, ACM-Press, Tombros, A, Ruthven, I & Jose, JM (2005). How users access web pages for information seeking. 31

16 Journal of the American Society for Information Science and Technology, 56(4), Vakkari, P (2001). Changes in search tactics and relevance judgments in preparing a research proposal: A summary of findings of a longitudinal study. Information Retrieval, 4(3/4), Vorhees, EM (2001). Evaluation by highly relevant documents. In: 24th ACM-SIGIR Conference. ACM Press, Voorhees, EM (1998). Variations in relevance judgments and the measurement of retrieval effectiveness. In: Croft, WB. et al. (Eds.), 21st ACM-SI- GIR Conference. ACM Press, Wang, AP, de Vries, AP & Reinders, MJT (2006). In Lalmas, M., Tombros, A. (eds), Proceedings of the Annual European Conference on Information Retrieval (ECIR), White, RW (2006). Using searcher simulations to redesign a polyrepresentative implicit feedback interface. Information Processing and Management, 42(5), White, R, Ruthven, I, José, JM & van Rijsbergen, CJ (2005). Evaluating implicit feedback models using searcher simulations. ACM Transactions on Information Systems (ACM TOIS), 23(3), Willett, P (1988). Recent trends in hierarchic document clustering: A critic review. Information Processing and Management, 24(5),

isearch Testsamling til evaluering af integreret søgning

isearch Testsamling til evaluering af integreret søgning isearch Testsamling til evaluering af integreret søgning Marianne Lykke, Peter Ingwersen, Birger Larsen, Haakon Lund og Toine Bogers DEFF projekt 2008-2009 Dagens emner Projektets formål og problemstilling

Læs mere

AT-1. Oktober 09 + December 10 + November 11. CL+JW. Stenhus. side 1/5

AT-1. Oktober 09 + December 10 + November 11. CL+JW. Stenhus. side 1/5 AT-1. Oktober 09 + December 10 + November 11. CL+JW. Stenhus. side 1/5 1. 2. 3. 4. AT-1. Metodemæssig baggrund. Oktober 09. (NB: Til inspiration da disse papirer har været anvendt i gamle AT-forløb med

Læs mere

Erfaringer med brugbarhedsevalueringer af EPJ-systemer

Erfaringer med brugbarhedsevalueringer af EPJ-systemer Erfaringer med brugbarhedsevalueringer af EPJ-systemer Mikael B. Skov dubois@cs.aau.dk HCI Laboratoriet Institut for datalogi Aalborg Universitet Tiden læger alle sår? IPJ 2.3: Elektronisk patientjournal

Læs mere

Seminaropgave: Præsentation af idé

Seminaropgave: Præsentation af idé Seminaropgave: Præsentation af idé Erik Gahner Larsen Kausalanalyse i offentlig politik Dagsorden Opsamling på kausalmodeller Seminaropgaven: Praktisk info Præsentation Seminaropgaven: Ideer og råd Kausalmodeller

Læs mere

Web of Science Core Collection

Web of Science Core Collection Dato: 29. juni 2016 Ref.: Randi Juul Nørskov Web of Science Core Collection Udgiver: Thomson Reuters Type: Bibliografisk database / henvisning til artikler Indhold og omfang Tværvidenskabelig database

Læs mere

Informationssøgeadfærdens betydning og workshop-metodens anvendelighed ved design af metadatasystemer

Informationssøgeadfærdens betydning og workshop-metodens anvendelighed ved design af metadatasystemer Informationssøgeadfærdens betydning og workshop-metodens anvendelighed ved design af metadatasystemer Af Heidi Friis Thomsen Introduktion Håndteringen af elektroniske dokumenter spiller en stadig større

Læs mere

From Human Factors to Human Actors - The Role of Psychology and Human-Computer Interaction Studies in System Design

From Human Factors to Human Actors - The Role of Psychology and Human-Computer Interaction Studies in System Design ? VAD From Human Factors to Human Actors - The Role of Psychology and Human-Computer Interaction Studies in System Design? VEM Skrevet af Liam J. Bannon Director of the IDC and Professor of Computer Science,

Læs mere

Usability-arbejde i virksomheder

Usability-arbejde i virksomheder Usability-arbejde i virksomheder Jan Stage Professor, PhD Forskningsleder i Information Systems (IS) og Human-Computer Interaction (HCI) Aalborg University, Department of Computer Science jans@cs.aau.dk

Læs mere

Ole Gregersen 26. november 2009 IT Universitetet

Ole Gregersen 26. november 2009 IT Universitetet Ole Gregersen 26. november 2009 IT Universitetet Hvorfor er det relevant at arbejde med? 5 minutter med sidemanden Kvalitetsegenskab Risikostyring Oplevelsesdesign En kontrolleret designproces Et brugercentreret

Læs mere

Lene Gry Huybens Hald. Abstract

Lene Gry Huybens Hald. Abstract Abstract In this thesis: "Bing vs. Google - a measurement of the effectiveness and overlap of two search engines", the internet search engines Bing and Google are measured for their effectiveness and ability

Læs mere

Kædesøgning via citationer (Cited Reference Search) Web of Science er et citationsindex, som gør artiklernes referencelister er søgbare.

Kædesøgning via citationer (Cited Reference Search) Web of Science er et citationsindex, som gør artiklernes referencelister er søgbare. Web of Science Udgiver: Thomson Reuters Type: Bibliografisk database / henvisning til artikler Indhold og omfang Tværvidenskabelig database med repræsentation af over 12.000 peer-reviewed videnskabelige

Læs mere

II. Beskrivelse af kandidatuddannelsens discipliner

II. Beskrivelse af kandidatuddannelsens discipliner II. Beskrivelse af kandidatuddannelsens discipliner Særfag 18. Agenter, handlinger og normer (Agents, actions and norms) a. Undervisningens omfang: 4 ugentlige timer i 2. semester. Efter gennemførelsen

Læs mere

Et oplæg til dokumentation og evaluering

Et oplæg til dokumentation og evaluering Et oplæg til dokumentation og evaluering Grundlæggende teori Side 1 af 11 Teoretisk grundlag for metode og dokumentation: )...3 Indsamling af data:...4 Forskellige måder at angribe undersøgelsen på:...6

Læs mere

Information Meeting for DE5 and DE3 Further Study Possibilities

Information Meeting for DE5 and DE3 Further Study Possibilities Information Meeting for DE5 and DE3 Further Study Possibilities General Education Structure Diplomingeniør i Datateknik og Elektronik Civilingeniør i Datateknik og Elektronik Civilingeniør i Softwarekonstruktion

Læs mere

Forskningsprojekt og akademisk formidling - 13. Formulering af forskningsspørgsmål

Forskningsprojekt og akademisk formidling - 13. Formulering af forskningsspørgsmål + Forskningsprojekt og akademisk formidling - 13 Formulering af forskningsspørgsmål + Læringsmål Formulere det gode forskningsspørgsmål Forstå hvordan det hænger sammen med problemformulering og formålserklæring/motivation

Læs mere

DIDAKTISKE BETRAGTNINGER OVER UNDERVISNING I GRAMMATIK OG SPROGLIG BEVIDSTHED

DIDAKTISKE BETRAGTNINGER OVER UNDERVISNING I GRAMMATIK OG SPROGLIG BEVIDSTHED DIDAKTISKE BETRAGTNINGER OVER UNDERVISNING I GRAMMATIK OG SPROGLIG BEVIDSTHED OPLÆG PÅ FIP - FAGGRUPPEUDVIKLING I PRAKSIS, EFTERÅRET 2015 SARA HØJSLET NYGAARD, AALBORG UNIVERSITET Oplæggets struktur! Teoretisk

Læs mere

Brugernes relevansvurderinger: Hvad påvirker dem? - En analyse af relevansbegrebet ud fra Ingwersens og Hjørlands teorier.

Brugernes relevansvurderinger: Hvad påvirker dem? - En analyse af relevansbegrebet ud fra Ingwersens og Hjørlands teorier. Brugernes relevansvurderinger: Hvad påvirker dem? - En analyse af relevansbegrebet ud fra Ingwersens og Hjørlands teorier. Bacheloropgave Studerende: Karina Øgendahl Hold: Hold 2, årgang 07 Vejleder: Mette

Læs mere

Forskning om usability-arbejde i praksis. Kasper Hornbæk Datalogisk Institut, Københavns Universitet

Forskning om usability-arbejde i praksis. Kasper Hornbæk Datalogisk Institut, Københavns Universitet Forskning om usability-arbejde i praksis Kasper Hornbæk Datalogisk Institut, Københavns Universitet Udfordringer i forskningen Mange forskningsstudier fokuserer på at generere rapporter som beskriver

Læs mere

Positiv effekt af omstridt pointsystem på dansk forskningsproduktion Ingwersen, Peter; Larsen, Birger

Positiv effekt af omstridt pointsystem på dansk forskningsproduktion Ingwersen, Peter; Larsen, Birger university of copenhagen University of Copenhagen Positiv effekt af omstridt pointsystem på dansk forskningsproduktion Ingwersen, Peter; Larsen, Birger Published in: Videnskab.dk Publication date: 2014

Læs mere

EA3 eller EA Cube rammeværktøjet fremstilles visuelt som en 3-dimensionel terning:

EA3 eller EA Cube rammeværktøjet fremstilles visuelt som en 3-dimensionel terning: Introduktion til EA3 Mit navn er Marc de Oliveira. Jeg er systemanalytiker og datalog fra Københavns Universitet og denne artikel hører til min artikelserie, Forsimpling (som også er et podcast), hvor

Læs mere

Kolb s Læringsstil. Jeg kan lide at iagttage og lytte mine fornemmelser 2. Jeg lytter og iagttager omhyggeligt

Kolb s Læringsstil. Jeg kan lide at iagttage og lytte mine fornemmelser 2. Jeg lytter og iagttager omhyggeligt Kolb s Læringsstil Denne selvtest kan bruges til at belyse, hvordan du lærer bedst. Nedenfor finder du 12 rækker med 4 forskellige udsagn i hver række. Du skal rangordne udsagnene i hver række, sådan som

Læs mere

Participation and Evaluation in the Design of Healthcare Work Systems a participatory design approach to organisational implementation

Participation and Evaluation in the Design of Healthcare Work Systems a participatory design approach to organisational implementation Participation and Evaluation in the Design of Healthcare Work Systems a participatory design approach to organisational implementation Sammendrag Denne PhD afhandling omhandler organisatorisk implementering

Læs mere

DE BEAR TECHNOLOGY. o Processer, metoder & værktøjer. e-mail: info@dbtechnology.dk WWW.DBTECHNOLOGY.DK

DE BEAR TECHNOLOGY. o Processer, metoder & værktøjer. e-mail: info@dbtechnology.dk WWW.DBTECHNOLOGY.DK Mission Critical o Projekt Information management o Processer, metoder & værktøjer. Side 1 of 11 Projekt information Projekt information management inkluderer alle de processer, som er nødvendige for at

Læs mere

DESIGN TIL DIGITALE KOMMUNIKATIONSPLATFORME. 10. Oktober 2013 #6 Designproces + Projektstart

DESIGN TIL DIGITALE KOMMUNIKATIONSPLATFORME. 10. Oktober 2013 #6 Designproces + Projektstart DESIGN TIL DIGITALE KOMMUNIKATIONSPLATFORME 10. Oktober 2013 #6 Designproces + Projektstart DAGEN I DAG Designprocessen [Pause] Om delaflevering Gruppedannelse [Pause] Gruppeøvelse og projektstart DESIGNPROCESSEN

Læs mere

INTERESSE. En empirisk undersøgelse af interesses indflydelse på informationssøgning og adfærd. Speciale i Biblioteks- og Informationsvidenskab

INTERESSE. En empirisk undersøgelse af interesses indflydelse på informationssøgning og adfærd. Speciale i Biblioteks- og Informationsvidenskab INTERESSE En empirisk undersøgelse af interesses indflydelse på informationssøgning og adfærd Speciale i Biblioteks- og Informationsvidenskab Skrevet af Camilla Kjeldgaard Andresen, a07cakj Det Informationsvidenskabelige

Læs mere

På kant med EU. Fred, forsoning og terror - lærervejledning

På kant med EU. Fred, forsoning og terror - lærervejledning På kant med EU Fred, forsoning og terror - lærervejledning Forløbet Forløbet På kant med EU er delt op i 6 mindre delemner. Delemnerne har det samme overordnede mål; at udvikle elevernes kompetencer i

Læs mere

Kompetencemål for Matematik, 1.-6. klassetrin

Kompetencemål for Matematik, 1.-6. klassetrin Kompetencemål for Matematik, 1.-6. klassetrin Matematik omhandler samspil mellem matematiske emner, matematiske kompetencer, matematikdidaktik samt matematiklærerens praksis i folkeskolen og bidrager herved

Læs mere

Rasmus Rønlev, ph.d.-stipendiat og cand.mag. i retorik Institut for Medier, Erkendelse og Formidling

Rasmus Rønlev, ph.d.-stipendiat og cand.mag. i retorik Institut for Medier, Erkendelse og Formidling Rasmus Rønlev, ph.d.-stipendiat og cand.mag. i retorik Institut for Medier, Erkendelse og Formidling Rasmus Rønlev CV i uddrag 2008: Cand.mag. i retorik fra Københavns Universitet 2008-2009: Skrivekonsulent

Læs mere

Studieordning for kandidatuddannelsen i informationsteknologi ved IT-Universitetet i København, Digital design og kommunikation

Studieordning for kandidatuddannelsen i informationsteknologi ved IT-Universitetet i København, Digital design og kommunikation Studieordning for kandidatuddannelsen i informationsteknologi ved IT-Universitetet i København, Digital design og kommunikation Studieordning af 19. august 2015 Indhold Indledning Kapitel 1. Uddannelsens

Læs mere

Danske elevers oplevelser af og syn på udeskole

Danske elevers oplevelser af og syn på udeskole Danske elevers oplevelser af og syn på udeskole Lærke Mygind, Steno Diabetes Center, Niels Ejbye-Ernst, VIAUC & Peter Bentsen, Steno Diabetes Center (2016) Udarbejdet i forbindelse med projekt Udvikling

Læs mere

Sproglige problemstillinger i informationssøgning. Marianne Lykke Nielsen Mln@db.dk Danmarks Biblioteksskole Institut for Informationsstudier

Sproglige problemstillinger i informationssøgning. Marianne Lykke Nielsen Mln@db.dk Danmarks Biblioteksskole Institut for Informationsstudier Sproglige problemstillinger i informationssøgning Mln@db.dk Danmarks Biblioteksskole Institut for Informationsstudier Viden og Dokumenthåndtering med sprogteknologi 2. Agenda Informationssøgningsprocessen

Læs mere

Bilag. Resume. Side 1 af 12

Bilag. Resume. Side 1 af 12 Bilag Resume I denne opgave, lægges der fokus på unge og ensomhed gennem sociale medier. Vi har i denne opgave valgt at benytte Facebook som det sociale medie vi ligger fokus på, da det er det største

Læs mere

Effectiveness of Data

Effectiveness of Data The Unreasonable Effectiveness of Data Af Halevy, Norvig og Pereira Oversigt The unreasonableeffectiveness of Data Learning from Text at Web Scale Talegenkendelse Maskinoversættelse Generelt Semantisk

Læs mere

Query expansion med sociale tags til forbedret ranking af søgeresultater

Query expansion med sociale tags til forbedret ranking af søgeresultater Query expansion med sociale tags til forbedret ranking af søgeresultater Kandidatspeciale af Jens Peter Andersen Mikkel Just Tronhus 23. maj 2008, 31.212 ord Frederik Bajers Vej 7K 9220 Aalborg Ø Query

Læs mere

Skal vi ændre vores arbejde med akkreditering, kvalitet og patientsikkerhed. Torben Sejr, kvalitetchef, MPA Glostrup hospital

Skal vi ændre vores arbejde med akkreditering, kvalitet og patientsikkerhed. Torben Sejr, kvalitetchef, MPA Glostrup hospital Skal vi ændre vores arbejde med akkreditering, kvalitet og patientsikkerhed Torben Sejr, kvalitetchef, MPA Glostrup hospital PARADIGMESKIFT Fra kontrol til forbedring Kvalitetsafdelingens Rolle Perspektiver

Læs mere

Indhold Basen dækker sygepleje(videnskab), samt til en vis grad ergoterapi, fysioterapi, diætetik, radiografi, audiologi, rehabilitering

Indhold Basen dækker sygepleje(videnskab), samt til en vis grad ergoterapi, fysioterapi, diætetik, radiografi, audiologi, rehabilitering CINAHL Plus Udgiver Cinahl Information Systems, California Indhold Basen dækker sygepleje(videnskab), samt til en vis grad ergoterapi, fysioterapi, diætetik, radiografi, audiologi, rehabilitering Omfang

Læs mere

Introduktion til "Systematic Review" Hans Lund University of Southern Denmark Bergen University College

Introduktion til Systematic Review Hans Lund University of Southern Denmark Bergen University College Introduktion til "Systematic Review" Hans Lund University of Southern Denmark Bergen University College 1 Program 11.30-12.00 Præsentation af SR hvad er det og hvad kan det bruges til? 12.00-12.10 Summe:

Læs mere

Studieordning del 3,

Studieordning del 3, Studieordning del 3, 2014-2016 Autoteknolog, Valgfri Uddannelseselementer Academy Profession Degree in Automotive Technology Version 0.1 Revideret 19. august 2015 Side 0 af 6 Indhold Studieordningens del

Læs mere

Analyse af PISA data fra 2006.

Analyse af PISA data fra 2006. Analyse af PISA data fra 2006. Svend Kreiner Indledning PISA undersøgelsernes gennemføres for OECD og de har det primære formål er at undersøge, herunder rangordne, en voksende række af lande med hensyn

Læs mere

Afprøvning af InVentilate Ventilationssystem

Afprøvning af InVentilate Ventilationssystem Afprøvning af InVentilate Ventilationssystem P. Heiselberg Udarbejdet for: InVentilate A/S DCE Contract Report No. 108 Department of Civil Engineering Aalborg University Department of Civil Engineering

Læs mere

Vurdering af kvalitative videnskabelige artikler

Vurdering af kvalitative videnskabelige artikler Vurdering af kvalitative videnskabelige artikler For at springe frem og tilbage i indtastningsfelterne bruges Piletasterne-tasten, op/ned (Ved rækken publikationsår/volume/nummer og side brug TAB/shift-TAB)

Læs mere

De Ingeniør-, Natur- og Sundhedsvidenskabelige Fakulteter, AAU. Info-møde INS 240907 tbk@learning.aau.dk

De Ingeniør-, Natur- og Sundhedsvidenskabelige Fakulteter, AAU. Info-møde INS 240907 tbk@learning.aau.dk De Ingeniør-, Natur- og Sundhedsvidenskabelige Fakulteter, AAU 1 Hvorfor en ny karakterskala? Baggrund Væk fra undtagelseskarakteren 13 Færre trin omkring middelkarakteren (7,8,9) Væk fra pr. automatik

Læs mere

Evalueringsformer i HCI Design & evaluering Design og evaluering integrerede aktiviteter (studér kundernes arbejde - designe - evaluér - iterér)

Evalueringsformer i HCI Design & evaluering Design og evaluering integrerede aktiviteter (studér kundernes arbejde - designe - evaluér - iterér) Evalueringsformer i HCI Design & evaluering Design og evaluering integrerede aktiviteter (studér kundernes arbejde - designe - evaluér - iterér) Teknikker til design omfatter: Opgave/arbejdsanalyser Brugerinddragelse,

Læs mere

Bilag 2 og 3 og værktøjer

Bilag 2 og 3 og værktøjer Bilag 2 og 3 og værktøjer Lars Erik Storgaard Geodatastyrelsen, laers@gst.dk Program for workshop Geodatastyrelsen Formål hvorfor workshop? Kvalificering af listen over myndigheder Temakammerater Opmærksomhed

Læs mere

Bedømmelse af kliniske retningslinjer

Bedømmelse af kliniske retningslinjer www.cfkr.dk Bedømmelse af kliniske retningslinjer - CLEARINGHOUSE Preben Ulrich Pedersen, professor, phd Center for kliniske retningslinjer er placeret ved. Institut for Sundhedsvidenskab og Teknologi,

Læs mere

DIGITAL HUMANIORA CAFE. 20. April 2015

DIGITAL HUMANIORA CAFE. 20. April 2015 DIGITAL HUMANIORA CAFE 20. April 2015 CLARIN ERIC Conference 2012 DIGHUMLAB Clarin.dk Stand vedr: Semantisk opmærkning af dansk Bolette S. Pedersen og Sussi Olsen KU-HUM Styregruppen for forskningsinfrastruktur

Læs mere

Den strategisk platform

Den strategisk platform DSKSs årsmøde, Nyborg Strand 11.01.13 Workshop-tema: Hvordan styrke vi evidensen bag nationale mål for kvalitet og patientsikkerhed Den strategisk platform Editorial Is quality of care improving in the

Læs mere

Alle børn har ret til en skole med en kultur for kvalitetsudvikling, der er baseret på synergi mellem interne og eksterne evalueringsprocesser.

Alle børn har ret til en skole med en kultur for kvalitetsudvikling, der er baseret på synergi mellem interne og eksterne evalueringsprocesser. Alle børn har ret til en skole med en kultur for kvalitetsudvikling, der er baseret på synergi mellem interne og eksterne evalueringsprocesser. Denne deklaration følger den europæiske vision om, at alle

Læs mere

Øjnene, der ser. - sanseintegration eller ADHD. Professionshøjskolen UCC, Psykomotorikuddannelsen

Øjnene, der ser. - sanseintegration eller ADHD. Professionshøjskolen UCC, Psykomotorikuddannelsen Øjnene, der ser - sanseintegration eller ADHD Professionshøjskolen UCC, Psykomotorikuddannelsen Professionsbachelorprojekt i afspændingspædagogik og psykomotorik af: Anne Marie Thureby Horn Sfp o623 Vejleder:

Læs mere

WWW. Forslag til integreret digitalt værk ved Det Informationsvidenskabelige Akademi på KUA3 Udarbejdet af Jacob Nielsen 2013

WWW. Forslag til integreret digitalt værk ved Det Informationsvidenskabelige Akademi på KUA3 Udarbejdet af Jacob Nielsen 2013 WWW Forslag til integreret digitalt værk ved Det Informationsvidenskabelige Akademi på KUA3 Udarbejdet af Jacob Nielsen 2013 Arbejdstitel: "Internet på hovedet" Projektet tager udgangspunkt i det formelt

Læs mere

Vidensmedier på nettet

Vidensmedier på nettet Vidensmedier på nettet En sociokulturel forståelse af læring kan bringe os til at se bibliotekernes samlinger som læringsressourcer og til at rette blikket mod anvendelsespotentialerne. fra Aarhus Universitet

Læs mere

INTERAKTIONSDESIGN. Marianne Graves Petersen Associate Professor

INTERAKTIONSDESIGN. Marianne Graves Petersen Associate Professor INTERAKTIONSDESIGN Marianne Graves Petersen Associate Professor Computer Science Dept, University of Aarhus Center for Interactive Spaces, mgraves@cs.au.dk Hvad er interaktionsdesign Design af interaktive

Læs mere

Charles Kromann, læge, ph.d.

Charles Kromann, læge, ph.d. Charles Kromann, læge, ph.d. Center for Klinisk Uddannelse Københavns Universitet, Region Hovedstaden og Rigshospitalet De næste 20 min Hvad er test- forstærket læring (TFL)? Anbefalinger Spørgsmål Herbert

Læs mere

BILAG 2 METODE OG FORSK- NINGSDESIGN

BILAG 2 METODE OG FORSK- NINGSDESIGN Til Undervisningsministeriet Dokumenttype Bilag Dato Marts 2014 BILAG 2 METODE OG FORSK- NINGSDESIGN BILAG 2 METODE OG FORSKNINGSDESIGN INDHOLD 1. Design- og metodebilag 1 1.1 Forskningsdesign 1 1.2 Analysemetoder

Læs mere

M I N D F U L N E S S - B A S E R E T S T R E S S R E D U K T I O N ( M B S R )

M I N D F U L N E S S - B A S E R E T S T R E S S R E D U K T I O N ( M B S R ) M I N D F U L N E S S - B A S E R E T S T R E S S R E D U K T I O N ( M B S R ) Jacob Piet, ph.d. Dansk Center for Mindfulness Klinisk Institut, Aarhus Universitet Stressbehandlingskonferencen Københavns

Læs mere

Opgaver i Social Sciences Citation Index (file 7) - løsningsforslag

Opgaver i Social Sciences Citation Index (file 7) - løsningsforslag 2. semester, årgang 2005 Side 1 af 9 Opgaver i Social Sciences Citation Index (file 7) - løsningsforslag 1. Hvor mange gange er Stephen P. Harters bog Online Information Retrieval fra 1986 blevet citeret?

Læs mere

På kant med EU. Østarbejderne kommer - lærervejledning

På kant med EU. Østarbejderne kommer - lærervejledning På kant med EU Østarbejderne kommer - lærervejledning Forløbet Forløbet På kant med EU er delt op i 6 mindre delemner. Delemnerne har det samme overordnede mål; at udvikle elevernes kompetencer i kritisk

Læs mere

En intro til radiologisk statistik. Erik Morre Pedersen

En intro til radiologisk statistik. Erik Morre Pedersen En intro til radiologisk statistik Erik Morre Pedersen Hypoteser og testning Statistisk signifikans 2 x 2 tabellen og lidt om ROC Inter- og intraobserver statistik Styrkeberegning Konklusion Litteratur

Læs mere

Afdækning af digitale kompetencer 2013

Afdækning af digitale kompetencer 2013 Afdækning af digitale kompetencer 2013 Sådan kan du bruge nedenstående skema til at vurdere dine digitale kompetencer Når du skal vurdere dine personlige it og digitale kompetence i forhold til kategorien

Læs mere

CINAHL Complete. Indhold. Find vejen frem VIA University College

CINAHL Complete. Indhold. Find vejen frem VIA University College Find vejen frem VIA University College Dato: 9. februar 2015 Ref.: Charlotte Qvist - VIA Bibliotekerne CINAHL Complete Indhold Om CINAHL Complete 2 Søging..2 Advanced Search 3 Basic Sarch 7 CINAHL Headings.8

Læs mere

Bringe taksonomier i spil

Bringe taksonomier i spil Bringe taksonomier i spil Frans la Cour Hvem er jeg? Frans la Cour 3 år hos ensight a/s Systemdesign Projektledelse og implementering Undervisning Med udgangspunkt i Veritys værktøjer Vise nogle af de

Læs mere

Søren Gyring-Nielsen - 200672-2833 Videnskabsteori og metode - 4. semester synopse Aflevering 6. Maj 2010 Antal ord: 1166

Søren Gyring-Nielsen - 200672-2833 Videnskabsteori og metode - 4. semester synopse Aflevering 6. Maj 2010 Antal ord: 1166 Med udgangspunkt i min projektsemesteropgave, vil jeg i denne synopse forsøge at redegøre og reflektere for nogle af de videnskabsteoretiske valg og metoder jeg har foretaget i forbindelse med projektopgaven

Læs mere

Hvordan kan man evaluere effekt?

Hvordan kan man evaluere effekt? Hvordan kan man evaluere effekt? Dato 26.01.2012 Dette notat giver en kort introduktion til to tilgange til effektevaluering, som er fremherskende på det sociale område: den eksperimentelle og den processuelle

Læs mere

Hvem er vi? Kursus Introduktion. Kursuslærerne. Agenda for i dag

Hvem er vi? Kursus Introduktion. Kursuslærerne. Agenda for i dag Hvem er vi? Kursus Introduktion Anne Haxthausen ah@imm.dtu.dk Informatics and Mathematical Modelling Technical University of Denmark 100 studerende med forskellig baggrund: software teknologi It og Kom

Læs mere

Bliv opdaget på Internettet! - 10 gode råd til at optimere din hjemmeside til søgemaskiner

Bliv opdaget på Internettet! - 10 gode råd til at optimere din hjemmeside til søgemaskiner Bliv opdaget på Internettet! - 10 gode råd til at optimere din hjemmeside til søgemaskiner Af Henrik Bro og Martin T. Hansen I har måske allerede en flot, og informativ hjemmeside. Og alle jeres kursister

Læs mere

Video, workshop og modellering - giver bæredygtig innovation

Video, workshop og modellering - giver bæredygtig innovation Video, workshop og modellering - giver bæredygtig innovation Program Kl. 13:00-13:40 Kl. 13:40-14:55 Kl. 14:55-15:40 Kl. 15:40-16:00 Hvordan og hvornår anvender vi video til indsamling af data inkl. observation-,

Læs mere

Matematik, maskiner og metadata

Matematik, maskiner og metadata MATEMATIK, MASKINER OG METADATA VEJE TIL VIDEN Matematik, maskiner og metadata af CHRISTIAN BOESGAARD DATALOG IT Development / DBC 1 Konkrete projekter med machine learning, hvor computersystemer lærer

Læs mere

SAMMENFATNING RESUME AF UDREDNINGEN ARBEJDSLIVSKVALITET OG MODERNE ARBEJDSLIV

SAMMENFATNING RESUME AF UDREDNINGEN ARBEJDSLIVSKVALITET OG MODERNE ARBEJDSLIV SAMMENFATNING RESUME AF UDREDNINGEN ARBEJDSLIVSKVALITET OG MODERNE ARBEJDSLIV Af Stine Jacobsen, Helle Holt, Pia Bramming og Henrik Holt Larsen RESUME AF UDREDNINGEN ARBEJDSLIVSKVALITET OG MODERNE ARBEJDSLIV

Læs mere

OPTIMERING AF INTEGRERET SØGNING -

OPTIMERING AF INTEGRERET SØGNING - 27-6-2011 IVA, FORÅRET 2011, BACHELOR- PROJEKT OPTIMERING AF INTEGRERET SØGNING - EKSPERIMENTER MED DOKUMENTTYPEVÆGTNING OG FUSION Vejleder: lektor Birger Larsen Antal ord: ca.10.400 Skrevet af Diana Ransgaard

Læs mere

Maj 2012. Ontasknaturally.com Case Studie. Hvordan E-Intelligence Sikrede Mere end 100% Tilbagebetaling På Investeringen til Ontasknaturally.

Maj 2012. Ontasknaturally.com Case Studie. Hvordan E-Intelligence Sikrede Mere end 100% Tilbagebetaling På Investeringen til Ontasknaturally. Hvordan E-Intelligence Sikrede Mere end 100% Tilbagebetaling På Investeringen til Ontasknaturally.com Maj 2012 Ontasknaturally.com Case Studie Ophavsret eintelligenceweb.com 2013 Kontakt os: eintelligenceweb.com

Læs mere

Søgning i EBSCO. Ebsco baserne omfatter: CINAHL * PsycInfo * AMED. Business Source Premier * e-book Community College

Søgning i EBSCO. Ebsco baserne omfatter: CINAHL * PsycInfo * AMED. Business Source Premier * e-book Community College 1 Søgning i EBSCO Ebsco baserne omfatter: CINAHL * PsycInfo * AMED Business Source Premier * e-book Community College ebook Collection * Political Science Complete ebook Community College Collection ERIC

Læs mere

Center for Statistik. Multipel regression med laggede responser som forklarende variable

Center for Statistik. Multipel regression med laggede responser som forklarende variable Center for Statistik Handelshøjskolen i København MPAS Tue Tjur November 2006 Multipel regression med laggede responser som forklarende variable Ved en tidsrække forstås i almindelighed et datasæt, der

Læs mere

Type og beskrivelse Søgning Kvalitetsvurdering Syntese Analyse. kvaliteten baseret på værkets bidrag til feltet. Kan inkludere kvalitetsvurdering.

Type og beskrivelse Søgning Kvalitetsvurdering Syntese Analyse. kvaliteten baseret på værkets bidrag til feltet. Kan inkludere kvalitetsvurdering. TYPE AF REVIEW KARAKTERISERET EFTER ANVENDT METODE Type og beskrivelse Søgning Kvalitetsvurdering Syntese Analyse Critical review Formålet er at demonstrere, at forfatteren har lavet en omfattende undersøgelse

Læs mere

Ole Abildgaard Hansen

Ole Abildgaard Hansen Kandidatspeciale Betydningen af den kliniske sygeplejespecialists roller og interventioner for klinisk praksis - gør hun en forskel? af Ole Abildgaard Hansen Afdeling for Sygeplejevidenskab, Institut for

Læs mere

Interviewereffekter på spørgsmål om sort arbejde. Rockwool Fondens Forskningsenhed Oktober 2008

Interviewereffekter på spørgsmål om sort arbejde. Rockwool Fondens Forskningsenhed Oktober 2008 Interviewereffekter på spørgsmål om sort arbejde Rockwool Fondens Forskningsenhed Oktober 2008 Tak til Rockwool Fondens Forskningsenhed Danmarks Statistiks Interviewservice, specielt til Isak Isaksen,

Læs mere

Process Mapping Tool

Process Mapping Tool Process Mapping Tool Summary of Documentation Selected recommendations from PA Mål, midler og indsatser: Det bør fremgå hvilke målsætninger, der vedrører kommunens ydelser/indsatser og hvilke målsætninger,

Læs mere

Statistik viden eller tilfældighed

Statistik viden eller tilfældighed MATEMATIK i perspektiv Side 1 af 9 DNA-analyser 1 Sandsynligheden for at en uskyldig anklages Følgende histogram viser, hvordan fragmentlængden for et DNA-område varierer inden for befolkningen. Der indgår

Læs mere

Det Nationale Forskningscenter. for Arbejdsmiljø, NFA

Det Nationale Forskningscenter. for Arbejdsmiljø, NFA Hvad virker i ulykkesforebyggelsen Det Nationale Forskningscenter - Review af den internationale videnskabelige litteratur for Arbejdsmiljø, NFA AMFF Årskonference januar 2014, Seniorforsker, PhD. Forebyggelse

Læs mere

At udvikle og evaluere praktisk arbejde i naturfag

At udvikle og evaluere praktisk arbejde i naturfag Kapitel 5 At udvikle og evaluere praktisk arbejde i naturfag Robin Millar Praktisk arbejde er en væsentlig del af undervisningen i naturfag. I naturfag forsøger vi at udvikle elevernes kendskab til naturen

Læs mere

Du kan søge på emner, forfattere eller titler og lave kædesøgninger på baggrund af artiklernes referencelister.

Du kan søge på emner, forfattere eller titler og lave kædesøgninger på baggrund af artiklernes referencelister. Scopus Scopus er en af de største og mest omfangsrige artikel- og citationsdatabase over peer reviewed litteratur, hvor du kan finde, analysere og få illustreret sammenhængen i engelsksproget videnskabeligt

Læs mere

Kapitalstruktur i Danmark. M. Borberg og J. Motzfeldt

Kapitalstruktur i Danmark. M. Borberg og J. Motzfeldt Kapitalstruktur i Danmark M. Borberg og J. Motzfeldt KORT OM ANALYSEN Omfattende studie i samarbejde med Økonomisk Ugebrev Indblik i ledelsens motiver for valg af kapitalstruktur Er der en optimal kapitalstruktur

Læs mere

Syddansk Universitet MBA beskrivelse af valgfag

Syddansk Universitet MBA beskrivelse af valgfag Syddansk Universitet MBA beskrivelse af valgfag Efterår 2016 Beskrivelse af fagene: Human resource management Strategisk kommunikation Innovationsledelse (undervises på engelsk) Business Performance Management

Læs mere

80 min omkring adfærdsændringer - og en invitation til et nyt mindset!

80 min omkring adfærdsændringer - og en invitation til et nyt mindset! 80 min omkring adfærdsændringer - og en invitation til et nyt mindset! Hvorfor står jeg her idag? Learning - design af værdifuld kundeadfærd Løsninger der fremmer ønsket adfærd uden brug af pisk, gulerod

Læs mere

Metoder og struktur ved skriftligt arbejde i idræt.

Metoder og struktur ved skriftligt arbejde i idræt. Metoder og struktur ved skriftligt arbejde i idræt. Kort gennemgang omkring opgaver: Som udgangspunkt skal du når du skriver opgaver i idræt bygge den op med udgangspunkt i de taksonomiske niveauer. Dvs.

Læs mere

Internet hitlister. 1 Formål. En geometrisk præsentation af interesse-afstande Køreplan Matematik 1 - FORÅR 2006

Internet hitlister. 1 Formål. En geometrisk præsentation af interesse-afstande Køreplan Matematik 1 - FORÅR 2006 Internet hitlister En geometrisk præsentation af interesse-afstande Køreplan 01005 Matematik 1 - FORÅR 2006 1 Formål geuklidisk Formålet med denne projekt-opgave er at finde en geometrisk repræsentation

Læs mere

Kompetencemål i undervisningsfaget Matematik yngste klassetrin

Kompetencemål i undervisningsfaget Matematik yngste klassetrin Kompetencemål i undervisningsfaget Matematik yngste klassetrin Kort bestemmelse af faget Faget matematik er i læreruddannelsen karakteriseret ved et samspil mellem matematiske emner, matematiske arbejds-

Læs mere

Udviklingstendenser og status for patientinvolvering i forskning i Danmark.

Udviklingstendenser og status for patientinvolvering i forskning i Danmark. Udviklingstendenser og status for patientinvolvering i forskning i Danmark. Mogens Hørder Patienten som partner i dansk Sundhedsforskning Et Nationalt vidensdelingprojekt 2016-2018 SDU-ViBIS -INVOLVE Udviklingstendenser

Læs mere

SOFTWARE PROCESSES. Dorte, Ida, Janne, Nikolaj, Alexander og Erla

SOFTWARE PROCESSES. Dorte, Ida, Janne, Nikolaj, Alexander og Erla SOFTWARE PROCESSES Dorte, Ida, Janne, Nikolaj, Alexander og Erla Hvad er en software proces? Et struktureret sæt af AKTIVITETER, hvis mål er udvikling af software. En software proces model er en abstrakt

Læs mere

Det var sjovt. AMEE konference LYON Tutorcentret AH HVH Tirsdag den 13. november LL/UUA-046/Karsten Friis

Det var sjovt. AMEE konference LYON Tutorcentret AH HVH Tirsdag den 13. november LL/UUA-046/Karsten Friis Tutorcentret AH HVH Tirsdag den 13. november 2012 Det der ikke blev sagt - et ganske uhøjtideligt og uvidenskabeligt indlæg om videnskabelige oplæg i medicinsk uddannelse.. -Tænk at få lov at deltage.

Læs mere

Forbedring af efterføderteknologier til energibesparelse i jernstøberier

Forbedring af efterføderteknologier til energibesparelse i jernstøberier Slutrapport for projekt: Forbedring af efterføderteknologier til energibesparelse i jernstøberier Niels Skat Tiedje DTU Mekanik 29. august 2014 Indhold Indhold... 2 Introduktion og mål... 3 Del 1: anvendelse

Læs mere

Developing a tool for searching and learning. - the potential of an enriched end user thesaurus

Developing a tool for searching and learning. - the potential of an enriched end user thesaurus Developing a tool for searching and learning - the potential of an enriched end user thesaurus The domain study Focus area The domain of EU EU as a practical oriented domain and not as a scientific domain.

Læs mere

Stofmisbrug -bedre behandling til færre penge Munkebjerg 20-21. marts 2012

Stofmisbrug -bedre behandling til færre penge Munkebjerg 20-21. marts 2012 Stofmisbrug -bedre behandling til færre penge Munkebjerg 20-21. marts 2012 Professor Hanne Kathrine Krogstrup Det Samfundsvidenskabelige Fakultet Aalborg Universitet Stofmisbrug Bedre behandling for færre

Læs mere

Repræsentationer af handlinger og sproghandlinger

Repræsentationer af handlinger og sproghandlinger Repræsentationer af handlinger og sproghandlinger Generelt: I denne opgave omhandler pensum generelt koblingen mellem IT-systemer, som et medium hvorved brugerne af disse systemer udfører sproghandlinger.

Læs mere

Design til digitale kommunikationsplatforme-f2013

Design til digitale kommunikationsplatforme-f2013 E-travellbook Design til digitale kommunikationsplatforme-f2013 ITU 22.05.2013 Dreamers Lana Grunwald - svetlana.grunwald@gmail.com Iya Murash-Millo - iyam@itu.dk Hiwa Mansurbeg - hiwm@itu.dk Jørgen K.

Læs mere

Orientering om det engelske abstract i studieretningsprojektet og den større skriftlige opgave

Orientering om det engelske abstract i studieretningsprojektet og den større skriftlige opgave Fra: http://www.emu.dk/gym/fag/en/uvm/sideomsrp.html (18/11 2009) November 2007, opdateret oktober 2009, lettere bearbejdet af JBR i november 2009 samt tilpasset til SSG s hjemmeside af MMI 2010 Orientering

Læs mere

Hvor er mine runde hjørner?

Hvor er mine runde hjørner? Hvor er mine runde hjørner? Ofte møder vi fortvivlelse blandt kunder, når de ser deres nye flotte site i deres browser og indser, at det ser anderledes ud, i forhold til det design, de godkendte i starten

Læs mere

Interlinkage - et netværk af sociale medier

Interlinkage - et netværk af sociale medier Interlinkage - et netværk af sociale medier Introduktion Dette paper præsenterer en kort gennemgang af et analytisk framework baseret på interlinkage ; den måde, sociale netværk er internt forbundne via

Læs mere

Statistik og business cases som argumentation, eksempel fra den pharmaceutiske industri. Henning P. Nielsen Novo Nordisk Library

Statistik og business cases som argumentation, eksempel fra den pharmaceutiske industri. Henning P. Nielsen Novo Nordisk Library Statistik og business cases som argumentation, eksempel fra den pharmaceutiske industri Henning P. Nielsen Novo Nordisk Library People at the Library Competencies tag cloud: Alerting services,analysis,

Læs mere

Jobnetværket om fastholdelse i job for mennesker med psykisk sårbarhed

Jobnetværket om fastholdelse i job for mennesker med psykisk sårbarhed Jobnetværket om fastholdelse i job for mennesker med psykisk sårbarhed http://knudramian.pbworks.com/jobnettet www.cfk.rm.dk Indhold Dagens program Hvem er vi? Hvorfor fastholdelse? Hvad er fastholdelse

Læs mere

Slip kontrollen og håndter tilværelsen.

Slip kontrollen og håndter tilværelsen. Slip kontrollen og håndter tilværelsen. Artiklens formål er at præsentere et alternativ til det, jeg opfatter som kontroltænkning. Kontrol er her defineret som: evne og magt til at styre nogen eller noget

Læs mere