INDHOLDSRELATIONER MELLEM SPROGLIGE OG IKKE-SPROGLIGE TEGN

Transkript

1 NIELS HEIE KAREN MARGRETHE ÖSTERLIN FRANK CHRISTENSEN Objektive og subjektive INDHOLDSRELATIONER MELLEM SPROGLIGE OG IKKE-SPROGLIGE TEGN der bruges i grafiske produkter Rapport om et eyetrack-forsøg udført på Den Grafiske Højskole, København Vejleder: Ass. prof. Kenneth Holmqvist Institute of Cognitive Science, Lunds Universitet Den Grafiske Højskole September 2005

2 ABSTRACT Grafisk kommunikation skabes ofte gennem fremstilling af produkter, der distribuerer et budskab som en komposition af sproglige og ikke-sproglige tegn, tekster og billeder. Det forudsættes, at modtageren er i stand til at læse disse tegn og at læseren får en sammenhængende helhedsopfattelse af meningen med det grafiske produkts indhold. Der er ikke gjort mange forsøg, der kortlægger, hvordan læseren opfatter betydningen af aat sproglige og ikke-sproglige tegn benyttes i en og samme komposition. For at bidrage til kortlægning af den problematik, gennemførte vi et forsøgmed eyetrackudstyr, en teknologi der muliggør registrering af øjenbevægelser. Hypotesen var, at de to tegntyper indholdsmæssigt påvirker hinanden. Hypotesen blev bekræftet i en pretest med 15 personer, der blev præsenteret for 18 stimulusbilleder med hver sin kognitive opgave. Opgaven bestod i at vælge om indholdet af en sætning passede til indholdet af et fotografi, hvis sammensætningen skulle være henholdsvis objektiv, subjektiv, forkert og følelsesladet. Efter pretesten udførte vi et forsøg med samme struktur: 4 gange 6 testpersoner (ikke pretestdeltagere) blev præsenteret for 4 gange 6 stimulusbilleder. Stimulusbillederne indeholdt seks forskellige fotografiske motiver (pressefotos), hver testperson så i alt 24. Hvert motiv blev vist 4 gange en for hver af de fire spørgsmål. Hvert motiv havde 3 svarmuligheder, de samme uanset spørgsmål. Under løsningen af opgaverne, blev øjenbevægelsesmønstret registreret. Vi brugte to layouts: Det ene indeholdt et foto, det andet et foto der blev vist tre gange. I det første, spaltelayoutet, var svarmulighederne placeret under fotografiet som tre linier under hinanden. I det andet, billedtekstlayoutet, var de placeret som en linie under hver sin kopi af fotoet. Forsøget resulterede i en datafil med øjenbevægelsesmønstret for hver testperson. Efterfølgende blev data fra 16 personer analyseret statistisk med bl. a. data fra Areas of Interest analyser. Resultat 1) Tekster og billeder har indholdsmæssig indflydelse på hinanden. 2) Testpersonerne bruger længere tid på en subjektiv opgave end på en objektiv. 3) Layoutforskellen har ikke indflydelse på tidsforbruget. Men i layouts med tre ens fotos bruger testpersonen længere tid på fotografierne end i layouts med et foto. Forsøget viser, at man med fordel kan overveje betydningen af den indholdsmæssige relation mellem tekster og billeder, fordi det er muligt at skabe kognitiv synenergi mellem de to tegntyper og at kravet til læserens fortolkning af opgaven bestemmer den tid, læseren har øjenkontakt med det visuelle budskab. 3

3 1 FORORD Denne rapport er den afsluttende del af et undervisningsforløb som en gruppe fra Den Grafiske Højskoles lærerstab har gennemført i samarbejde med Lunds Universitet. Baggrunden for iværksættelsen af forløbet var ønsket om at opgradere en del af DGH s samlede kompetenceområde. Det specielle focus blev lagt på eyetrack-problematikken, da vi anser det for vigtigt at en virksomhed som DGH der beskæftiger sig med uddannelse af mennesker som skal fremstille grafiske kommunikationsprodukter, har stor viden om virkningsmåden af de sanser som forbruget af kommunikerende produkter forudsætter. Ved en stor donation fra Nilpeterfonden blev der indkøbt det nødvendige tekniske udstyr for at genemføre eyetrack-undersøgelser. Efter kort tid blev det besluttet at danne en gruppe, der skulle uddannnes for at besidde de nødvendige kompetencer. Gruppen bestod af tre personer: Niels Heie (1945) ansat på DGH som underviser. Har brugen af tekst og billeder i kommunikationssammenhæng som sit arbejdsområde. Karen Margrethe Österlin (1965) ansat på DGH som underviser. Har elektronisk publicering som sit arbejdsområde. Frank Christensen (1973) ansat på DGH som underviser. Har markedsføring som sit arbejdsområde. Vi henvendte os med held til ass. professor Kenneth Holmqvist, specialist i eyetracking og ansat på Lunds Universitet, Institute for Cognitive Science for at få udviklet et uddannelsesforløb. Kenneth Holmqvist har designet det undervisningsforløb som gruppen har fulgt. Under forløbet har vi yderligere modtaget undervisning og vejledning fra Constanze Wartenberg, PhD og Jana Holsanova, PhD, begge Lunds Universitet. Det fotografiske materiale som forsøget analyserer er generøst stillet til rådighed af Dagbladet Politiken ved billedchef Per Folkver. Niels Heie Den Grafiske Højskole 26. september

4 INDHOLD 1 Forord Indledning Problemområde Et dansk forsøg Et finsk forsøg Et tysk forsøg Konklusion på tre forsøg Efferent and aestetic reading Definition på grafisk kommunikation Pretests To forståelsestyper Grundhypotese Briefing af testpersoner Forsøgsapparatur Dataindsamling Databehandling Hypoteser T-tests Diskussion Om forudsigelighed Om generelt tidsforbrug Om virkningen af de to layouttyper Om layouts med 1 eller 3 fotos Konklusion Litteratur Bilag

5 2 INDLEDNING Grafisk kommunikation er en paraplybetegnelse for et kommunikationsunivers der består af produkter, f.eks. aviser, annoncer, bøger, magasiner o. lign. producenter, f.eks. forfattere, designere, bogtrykkere, fotografer o. lign. distributører, f.eks. boghandler, kiosker, uddelere af forskellig art forbrugere, f.eks avisabonnementer, studerende, indkøbere o. lign. Produkterne har det tilfælles at de er fremstillet for at formidle et budskab fra en eller flere afsendere til en eller flere modtagere. Den væsentligste forudsætning for at modtageren skal forstå det budskab som produktet indeholder er, at han eller hun kan læse. For at budskabet kan blive modtaget skal afsenderen derfor være i stand til at formulere budskabet læseligt. Læsning er at opfatte indholdet af skrevne eller trykte tekster. Lidt mere præcist er læsning at genskabe et forestillingsindhold på basis af identifikation af tekstens ord og forhåndskendskab til tekstens begrebsverden. (DSDE, OODDS, Elbro 2001). Men begrebet læsning kan fortolkes i videre betydning, for det er også almindeligt at bruge ordet læsning i forbindelse med fortolkning af ikke-sproglige symboler: man kan læse noder, læse vejkort, læse partiturer (Elbro 2001). Man kan sige at processen er den samme, hvad enten man fortolker meningen med et vejkort, et partitur eller en annonce og at man derfor kan benytte det samme ord læsning som betegnelse for processen. For at virke efter hensigten forudsætter de fleste grafiske kommunikationsprodukter, at modtageren er i stand til læse i denne udvidede betydning af begrebet læsning, fordi de næsten altid indeholder både sproglige og ikke-sproglige tegn. Deres budskab er formuleret som en komposition af tekster og illustrationer, dvs som en sammensætning af symbolske og ikoniske tegn (Liszca 1994). Derfor kan de fleste grafiske produkter beskrives som multimodale (Holsanova 2001). Multimodaliteten er beskrevet af Paivio (Paivio 1978), som hævder at bevidstheden gennemløber kognitive processer i to forskellige systemer, hvoraf det ene fortolker scener (situationer) og generer forestilliger i visuel form (images), mens det andet fortolker sprog (language) og genererer tale (speech). Det første system kaldes the imagery system, og behandler information fra omgivelserne (environment) bl. a. af sensorisk art. Det andet system kaldes the verbal system og behandler symbolsk information fra andre mennesker. Formålet med at kommunikere er at skabe pragmatisk enighed om et givet emne. Derfor er meningen med at fremstille og distribuere grafiske produkter at skabe et 9

6 bevidsthedsindhold som afsender og modtager deler. Det er derfor er en væsentlig parameter for kommunikationsprocessens succes, at afsenderen kan forudsige, hvilken opfattelse af budskabet læseren vil have, når han har afsluttet læsningen af det grafiske produkt. Producenten skal være i stand til med tilpas sandsynlighed at forudsige, hvilken opfattelse af budskabet og budskabets gyldighedsområde læseren vil have efter endt læsning. Baggrunden for at gennemføre denne undersøgelse er, at der kun findes publiceret lidt forskning i læsning af produkter, der betjener sig af en kombination af sproglige og ikke-sproglige visuelle elementer, selvom hovedparten af de grafiske produkter formidler budskabet i multimodal form. Det er ekstra overraskende, når man tænker på at de fleste mennesker lærer at læse tekster via bøger, som indeholder en stor mængde ikke-sproglige elementer. De skolebøger som bruges til undervisning af børn, der skal lære at læse og skrive tekster, bygger i væsentlig grad på at børnene ved hjælp af visuel perception kan afkode og forstå bøgernes indhold af ikke-sproglige elementer (f.eks. tegning af en kat) og at denne forståelse af det ikke-sproglige indhold er en forudsætning for at børnene kan indlære den skriftlige kode (f.eks skriftordet kat) (Rayner et al. 2001). Denne rapport beskriver et eyetrack-forsøg, der blev udført på DGH i sommeren 2004 med to formål: A ) At skabe viden omkring læserens opfattelse af budskaber, som er formidlet i multimodal form, dvs i en komposition af sproglige og ikke-sproglige elementer. B ) At skabe viden om de rammer af indholdsmæssig art, der skal etableres for at der kan opnås enighed mellem afsender og modtager om indholdet af et budskab, som er formuleret multimodalt. Formål A) forholder sig til læseprocessens afkodningsfase, formål B) til læseprocessens forståelsesfase. 10

7 3 PROBLEMOMRÅDE I Carsten Elbros bog Læsning og Læseundervisning introduceres en model (fig. 1) der beskriver læsefærdighed i forbindelse med læsning af tekster som en forening af to komponenter: afkodning og sprogforståelse: LÆSEFÆRDIGHED Fig. 1 Afkodning Sprogforståelse Modellen beskriver ikke hvordan læsning foregår på neurologisk niveau, men på et pragmatisk/praktisk. De to faktorer afkodning og sprogforståelse er væsentlige komponenter i læseprocessen og danner tilsammen læsefærdigheden. Modellen dækker hele den mentale proces, der foregår når man læser. Afkodningen er ikke kun en omkodning til sproglydenes kodesystem, men fører til en egentlig genkendelse af ordene. På baggrund af afkodningen skabes så den egentlig sprogforståelse. Afkodning er en forudsætning for sprogforståelse og både afkodning og sprogforståelse er nødvendige forudsætninger for, at man kan læse en tekst (Elbro 2001, si. 28). Hvis man erstatter begrebet sprogforståelse med helhedsforståelse udvider man modellens virkningsområde, så den indeholder både sproglige og ikke-sproglige indholdselementer (symbolske og ikoniske tegn) og betydningen af deres indbyrdes relationer. Derved kommer den til at se sådan ud (fig. 2): LÆSEFÆRDIGHED Fig. 2 Afkodning Helhedsforståelse 11

8 Dermed skaber man en model for læsning af multimodalt formulerede budskaber, der ikke sætter skel mellem sproglige og ikke-sproglige betydningselementer. Afkodning af de sproglige elementer danner baggrund for at forstå det sproglige indhold (sprogforståelse), afkodning af de ikke-sproglige elementer danner baggrund for forståelsen af de ikke-sproglige elementer (sceneforståelse), og afkodningen af deres placering i samme komposition danner baggrund for at forstå sammenhængen i de to elementtypers tilstedeværelse i samme visuelle komposition (helhedsforståelse). Dermed hævder modellen, at de typer af betydningselementer som budskabet formuleres i indgår på lige fod, når læseren udfolder sin læsefærdighed i en proces, der danner forståelsen af indholdet i det grafiske produkt (den visuelle komposition), der både indeholder sproglige og ikke-sproglige tegn. I læseprocessen, hvis logik er af enthymemisk karakter (dvs. bygger på anslået sandsynlighed), er flowet afhængigt af om afkodningen og indholdsforståelsen forløber så glat som muligt. Helhedsforståelsen af det læste opstår, når læseren med en formulering af den amerikanske læseforsker Louise Rosenblatt vækker meningen med det læste (Rosenblatt 1978). 3.1 TRE FORSØG Dansk forsøg: illustrationers virkning på forståelsen af bogstavsammenhæng Et mindre forsøg udført i Nilpeter Lab på DGH involverede 3 x 4 personer: Hver gruppe blev præsenteret for et stimulus billede der indeholdt seks bogstaver placeret i en bestemt orden. To af grupperne blev præsenteret for et stimulusbillede der indeholdt en illustration udover bogstaverne. I det ene stimulusbillede blev der vist fire mønter, i det andet blev der vist et sæt nøgler (fig. 5). Testpersonerne (TP) blev bedt om at finde frem til det ord som bogstaverne kunne danne. A U V A L T A U V A L T A U V A L T Fig. 5 Resultatet var, at bogstavkombinationen hurtigere blev afkodet som ordet VALU- TA, hvis bogstaverne blev vist sammen med et foto af nogle mønter, end hvis det blev præsenteret uden illustration. Endvidere viste forsøget, at TP i gennemsnit brugte mere tid på at finde ordet, hvis bogstaverne blev præsenteret sammen med et foto et bundt nøgler, end hvis de blev vist uden illustration. Forsøget viste, at den tid det tog at løse opgaven, var kortere i nogle tilfælde end i andre: Der blev brugt mindst tid på opgaven, når indholdet af illustrationen kunne betegnes med et ord, der indholdsmæssigt kunne være gyldigt som acceptabel løsning på opgaven. Der blev brugt mere tid, når der ikke var nogen illustra- 12

9 tion eller når indholdet af illustrationen kunne betegnes med et ord, der indholdsmæssigt var uacceptabelt som løsning på opgaven. Testpersonerne var studenter på Den Grafiske Højskoles designstudie, og kan derfor anses for at være i besiddelse af nogenlunde samme læsefærdigheder. Under disse forudsætninger viste forsøget, at det var hurtigere at løse opgaven, når illustrationens indhold var semantisk meningsfuldt (Læsepædagogen 2003) Finsk forsøg: virkningen af illustrationer i skolebøger I 1996 undersøgte Matti Hannus hvordan illustrationer i skolebøger virkede på elevernes indlæring. På baggrund af en dual-coding teori der hævder, at illustreret tekst huskes mere detaljeret end uillustreret tekst (Paivio 1986), undersøgte Hannus resultatet af årige skoleelevers læsning af materiale fra en skolebog der handlede om biologiske forhold. Eleverne blev opdelt i grupper efter læseevner: god, middel og ringe læseevne. Bogmaterialet blev fremstillet i to versioner: det ene indeholdt tekster og illustrationer, det andet indeholdt kun tekster. Teksterne var de samme i begge versioner. En mindre gruppe af elever blev eyetrack-testet under læsningen. Efter forsøget blev elevernes udbytte af læsningen undersøgt ved kvalitative metoder. Resultatet af undersøgelsen var at eleverne lærte mest af teksten og at de elever, der havde god læseevne fik forbedret deres forståelse af indholdet ved hjælp af illustrationerne, mens de elever der havde ringe læseevne blev forvirret af illustrationerne. De gode læsere var bedre til at opleve multimodaliteten meningsfuldt: de forstod at orientere sig og kunne skifte mellem læsning af tekst og læsning af illustrationer på en hensigtsmæssig måde. De dårlige læsere oplevede at skiftet mellem de to læsningsformer var forvirrende. Deres multimodale læsefærdighed var ikke udviklet så meget at de havde kognitiv kapaticitet til at veksle meningsfuldt mellem de to modaliteter. De kunne altså ikke opleve, at indholdet i de sproglige og de ikke-sproglige elementer var to sider af samme sag (Hannus 1999) Tysk forsøg: virkning af semantiske niveauer i annoncer Artiklen Eye Movements in The Processing of Print Advertisements (Radach et. al. 2003) beskriver et forsøg, hvor 32 forsøgspersoner præsenteres for en række annoncer, der indeholder både tekster og illustrationer. Annoncerne var opdelt i to grupper. I den ene gruppe var annoncernes indhold explicit, hvilket defineres som at indholdet i teksten og illustrationen står i et direkte semantisk forhold til hinanden. I den anden gruppe var annoncernes indhold implicit, hvilket defineres som, at indholdet i teksten og illustrationen står i et indirekte semantisk forhold til hinanden. 13

10 En explicit annonce (fig. 3) indeholdt f.eks. et fotografi af en stationcar til privatkørsel. Bilen ses bagfra, bagklappen er åben. Teksten i annoncen lyder: Med denne kombi tilbyder vi Dem meget plads og komfort (Dansk tekst i min oversættelse. Originalen er tysk og lyder: Mit diesem Kombi bieten wir Ihnen viel Platz und Komfort"). I nederste højre hjørne findes et mærke, der består af et abstrakt element samt ordene Canvas og Kombi. En tilsvarende implicit annonce (fig. 4) ser man et fotografi af en mand og en gravid kvinde. Manden er placeret bag ved kvinden, han holder om hende. Begge personer smiler. Teksten lyder: Med denne kombi kan vi gøre det fem gange til (Den tyske original lyder: Mit diesem Kombi können wir das noch fünf mal machen ). Nederste højre hjørne indeholder de samme elementer, som i den første annonce. Hvis man lægger læsefærdighedsmodellen (fig. 2) til grund for aflæsningen af de to annoncer ser resultatet således ud: I den explicite annonce bliver kompositionen af elementer forståelig, hvis man opfatter, at bilen er en kombi(nation) der forener passager-og lasttransport og hedder Canvas Kombi. I den implicite bliver kompositionen af elementer forståelig, hvis man opfatter de to mennesker som en kombi(nation), der gør det muligt at gentage tekstens das. Tekstens das bliver kun forståeligt, dvs. får konkret betydning, hvis man forstår at det henviser til kvindens graviditet og den sexuelle aktivitet, graviditeten forudsætter. Det er dog svært at se, hvad virksomheden Canvas Kombi i det implicitte tilfælde sælger.. Fig. 3 Fig. 4 Ifølge artiklen viser forsøget, at testpersonerne bruger længere tid på at aflæse de annoncer, hvis indhold er implicit, end de annoncer hvis indhold er explicit. Videre viser forsøget, at forsøgsdeltagerne udtalte større sympati for de impli- 14

11 citte annoncer end for de explicitte. De kunne altså bedre lide de implicitte annoncer end de explicite, hvilket samtidig var de annoncer de brugte mest tid på. Resultatet er interessant da likeability in ads har en significant sammenhæng til salget af de annoncerede varer (Haley, 1990). Målt over lang tid er der korrelation mellem annoncers likeability og salget af de produkter, der annonceres for Konklusion på de tre forsøg Disse tre forsøg viser, at de læsende testpersoner opfattede, at der var en forståelses-og indholdsmæssig konsekvens af relationen mellem de sproglige og de ikkesproglige elementer. Tegnene påvirker hinandens betydningsområde, hvilket indvirker på den samlede indholdsforståelse. Tegnenes indbyrdes betydning for hinanden, kan beskrives som at forståelsen af helheden af tegn, som f.eks. ordene i en sætning, med et engelsk udtryk skaber "interconnectedness" mellem dem (Richards 1939) (Forslag til dansk oversættelse: mellemforbundne, NH). Interconnectedness er et begreb, der beskriver en kognitiv proces af samme art som den Elbro refererer til:"når ord bliver sat sammen (i sætninger), begrænses deres betydning (af sammensætningen)" (Elbro 2001). Som følge af forsøgene er der belæg for at udvide det område, hvor det er relavant at bruge begrebet interconnectedness fra at være et begreb, der betegner en sproglig forståelsesproces til at dække en multimodale forståelsesproces fordi forståelsessprocessen er af samme karakter. Dermed kan man også benytte begrebet interconnectedness, når sammensætningen af elementer er af både sproglig og ikkesproglig art. Den udvidede betydning af begrebet interconnectedness supplerer den udvidede model for læsefærdighed, som er præsenteret tidligere i dette papir (fig. 2). (Hvor sproget alene udfolder sig som kompositioner af ord i sætninger, opstår forståelsen i en proces, hvor de enkelte ords betydning fastlægges som en indskrænkning af deres mulige betydning af de andre ord i sætningen. Hvis kompositionen indeholder ikke-sproglige elementer begrænses deres betydning yderligere af de ikke-sproglige elementers betydning. Det er altså helheden, der bestemmer hvilke dele af betydningselementernes potentiale der udnyttes i dannelse af en forståelse af den samlede kompositions betydning). Dermed har man en model for læsefærdighed, der omfatter både sproglige og ikke-sproglige elementer og et begreb for at de to elementtypers indbyrdes betydning for indholdsforståelsen. Modellen ligger derudover i forlængelse af det klassiske eyetrack-forsøg som Yarbus gennemførte (Yarbus 1967). Forsøget viste, hvordan et antal TPs øjenbevægelsesmønster varierede i relation til løsningen af forskellige sprogligt formulerede opgaver i forbindelse med aflæsningen af det samme naturalistisk maleri. 15

12 3.14 Efferent and aestetic reading I det tyske forsøg arbejdes der endvidere med to indholdskategorier, hvor det semantiske indhold i den ene er explicit, i den anden implicit. I den implicitte kategori bruger testpersonerne længere tid på aflæsningen end i den explicitte. Endvidere resulterer den implicitte kategori i at testpersonerne giver udtryk for højere likeability. Disse to kategorier kan med fordel forstås i lyset af Louise Rosenblatts hypotese om at læsning er en aktiv proces og at der er to måder at læse på, dvs. to forskellige slags læseradfærd. I den ene type læseradfærd er læserprocessen rettet mod at læseren besidder en ny kompetence, når læsningen er overstået. Eksempel: en strikkeopskrift læses for at man kan strikke det produkt som strikkeopskriften beskriver fremstillingen af. I den anden type læseradfærd er formålet med læsningen det at læse, dvs selve læseprocessen. Den type adfærd sigter ikke mod et mål efter endt læsning, men sigter mod at selve forståelsesprocessen er af værdi i sig selv. Den første type kalder hun efferent reading, den anden type kalder hun aestetic reading (Rosenblatt 1973) Definition på grafisk kommunikation Man kan på basis af læsefærdighedsmodellen (fig. 2), det udvidede begreb om interconnectedness og de omtalte forsøg foreslå en definition af grafisk kommunikation: Grafiske produkter, der har til formål at skabe kommunikation, er læselige kompositioner, der indeholder sproglige og ikke-sproglige tegn. Læsningen kan forstås som en formodnings/bekræftelsesproces, hvori en enthymemisk slutningsform gør det muligt for læseren på et subjektivt grundlag at fastslå sansynligheden for betydningen af tegnenes relationelle indhold. Læserens forståelse af kompositionernes samlede indhold opstår i en proces, hvor de enkelte tegns betydning i begge modaliteter fastlægges på baggrund af den helhedsopfattelse de tilsammen danner i læserens bevidsthed (puslespil, hvor brikkerne tilpasser sig hinanden). 3.2 Pretests Med udgangspunkt i det forrige ønskede vi i vores eyetrack-forsøg at undersøge to emner: Emne A) Den indholdsmæssige interconnection mellem de sproglige og de ikke-sproglige tegn Emne B) I hvilket omfang vi kan forudsige resultatet af en kognitiv 16

13 opgave, der formuleres i visuelle sproglige og ikke-sproglige tegn og som skal løses via en læseproces? Vi gennemførte en pretest, hvor 15 tilfældigt udvalgte testpersoner (TP) blev præsenteret for 18 stimulusbilleder. Hver stimulusbillede (se fig. 6) indeholder et foto plus tre sætninger betegnet med tallene 1, 2, 3. De tre sætninger er placeret umiddelbart under fotografiet. I en boks til højre for fotografiet er der et firkantet felt, der indeholder et spørgsmål og et afkrydsningsfelt hvor man kan notere sit svar. Spørgsmålets første del står på en linie øverst i feltet lyder: Hvilken sammensætning af foto og tekst... Spørgsmålets anden del findes i fire variationer og står over en vandret række afkrydsningfelter og lyder:... er mest objektiv... er mest forkert... er mest subjekt...skaber mest følelse Fig. 6 HVILKEN SAMMENSÆTNING AF FOTO OG TEKST er mest objektiv: F+1 F+2 F+3 er mest forkert: F+1 F+2 F+3 er mest subjektiv: F+1 F+2 F+3 skaber mest følelse: F+1 F+2 F+3 1) Tre af laboratoriets ansatte 2) Kranen var ikke høj nok 3) Fremtiden tilhører fantasien For at TP kan løse opgaverne, skal de udvise læsefærdighed i den forstand som modellen (fig. 2) postulerer eksistensen af. De skal altså kunne bevæge deres øjne formålsbestemt rundt i kompositionen i et mønster af fixationer og saccader og derudfra beslutte, hvilket tekstindhold der kan opfattes meningsfuldt sammen med indholdet af en illustration. Når testpersonen oplever, at tekstindholdet opleves meningsfuldt i forhold til illustrationsindholdet, postulerer vi at de to betydningselementer kan opfattes som dele af det samme budskab. For at teste om vores hypotese var holdbar, besluttede vi på forhånd hvilke svar der var de rigtige. Det var muligt, fordi teksterne var formuleret med den intention at de skulle fungere som svarmulighed i forhold til spørgsmålet i forhold til fotoet. De tre svarmulighder kunne være (Eks. se fig. 6): 17

14 Svar 1: Svar 2: Svar 3: Tre af laboratoriets ansatte Kranen var ikke høj nok Fremtiden tilhører fantasien Vores forudsigelse af de valgte svar var: Svar 1: Svar 2: Svar 3: Svar 3: hvis sammensætningen skulle betegnes som mest objektiv hvis sammensætningen skulle betegnes som mest forkert hvis sammensætningen skulle betegnes som mest subjektiv hvis sammensætningen skulle betegnes som mest følelsesfuld Nummereringen af svarkategorierne var randomiseret. TP kunne derfor ikke regne med at et bestemt nummer på en sætning, altid passede som svar på den samme type opgave. TP løste opgaven individuelt, uden kontrol og uden tidsbegrænsning. Resultatet af pretesten blev, at enigheden mellem os og TP var på: 95 % om hvilke sammensætninger, der var mest objektive, 90 % om hvilke sammensætninger, der var mest forkerte, 78 % om hvilke sammensætninger, der var subjektive, 72 % om hvilke sammensætninger, der var mest følelsesladede. Dvs. at enigheden mellem os og TP generelt var på: 84 % om hvordan indholdet af sammensætningerne skulle opfattes. 3.3 To forståelsestyper Man kan forstå, hvad vi mener med at indholdsrelationen mellem tekst og billede er objektiv, hvis man forestiller sig følgende: En læser præsenteres for et stykke papir, hvorpå der er trykt et fotografisk portræt af et menneske. Nedenunder portrættet er der placeret nogle bogstaver, der tilsammen kan opfattes som navnet på et menneske. Hvis læseren slutter sig til at navnet må være navnet på den person, der ses på portrættet opfattes relationen som objektiv. Når relationen er subjektiv er forholdet mellem billedets indhold og sprogets indhold ikke direkte. Forestiler man sig, at bogstaverne ikke danner forestillinger om et navn på en person, men forestilinger om navnet på en egenskab, giver relationen kun mening hvis læseren slutter sig til, at den person der ses må besidde den egenskab som teksten formulerer tilstedeværelsen af. Vi valgte at bruge ordene objektiv og subjektiv på stimulusbillederne, fordi TP er mere vant til at bruge de begreber i deres eget sprog end begreberne explicit og implicit. I det tilfælde hvor relationen er objektiv kan man sige at helhedsdsforståelsen er kategoriserende: illustrationen viser et individ der er medlem af den kategori, der 18

15 betegnes med det benyttede ord. I det tilfælde, hvor relationen er subjektiv kan man sige, at helhedsforståelsen er fænomeniserende: en objektiv forståelse af relationen giver ikke mening, men relationen giver mening, hvis læseren forestiller sig, at illustrationen eksemplificerer et individ i den kategori, som betegnes med det benyttede ord. I den relation har illustrationen den funktion at gøre noget synligt som ellers ikke kan ses. Derfor kan man bruge ordet fænomenisering, hvis latinske rod betyder noget der er synligt. Evidensen for at man kan arbejde med to typer indholdsforståelse er anskueliggjort i fig. 7: Fig. 7 Lænestol I eksemplet til højre står indholdet af ordet i et indirekte semantisk forhold til indholdet af fotografiet, (som i den implicitte annonce side 8). Det giver ikke konventionel leksikalsk mening at betegne den viste genstand med ordet nedenunder. Derfor må læseren i sin helhedsforståelse gå en anden vej: tage mentalt udgangspunkt i ordet og forsøge at forstå illustrationsindholdet som en fænomeni- Hyggespreder Man ser to visuelle kompositioner. Hver komposition består af to tegnelementer: et ikonisk tegn og et overordnet symbolsk tegn som består af mindre symbolske tegn. Det ikoniske tegn er et fotografi, der forestiller en fysisk genstand. Det symbolske tegn består af en række bogstaver, der tilsammen danner forestilingen om et ord. Layoutet, dvs. elementernes geografiske og proportionale forhold til hinanden er det samme i begge kompositioner. Derfor er afkodningen også den samme. Det er helhedsforståelsen derimod ikke. I eksemplet til venstre er der et direkte semantisk forhold mellem indholdet af ordet og indholdet af fotografiet, (som i den eksplicitte annonce omtalt side 7-8). Det ord man i korrekt leksikal forstand kan betegne den fotograferede genstand med er synonymt med det ord, der står under fotografiet. Relationen er meningsfuld ved at være kategoriserende: indholdsforståelsen består i læserens oplevelse af, at det der vises er et eksempel på en kategori, der konventionelt betegnes med det anvendte ord (bottom-up proces). Meddelelsen er at kategorien også indeholder dette individ. 19

16 sering af den kategori, som ordet betegner (top-down proces). Meddelelsen er at begrebet kan forankres (Barthes 1964) til en synlig form, den viste genstand kan tillægges den egenskab som begrebet står for. I den kategoriserende sammensætning sætter sproget navn på det illustrative indhold, i den fænomeniserende sammensætning gør illustrationen det sproglige indhold synligt. (I de to eksempler i fig. 7 fremtræder sproget som enkeltord. Men i sammenhængen kræver helhedsforståelsen at det enkelte ord opfattes som en sætning, nemlig sætningen Dette er en lænestol eller Dette er en hyggespreder ) Den kognitive proces der gør det muligt at finde mening i den ukonventionelle sammensætning af sprog og illustration, er formodentlig den samme som gør det muligt at forstå metaforisk brug af sprog. Ved metaforisk sprogbrug benytter sprogbrugeren ordene ukonventionelt på en måde, der giver mening. Baggrunden for den metaforiske sprogbrug er ifølge nyere kognitionsforskning at skabe embodiment, dvs indholdsforståelse der baseres på en grundliggende kropslig erfaring (Lakoff og Johnson 2001). Det er meningsfuldt er at opfatte brugen af illustrationer i lighed med den metaforiske sprogbrug. De er begge retoriske virkninger, der medvirker til at skabe forståelse på et kropsligt grundlag ved at reducere graden af abstrakthed og kompleksitet. Forskellen på den sproglige metafor og den fænomeniserende sammensætning af tekst og illustration er, at brugen af metaforen binder forståelsen til et kategorisk niveau (the verbal system), hvorimod brugen af illustrationen binder forståelsen til et individuelt niveau (the imagery system). 3.4 Grundhypotese I forlængelse af pretestens resultat fastlagde vi denne hovedhypotese: det er muligt at forudsige med omkring 80% sikkerhed, hvilken løsning TP vil vælge på en visuelt opgave der indeholder både tekst og illustration. Løsningen forudsætter TPs afkodning og helhedsforståelse. På baggrund af denne hovedhypotese gennemførte vi et forsøg med det samme sigte som pretesten. Forsøget blev gennemført i DGHs eyetracklaboratorium. Stimulusbillederne blev vist på en computerskærm. Under afkodningen og forståelsen af helheden registrerede vi, hvordan TPs øjnene bevægede sig på skærmen. Stimulusbillederne var organiseret sådan, at der ikke var variationer i de to grupper af layouts. De visuelle elementer var placeret på samme sted i alle stimulusbillederne. Det betyder, at stimulusbilledernes layout var det samme serien igennem og at det kun var indholdet i elementerne, der skabte forskellen dem. Afkodningsruterne var dermed de samme i overalt, men indholdsforståelsen ville være af forskellig karakter. Når TP så det samme stimuluslayout igen og igen blev øjenbevægelsesmøn- 20

17 stret hurtigt rigidt. Det havde vi ikke kapacitet til at analysere, hvorfor vi for at få større variation i øjenbevægelsesmønstrene fremstillede stimulusbillederne i to forskellige layouts: SPALTELAYOUT (SL) En tekst med spørgsmålet er placeret øverst til venstre. Illustrationen er i stor størrelse placeret midt på formatet. 3 tekster, der kan bruges som svarmuligheder er placeret nedenunder illustrationen (fig. 8). spørgsmål fig. 8 illustration svar BILLEDTEKSTLAYOUT (BL) En tekst med spørgsmålet placeret øverst til venstre. Illustrationen vises tre gange på formatet i mindre størrelse end i SL, to er placeret til højre på formatet og en nederst til venstre. De tre tekster, der skal benyttes som svarmuligheder er placeret under hver sin illustration en ad gangen (fig. 9). Illustrationerne på (BL) er 1/3 mindre end på (SL). spørgsmål fig. 9 illustration svar illustration svar illustration svar Til forsøget blev i alt anvendt 12 forskellige farvefotografier. Fotografierne var pressefotos udlånt af avisen Politiken. Hvert fotografi blev præsenteret med et spørgsmål og 3 svarmuligheder. Til det enkelte foto var svarmulighederne hver gang den samme, men spørgsmålet varierede. 21

18 Der var 4 spørgsmål: 1) Hvilken tekst er mest objektiv? 2) Hvilken tekst er mest subjektiv? 3) Hvilken tekst er mest forkert? 4) Hvilken tekst er mest følelsesladet? Hvert af de 12 fotografier blev vist 8 gange, fordi der var 4 spørgsmål og 2 forskellige layouts pr. foto. Det blev til 96 stimuli i alt. 24 TP delt op i 4 grupper med 6 personer i hver deltog i forsøget. Gruppe 1 og 2 så stimulusbilleder på basis af 6 fotografier (foto 1-6). Gruppe 3 og 4 så stimulusbilleder på basis af 6 andre fotografier (foto 7-12). Hver TP blev præsenteret for stimulusbillederne i en serie på 24 stimulusbilleder. For at undgå repetition der ville afføde, at TPs øjenbevægelsesmønstre blev for ensartede, strukturerede vi serien så den fik så stor variation som muligt: Når gruppe 1 så stimulusbilleder med spørgsmål 1 og 2 i SL-layout, var stimulusbillederne med spørgsmål 3 og 4 i BL-layout. Når gruppe 2 så stimulusbilleder med spørgsmål 1 og 2 i BL-layout, var stimulusbillederne med spørgsmål 3 og 4 i SL-layout. Strukturen var den samme for gruppe 3 og 4 som for 1 og 2, men der blev brugt 6 andre fotografier til stimulusbillederne. Hver TP så 24 stimuli i alt, fordi hvert fotografi blev vist 4 gange med hvert sit spørgsmål, enten i SL-layout eller BL-layout. Rækkefølgen af stimulusbilleder var randomiseret i alle fire grupper ved hjælp af computerens program. 3.5 Briefing af TP Testpersonerne var i alderen år ligeligt fordelt på mænd og kvinder. 1/3 var studerende, 1/3 havde mellemlange uddannelser og 1/3 var akademikere. Hver enkelt TP fik en individuel briefing lige inden forsøget. Under briefingen læste de en kort skriftlig beskrivelse af forsøgets formål, forløb og omfang. De blev præsenteret for stimulusbilledernes struktur og fik forklaret meningen med de 4 spørgsmål og de 3 svarmuligheder. De så et testeksemplar af stimulusbillederne i SL-layout og i BL-layout. De blev oplyst om at der var 24 stimulusbilleder. Endelig fik de en definition og forklaring på de 4 begreber som indgik i spørgs- 22

19 målene: objektiv, subjektiv, forkert og følelsesladet. Forståelsen af disse begreber var vigtig fordi den bestemte TPs opfattelse af det spørgsmål der skulle svares på. Definitionen af begreber var fra Den Danske National Encyclopædi (DSDE 1994). Endvidere blev TP instrueret i måden svarproceduren i forhold til de enkelte stimulusbilleder. TP blev meddelt, at svaret skulle gives ved at TP sagde det nummer højt som den valgte sætning var betegnet med. Derefter ville operatøren notere tallet ned. Når det var gjort skulle TP trykke på tastaturets mellemrumstast, hvilket medførte fremkomsten af et nyt stimulusbillede på skærmen. Endelig blev det pointeret over for TP, at det ikke var vigtigt at man løste opgaverne hurtigt. TP måtte selv bestemme hvor meget tid der skullee bruges på opgaverne. 3.6 Forsøgsapparatur Testpersonerne blev kaliberet og optaget på følgende udstyr: Program: I-view 3.01 Kamera: Red II SMI Threshold Control (fast): pupil 98 - C.R punkt kalibreringsnet Skærm: 21 farveskærm Afstand: cm Visuel vinkel: 35 grader horisontalt, 25 grader vertikalt Fixationsraten: 100 ms Scanrate: 50 Hz Til at afvikle de 24 stimuli i randomiseret rækkefølge, samt optage øjenbevægelserne (ØB) på hvert stimuli, anvendtes programmet: Image Stimuli v Dataindsamling Forsøget resulterede i en datafil pr. TP. Hver datafil indeholdt 24 dataset, et for hvert stimulusbillede. For at dataene kunne benyttes adækvat blev stimulusbillederne opdelt i Areas of Interest (AOI). I stimulusbilleder med SL-layout brugte vi fem AOI (fig. 10): 1) Spørgsmålet 2) Fotografiet 3) Svarene 23

20 1 F fig I stimulusbilleder med BL-layout brugte vi 7 AOI (fig. 11): 1) Spørgsmålet 2), 3), 4) Fotografierne 5) 6), 7), Svarene 1 F fig. 11 2,3,4 5, 6, 7 Hver TP-datafil indeholder derfor følgende: - Samlet tidsforbrug og ØB på hele serien af stimulusbilleder. - Tidsforbrug og ØB på hvert enkelt stimulusbillede - Tidsforbrug og ØB på AOI) - ØB som fixationer - ØB som rawdata 3.8 Databehandling Det var ikke alle datafilerne, der levede op til kravet om at indeholde ØB der svarede til 90% af den samlede sæt-tid. Derfor fjernede vi 8 datafiler. Resultaterne er derfor opgjort på basis af data fra 4 gange 4 TP. Der er udelukkende arbejdet med rådata i de indsamlede resultater. De indsamlede data er bearbejdet på følgende måde: For hver testperson er der printet et sæt for hvert af de 24 stimuli, der illustrerer - øjenbevægelsesmønstret - procent brugt i AOI - Objects vs Time i AOI Disse tal er behandlet til Excel. For hver stimuli blev der lavet en tabel der samler data fra TP: - Hvilken gang de så stimuliet (1. eller 2. eller 3. eller 4. gang) - Om svaret på stimuliets spørgsmål var som forudsagt. 24

21 - Tidsforbrug på stimuliet - Procent af tiden brugt på spørgsmål - Procent af tiden brugt på illustration - Procent af tiden brugt på svarmuligheder Tallene blev lagt sammen i gennemsnitstal. De samlede gennemsnitsdata pr. stimuli blev applikeret ud i et nyt excelark, hvor spørgsmål 1 og 2 blev fremhævet (objektiv-kategoriserende/subjektiv-fænomeniserende). 3.9 Hypoteser På baggrund af disse tal og efterfølgende tabeller og grafer, kunne vi se resultaterne i forhold til følgende hypoteser: A) Hvis både tekst og illustration skal aflæses, for at man kan løse den stillede opgave må ingen af elementerne "foto" og "svarmuligheder" defineret som områder af stimulusbilledets AOI være uden øjenbevægelsesdata. B) Hvis den objektive opgave er lettere at løse end den subjektive vil TP bruge mindre tid på at løse den end de vil bruge på den subjektive. Og TP vil bruge kortere tid på at aflæse illustrationen i den objektive opgave end i den subjektive. C) Hvis den subjektive opgave er sværere at løse end den objektive vil TP bruge mere tid på at løse den end på at løse den objektive. Og TP vil bruge længere tid på at aflæse illustrationen på den subjektive opgave end på den objektive. D) Forskellen på de to layouts vil vise sig ved, at den tid som TP bruger på fotoet i SL-layoutet er kortere end den tid som TP bruger på BL-layoutet. HYPOTESE A: Der skal ikke være nogle AOI-er uden data For at finde frem til om der var nogle tomme AOI måtte vi analysere hvert enkelt og lægge resultaterne sammen: Antal AOI for hvert stimulus med spaltelayout... med billedtekstlayout Antal AOI for 24 stimuli pr. TP i alt Antal AOI for 16 TP i alt Derefter måtte vi finde frem til antallet af tomme AOI Samlet antal AOI uden ØB-data... I procent af % 25

22 Tomme tekst-aoi fra stimuli Tomme illu-aoi fra stimuli med spaltelayout med billedtekstlayout med spaltelayout... 0 med billedtekstlayout Hvis hypotesen skal kunne verificeres burde der ikke være tomme AOI. Men det er der. Årsagen kan ligge i at TP bruger det parafoveale syn (Rayner et. al. 2003) i så stor grad at øjets position ikke giver sig udslag i ØB-data i et givet AOI. Det kan også skyldes mangelfuld dataregistrering i kraft af f.eks. at TP har bevæget sig så øjets position i forhold til apparaturet er ændret. Derved brydes sigtelinien mellem øjet og eyetrackapparaturet og kalibreringen er midlertidig ikke optimal. Man kan endvidere overveje om der eventuelt er en indholdsmæssig årsag til forekomsten af tomme AOI, da serien af stimulusbilleder indeholder gentagelser af forskellige komponenter: De fire spørgsmål vises seks gange hver pr. TP. Der er seks fotografiske motiver, hvert motiv vises i 4 gange pr. TP. Der er tre svarmuligheder pr. motiv, som vises fire gange pr. TP. Stimuli vises i to layouts: SL-og BL-layout der vises 12 gange hver pr. TP. Man må formode, at TP oplever gentagelserne som genkendelser. Hvis det er tilfældet, vil det vise sig ved at TP bruger mere tid på initial selection og early processing (Radach et. al. 2003) på de elementer som TP ser for første gang end på de elementer TP ser fjerde gang. Denne forskel i tidsforbrug, ville også kunne registreres som en forskel på antallet af tomme AOI mellem første og fjerde gang et motiv vises. Af de i alt 118 tomme AOI er 9 registreret på førstegangsvisninger, 39 registreret på fjerdegangsvisninger. Alle 9 tomme AOI fra førstegangsstimuli er tekst-aoi 1 er registreret på SL-layout 8 på BT-layout Af de 39 tomme AOI fra fjerdegangsstimuli er 33 tekst-aoi, mens 6 er illu-aoi 27 tomme tekst-aoi er registreret fra stimuli med BL-layout 6 tomme tekst-aoi er registreret fra stimuli med SL-layout 6 tomme illu-aoi er registreret fra stimuli med BL-layout Når der er så mange tomme tekst-aoi fra stimuli med BL-layout kan det skyldes, at de er placeret tæt op af illustrations-aoi og at TP derfor kan læse teksten parafovealt. Da apparaturet registrerer at synsfeltets centrum befinder sig i et illu-aoi bliver resultatet at der ikke er nogle data i tekst-aoi. 26

23 I førstegangsstimuli har vi registreret 1.6% tomme AOI i fjerdegangsstimuli har vi registreret 6.8% tomme AOI Hypotesen er tæt på at være holdbar. Man kan derfor sige at det er langt overvejende sandsynligt, at TP bruger så mange af de betydningsbærende elementer i den kognitive proces. Det betyder i praksis, at man må gå ud fra at læseren benytter alle betydningselementer til løsning af opgaven. HYPOTESE B & C: TP bruger mindre tid på den objektive opgave end på den subjektive fordi den er lettere at løse. TP bruger mere tid på den subjektive opgave end på den objektive fordi den er sværere at løse Vi antog, at det var en nem opgave for TP at vælge svarene på de spørgsmål, der skabte en objektiv relation mellem indholdet i illustrationen og teksten og at det var en sværere opgave for TP at vælge svarene på de spørgsmål, der skabte en subjektiv relation mellem indholdet i illustrationen og teksten. Sværhedsgraden kan læses i forbruget af tid: det tager kortere tid at løse den lette opgave end den svære (Radach et. al.). Endvidere antog vi, at TP ville bruge kortere tid på aflæsning af illustrationerne i den lette opgave end i den svære. Begge udsagn kunne aflæses i tidsforbruget. For at bestemme om opgaven var mere eller mindre vanskelig fandt vi den samlede tid for alle TP s besvarelse af de objektive spørgsmål (spørgsmål 1) og sammenlignede tallet med den samlede tid for alle TP s besvarelser af de subjektive spørgsmål (spørgsmål 2). For at bestemme længden af den tid TP brugte på at aflæse fotografierne i de to opgaver gik vi frem på samme måde: bestemte det samlede tidforbrug ved at addere samtlige TP-ers individuelle tidsforbrug. I fig. 12 og 13 ser man det samlede forbrug af tid. Fig. 12 viser det samlede forbrug af tid ved løsning af opgaverne, når stimulusbilledet havde SL-layout. Fig. 13 viser det samlede for brug af tid ved løsning af opgaverne, når stimulusbilledet BL-layout. Fig. 12 Fig. 13 Fig. 12 og 13 viser det totale tidsforbrug. Til undersøgelse af signifikans er gennemført to t-tests A og B. De objektive spørgsmål 113 sek 44% De subjektive spørgsmål 146 sek 56% De objektive spørgsmål 105 sek 41% De subjektive spørgsmål 150 sek 59% A viser at TP bruger mere tid på den subjektive opgave end på den objektive uanset layouttype. (p = 0,002882) SAMLET SVARTID 259 sek SAMLET SVARTID 255 sek 27 B viser at TP ikke bruger mere tid på BL- layout end på SL-layouts. (p = 0,4460)

24 I begge stimulus-layouts er den tid det tager at løse den subjektive opgave omkring 50% større end den tid TP bruger på at løse den objektive opgave. En nærmere analyse af læseradfærden, viser at et lignende mønster tegner sig og at det større tidsforbrug ved løsningen af den subjektive opgave også viser sig i den mængde af tid som TP bruger på de enkelte elementer. (fig. 14, 15, 16, 17). Svar: 41% 1.0 sek Fig. 14 Fig. 15 Tom: 10% 0.2 sek Spørgsm: 17% 0.4 sek Illustration: 32% 0.8 sek Tom: 10% 0.3 sek Svar: 47 % 1.4 sek Spørgsm: 14 % 0.4 sek Illustration: 29 % 0.9 sek Fig viser gennemsnitsresultater. Figurernes størrelse afspejler forskellen i tidsforbrug. Til undersøgelse af signifikans for illustrationernes vedkommende er der udført t-tests: Fig. 14/15 viser at TP ikke bruger mere tid på illustrationerne i den subjektive opgave end i den objektive. (p = 0,1678) De objektive spørgsmål Samlet svartid for 48 spørgsmål: 113 sek Gennemsnitlig svartid pr. spørgsmål: 2.4 sek De subjektive spørgsmål Samlet svartid for 48 spørgsmål: 146 sek Gennemsnitlig svartid pr. spørgsmål: 3.0 sek Fig. 16/17 viser at TP bruger mere tid på illustrationerne i den subjektive opgave end i den objektive. (p = 0,0092) Tom: 16 % Spørgsm: 0.4 sek 19 % 0.4 sek Svar: 25 % 0.5 sek Fig. 16 Fig. 17 Illustration: 40 % 0.9 sek Tom: 18 % 0.6 sek Svar: 23 % 0.7 sek Spørgsm: 14 % 0.4 sek Illustration: 45 % 1.4 sek Fig. 14/16 viset at TP ikke bruger mere tid på illustrationerne i de to layouts ved løsningen af af den objektive opgave. (p = 0,2156) Fig. 15/17 viser at TP bruger mere tid på illustrationerne i BL-layoutet, når opgaven er subjektiv end når den er objektiv. (p = 0,0079) De objektive spørgsmål De subjektive spørgsmål Samlet svartid for 48 spørgsmål: 105 sek Gennemsnitlig svartid pr. spørgsmål: 2.2 sek Samlet svartid for 48 spørgsmål: 150 sek Gennemsnitlig svartid pr. spørgsmål: 3.1 sek 28

25 I SL-layoutet bruger TP ca. 15 % af tiden til at læse og forstå spørgsmålet. Omsat til faktisk tid betyder det, at TP bruger ca. 20 sekunder på at læse spørgsmålet i alle fire tilfælde, men at tidsforbruget i forhold til de andre elementer varierer. I det objektive spørgsmål i SL-versionen bruger TP i gennemsnit 36 sek på illustrationen, 46 sek på svarmulighederne og 11 sek på ingenting. I den tilsvarende subjektive opgave bruger TP 42 sek på illustrationen, 69 sek på svarmulighederne og 15 sek på ingenting. I den objektive opgave i billedtekstversionen bruger TP 42 sek på illustrationerne, 26 sek på svarmulighederne og 17 sek på ingenting. I den tilsvarende subjektive opgave bruger TP 68 sek på illustrationerne, 35 sek på svarmulighederne og 27 sek på ingenting (fig. 18 og 19) Objektivt spørgsmål Fig. 18 Subjektivt spørgsmål Fig. Fig /19 viser tidsforbruget på de Forbrug af tid enkelte elementer i istimulusbilledet. sekunder SL-layout Spørgsmål = (SP), Svarmuligheder = (SV), Illustrationer = (IL), Tomme områder i stimulusbillederne (T). I en t-test er der signifikans for, at TP bruger mere tid på illustrative elementer (IL) i et stimulusbillede med BL-layout end med SL-layout. (p = 0,0079) SEK SP IL SV T SP IL SV T Objektivt spørgsmål Fig. 19 Subjektivt spørgsmål Fig. 17 Forbrug af tid i sekunder, BL-layout SEK SP IL SV T SP IL SV T 29

26 Figur 15 og 16 viser det samlede antal sekunder som alle TP har brugt ved løsningen af de stillede opgaver. Performance for en gennemsnitlig person har følgende værdier (fig. 20, fig. 21):: SEK 9 Objektivt spørgsmål Subjektivt spørgsmål Fig. 20 Gennemsnitsværdier for en TP, der løser spørgsmål i SL-layout SP IL SV T SP IL SV T 0,4 0,8 1,0 0,2 0,4 0,9 1,4 0, Objektivt spørgsmål Subjektivt spørgsmål Fig. 21 Gennemsnitsværdier for en TP, der løser spørgsmål i BL-layout 1 SEK SP IL SV T SP IL SV T 0,4 0,9 0,5 0,4 0,4 1,4 0,7 0,6 30

27 3.91 T-tests Fig bygger på data som er analyseret i 7 t-tests (bilag 2 indeholder beregninger). De præsenteres her sammen med de hypoteser, der var deres forudsætning. T-test 1: Hypotese: TP bruger mere tid på de subjektive (fænomeniserende) opgaver end på de objektive (kategoriserende). P=0, Nulhypotesen kan forkastes. Konklusion: TP bruger mere tid på at løse subjektive opgaver end på at løse de objektive. T-test 2: Hypotese: TP bruger mere tid på de illustrative elementer i et SL-layout, når teksten er subjektiv (fænomeniserende) end når den er objektiv )kategoriserende). P=0,1628. Nulhypotesen kan forkastes. Konklusion: TP bruger ikke mere tid på de illustrative elementer i et stimulusbillede med SL-layout, når tekstens indhold i relation til illustrationernes indhold er subjektiv (fænomeniserende), end når den er objektive (kategoriserende). T-test 3: Hypotese: TP bruger mere tid på de illustrative elementer i et stimulusbillede med BL-layout, når teksten er subjektiv (fænomeniserende) end når den er objektiv (kategoriserende). P=0,0092. Nulhypotesen kan forkastes. Konklusion: TP bruger mere tid på de illustrative elementer i et stimulusbillede med BL-layout, når teksten er subjektiv (fænomeniserende) end når den er objektiv (kategoriserende). T-test 4: Hypotese: TP bruger mere tid på de illustrative elementer i et stimulusbillede med BL-layout end i et med SL-layout, når teksten er objektiv (kategoriserende). P=0,2156. Nulhypotesen kan ikke forkastes. Konklusion: TP bruger ikke mere tid på de illustrative elementer i et BL-layout end i et SP-layout, når teksten er objektiv (kategoriserende). T-test 5 Hypotese: TP bruger mere tid på de illustrative elementer i et stimulusbillede med BL-layout end i et med SL-layout, når teksten er subjektiv (fænomeniserende). P=0,0079. Nulhypotesen kan forkastes. Konklusion: TP bruger mere tid på de illustrative elementer i et stimulusbillede med BL-layout end i et med SL-layout, når teksten er subjektiv (fænomeniserende). T-test 6 Hypotese:TP bruger mere tid på de illustrative elementer i et stimulusbillede med 31

28 BL-layout end med SL-layout. P=0,0103. Nulhypotesen kan forkastes. Konklusion: TP bruger mere tid på de illustrative elementer i et stimulusbillede med BL-layout end på et med SL-layout. T-test 7 Hypotese: TP bruger totalt mere tid på et stimulusbillede med BL-layout end på et med SL-layout. P = 0,4460. Nulhypotesen kan ikke forkastes. Konklusion: TP bruger generelt ikke mere tid på et stimulusbillede med BL-layout end på et med SL-layout. 4 DISKUSSION Ifølge Paivio (Paivio 1978) er bevidstheden multimodal og indeholder to principielle systemer. Det ene processerer ikke-verbal information. Systemet kaldes billedsystemet og har til opgave at fortolke scener og genere visuelle forestillinger. Det andet processerer sproglig information. Det kaldes sprog-systemet og har til opgave at fortolke verbal information og generere tale. De to systemer processerer to typer af information: kommunikativ information og omverdens information. Systemerne er væsensforskellige (orthogonale) og kan formodentlig fungere uafhængigt af hinanden, men er på et vist niveau forbundne. De to systemer kan på baggrund af Charles S. Peirce s tegndefinitioner (Liszca, 1996) formidles ved hjælp af visuelle tegn, hvis karakter gør det muligt at benytte dem systemspecifikt: Sprogsystemet kan formidles ved hjælp af kompositioner af visuelle symbolske tegn (skrift i forskellig udformning). Billedsystemet kan formidles ved hjælp af kompositioner af visuelle ikoniske tegn (malerier, fotografier etc). I de fleste af de daglige produkter, der har til formål at kommunikere er elementer fra de to tegnsystemer sat sammen i kompositioner, der forudsætter at de to systemer er indbyrdes forbundne (aviser, reklamer, magasiner, skolebøger etc. indeholder både skrift ogbillede, kompositioner f.eks. artikler der indeholder både symbolske og ikoniske tegn). Den foreslåede model for indholdsforståelse i starten af denne rapport (fig. 2) bygger på den hypotese at det er muligt at opfatte meningen med tilstedeværelsen af tegnelementer fra de to systemer i samme visuelle komposition. Og dermed, at man ikke har forstået meningen som helhed, før man har opfattet betydningen af de to typer tegns tilstedeværelse i samme komposition. Resultatet af forsøget kan beskrives som følger: 32

29 4.1 Om forudsigelighed 95% af svarene var som forudsagt på de objektive/kategoriserende opgaver (98% i spaltelayoutet, 92% i billedtekstlayoutet) 77% af svarene var som forudsagt på de subjektive/fænomeniserende opgave (80% i SL-layout, 75% i BL-layout) Vi formodede, at TP ville svare på en bestemt måde indenfor de forskellige stimuluskategorier. I de tilfælde, hvor vi forudsatte, at den indholdsmæssige relation var indlysende og dermed objektivt kategoriserende, var de svar vi fik i gennemsnit på 95% som vi havde forventet. Udformningen af stimulusbillederne i to forskellige layouts havde sandsynligvis indvirkning på svarene, da der var flere tilfælde af uenighed mellem os og TP i billedtekstlayoutet (92% mod 98% i SL). Fig % 80 % 92 % 75 % TV: objektivt spørgsmål TH: subjektivt spørgsmål TV: objektivt spørgsmål TH: subjektivt spørgsmål I de tilfælde, hvor vi forudsatte at den indholdsmæssige relation var mindre indlysende og dermed subjektivt fænomeniserende, fik vi svar som i højere grad var anderledes end forventet. 77% af svarene i denne kategori var som forventet. Udformningen af stimulusbillederne havde sandsynligvis også her indflydelse på resultatet, da der var flere tilfælde af ueninghed mellem os og TP i billedtekstlayoutet (75% mod 80% i SL). Resultatet af den subjektivt fænomeniserende del af forsøget var som man måtte forvente. Der var en lavere grad af enighed mellem os og TP, da opgaven jo netop lød på at TP skulle bestemme indholdsrelationernes subjektive karakter. PARENTES: Vi stillede TP yderligere to spørgsmål. Det ene spørgsmål krævede at TP tog stilling til om relationen var forkert, altså forskellig fra objektiv og subjektiv. Det andet at TP tog stilling til om relationen var følelsesladet. Disse to sæt besvarelser er ikke behandlet statistisk, da de ikke indgik i argumentationen i forbindelse med undersøgelsens hypotese. Men det skal nævnes at svarenigheden ved spøgsmålet om relationens forkerthed var større end ved spørgsmålet om relationens subjektivitet, men lavere end ved spørgsmålet om relationen følelsesladethed. 33

30 Vi nævner det formodede resultat her, da det tyder på, at vi kan være enige med TP om, at der er forskel på objektivt, subjektivt og forkert. Det forkerte er dermed en kategori, hvor læseren oplever at de visuelle elementer ikke giver kommunikativ mening. At bevidstheden indeholder kategorien det forkerte gør det muligt for læseren at opdage, at et ord i en tekst er stavet forkert. Kategorien gør det muligt for læseren at afgøre, at et ord i en tekst f.eks. ordet LÆST er forkert og at det for at give kommunikativ mening, burde have været ordet LÆRT, der var brugt. Endelig er enigheden mellem os og TP ikke så stor når det gælder den følelsesladede relation. Det kan hænge sammen med at den objektive relation kan skabe en stor følelsesmæssig reaktion hos TP der derfor vælger den, som den mest følelsesladede. PARENTES SLUT 4.2 Om generelt tidsforbrug Layoutformen havde ikke signifikant indflydelse på tidsforbruget under løsningen af opgaverne. TP brugte omkring 50% længere tid på de subjektive/fænomeniserende opgaver end på de objektive/kategoriserende. Opdelingen af stimulusbillederne i to forskellige layouts havde ingen signifikant indflydelse på den tid som TP brugte på at løse opgaverne. Men der var markant forskel på den mængde tid som TP brugte på at løse den objektive opgave i forhold til den subjektive. Man må formode, at den ekstra tid bruges til at fortolke relationens indholdsmæssige logik og at det større tidsforbrug kan danne baggrund for en hypotese om at tiden går med sprogligt reviderende virksomhed. Altså at TP overvejer muligheden af om man kan bruge den slags sætninger meningsfuldt i forbindelse med den slags fotografiske motiver. Hvis TP gør det, bliver resultatet at der opstår en slags enighed mellem TP og os, en enighed der kan ses af den relativt højere andel af svarene, som TP-gruppen var enige med os om. Intentionen med den subjektive kategori af spørgsmål var at afprøve om relationen havde fænomeniserende karakter. Det er der belæg for i følgende argumentation: da den indholdsmæssige relation mellem de fotografiske motiver og teksten ikke kan forstås meningsfuldt som objektiv, må den kunne forstås som subjektiv. Som subjektiv forstås den som at sprogets indhold bliver gjort tilgængeligt for bevidstheden som fænomen, i betydningen: noget der kan ses. Dermed sker der en forbindelse mellem sprog-systemet og billed-systemet, der går den anden vej end tilfældet var i forbindelse med de objektiv/kategoriserende spørgsmål. Endvidere kan man formode, at den fænomeniserende relation er synonym med den eksplicitte relation mellem sprog og fotografi som blev omtalt i det tyske forsøg (Radach et. al 2003). 34

31 4.3 Om virkningen af de to layouttyper I spaltelayoutet brugte TP signifikant mere tid på svarene og dermed mindre tid på fotografierne. Men i billedtekstlayoutet brugte TP signifikant mere tid på fotografierne og dermed mindre tid på svarene. Udformningen af stimulusbillederne i to forskellige layouts, hvor det ene, spaltelayoutet, var sædvanligt i sin opbygning og det andet, billedtekstlayoutet, var usædvanligt i sin opbygning ved at gentage det samme fotografiske motiv tre gange i samme størrelse. Det kognitive indhold af de to stimulusbilleder var det samme, men i kraft af det gentagne foto og den deraf følgende visuelle struktur, blev de oplevet som meget forskellige. TP s øjenbevægelsesmønstre var selvfølgeligt helt forskellige på de to stimuli, men det var signifikant, at den tid som TP brugte på henholdsvis svarmulighederne og fotografierne i det ene layout var en anden end den TP brugte i det andet. I SL-layoutet brugte TP mest tid på svarmulighederne og mindre på fotografiet. I BL-layoutet brugte TP mest tid på fotografierne og mindre tid på svarmulighederne. Den store forskel på de to resultater understreges af, at tiden for at løse opgaverne i de to layouts ikke varierer, og at vores formodning om at TP s svar heller ikke varierer. Tidsforbrug og svarenighed er åbenbart uafhængig af layoutet da opgaven løses med samme resultat i begge layouts. Den store forskel ligger i, at TP s øjenbevægelsesstrategi er forskellig i de to layouts. Dette forsøg indeholder ikke elementer, der gør det muligt at påvise årsagen til de øjenbevægelsesstrategier, som TP benytter sig af i forhold til de to layouts. For at påvise dette, må man skaffe flere data ved hjælp af yderligere forsøg, f.eks forsøg der indeholder både eyetrackregistrering og den samtidige måling af blodgennemstrømning i hjernens forskellige områder. Registreringen af de områder af hjernen der er aktive i relation til øjenbevægelsesmønstrets forskellige faser kunne give en række data, der tilsammen kunne fortolkes som TP s sæt af kognitive operationer i forbindelse med løsningen af den kognitive opgave som forsøget stiller TP overfor. Ved at gennemføre nogle forsøg med forskellige layoutvariationer, kan man undersøge om forholdene er bestemt af stimulusbilledernes layout og at det er den geografiske placering af elementerne, der bestemmer øjenbevægelsesmønstret. Man kan også opstille følgende hypotese: Den stillede opgave kræver en vis tid for at blive løst. I den tid der går med at overveje den rigtige løsning, bevæger TP øjnene mellem stimulusbilledets elementer i et individuelt mønster af saccader og fixationer. Øjenbevægelsesmønstret er et indeksikalsk tegn, der kan fortolkes som TPs strategi med hensyn til at hente foveal information ind i den kognitive proces. I det ene SL-layout bruger TP mest tid på de symbolske, verbale elementer, og kan siges at have flest overvejelser af kategorisk art. I det andet layout billedtekstlayoutet bruger TP mest tid på de ikoniske, fotografiske elemenenter og kan siges at have flest overvejelser af fænomenisk art. 35

32 4.4 Om brug af layouts med 1 henholdsvis 3 fotos Når opgaven var objektiv/kategoriserende fandt vi ikke signifikans for at TP så længere tid på de tre fotografier i billedtekstlayoutet end på det ene i spaltelayoutet. Når opgaven var subjektiv/fænomeniserende fandt vi sigfikans for at TP så i længere tid på de tre fotografier i billedtekstlayoutet end på det ene fotografi i spaltelayoutet. I SL-layoutet brugte TP ikke signifikant længere tid på det ene fotografi under løsning af den subjektive/fænomeniserende opgave end under løsningen af den objektive/kategoriserende. Men i BL-layoutet brugte TP signifikant længere tid på de tre fotografier under løsning af den subjektive/fænomeniserende opgave end på den objektive/kategoriserende. Fig. 19 viser princippet i, at det især er opgavens karakter der bestemmer i hvilket omfang TP bruger tid på at at læse fotografierne som en del af den kognitive proces. Den subjektive opgave i BL-layoutet ser ud til at aktivere læserens ikoniske opmærksomhed. Fig. 23 viser øjenkontakten med illustratio- SP-L BT-L nerne under løsning af opgaverne: tidsforbruget er ens i de objektive opgaver tidsforbruget er større i de subjektive opgaver, men ikke ens OBJ T1 T1 tidsforbruget er størst i den subjektive opgave med BL-layout (SP-L = SP-layout, BT-L = BL-layout, T = SUB T2 T4 Tidsforbrug, OBJ = Objektiv opgave, SUB = Subjektiv opgave, 1, 2, 4 = Tidsenheder) Resultatet forstås som en variation af The Picture Superiority Effect som beskrevet af Paivio (Paivio 1968) og andre steder og som består i, at ikoniske elementer billeder huskes bedre og længere end symbolske elementer ord. Ydermere har The Picture Superiority Effect den virkning at indholdet af symbolske tegn i form af ord huskes bedre, hvis de præsenteres sammen med et ikonisk tegn i form af et billede med et relevant indhold end hvis de præsenteres alene. 36

33 Hvis billedforrangen er så stærk kan præsentationen af de tre ens versioner i samme stimulusbillede derfor formå TP til at analysere billederne i længere tid. 4.5 Konklusion Resultatet af forsøget viser at det er rimeligt at arbejde med to opgavekarakterer: en objektiv og en subjektiv og at de svarer nøje til den tidligere nævnte (side 5) karakteristik af elementerne i annoncer som værende i et eksplicit og implicit forhold til hinanden. Forskellen på de to opgaver er at den ene kræver et større kognitivt arbejde af TP for at give resultat og at TP derfor bruger mere tid på de subjektive opgaver end på de objektive. Under løsningen af opgaverne udviser TP et øjenbevægelsesmønster der formodentlig har til formål at hente foveal information fra omverdenen/stimulusbilledet ind i den kognitive proce, en adfærd der kan forklares med begrebet forankring (Barthes 1964). Når opgaven er subjektiv viser forsøget at en forøgelse af det ikoniske indhold i stimulusbillederne fører til at TP bruger mere af sin tid på at aflæse de ikoniske elementer end på de verbale. Selvom indholdet i de ikoniske elementer er nøjagtigt det samme. Resultaterne kan fører til, at man arbejder med forskellige typer meddelelelser, der bestemmes af den læseradfærd man ønsker læseren skal udvise: A) hvis læsertiden skal være kort og udfaldet som forudset skal relationen mellem indholdet i illustrationer og tekst være af objektiv/kategoriserende karakter. B) hvis læsertiden skal være lang og udfaldet i mindre grad som forudset skal relationen mellem indholdet i illustrationer og tekst være af subjektiv/fænomeniserende karakter. C) hvis opgaven skal være af samme karakter som B) men at læseren skal bruge mere tid på at aflæse illustrationer end tekst skal layoutet gøre den proceslæseradfærd mulig ved f.eks. at gentage billeder i den samme komposition. 37

34 5 LITTERATUR Barthes, Roland: Billedets Retorik, i Visuel Kommunikation, Medusa, Kbh. 1964, 1980 Elbro, Carsten: Læsning og læseundervisning, Gyldendal, København 2003 Holsanova, Jana:, Picture Viewing and Picture Description, Lund University Cognitive Studies, Lund 2001 Holmqvist, Kenneth, Constanze Wartenberg: Daily Newspaper Layout - designers predictions of readers visual behavior - a case study, Lunds Universitet, 2003 Hannus, Mattis, J. Hoyna: Utilization of Illustrations during Learning of Science Textbook Passages among Low- and High-Ability Children, i Contemporary Educational Psychology 24, (1999) Hagen, Margaret A.: An Outline of an Investigation into the Special Character of Pictures, i Modes of Perceiving and Processing Information, Lawrence Erlbaum Associates, Publishers, 1978 Lakoff, George and Mark Johnson: Philosophy in The Flesh, Basic Books, A menber of the Perseus Books Group, New York 1999 Liszca, James Jakób: A General Introduction to the Semeiotic of Charles Saunders Peirce, Indiana University Press, Bloomington and Indianapolis 1996 Paivio, Allan: A Dual Coding Approach to Perception and Cognition, i Modes of Perceiving and Processing Information, Lawrence Erlbaum Associates, Publishers, 1978 Radach, Ralph: Eye Movements in The Processing of Print Advertisements, i The Mind s Eye: Cognitive and Applied Aspects of Eye Movements Research,Elsevier Science BV 2003 Rayner, Keith et al.: Integrating Text and Pictoriel Information: Eye Movements When Looking at Print Advertisements, i Journal of Experimental Psychology: Applied 2001, Vol. 7. No. 3, Rayner, Keith: Eye Movements In Reading and >Information Processing,? Richards, I. A.: The Philosophy of Rhetorics, Oxford University Press, London 1936 Rosenblatt, Louise: The Reader, the Text, the Poem, Southern Illinois University Press, 1978 Yarbus, A. L.: Eye Movements and Vision, Plenum Press, New York 1967 DSDE, Den Store Danske Enceclopædi, Gyldendal, København