En multimodal læseformel

Forslag til En multimodal læseformel Der er billeder i bøgerne fra starten af vores læsekarriere. Deres betydning indgår i den samlede forståelse af det visuelle budskab. Billederne bliver ved med at være en del af de udtryk, som visuelle budskaber formuleres i. Alligevel indeholder opfattelsen af læsning, som den formuleres i læseformlen, kun tekstlige elementer. Her er et bud på en læseformel, der integrerer tekst og billeder og dermed anser kohæsion på tværs af modaliteterne for at være både mulig og ønskelig. Det er tilsvarende nyttigt at udvide opfattelsen af læsefærdighed fra at være et spørgsmål om tekstlæsning til at være et spørgsmål om læsning af flere modaliteter, både tekst og billeder og layouts. En multimodal læseformel skal ses i lyset af, at vi lever i en kultur, hvor der lægges vægt på det visuelle, ofte med det formål at formidle mere eller mindre komplekse budskaber. En udvidet formel gør det nemmere at forstå, hvordan visualiteten virker. Begrebet modalitet bruges inden for sprogvidenskab, logik og musik. I denne sammenhæng bruges modalitet som et semiotisk begreb for et visuelt udtryk (Björkvall, 2010), da det er visualiteten, det læselige, der skal fokuseres på her. Formlen kan se sådan ud: Læsning af Niels Heie Som grafisk designer skal man skabe visuelle produkter med et kommunikativt formål. Budskabet skal formidles ved hjælp af tekst og billeder i alle mulige former, og de valgte udtrykselementer skal præsenteres i en visuel komposition, et layout, der kan læses. For at forstå disse komponenters indholdsmæssige relation til hinanden er det nyttigt at udvide Gough og Tunmers læseformel: Læsning = afkodning x sprogforståelse (Gough & Tunmer, 1986). Tekstforståelse Layoutafkodning Billedafkodning Tekstafkodning Layoutforståelse Billedforståelse Formlen kan bruges til at forklare, hvordan visuelle produkter, som formidler et budskab i en kombination af modaliteter, faktisk virker, og dermed, hvad man som afsender må formode, at læseren er i stand til at afkode og forstå. Modellen er relevant, fordi en stor del af moderne visuelle produkter er multimodale,

eksempelvis alt på internettet. Det er altså ganske almindeligt, at læsere i bred forstand skal tilegne sig budskaber, som er formuleret i en kombination af modaliteter, på trods af at ingen er blevet undervist i det. Multimodal læsning forstås som noget, man kan, forudsat man har lært at læse en tekst. De visuelle modaliteter kan deles op i to grupper: sproglige og ikke- sproglige. Sproglige modaliteter I de sproglige modaliteter formidler man tale ved hjælp af skrift i en sammenhængende tekst. Skriften kan fremstilles på to måder: maskinelt og manuelt. En skriftfont i en computers skriftbibliotek, fx Word, er en maskinelt fremstillet skrift, mens underskriften på en kontrakt eller den kærlige hilsen på bagsiden af et postkort er en manuelt fremstillet skrift. Den maskinelle skrift er er ens for alle, der bruger den. Den manuelle skrift, den på kontrakten og postkortet, er skabt til lejligheden og indeholder spor af den krop, som har fremstillet den. Vi skaber hurtigt forestillinger om indholdet af et brev ved at se på, om skriften på kuverten er maskinelt eller manuelt fremstillet. Indholdet i de sproglige modaliteter er kategoriseringer: Det, der beskrives, får prædikatet at tilhøre den klasse, hvis individer kan betegnes på samme måde. I den fotografiske form virker billedelementerne kopierede, og det, man ser, opleves, som om det kunne ses i virkeligheden. Den type billeder fremstilles med et kamera. Det fotografiske billede opleves, som om det viser et synsindtryk: Et foto registrerer. I den ikke- fotografiske form er billedelementerne opfundne. Motivet kan fremtræde naturalistisk, som i et guldaldermaleri, genkendeligt, som i en tegning af Anders And, eller helt abstrakt, som i et diagram. Denne type billeder fænomeniserer, dvs. at de gør en idé noget, der forekommer i bevidstheden til noget, der er synligt for andre. Den fotografiske form forekommer i en dokumentarisk form, hvor motivet ikke er påvirket af at blive motiv, og i en arrangeret form, hvor motivet er mere eller mindre opfundet til formålet. Hvad enten billedet er dokumentarisk eller arrangeret, oplever man, at billedet er en registrering af noget synligt. Den ikke- fotografiske form forekommer ligesom skriften i to udgaver: maskinelt og manuelt fremstillet. I det første tilfælde er der brugt geometriske redskaber i fremstillingen af elementerne, i det andet har en krop frit opfundet og fremstillet elementerne, som kan være mere eller mindre efterlignende. Her kan man se tre eksempler på indholdsmodaliteter: tekst, foto og tegning: Ikke- sproglige modaliteter Disse modaliteter består af billeder. Billederne kan have to former: en fotografisk og en ikke- fotografisk form, som begge findes i to udgaver. 2

Den kategoriserende sproglige modalitet tekst Der står vand på en mark Et træ uden blade spejler sig En maskinelt fremstillet tekst, som består af to sætninger. Den registrerende ikke- sproglige modalitet foto Et visuelt produkt, f.eks. en hjemmeside eller en skolebog, består af mange elementer, der sættes meningsfuldt sammen enklest i grupperingen af bogstaver, så de opleves som ord, mest komplekst som i fx et leksikonopslag med flere tekstgrupper og illustrationstyper. Layoutet skal præsentere sammensætningen i en læselig form og skabe betydning ved at proportionere elementerne, så deres rækkefølgeforhold bliver læseligt, dvs. meningsfuldt. Layoutet bestemmer også, hvilken genre læseren formoder det visuelle produkt tilhører. Derfor får layoutet en indholdsmæssig betydning, der gør det til en selvstændig modalitet: Den præsenterende modalitet layout Et dokumentarisk foto med upåvirket motiv. Den fænomeniserende ikke- sproglige modalitet tegning Der står vand på en mark Et træ uden blade spejler sig Eksemplet indeholder et dokumentarisk foto og maskinelt fremstillet skrift. Manuelt fremstillet tegning, genkendeligt motiv. Når der er sammenhæng mellem modaliteterne, får læseren indirekte forestilling om en fortællerpersona: Det virker, som om det er den samme person, der ser det, som billedet viser, og siger det, som teksten hævder. 3

Forskellen på de fire modaliteter De fire modaliteter differentierer sig ved at danne forskellige forestillinger om referenten, det de forestiller. Når man læser en tekst, opleves skriften som tegn for noget, som nogen har sagt. Ergo oplever man teksten som tale. Tilsvarende opleves det, som man ser på et foto, som noget, man selv ville have set, hvis man var til stede sammen med fotografen. Man oplever altså fotoet som et tegn for en objektiv forekomst, et synsindtryk. Når man ser på en tegning, oplever man indholdet som noget, nogen har fundet på. Ergo oplever man billedet som tegn for en fantasi. Layoutet resulterer i en oplevelse af, at man har set eller ikke har set noget lignende før. Hvis læseren oplever et gensyn, får han en fornemmelse af, hvilken genre og hvilken oplevelse han eller hun vil få som læser. datavisualisering af informationer, hvor tekstmodaliteten er levende tale. Kan man læse mange modaliter, fordi man kan læse en? Ja, til en vis grad. De fleste vil sikkert kunne afkode et multimodalt produkt, men det er ikke sikkert, at de forstår alle modaliteternes indhold i forhold til hinanden. Derfor er de ikke i stand til at foretage de inferenser om meningen med helheden, der bestemmer, om modaliteternes samlede betydning har nogen mening for læseren (Brudholm, 2011). Den største fare for, at der går kludder i den multimodale forståelse, er: Det kan være svært at orientere sig i det, man bliver præsenteret for. Layoutet kan gøre det vanskeligt at bevæge øjnene formålsbestemt fra det ene element til det andet. Det kan være svært at forene indholdet i teksten med indholdet i billederne. Det er nemt at forvisse sig om, at alle fire modaliteter bliver brugt i stort omfang. Man skal blot se på skolebøger og hjemmesider, ugeblade og magasiner, fjernsynsprogrammer og computerspil. Det er helt almindeligt at finde trykte visuelle kommunikationsprodukter, der indeholder dokumentariske og arrangerede registrerende fotos, maskinelt og manuelt fremstillede fænomeniserende tegninger, maskinelt og manuelt fremstillede kategoriserende tekster, fx ugeblade. I digitale produkter som fx hjemmesider vil det sagtens kunne forekomme, at modaliteterne ud over den statiske version også benyttes i dynamiske udgaver, hvor fotomodaliteten er en video, hvor tegningsmodaliteten er en interaktiv Hvad er multimodalitetens læseproblem? Det er ikke lige så selvfølgeligt at meddele sig multimodalt som monomodalt. Derfor er det heller ikke lige så selvfølgeligt at afkode og forstå et multimodalt produkt som et monomodalt. I en tekst følger sætningerne efter hinanden, præsenteret i et layout, der gør det muligt at tilegne sig ordene i en rækkefølge, der minder om den rækkefølge, som ordene kommer i, når man taler. Hvis sætningerne er velordnede, og der er kohæsion mellem dem, og reglerne for den lineære præsentation af skrift overholdes, er det kun læserens færdighed i at læse en tekst, der kan forhindre, at teksten bliver forstået. Teksten har en speciel kvalitet i sin visuelle fremtræden: Man ser ikke andet end ord på 4

linje efter linje efter linje. Der er kun ord i øjets skarpsynsfelt og i det omgivende perifere synsfelt. I et multimodalt produkt er der både tekst og billeder. De to modaliteter aflæses forskelligt, hvilket betyder, at læseren bevæger sine øjne anderledes, når han læser en tekst, end når han læser et billede. Ved tekstlæsning skal læseren underkaste sig kravene om at bevæge øjnene systematisk fra ord til ord fra venstre mod højre fra øverste linje til nederste. Gør man ikke det, går der ikke lang tid, før teksten bliver meningsløs. Det er omvendt med billeder. Ved aflæsningen af billeder er der ikke noget krav om et systematisk øjenbevægelsesmønster. Tværtimod. Et billede skal aflæses af en læser, der frit og forståelsesbegrundet bevæger sine øjne rundt i billedets elementer. Hvor antallet af gange, som læseren må gå tilbage i teksten, kan ødelægge flowet i læsningen og dermed opfattelsen og forståelsen af teksten som helhed, dér er tilbagevenden til detaljer i et billede en måde at sikre sig, at man har set, hvad man tror man har set, og at man har forstået billedet rigtigt. Og processen ødelægger ikke flowet. Derudover har læseren det problem, at han under læsning af en tekst kan blive fanget af et element i et billede, som ligger inden for synsfeltet, og som tager opmærksomheden. Det betyder, at læseren med en bevægelse af øjnene flytter skarpsynsfeltet til den del af billedet, som stjal opmærksomheden fra teksten. Resultat: Tekstlæsningen afbrydes til fordel for billedlæsning. Skiftet kan være indholdsrelevant, men det kan også være indholdsødelæggende. Kohæsion på tværs Man kan bruge multimodaliteten hensigtmæssigt ved at benytte begrebet kohæsion på tværs af modaliteterne. Ligesom der kan være kohæsion mellem sætningerne i en tekst, kan der være kohæsion mellem sætninger og billeder, der præsenteres i samme layout. Kohæsionen skabes ved, at det samme indholdselement er til stede i flere modaliteter på en sådan måde, at det bliver muligt for læseren at skifte modalitet meningsfuldt, dvs. skifte fra at læse i en sætning til at læse i et billede og derved få udbygget sin samlede forståelse af det, der bliver meddelt. På nøjagtig samme måde som det er meningsfuldt for læseren, der læser tekst, at læse sætning efter sætning. Det enkleste eksempel på, hvad der sker, når man sætter en tekst og et billede sammen, kan man se i et pas. Billedet forestiller en person, teksten indeholder nogle personoplysninger. Elementerne er præsenteret i samme layout, og kohæsionen på tværs af modaliteterne skabes via koblingen mellem dem. Koblingen skabes, fordi det samme element optræder i dem begge: I billedet er der data for en persons udseende, i teksten er der oplysninger om en persons navn, fødselsdato osv. Sammensætningen af de to muliggør forståelsesenheden: Det menneske, man ser, er det menneske, der bærer det navn, der står i teksten, og personen kan beskrives ved hjælp af de data, der nævnes. Dermed har koblingen skabt kohæsion, og kohæsionen har skabt baggrund for inferensen om, at den person, man ser, er den person, der bærer de data, som teksten indeholder. Udsagnet i de to modaliteter forstås som en 5

enhed. Gennem de integrerende saccader (Holsanova m.fl., 2011), dvs. øjenbevægelser, der danner meningfulde koblinger mellem indholdselementer i flere modaliteter, oplever læseren, at relationen mellem modaliteterne kan forstås som et argument. I dette tilfælde har argumentet det indhold, at personen, man ser på billedet, er den person, hvis data oplyses i teksten. Da billedet og teksten præsenteres i et autoriseret layout, indeholder konstellationen den treenighed af elementer, der ifølge Stephen Toulmin (Toulmin, 1958) skal til, for at der er tale om et argument: Billedet er argumentets belæg, teksten er argumentets påstand, det autoriserede layout er argumentets hjemmel. I dette meget enkle tilfælde er belægget et foto, dvs. en modalitet, hvis indhold læses som et synsindtryk og dermed som noget, nogen har set. Argumentets belæg har en stor referentskabende effekt: Det, man ser, har eksisteret og kan stadig eksistere. Hvis man forestiller sig, at belægget var en tegning, ville det ikke have samme store referentskabende effekt, og argumentet ville som helhed ikke have den samme overbevisende vægt. Vægten af et multimodalt argument bestemmes ud over hjemmelens karakter derfor af, hvilken af de tre modaliteter belægget fremstilles i: den registrerende fotografiske modalitet, den fænomeniserende tegnede modalitet eller den kategoriserende tekstlige modalitet. Et foto giver en anden forestilling om virkelighed end en tegning. Dermed har det argument, hvis belæg er et foto, en anden vægt end det argument, hvis belæg er en tegning. Et argument, hvis belæg er en tekst, en anden vægt end det argument, hvis belæg er en tegning. Manglende kohæsion mellem modaliteterne Hvad sker der, når der ikke er nogen koblingsmulighed mellem indholdet i et billede og indholdet i en tekst, når der mangler kohæsion på tværs af modaliteterne? Der sker det, at læseren bliver forvirret, fordi der ikke er mulighed for integrerende saccader. Læseren får ikke mulighed for at forstå indholdet i billedet som belæg for den påstand, som teksten indeholder. Derfor giver de to udtryk ikke mening som indholdsmæssig enhed. Resultatet er, at læseren bliver forvirret. Forvirringen opstår fordi layoutet indeholder to elementer, hvis indhold ikke kan forenes. Som i eksemplet fra dagbladet Politiken: Billedets indhold fungerer ikke som belæg for overskriftens påstand, fordi man ikke kan være alarmeret og grine hjerteligt samtidig. Bedre multimodalitet er ønskelig Så vidt jeg kan se, er den manglende kohæsion på tværs af modaliteterne et almindeligt fænomen. Det er almindeligt, at billed- og tekstindhold ikke kohærerer, sådan som de burde. Det er almindeligt, at speaken i en tv- 6

avis ikke passer til billederne. Det er almindeligt, at en bogforside har en illustration, hvis indhold ikke giver mening i forhold til bogens titel. Det kunne være interessant at få mere viden om, hvad det betyder for forståelsen af de budskaber, som medierne formidler, at der mangler kohæsion på tværs af modaliteterne. Den udvidelse af læseformlen, som jeg har præsenteret her, skal ses i lyset af dette ønske. Alle parter ville sikkert have glæde af, at læsefærdighed blev et multimodalt begreb. Så formidlere en dag kunne meddele sig multimodalt uden at skabe forvirrende mangel på kohæsion mellem modaliteterne. Så læsere en dag både kunne læse tekster og billeder og billeder og tekster og forstå dem som helhed. LITTERATUR Björkvall, Anders (2010). Den visuella texten. Multimodal analys i praktiken. Stockholm: Hallgren & Fallgren Studieförlag. Brudholm, Merete (2011). Læseforståelse hvorfor og hvordan. København: Akademisk Forlag. Gough, P. B. & Tunmer, W. E. (1986). Decoding, reading and reading disability. Remedial and Special Education, 7(1), 6-10. Holsanova, Jana m.fl. (2008). Reading Information Graphics: The Role of Spatial Contiguity and Dual Attentional Guidance. Applied Cognitive Psychology, 23(9), 1215-1226. Toulmin, Stephen (1958). The Uses of Argument. Cambridge. Cambridge University Press. Niels Heie / Mediehøjskolen / April 2012 7