Multimodal argumentation: når tekst og billeder passer sammen

Transkript

1 : når tekst og billeder passer sammen Billedet begrænser teksten betydning, mens teksten forankrer billedets betydning. Den viden kan bruges praktisk i al visuel kommunikation. af Niels Heie, Mediehøjskolen De fleste visuelle budskaber indeholder både tekst og billeder. Nogle af dem har mange billeder og lidt tekst, andre har meget tekst og få billeder. Få produkter indeholder kun tekst. Nogle skiltetyper indeholder kun billeder. Størstedelen er altså multimodale, dvs. at de indeholder forskellige udtryksformer som skal afkodes og forstås forskelligt, men hvis forskellige indhold skal forenes i en indholdsmæssig syntese. Processens kompleksitet viser sig f.eks. ved at den måde man bevæger øjnene på, når man læser tekst, er væsensforskellig fra den måde man bevæger øjnene på, når man læser billeder. Alligevel skal de to aflæsningensmåder forenes i en fælles fortolkning. Det formodes at læserne kan administrere kompleksiteten. På trods af multimodalitetens udbredelse er der ikke megen teori om emnet. Der er skrevet en del om tekstlæsning og forståelse. Der er skrevet en del om billedlæsning og forståelse. Men der er ikke skrevet meget om kombinationen og slet ikke på et niveau, hvor konklusionerne kan bruges som anvisninger i en specifik situation, hvor et bestemt budskab skal formidles til en bestemt målgruppe. Men hvis man skal bruge kombinationen bevidst, dvs. udnytte kombinationens formidlingskapacitet, bør man forstå hvilken betydning kombinationen egentlig har og man bør have kriterier for om kombinationen er vellykket eller mislykket. Nøjagtig som man har kriterier for ords stavemåde og sætningers struktur. Denne artikel er et forsøg på at opstille et sæt kriterier for indholdsmæssigt vellykket multimodalitet. Tekst og billeder påvirker hinanden forskelligt En af de kendte tekster om emnet er skrevet af Roland Barthes. Den hedder Billedets retorik og er fra I den skriver han at kombinationen af tekst og billede har to betydninger: 1) Teksten forankrer billedet til en bestemt mening. Derved reducerer teksten billedets polysemiske karakter, det at billedet kan være et billede af en hvilken som helst situation, som de agerende har optrådt i på det sted. Teksten gør det muligt at besvare det tekstløse billedes spørgen. Barthes kalder virkningen anchorage. 2) Billedet kan afløse teksten. F.eks. i tegneserier, hvor billederne fortæller på en måde som en tekst ellers gør: fortæller hvad, hvor og i hvilken rækkefølge ting sker med hvem som agerende. Barthes kalder virkningen relais. 1

2 Men artiklen kommer ikke ind på, hvad billedet og dets indhold egentlig betyder for forståelsen af teksten. Jens E. Kjeldsen foreslår i Billeders Retorik (2007) at forankringen går begge veje, at teksten forankrer billedet og billedet forankrer teksten. Det er en udmærket pointe. Bortset fra at terminologien camouflerer asymmetrien i de to modaliteter hvilket er et problem, fordi der faktisk er stor forskel tekst og billede. De kan ikke sige det samme, fordi deres indhold er forskellige som begrebet den er forskelligt fra begrebet alle. Forskellen kunne gøres tydelig, hvis de to virkninger fik hver sin betegnelse. Mit forslag er at man bruger betegnelsen begrænse om den virkning billedets indhold har på tekstens betydning. Dermed kan man opstille følgende model for forholdet mellem tekst og billede: Teksten forankrer billedets betydning Billedet begrænser tekstens betydning Jeg vil videre argumentere for, at man kan opstille Rationelle kriterier for kombinationens meningsfuldhed Præmisserne for mine påstande bliver præsenteret i tre afsnit: først beskriver jeg hvad et billede er, dernæst hvad en tekst er og til sidst hvilken indholdsmæssig størrelse, der kommer ud af at kombinerer de to. Forskellige slags kommunikerende tegn I semiotikken er et tegn noget, der står for noget (Kjørup, 2002). Der tre tegntyper: index, ikon, symbol. De formidler deres indhold på hver sin måde. Et naturligt index kan f.eks. være rødmen på en kind. Den røde farve i huden skabes af den forøgede blodgennemstrømning. Rødmen er virkningen af en årsag/virkning-relation. Indexet kan læses, hvis læseren kan slutte sig til den årsag der ligger til grund for virkningen, altså hvorfor personen rødmer. Et naturligt ikon kan f.eks. være et skyggebillede. Ikonet formidler ved hjælp af lighed. Skyggebilledet er silhuet af noget som det deler synlig form med: et ikon ligner. Ikonet kan læses, hvis læseren forstår hvad det ligner. (At silhuetten også er et index, er en anden sag skyggen er jo en virkning af, at noget har været årsag til at lyset ikke når frem. Skygge er forskelligt fra mørke ved at være et billede af en forhindring, hvor mørke er fravær af lys). Der findes ikke naturlige symboler. Symboler er kulturelle og er tegn, hvis betydning er resultat af en vedtægt. Symbolets betydning er altså hverken en virkning som indexet formidler eller en lighed som ikonet formidler. Man kan gøre alt til et symbol, men for at virke skal kulturen anerkende hvilken betydning det har. Index og ikon findes også i visuelle kulturelle versioner, 2

3 hvor de er frembragt med det formål at viderebringe en betydning. De er kommunikerende tegn. Det vi til daglig kalder billeder er ikoniske tegn, mens skrift er symbolske tegn. I en vis forstand er alle kommunikerende tegn symboler: det er vedtaget at billeder og tekster indeholder en bestemt betydning og at de kan læses på en bestemt måde. For at de kommunikerende tegn fungerer kræver det altså, at de der fremstiller tegnene er enige med dem, der skal læse dem om deres udseende og deres betydning. Der findes ingen selvstændige indexer blandt de kommunikerende tegn. Men der er et indeksikalsk aspekt, nemlig tegnets udseende. Tegnets udseende er den synlige virkning af at nogen har fremstillet det, dvs. været årsag f.eks. ved hjælp af en blyant eller en pensel. Tegnets indhold er den forestilling som tegnet kan aktivere i læserens bevidsthed om hvad det står for. Et kommunikerende visuelt tegn har altså altid et handlende menneske som sin årsag. Billedet involverer den kropslige fantasi Vi bombarderes med fotografier. Fotografier er ikoniske tegn med meget høj ikonicitet, dvs. meget stor lighed med det de står for. De opnår den høje ikonicitet i kraft af deres centralperspektiviske struktur. Fotografiet har den virkning, at det overbeviser læseren om at det billedet står for, har eksisteret i virkeligheden. Fotografiet dokumenterer. Hvilket indebærer at læseren kan slutte, at det der har eksisteret i virkeligheden muligvis eksisterer endnu. På et fotografi ser man altså noget man måske kan komme til at se selv. Hvis det var interessant for en at være der, komme til stede, er det måske muligt. Hvis man altså ved, hvor stedet ligger. Når man forestiller sig at være tilstede, bruger man sin kropslige fantasi, som involverer forestillingen om at man handler. Man sætter så at sige sig selv ind i billedet og forestiller sig at scenen er virkelig, forestiller sig at man er på det sted, som billedet viser. Sådan er det f.eks. når man tager stilling til et nyt køkken. Man leger hvis det var mit på baggrund af annoncens ikoniske tegn for køkkenet, før man bevæger sig hen i butikken for at se det i virkeligheden. Der er andre typer ikoner end de fotografiske. De har mindre ikonicitet, og deres indeksikale aspekt bestemmes af om ikonet er fremstillet med en maskine eller med et redskab. Men det naturalistiske fotografi i statisk eller dynamisk udgave er den billedform som er mest anvendt og som de allerfleste af os har den største erfaring med. Kohærens: når der er sammenhæng i tingene Vi bombarderes også med skrift. Allevegne og mere og mere. Med computeren har skriftsystemet fået en eksplosiv udbredelse og med de teknologiske rationaliseringsmuligheder er det muligt at erstatte flere og flere talesprogsdomæner 3

4 med skriftsprog. Tekst er et symbolsk system af tegn, hvis udformning, betydning og kombinationsmåder er fastlagt gennem et sæt af konventioner: om bogstavernes udseende, ordene som kombinationer af bogstaver, om linearitet, grammatik og kohærens. Formålet med systemet er at omsætte talesproget som selv er et symbolsystem til skrift og dermed oversætte noget, der høres til noget, der ses. Skriftsproget virker altså kun i begrænset omfang ved hjælp af lighed. I en tekst skal der være kohærens, sammenhæng i helheden. Kohærensen dannes ved hjælp af kohæsion mellem delene. Kohæsionen skabes af de elementer, der får indholdet af den ene sætning til at hænge sammen med den anden. Eks: Otto B. Larsen er en trist mand. Han er en god lokomotivfører, som bare ikke har noget lokomotiv. Mellem første og anden sætning skabes kohæsionen af ordet han i anden sætning, som henviser til Otto B. Larsen i første. Mellem anden og tredje sætning skabes kohæsionen af ordet som, der henviser til det han, som var i den foregående sætning. Man slutter, at Otto B. Larsen er repræsenteret ved ordet han i sætning to og ordet som i sætning tre og dermed, at de tre sætninger kan opfattes som en indholdsmæssig enhed, der formidler tre påstande om det samme emne. Kriteriet for at den slutning er acceptabel er, at det er en fortolkning som integrerer flest muligt af sætningernes elementer og at ingen af sætningernes elementer modsiger fortolkningen. Det er ikke nær så kompliceret at få elementerne til at hænge samme i et billede. De er så at sige alle sammen meningsfuldt relateret til hinanden, fordi billedet formidler en simultanitet mellem de figurer, som billedet indeholder: figurerne er så at sige tilstede samtidig i samme rum. Dermed oplever man i en vis forstand figurerne i billedet som om de var ord og rummet i billedet, som om det var en sætning figurerne var elementer i. Når man sætter teksten og billedet sammen skal der også være kohæsion, men nu skal den skabes mellem to typer af tegn som er væsensforskellige. Det sker ved hjælp af koblinger mellem de ting som både er repræsenteret i teksten og i billedet. De elementer der optræder i billedet og som kan betegnes med de ord der findes i teksten, er de elementer som gør det muligt at kohæsionerne opstår. Jeg vil gennemgå et eksempel i detaljer og beskrive, hvordan man læser elementernes indhold og hvilket resultat, der kommer ud af at et budskab formidles i en multimodal form. Eksemplet er simpelt og består af et fotografi og en sætning. 4

5 Fotografiet Man læser billedets indhold nogenlunde sådan: Fotoet viser et sted, hvor solen skinner. En mand gestikulerer og ser ud til at tale til nogen. Ved siden af ham står en kvinde med solbriller. Hun lytter og ser i samme retning. I baggrunden forskellige bygninger, ikke moderne. Etageejendomme, slotte, kirker. Enkelte omsluttet af stillads, nogle med tårne og spir. Husene ligger som på en trappe, man kan se meget af bygningerne selvom de ligger bag hinanden. Mellem parret og byen en flod. Vandet er fuldt af reflekser. Det er et sted i en gammel by. Man kan forestille sig at være der. Sætningen Det er pragtfuldt at være turist i Budapest Man læser indholdet af teksten nogenlunde sådan: Strengen af ord er en sætning, hvis indhold er et postulat om at det er pragtfuldt at være turist i Budapest. Forståelsen består i at man oplever sig selv som en person, der har været turist i Budapest og som udtrykker sin positive oplevelse over for nogen. Udsagnet er uden tilknytning til tid og sted ved andet end sprogsystemet, navnet på byen Budapest og begrebet turist. Kun hvis man kan dansk, kan man afkode teksten og forstå dens mening. Men man kan ikke få den mindste kropslige association til forestillingen om at være der (med mindre man faktisk har været der) og man kan ikke få den mindste fornemmelse af hvem, der egentlig siger ordene til hvem og i hvilken situation det sker. 5

6 Kombinationen Det er pragtfuldt at være turist i Budapest Processen at læse kombinationen er kompleks og det er i forståelsesprocessen af de to elementer sammen, at det viser sig om multimodaliteten virker efter hensigten. Det skal nemlig være meningsfuldt for læseren at bevæge sine øjne mellem steder i teksten og steder i billedet og omvendt steder i billedet til steder i teksten med det resultatet at de to elementers betydning opfattes som en helhed. Dvs. at man skal opfatte en enhed, der består af A) billedets indhold:... et sted i en gammel by hvor bygninger med spir og tårne ligger som på en trappe, hvor solen skinner og danner reflekser i floden og hvor et par på den anden side er fordybet i samtale med en tredje og hvor man kan forestille sig at være. og B) tekstens indhold:... et postulat om at det er pragtfuldt at være turist i Budapest som ikke giver den mindste kropslige association til forestillingen om at være der? Sammenhængen i de to helheder skabes af koblingerne mellem de mindre elementer. Koblingerne sker mellem: Ordet Budapest & det man ser af bygninger som er navn der ligger så tæt at de kan på en by betegnes som del af en by Resultat: man opfatter ordet Budapest i teksten som navnet på byen i billedet. 6

7 Ordet turist & personerne i billedet som er navn på en der ser ud som om adfærd, hvor menne- de kunne være på sker opholder sig det sted af lyst på et sted af lyst Resultat: man opfatter ordet turist som en relevant kategorisering af personerne i billedet. Ordet pragtfuldt & personernes kropssprog og stedet står for at noget er som de er iflg. billedet fuldt af pragt Resultat: man opfatter personernes situation som en pragtfuld tilstand, fordi der er positive koblinger mellem tekst og billede og fordi ingen af de informationer som billedet og teksten indeholder modsiger, at personerne oplever stedet som et pragtfuldt sted at være turist. Der er forskel på indholdet i de to første koblinger og den sidste. De første er objektive, den sidste er subjektiv: FØRSTE KOBLING: Det kan være sandt, at det man ser er et sted i Budapest. Hvis det er, er koblingen som helhed en påstand og et belæg, der siger at: det man ser er et sted i Budapest. ANDEN KOBLING: Det kan være sandt, at personerne er turister. Hvis det er, er koblingen som helhed en påstand og et belæg, der siger at: de mennesker man ser er turister. TREDIE KOBLING: Det kan være usandt, at det er pragtfuldt at være turist. Derfor er koblingen subjektiv. Pragtfuldt er et ord der bruges, når et menneske vil overføre sin positive oplevelse af noget til andre via sprog. Billedet giver læseren mulighed for at finde data, der kan danne grundlag for at fremføre påstanden om at det er pragtfuldt at være turist i Budapest. Og grundlaget er faktisk tilstede: Solen skinner, det er godt vejr Der er masser af huse og bygninger man kan gå rundt og se på Parret ser ud til at være intenst tilstedeværende Der er en flod, som giver mulighed for sejlads og doven tid med fødderne i vand Der er altså elementer i billedet, der gør det muligt at forstå stedet som et sted hvor det kan være pragtfuldt at være turist. Derfor er det også forståeligt, at en person, der har været på stedet kan afsige den dom at det faktisk er tilfældet. Hvis teksten havde været Budapest er den største handelsby i Europa var der koblinger mellem 1) bygningerne, floden og miljøet på billedet 7

8 2) ordet Budapest 3) den sidste stavelse i ordet handelsby Men der havde ikke været kobling til handel og ikke til største. Derved er koblingerne kun delvise, det er ikke muligt at skabe kohærens mellem sætningen som helhed og billedet som helhed. Koblingerne kan altså forstås som elementer der etablerer logiske relationer, hvor billedelementer fungerer som belæg for sproglige elementer, og hvor indholdet i en kobling er en påstand om, at billedelementet er medlem af den kategori, som skriftelementet er det sproglige tegn for. Relationerne kan beskrives ved hjælp af Stephen Toulmins grundmodel for et argument, hvis dele består af belæg, påstand og hjemmel (Toulmin, 1958). I turist-eksemplet kan man forstå indholdet af hele teksten som en påstand og indholdet af hele billedet som et belæg og en påstand der kan indgå i samme argument. I handelsby-eksemplet er det kun dele af teksten der opleves som påstand og kun dele af billedet der giver mening som belæg og derfor ikke nødvendigvis som elementer i et og samme argument. I turist-eksemplet er sammensætningen argumenterende som helhed, i handelsby-eksemplet er sammensætningen altså kun delvist en argumenterende helhed. Når billedet og teksten som helhed indgår som belæg og påstand i det samme argument, bliver det muligt for læseren at fortolke billedets og tekstens udsagn som om de var fremsat af en og samme person. Resultatet er at læseren forstår teksten som et udsagn om det sted, der vises i billedet. Det er som om udsagnet fremsættes af en person, som er tilstede og ser det læseren ser på billedet. Når personen, der siger noget er den samme, som personen der viser noget, betyder det, at de to udsagn kommer fra samme jeg og handler om den situation, som det jeg er i. Hvor billede og tekst kun opfattes som delvist sammenhængende er der ikke den samme mulighed for at opfatte kilden til de to udsagn som en. Ergo giver den delvise kobling ikke læseren mulighed for at danne sig den opfattelse, at de to udsagn kommer fra samme jeg. Opfattelsen af et udsagns-jeg opstår ved en kognitiv proces som er af samme art som den proces, der fører til at adskilte bogstaver opleves som et ord og at adskilte ord opfattes som en sætning. I alle tre processer er der tale om gestaltvirkninger. En gestaltvirkning opstår ved at opfatte flere elementer, men kun opleve et. Den fælles kilde til billedets og tekstens udsagn kan placeres som hjemmel i argumentmodellen. Hjemlen har den funktion at være instansen der sandsynliggør, at påstanden kan fremsættes som et relevant udsagn på baggrund af belæg- 8

9 get. Her er hjemlen altså en implicit tegnproducerende person, der explicit siger og viser noget. Denne implicitte person er hjemmel for at belæg og påstand hænger sammen. Det særlige ved denne type argumention er at belægget er ikonisk og derfor kan man kalde argumentationsformen for multimodal. Billedet giver skriftsproget reference Jeg startede med at opstille en model for sammenhængen mellem tekst og billeder, som udvidede Barthes idé om at billedets mening forankres af teksten med min om, at tekstens betydning begrænses af billedet. Videre hævdede jeg, at man kan bedømme om sammensætningen af billede og tekst er vellykket eller ej ved hjælp af rationelle begreber. Gennem artiklen har det været intentionen at vise, at man kan relatere billede og tekst til hinanden som påstand og belæg i et argument og at man kan opfatte den indirekte kilde til sammensætningen som den hjemmel, der forbinder påstanden og belægget. Når jeg hævder, at teksten begrænses af at være i en meningsfuld indholdsmæssig relation med et billede, er det fordi skriftsproget mister noget af sit gyldighedsområde. For når teksten bliver situationsbetinget mister det den del af sin abstrakte gyldighed at være situationsuafhængigt. Det faktum har stor betydning for læseren: Den tekst som ikke er relateret til et billede, forstås af læseren som noget han selv siger med en andens ord og som han skal finde reference til i sin egen bevidsthed. Den tekst som er relateret til et billede, forstås af læseren som noget han siger med en andens ord, men i kraft af billedet får sproget en reference udenfor læseren. Dermed får skriftsproget noget af den konkrete betydning som talesprog har. Når en tekst læses uden billeder, oplever man indholdet af læsningen som om man har en andens erindring. Når en tekst giver mening sammen med et billede, oplever man indholdet, som om man er i en andens situation. En praktisk metode til at foretage indholdskorrektur Den argumentation jeg har skitseret her kan bruges i praksis. Man kan oven i købet afprøve om den sammensætning man har tænkt sig er meningsfuld eller ej. Det er nemlig muligt at lave indholdskorrektur på sammensætningen. Man gør det ved at omsætte billedet til en sætning, der læses sammen med den sætning billedet skal danne mening sammen med. Hvis der er kohæsioner mellem sætningerne og kohærens i sammensætningen som helhed, vil der også være kohærens i sammensætningen af billede og tekst. 9

10 Sådan gør man: A) Oversæt billedet til en tekst B) Sæt billedteksten og den tekst billedet skal læses sammen med på hver side af et kolon. Billedtekstens først. (Så læser man elementerne i den rækkefølge som billede og tekst sædvanligvis opleves i) C) Læs Hvis relationen mellem de to sætninger er meningsfuld opleves de som belæg og påstand i samme argument. Da teksten er en oversættelse af billedet sammensætningen af tekst og billede også opleves sammenhængende. Forskellen på de to udgaver af argumentet er, at belægget i korrekturudgaven er symbolsk, mens det i den multimodale udgave er ikonisk. Resultatet ses her: Diset solskin. Opad bakken, gamle bygninger med tårne og spir. Ved foden floden, glitrende. På modsatte bred med ryggen til, gestikulerende mand og kvinde der lytter: Det er pragtfuldt at være turist i Budapest. Synspunktet i denne artikel kan udfoldes yderligere til at belyse hvilken betydning det har for argumentationen, når det ikoniske belæg er et arrangeret fotografi som man f.eks. ser det i annoncer. Man kan også drøfte hvilken betydning det har for en argumentation at det ikoniske belæg er ikke-naturalistisk, som man f.eks. ser det i læserbreve illustreret med en tegning, hvor tingene er genkendelige men ikke er visuelt identiske med virkelige ting. Endelig kan man drøfte både de ikoniske og de symbolske tegns indeksikale kvaliteter: hvilken betydning har det for ens opfattelse af budskabet, at ordet vrede er skrevet med håndskrift og at den hånd, der har ført blyanten ser ud til at være styret af en krop som er edderspændt rasende? Etc. Iøvrigt stiller jeg gerne op som hjemmel for det eksempel, som er brugt i artiklen. Budapest er en pragtfuld by at være turist i. Jeg var der sidste sommer og jeg har taget billedet. Mediehøjskolen, marts

11 Litteratur: Barthes, Roland: Billedets retorik in Visuel kommunikation. København Forlaget Medusa 1980 Kjeldsen, Jens E.:Billeders retorik in Retorikkens aktualitet. Grundbog i retorisk analyse. København Hans Reitzels Forlag 2006 Kjørup, Søren: Semiotik København Samfundslitteratur; Roskilde Universitetsforlag 2002 Toulmin, Stephen:The Uses of Argument Cambridge Cambridge University Press 1999