Digital Retorik hold II Kursusgang 8 MULTIMODAL KOMMUNIKATION

Digital Retorik hold II Kursusgang 8 MULTIMODAL KOMMUNIKATION

IDAG social semiotik & multimodal teori billeder som retorik kobling tekst billede lyd som retorisk virkemiddel multimodal kommunikation Øvelser: 1) Intro til eksamensopgaven 2) Arbejde med opgaven 3) Minikommmunikationsprojekt 19. marts 2014

SEMIOTIK Videnskab der fokuserer på hvordan betydning skabes i et givet tegnsystem Identificere tegn-enheder Skel mellem signifier og signified (det der repræsenterer og hvad det repræsenterer), Saussure: tegn og objekt (arbitrær relation) Peirce: symbol, indeks og ikon (tre typer relation) 3 19-03-2014

SOCIAL SEMIOTIK Semiotisk fortolkningspraksis er kulturelt og socialt bestemt repræsentationelle paradigmer Semiotiske resurser (ikke semiotisk system) Relationen mlm signifier og signified er motiveret (aptness) Fortolkning er kulturlig, ikke naturlig og åben (tegnet dynamisk) Hver modus har sin udtryksform - og sin æra. (visuel kommunikation dominerer pt over den verbale, se f.eks. Kress & Van Leeuwen, 2001/2006: Reading Images) 4 19-03-2014

SOCIAL SEMIOTIK A theory that deals with meaning in all its appearances, in all social occasions and in all cultural sites (Kress, 2010, p. 2) 5 19-03-2014

6 19-03-2014

7 19-03-2014

MULTIMODAL BETYDNINGSTEORI (KRESS og VAN LEEUWEN ) Modaliteter ( used to make meaning and communicate ) skriftsprog, billeder (still- og levende), tale, musik, farver, gestik, arkitektur, layout, 3D-objekter, påklædning, grafik osv Modaliteter trækker på et fysisk materiale: fx lyd, bevægelse, ler, krop Materialet har affordancer som forskellige modaliteter inkorpererer og bruger (fx lyd: styrke, pitch, varighed, intonation) 8 19-03-2014

MULTIMODAL BETYDNINGSTEORI (KRESS og VAN LEEUWEN ) semiotiske ressourcer (fx verbalsprog) -> materiel form (fx print) > site of "fixing", hvor mening repræsenteres (skærmen) - alle påvirker hvordan vi opfatter det kommunikerede en multimodal betydningsteori fremhæver det situationelle og intentionelle ( aptnes ) og brug af semiotiske ressourcer som del af af det sociale liv design (intentionalitet, formgivning af passende udtryk, brug af aktuelle ressourcer) som vigtigt parameter shaping of meaning in the social environment 9 19-03-2014

MULTIMODAL BETYDNINGSTEORI FRAMING 10 19-03-2014

19. marts 2014

MULTIMODAL ANALYSE hvordan det enkelte element (modalitet) skaber mening (f.eks. analyse af et billedes retorik) hvordan det står i relation til andre modale elementer (funktionel specialisering (tid/rum), tyngde [load] (f.eks. er dette element den der er bærer af den væsentligste information? Redundans eller udvidelse?) hvordan de bindes sammen (kommunikationel interaktion, koherens: rytme, komposition, informationskobling, dialog) hvordan forskellige modaliteter tilsammen skaber den overordnede mening (et 3. udtryk), herunder fx ethos 12 19-03-2014

VISUEL MODALITET 13 19-03-2014

BILLEDETS AFFORDANCER Type (foto, tegning osv) Komposition (herunder synsvinkel, afstand, fordeling af objekter/elementer) Belysning Farver Form Beskæring

KJELDSEN: BILLEDETS RETORIK Særligt kendetegnet ved evidensfunktion nærvær realisme og dokumentation umiddelbarhed fortætning (kombi æstetisk og retorisk mening) det effektive retoriske billede forener en æstetisk og en argumentativ fortætning (typisk enthymeme) Billeder fungerer også som troper, metafor og symboler på f.eks. fælles kulturelle værdier 15 19-03-2014

DOBBELT RETORISK FORTÆTNING 19. marts 2014

DOBBELT RETORISK FORTÆTNING

ENTYMEMISK POLYSEMI 19. marts 2014

VISUEL ARGUMENTATION 19 19. marts 2014 http://www.vnnforum.com/showthread.php?t=2328

VISUEL ARGUMENTATION /TILSLØRENDE POLYSEMI? 20 19. marts 2014 http://www.vnnforum.com/showthread.php?t=2328

KJELDSENS ANALYSEMODEL Beskriv kontekst (tekstlig, kulturel, situation) Billedets retoriske kvaliteter (formale, evidentia, udsagn/argumentation) Appelformer og strategier Persuasive betydning 21 19-03-2014

SAMSPIL TEKST _ BILLEDE - OG ANDRE MODALITETER 22 19-03-2014

FUNKTIONEL SPECIALISERING Verbaltekst beskriver tidslige forhold, forløb over tid, kausalitet ( rytme ) (Still)Billedet beskriver rumlige forhold, betydningsvægt i kraft af f.eks. placering og størrelse ( komposition ) billedet påkalder, skaber opmærksomhed teksten giver information, forklarer budskab 23 19-03-2014

VISUEL KOMM ONLINE /FUNKTIONEL SPECIALISERING Billedet tiltrækker opmærksomhed, teksten informerer?! Anders Fagerjord blikfang illustration konnotation (Web-medier: Introduksjon til sjangre og uttrykksformer på nettet. 2006/2008) Lisbeth Thorlacius understøtter/kommunikerer sender-image understøtter funktionalitet (navigation osv) understøtter/skaber webgenre afspejler publikums smag (aktuelle trends i visuel aesthetics) The Role of Aesthetics in Webdesign 24 19-03-2014

INFORMATIONSKOBLING billedet fungerer i forhold til tekstens indhold : understøttende, supplerende el. udvidende, kommenterende Roland Barthes: anchorage vs relay Kress & Van Leewen: elaboration vs extension Anne Løvland: redundans (gentagelse) af budskab gennem forskellige modaliteter er også en vigtig funktion i kommunikation, især til yngre aldersgrupper 25 19-03-2014

INFORMATIONSKOBLING (Van Leeuwen, 2005) 19. marts 2014

Lindh, 46, was stabbed several times inside an upmarket Stockholm department store as she shopped Wednesday. She died early Thursday as a result of wounds to her abdomen..[] Police say the shop might have images of the killer on a video surveillance camera. Up to 50,000 people, many carrying red roses, gathered in Stockholm for Sweden's biggest political demonstration since the Vietnam War. CNN.com, 12/11-2003 27 19-03-2014

DEN 3. MENING (EXTENSION/COMPLEMENT Scott McCloud i Understanding Comics Interdependant (gensidigt afhængige) Billed og ord udtrykker tilsammen noget, de ikke kunne hver for sig

DET TREDJE BUDSKAB www.twitter.com/vestager/status/118941193102045184

30 19-03-2014

31 19-03-2014

32 19-03-2014

19. marts 2014 POLYSEMI

INFORMATIONSKOBLING - LINKET

INFORMATIONSKOBLING - LINKET

INFORMATIONSKOBLING - LINKET

LINK/MOUSE-OVER SOM BEVIS

INFORMATIONSKOBLING & ARGUMENTATION Plant 2008 Reklame for... http://www.plantinteractive.dk/clients/ium/sp rite/ Dansk Internet Award 2008 (årets bedste internetkampagner) 39 19-03-2014

INTERAKTIV GRAFIK SOM NY MODALITET? Interaktiv grafik - overblik, sammenligning (forskelle, ligheder, skala) - kan indføre temporalitet til billedoplevelsen - kan beskrive bevægelse - bruger bestemmer hvad der skal ses hvornår - hierarki af information Page (flade) eller Window (dybde) (McCloud) Fagergjord: Interaktiv grafik et studie af fremtiden i dag i Digitale Verdener (red. Engholm og Klastrup) 40 19-03-2014

OVERBLIK OG INFORMATION Interaktiv grafikkort over metrobyggeriet på politiken.dk 41 19-03-2014 http://multimedia.pol.dk/archive/00357/m etro2009_357318a.swf

SKALERING 42 19-03-2014

LYDENS FUNKTION I ONLINE KOMM 43 19-03-2014

LYD SKABER MENING GENNEM Kategorierne > tale, musik, andre lyde volume ( energi ) rytme pitch (tonehøjde, stemning) > melodi, tonalitet, spænding/afspænding Se mere fx i Van Leeuwen: Speech, Music, Sound (1999) 19. marts 2014

LYDENS FUNKTIONELLE SPECIALISERING branding (sonic branding, kendingsmelodi ) atmosfære, stemning rumlighed (tæt på, langt væk) bevis (bandet lyder sådan) ethos (karakterskabende, fx stemme) sammenhængskraft (narration gnm melodi) kontrapunktisk (modsætning, tension ) Se bla.

SONIC BRANDING /AUDIO LOGO

ATMOSFÆRE

EGESKOV- FØR 19. marts 2014 http://normik.ipapercms.dk/egeskov/egeskov1/

EGESKOV- NU 19. marts 2014 http://normik.ipapercms.dk/egeskov/egeskov1/

http://herraizsoto.com/works/2009/labuat/soytuaire/ 19. marts 2014

MULTIMODAL KOMMUNIKATION 51 19-03-2014

MULTIMODALITET ONLINE typiske modaliteter: skrift, fotografier, tegninger, forklarende figurer, typografi layout, levende bilder og simuleret 3D en modalitet indkapsler ofte en anden ( dominerende stemme ) næsten altid kombi af tekst/stilbilleder (el. tale og video) kombi af modaliteter kan forankre mening i et 3.udtryk Fagerjord: Web-medier Introduksjon til sjangre og uttrykksformer på nettet, 2006 52 19-03-2014

DIGITAL MULTIMODAL ANALYSE sammenhængskraft vs spænding (når modaliteter understøtter henholdsvis modsiger hinanden) PERFORMATIVITET TEKSTENS MATERIALITET (SANSELIGHED, ÆSTETIK) (BRUGER/MODTAGERS RESPONS OG REAKTION PÅ TEKSTENS SOCIALE ORIENTERING) sammenhæng i kraft af tematik/bærende ide, komposition og samspil (informationskobling) mellem modaliteter (ikke narrativ eller kausal) oplevelsen af et tekst univers TEKSTENS SEMANTIK > meningsenhed (MENINGSSKABELSE OG FORTOLKNING) Engebretsen, 2013

DIGITAL MULTIMODAL ANALYSE SAMMENHÆNGSKRAFT vs SPÆNDING PERFORMATIVITET (BRUGER/MODTAGERS RESPONS OG REAKTION PÅ TEKSTENS SOCIALE ORIENTERING) SAMMENHÆNG I KRAFT AF KOMPOSITION OG SAMSPIL MELLEM MODALITETER (ikke narrativ eller kausal) TEKSTENS MATERIALITET (SANSELIGHED, ÆSTETIK) TEKSTENS SEMANTIK (MENINGSSKABELSE OG FORTOLKNING) Frit efter Engebretsen

19. marts 2014

Multimodale vittighedstegning? 56 19-03-2014 http://troubling.ytmnd.com/

MULTIMODAL RETORISK ANALYSE Hvordan fungerer den sammensatte retoriske ytring i forhold til et bestemt formål? Egner teksthelheden sig f.eks. til at skape tillid til tekstens afsender, og til at overbevise og bevæge dens modtagere? Skaper de forskellige modaliter en retorisk synergieffekt, hvor argumentation og følelsesappel samvirker i en fortættet og fokuseret form? Eller representerer de forskellige tekstelementer (modaliteter) i den givne retoriske ytring et budskab, som taler i flere retninger og måske modsiger sig selv? (Martin Engebretsen, introduktion til Tekst/Bilde/Lyd, 2010) 57 19-03-2014