Digital Retorik hold II Kursusgang 8 MULTIMODAL KOMMUNIKATION

Transkript

1 Digital Retorik hold II Kursusgang 8 MULTIMODAL KOMMUNIKATION

2 IDAG social semiotik & multimodal teori billeder som retorik kobling tekst billede lyd som retorisk virkemiddel multimodal kommunikation Øvelser: 1) Intro til eksamensopgaven 2) Arbejde med opgaven 3) Minikommmunikationsprojekt 19. marts 2014

3 SEMIOTIK Videnskab der fokuserer på hvordan betydning skabes i et givet tegnsystem Identificere tegn-enheder Skel mellem signifier og signified (det der repræsenterer og hvad det repræsenterer), Saussure: tegn og objekt (arbitrær relation) Peirce: symbol, indeks og ikon (tre typer relation)

4 SOCIAL SEMIOTIK Semiotisk fortolkningspraksis er kulturelt og socialt bestemt repræsentationelle paradigmer Semiotiske resurser (ikke semiotisk system) Relationen mlm signifier og signified er motiveret (aptness) Fortolkning er kulturlig, ikke naturlig og åben (tegnet dynamisk) Hver modus har sin udtryksform - og sin æra. (visuel kommunikation dominerer pt over den verbale, se f.eks. Kress & Van Leeuwen, 2001/2006: Reading Images)

5 SOCIAL SEMIOTIK A theory that deals with meaning in all its appearances, in all social occasions and in all cultural sites (Kress, 2010, p. 2)

6

7

8 MULTIMODAL BETYDNINGSTEORI (KRESS og VAN LEEUWEN ) Modaliteter ( used to make meaning and communicate ) skriftsprog, billeder (still- og levende), tale, musik, farver, gestik, arkitektur, layout, 3D-objekter, påklædning, grafik osv Modaliteter trækker på et fysisk materiale: fx lyd, bevægelse, ler, krop Materialet har affordancer som forskellige modaliteter inkorpererer og bruger (fx lyd: styrke, pitch, varighed, intonation)

9 MULTIMODAL BETYDNINGSTEORI (KRESS og VAN LEEUWEN ) semiotiske ressourcer (fx verbalsprog) -> materiel form (fx print) > site of "fixing", hvor mening repræsenteres (skærmen) - alle påvirker hvordan vi opfatter det kommunikerede en multimodal betydningsteori fremhæver det situationelle og intentionelle ( aptnes ) og brug af semiotiske ressourcer som del af af det sociale liv design (intentionalitet, formgivning af passende udtryk, brug af aktuelle ressourcer) som vigtigt parameter shaping of meaning in the social environment

10 MULTIMODAL BETYDNINGSTEORI FRAMING

11 19. marts 2014

12 MULTIMODAL ANALYSE hvordan det enkelte element (modalitet) skaber mening (f.eks. analyse af et billedes retorik) hvordan det står i relation til andre modale elementer (funktionel specialisering (tid/rum), tyngde [load] (f.eks. er dette element den der er bærer af den væsentligste information? Redundans eller udvidelse?) hvordan de bindes sammen (kommunikationel interaktion, koherens: rytme, komposition, informationskobling, dialog) hvordan forskellige modaliteter tilsammen skaber den overordnede mening (et 3. udtryk), herunder fx ethos

13 VISUEL MODALITET

14 BILLEDETS AFFORDANCER Type (foto, tegning osv) Komposition (herunder synsvinkel, afstand, fordeling af objekter/elementer) Belysning Farver Form Beskæring

15 KJELDSEN: BILLEDETS RETORIK Særligt kendetegnet ved evidensfunktion nærvær realisme og dokumentation umiddelbarhed fortætning (kombi æstetisk og retorisk mening) det effektive retoriske billede forener en æstetisk og en argumentativ fortætning (typisk enthymeme) Billeder fungerer også som troper, metafor og symboler på f.eks. fælles kulturelle værdier

16 DOBBELT RETORISK FORTÆTNING 19. marts 2014

17 DOBBELT RETORISK FORTÆTNING

18 ENTYMEMISK POLYSEMI 19. marts 2014

19 VISUEL ARGUMENTATION marts

20 VISUEL ARGUMENTATION /TILSLØRENDE POLYSEMI? marts

21 KJELDSENS ANALYSEMODEL Beskriv kontekst (tekstlig, kulturel, situation) Billedets retoriske kvaliteter (formale, evidentia, udsagn/argumentation) Appelformer og strategier Persuasive betydning

22 SAMSPIL TEKST _ BILLEDE - OG ANDRE MODALITETER

23 FUNKTIONEL SPECIALISERING Verbaltekst beskriver tidslige forhold, forløb over tid, kausalitet ( rytme ) (Still)Billedet beskriver rumlige forhold, betydningsvægt i kraft af f.eks. placering og størrelse ( komposition ) billedet påkalder, skaber opmærksomhed teksten giver information, forklarer budskab

24 VISUEL KOMM ONLINE /FUNKTIONEL SPECIALISERING Billedet tiltrækker opmærksomhed, teksten informerer?! Anders Fagerjord blikfang illustration konnotation (Web-medier: Introduksjon til sjangre og uttrykksformer på nettet. 2006/2008) Lisbeth Thorlacius understøtter/kommunikerer sender-image understøtter funktionalitet (navigation osv) understøtter/skaber webgenre afspejler publikums smag (aktuelle trends i visuel aesthetics) The Role of Aesthetics in Webdesign

25 INFORMATIONSKOBLING billedet fungerer i forhold til tekstens indhold : understøttende, supplerende el. udvidende, kommenterende Roland Barthes: anchorage vs relay Kress & Van Leewen: elaboration vs extension Anne Løvland: redundans (gentagelse) af budskab gennem forskellige modaliteter er også en vigtig funktion i kommunikation, især til yngre aldersgrupper

26 INFORMATIONSKOBLING (Van Leeuwen, 2005) 19. marts 2014

27 Lindh, 46, was stabbed several times inside an upmarket Stockholm department store as she shopped Wednesday. She died early Thursday as a result of wounds to her abdomen..[] Police say the shop might have images of the killer on a video surveillance camera. Up to 50,000 people, many carrying red roses, gathered in Stockholm for Sweden's biggest political demonstration since the Vietnam War. CNN.com, 12/

28 DEN 3. MENING (EXTENSION/COMPLEMENT Scott McCloud i Understanding Comics Interdependant (gensidigt afhængige) Billed og ord udtrykker tilsammen noget, de ikke kunne hver for sig

29 DET TREDJE BUDSKAB

30

31

32

33 19. marts 2014 POLYSEMI

34

35 INFORMATIONSKOBLING - LINKET

36 INFORMATIONSKOBLING - LINKET

37 INFORMATIONSKOBLING - LINKET

38 LINK/MOUSE-OVER SOM BEVIS

39 INFORMATIONSKOBLING & ARGUMENTATION Plant 2008 Reklame for... rite/ Dansk Internet Award 2008 (årets bedste internetkampagner)

40 INTERAKTIV GRAFIK SOM NY MODALITET? Interaktiv grafik - overblik, sammenligning (forskelle, ligheder, skala) - kan indføre temporalitet til billedoplevelsen - kan beskrive bevægelse - bruger bestemmer hvad der skal ses hvornår - hierarki af information Page (flade) eller Window (dybde) (McCloud) Fagergjord: Interaktiv grafik et studie af fremtiden i dag i Digitale Verdener (red. Engholm og Klastrup)

41 OVERBLIK OG INFORMATION Interaktiv grafikkort over metrobyggeriet på politiken.dk etro2009_357318a.swf

42 SKALERING

43 LYDENS FUNKTION I ONLINE KOMM

44 LYD SKABER MENING GENNEM Kategorierne > tale, musik, andre lyde volume ( energi ) rytme pitch (tonehøjde, stemning) > melodi, tonalitet, spænding/afspænding Se mere fx i Van Leeuwen: Speech, Music, Sound (1999) 19. marts 2014

45 LYDENS FUNKTIONELLE SPECIALISERING branding (sonic branding, kendingsmelodi ) atmosfære, stemning rumlighed (tæt på, langt væk) bevis (bandet lyder sådan) ethos (karakterskabende, fx stemme) sammenhængskraft (narration gnm melodi) kontrapunktisk (modsætning, tension ) Se bla.

46 SONIC BRANDING /AUDIO LOGO

47 ATMOSFÆRE

48 EGESKOV- FØR 19. marts

49 EGESKOV- NU 19. marts

50 19. marts 2014

51 MULTIMODAL KOMMUNIKATION

52 MULTIMODALITET ONLINE typiske modaliteter: skrift, fotografier, tegninger, forklarende figurer, typografi layout, levende bilder og simuleret 3D en modalitet indkapsler ofte en anden ( dominerende stemme ) næsten altid kombi af tekst/stilbilleder (el. tale og video) kombi af modaliteter kan forankre mening i et 3.udtryk Fagerjord: Web-medier Introduksjon til sjangre og uttrykksformer på nettet,

53 DIGITAL MULTIMODAL ANALYSE sammenhængskraft vs spænding (når modaliteter understøtter henholdsvis modsiger hinanden) PERFORMATIVITET TEKSTENS MATERIALITET (SANSELIGHED, ÆSTETIK) (BRUGER/MODTAGERS RESPONS OG REAKTION PÅ TEKSTENS SOCIALE ORIENTERING) sammenhæng i kraft af tematik/bærende ide, komposition og samspil (informationskobling) mellem modaliteter (ikke narrativ eller kausal) oplevelsen af et tekst univers TEKSTENS SEMANTIK > meningsenhed (MENINGSSKABELSE OG FORTOLKNING) Engebretsen, 2013

54 DIGITAL MULTIMODAL ANALYSE SAMMENHÆNGSKRAFT vs SPÆNDING PERFORMATIVITET (BRUGER/MODTAGERS RESPONS OG REAKTION PÅ TEKSTENS SOCIALE ORIENTERING) SAMMENHÆNG I KRAFT AF KOMPOSITION OG SAMSPIL MELLEM MODALITETER (ikke narrativ eller kausal) TEKSTENS MATERIALITET (SANSELIGHED, ÆSTETIK) TEKSTENS SEMANTIK (MENINGSSKABELSE OG FORTOLKNING) Frit efter Engebretsen

55 19. marts 2014

56 Multimodale vittighedstegning?

57 MULTIMODAL RETORISK ANALYSE Hvordan fungerer den sammensatte retoriske ytring i forhold til et bestemt formål? Egner teksthelheden sig f.eks. til at skape tillid til tekstens afsender, og til at overbevise og bevæge dens modtagere? Skaper de forskellige modaliter en retorisk synergieffekt, hvor argumentation og følelsesappel samvirker i en fortættet og fokuseret form? Eller representerer de forskellige tekstelementer (modaliteter) i den givne retoriske ytring et budskab, som taler i flere retninger og måske modsiger sig selv? (Martin Engebretsen, introduktion til Tekst/Bilde/Lyd, 2010)