Multimodal socialsemiotik. Multimodal socialsemiotik meningen med det hele

Transkript

1 Multimodal socialsemiotik Meningen med det hele

2 Multimodal socialsemiotik Meningen med det hele

3 Repræsentant for 3 multimodal forskning:

4 4 Personligt forskningsfelt Arbejdstitel: te Multimodal socialsemiotik og levende billeder Undersøgelsesspørgsmål: Kan MMSS benyttes til at teoretisering, deskription i og analyse af levende billeder? Empirisk felt: TV (reklamer, film og nyheder) Teorien

5 5 Socialsemiotik Systemisk Funktionel Lingvistik (SFL) Ideologikritisk socialsemiotik (Hodge og Kress), feministisk diskursanalyse (Lazar), Interaktionsanalyse (Scollon, Norris), Content Analysis (Bell), Computer Analysis (Burford, Briggs og Eakins, Baldry og Thibault), socialsemiotisk etnografi (Vannini), visuel kommunikation (O Toole, Kress og van Leeuwen), Auditiv teori (van Leeuwen), multimodal litteracy og læringsteori (Jewit og Kress), multimodal stilistik (Toolan, Nørgaard), multimodal filmteori (O Halloran Halloran, Ego), multimodal teori (Kress og van Leeuwen, Lemke, Baldry og Thibault, O Halloran) m.m.m.

6 Socialsemiotisk 6 kommunikationssyn jf. Kress & Van Leeuwen Kommunikation er en proces, hvor et semiotisk produkt er både artikuleret/produceret og fortolket/konsumeret Afsender Semiotisk produkt Modtager Semiosis (betydningsdannelse)

7 Socialsemiotisk 7 kommunikationssyn Al social adfærd er semiotisk og al semiotisk handling er social jf. Kress & Van Leeuwen Social Semiosis adfærd

8 Socialsemiotisk 8 kommunikationssyn Sprog ses i forhold til konteksten betydningen af enhver ytring er betinget af den situationelle kontekst den udspilles i og af den generelle kulturelle kontekst

9 9 Konteksttanken Kultur Situation Kontekst Semantik Leksikogrammatik Fonologi Fonetik

10 Socialsemiotisk 10 kommunikationssyn Sprog ses som ressource et potentiale af mulige betydninger og former hvorfra vi vælger, hvad vi vil anvende til at skabe den ønskede betydning (instantiering)

11 11 Ressourcetanken Betydningspotentiale vs. Instantieret ytring Ressourcer Ytring

12 12 Halliday Kommunikation er ikke en beskrivelse af virkeligheden, men ny virkelighed, konstrueret ud af sproget Sprog er multifunktionelt ikke blot refererende Der er flere forskellige meninger realiseret samtidig i kommunikationen

13 Metafunktionerne Tre former for betydning Ideationel betydning betydning som repræsentation Interpersonel betydning betydning som interaktion Tekstuel betydning betydning som strukturering

14 14 Socialsemiotisk udvikling Systemisk s Funktionel Lingvistik (SFL) Visuel Socialsemiotik Auditiv Socialsemiotik Div. Socialsemiotik Multimodal Socialsemiotik

15 15 Visuel socialsemiotik Billeder er semiotiske konstruktioner, konstrueret ud fra semiotiske paradigmer = betydningspotentiale ( = grammatik)

16 Multimodal 16 Socialsemiotik Al kommunikation k er semiotiske konstruktioner, konstrueret ud fra semiotiske paradigmer = betydningspotentiale ( = grammatik) Betydningspotentialet består af alle mulige former for instantiering fra alle mulige modes OG deres kombinationer

17 17 Multi-sensory integration / Mode-integration Multimodal socialsemiotik meningen 17 med det hele

18 18

19 19 Multi-sensory integration McGurk effect Most adults (98%) think they are hearing "DA" - a so called "fused respons" - where the "D" is a result of an audio-visual illusion. In reality you are hearing the sound "BA", while you are seing the lip movements "GA". The "McGurk effect" was first described by Harry McGurk and John MacDonald in "Hearing lips and seeing voices", Nature 264, (1976).

20 Multimodal 20 Socialsemiotik Al kommunikation er multimodal flere samtidige kommunikationssystemer (modes) er i spil i enhver kommunikation betydningen opstår i syntesen af disse intet mode er a priori væsentligere end et andet betydningen er bestemt af den situationelle og den kulturelle kontekst

21 21 Ressourcetanken Betydningspotentiale vs. Instantieret ytring Ressourcer Ytring

22 22 Ligheder Noget står for noget andet for nogen Undersøger betydningsdannelse Fokus på paradigmatiske valg Kommutation ti Teksten (texten) i fokus

23 23 Forskelle Teoretiserer på et mere detaljeret t niveau (tættere på isomorft) Forsøger at beskrive betydningspotentialet systematisk (systemisk) Næranalytisk / tekstnært (systematisk) Teksten (texten) er ikke et tegn, den består af tegn (segmentering) Alle kommunikationsformer (modes) lader sig beskrive systematisk, og har en grammatik. Det har deres kombinationer også

24 Eksempel på et mode: 24 Musik (til levende billeder) Spillefilm: l Interpersonel funktion Stemningsskabende Kommenterende Strukturerende funktion Intro + overgangssignal (markerende) Leitmotiv Ideationel funktion Diegetisk (radio, band osv.) Tids- og stedsindikerende di dik d

25 Eksempel på et mode: 25 Musik (til levende billeder) Nyhedsprogram: Strukturerende funktion Intro Indholdsfortegnelse Overgangssignal Interpersonel funktion Stemningsskabende (upassende i indslag) Ideationel funktion Indslag om/med musik

26 Eksempel på et mode: 26 Musik (til levende billeder) TV-reklame (all of the above +): Ideationel funktion Repræsentere Interpersonel funktion Genkendelighed Tilføre værdi Strukturerende funktion Opmærksomhed i forhold til flowet Strukturere editering (klipperytme)

27 27 Andre eksempler Farve (stemning, organisering, repræsentation, link) Gaze (proces, udpegning, kontakt, link) Gestik (proces, udpegning, kontakt, link) Osv.

28 28 Multimodal teori Hvert mode kan beskrives grammatisk Samlingen af flere modes kan beskrives grammatisk Præcise analyser, som peger direkte ned i teksten

29 29 Undervisning ved IVK Visuel Analyse og Design (BA) Kultur og Kommunikation (BA) Visuelt Design (BA) Mediating 9/11 (BA) Visuel Analyse og Design (Tilvalg) Multimodal Kommunikation (Master) + Visuel specialisering

30 30 Multimodalitetskredsen

31 31 Multimodalitetskredsen

32 Multimodal socialsemiotik Meningen med det hele idethele

33 Multimodal socialsemiotik Meningen med det hele idethele