Virtuel Omgivelse. Virtuel Opfattelse. Perception : Oversigt. MMT, 2002 Kristoffer Jensen

Transkript

1 Virtuel Oplevelse Virtuel Opfattelse MMT, 2002 Kristoffer Jensen Billede... Lyd... Haptics Fysisk Omgivelse Virtuel Omgivelse Perception : Oversigt Use of computers to create illusion of immersion in a virtual environment Sensation and Perception Proctor, R. W., J. D. Proctor, Chapter 3: Sensation and Perception. In Handbook of Human Factors and Ergonomics, 2nd edition, G. Salvendy (editor), pp , 1997 Billed Opfattelse 3: The dimensions of vision. In Lindsay P. H., D. A. Norman, An introduction to Psychology, 2nd ed. Academic Press. pp , 1977 Lyd Opfattelse The dimensions of sound. In Lindsay P. H., D. A. Norman, An introduction to Psychology, 2nd ed. Academic Press. pp , 1977 Virtuel Opfattelse Bullinger, H.-J., W. Bauer, M. Braun, Chapter 52: Virtual Environments. In Handbook of Human Factors and Ergonomics, 2nd edition, G. Salvendy (editor), pp , 1997

2 Virtuel Omgivelse Omgivelse Virtual Reality General term, idéel altomfattende Cyberspace Kommunikationsområde Telepresence Overvinder tid og rum Virtual environment Specifik løsning til problem Augmented Reality, Wearable Computers, Ubiquituous Computing, Avatar Virtuel Omgivelse Kvalitet, Ekonomi og Fleksibilitet i Ergonomisk design af arbejdssystem, arbejdsplads, værktøj og produkter Datamatbaseret system 3D model og simulering Virtuelle objekter og situationer Brugerintegration, multisensoriel Intuitiv realtids interaktion Intuituv, opfattelig, oplevbar scene Naturlig eller abstrakt omgivelse Forbedrer Menneske- Maskine Interaktion Influerer tænkning, opførsel, social process Udfordrer tekniske og sociale concepter og filosofiske idéer Definition Kombination af datamatbaseret display og interaktive teknikker Syntetisk, interaktiv illusionsomgivelse opfattet når man bærer passende udrustning Koordineret præsentation af sanseinformation Fremvisning, opfattelse, manipulation af naturlig/abstrakt virtuel verden Objekter repræsenteres af grafik, lyd, kraftpåvirkning 360º visning i 3 axer Realistisk 3D model Menneskelig interaktion Objekt manipulation Realtids respons Naturlig Scenarie Immersion/tilstedeværelse Trobarhed på Virtuel Omgivelse Teknisk, HW/SW Indholdsmæssig Individuel/psykisk Når bruger tror han/hun befinder sig andetsteds end i den fysiske verden Høj kvalitet, opløsning Multimodal konsekvens Interaktion med objekter og andre brugere Selv repræsentation lignende fysisk krop, bevægelse Beboet af andre brugere og dynamiske objekter i aestetisk, interessante historier Alle historier skal have en skæbne Bruger skal have frit valg Forcering mod mål bryder illusion Umiddelbar sansning vigtigere end konsekvens Oplevelse baseret på intern repræsentation Viden om kognitiv processer nødvendig Koordineret og simultan multimodal sansning Passende Rumlig orientering og navigation Immersion isolering fra fysisk verden

3 Forskellige Virtuel Omgivelse klasser Simulation af objekter og processer Præsentation, også af ikkematerielle og usynlige objekter Ren præsentation har begrænset interaktion V.O har bedre interaktion, samme præsentationskvalitet Kontrolsimulation i underholdning Kontrol af kritisk situation/utilgængeligt område Lavresurse arbejde Kommunikation Cyberspace Mennekse-Maskine Interaktion medium Integration af Virtuel Omgivelse i fysisk virkelighed Augmented Reality Teleapplikationer Simulering og kommunikation over afstand Menneske-Maskine Interaktion Formel Sprog interaktion Programmeringsprog Systemimplementation Kommandosprog Tekniskt effektive, svære at bruge, skal læres Formelle interrogative sprog Direkte Manipulation Med Grafisk brugergrænseflade (GUI) - Velkendt metafor Visuel tilbagemelding, reversibel operation Nem at lære, lav kompleksitet, og begrænset omfang Dyrt, ikke muligt at røre ikke synlige objekter Kvalifikation, Ubestemthed ikke muligt Naturlige Sprog Udtryk referense til objekt, handling elle abstrakt faktum Expressiv, Uøvet bruger Ueffektiv, upræcis, manipulerbar Gestuel interaktion Gestus, håndtegn, bevægelse Naturlig, Intuitiv Sensomotorisk viden og kulturelle tegn Manuel interaktion Tag fat, bevæg, virtuel objekt Høj expressiv magnitude Tag fat, peg, styr bevægelse Nemt at lære, Direkte, Sansetilbagemelding Begrænset vokabulær, Ikke diskret upræcis hvis kompleks Multimodal interaktion Applikationsorienteret kombination af eksisterende interaktionsmodaliteter Gestuel, tale, Udvidet omfang og funktionalitet Ikke nyt... Virtuel Omgivelse Design koncepter Støtte Menneskelig Mentale processer gennem kommunikation og interaktion Udvid omfang af behandling og beslutningstagning 3D model Direkte manipulation og intuitiv interaktion Interaktiv, ikke sekvensstyret rutine Multisensoriel, ikke kun syn HCI vil være sammenligneligt med Menneskelig kommunikation Menneske-orienteret tilgang gennem indførelse af alle sansekanaler Tale, gester, mimik, kropsbevægelse Kræver internal data omformning til/fra sansning/krop Tydeligt og Konsekvent

4 Teknisk beskrivelse af Virtuel Omgivelse Forstå og analysere design proces af V.O. Åbent forskningsfelt Funktioner Realtids interaktion simultant og multisensorielt af virtuelle objekter og abstrakte processer HW og SW systemer Sensorer, effektorer og sammenkædning Geometrisk og funktionsmodel af virtuel omgivelse Genering af virtuel omgivelse / gengivelse Gengivelse Display Sanse apparat, visuel, auditiv, følelse,... Interaktion, Kontrol Immersion/tilstedeværesle Interaktive anordninger (data handske) Navigation og manipulation, gester, bevægelser,... HW Display systemer Præsenteret virtuel omgivelse til bruger Position og orienterings systemer Følger bruger, interaktion Interaktiv og manipulationssystemer Datahandske, kropsdragt, Datamatsystem Generer virtuel omgivelse Netværk Integrer brugere og virtuel omgivelsesystemer SW Beregningssystem Generation af grafik/lyd, Beregn omgivelsetilstand Styr indgang/udgang Integreret og synkroniseret Netværk Udbytte af data mellem V.O Koordineret dataudveksling Modellering Objekt data-> overflade, farve Geometrisk og funktionsmodel Simulering og Kontrol (Om)ordning af objekter Interaktion (kollision) Dynamisk Simulation Display systemer Formidle visuel, auditiv, følelse proprioceptiv stimuli Visuel display Monitors, brilledisplay, projektorer Bred vinkel, stereosyn Bærbar stereovisuel display Tilstedeværelse med position og orientering følger Auditiv display Lydliggørelse, lokalisering, interaktion, kommunikation Position og orienteringsssytemer Følgning kritisk komponent Måling af hoved og andre kropsdeles position og orientering Give korrekt omgivelse synsvinkel Tillade interaktion og kontrol Elektromagnetisk, kinematisk, akustisk, visuel Position følger, Vinkelmåling Gengivelse (rendering) Transformation af parameters til billed, lyd & anden tilbagemelding Kompleks og vigtig Beregningsflaskehals Grafik 2 billeder > 20/sek Lokal model vs global model (skygge og lyskilder) Detaljeniveau øger hvis nærmere Lyd Teoretisk: Lyd er overalt Kildemetode, particle-følge metode

5 Menneske faktorer Grænseflade kvalitet Systemudførelse Virtuelle Omgivelser Umodne brugergrænseflader Intuitive? Nemme at bruge? Unøjagtige! Svære at bruge! Lydgenerering, Bevægelsesynkronisering, Omgivelseeffekter Interaktion, lydliggørelse, lokalisering, navigering Fysiologi Syn, hørelse, Haptik, Følelse, Lugt, Smag, Menneskeudførelse effektivitet Sikkerhed og sundhed Individuelle og sociale faktorer Akustisk stimuli Talegenkendelse, talesyntese (interaktion, kommunikation) Taleforståelse Alarm, status, beskeder Tillad brugers informations proces Naturlig kompleksitet og rumlighed Hørelse tillader lokalisering og genkendelse af omgivelsekvalitet Dynamisk bevægelsemodel Retningsuafhængig lyd Globale beskeder Naturlig tale Stereo tilfører 1 Dimension Retningsafhængig lyd Tilfører nærhed Tilfører objekter kvaliteter Lokalisering Head Related Transfer Function Lydbølge til trummehinde Middel HRTF kan give fejl Uforvrænget Højtaler vs Hovedtelefon 3D verden!? Bevægelse er vigtig Nethinde Tid kan kompensere for 3 dimension Opløsning 5 arcmin i synscentrum, 10 udenfor 6000 skærmlinier Stereosyn og dybde 2 billeder med <12 arcmin. skiftet konvergensvinkel Tidsparallell 2 monitorer eller 1 monitor med polariseret/farvet brilleglas Tidsmultipleks Elektro-optiske/mekaniske shutter Linse Vinkelopfattelse Visualisering 150º hor. 120º vert. 120º øjeoverlap Lysstyrke og Kontrast Vinkelstørrelse der kan diskrimineres Høj kontrast nødv. i augmented reality 5:1 i reflektioner, 25:1 for lys Maskering Tomrum mellem pixel i bredbilleder tæt på Sløring Udførelse billeder/sek, afhængig af lysstyrke Forsinkelse < 0.1 sek. Haptic, Kinesthetic & andre sanser Følelse, tryk, vibration, varm/kold, smerte (hud) Form, størrelse, vægt, vibrationsfrekvens Absolut temperatur og temperaturafvigelse Overflade og kropssmerte Retning, bevægelse (muskler) senekraft, ledvinkel Følese og kraftpåvirkning Manipulation og vurdering af objekter En af de største virtuel omgivelse udfordringer Menneskesansning er så kompleks, at perfekt stimuli er uopnåelig Sansetilbagemelding Følelse Luftpuder i handske, hukommeleseformalloy, kontaktelementer Kraftpåvirkning (force feedback) Kraftrelateret manøvrering af objekter og grænsedetektion Frihedsgrad vs præcision Lugt og Smag Næsen kan genkende mange tusind forskellige lugt Fire smag variable: sød, sur, salt og bitter

6 Menneskeudførelse effektivitet Brugervenlig, arbejdsrelateret V.O. system Relatere til eksisterende opfattelse og interaktionsforme Ikke eksperter Interaktion med arbejdsopgave, ikke datamat Pålidelig, robust, opgraderbar teknologi Tilfredsstille Sundhed og sikkerhedskrav Have social acceptans, være etisk Orientering og navigering essentiel forkunskab Nye paradigmer nødvendige i mer abstrakte og komplekse opgaver Sikkerhed og sundhed Simulationssyge Radiation fra skærme Muskeltræthed Muligheder Farer Forbedret kommunikation Anonymitet Udvidet kommunikationsteknikker Isolation Samarbejde Stimulioverbelastning Erfaringsudvidelse Virkelighedstab Større erfaringshorisont Trivialisering Videnseskpansion Afhængighed Personlighedsudvikling Manipulation Udvikling af kreativitet Demagogi Uafhængighed Overvågning Sociale spørgsmål Opinion og beslutninger Højteknologisk kultur Arkitektur og infrastruktur, produktion, design, sundhed og medicin, uddannelse, underholdning Virtuel Prototype Kooperativ, erstatter alle led i planlægning og design Design, forandrer, evaluerer Import/export Position, retning, skalering Form, overflade, farve, lys Virtuel sav, pensel, Flysimulator God til at øve farlige situationer... Applikationer Applikationer Interaktiv demonstration Udover fysisk mulig vidensoverførsel Distanse Forbedring af kreativitet i kunstområder Sproginstruktion Fremmer abstraktionsevne Sundhed Diagnose, planlægning, rehabilitering, forebyggelse Fobibehandling Tid og kost effektiv behandling Afslutning Virtuel Omgivelse vil blive vigtigere Fra udviklede brugergrænseflader til informationsteknologi Ergonomisk arbejdsdesign Integreret menneske-orienteret teknologi for kommunikation og teknisk processer Teknologi umoden og begrænset Forskningsområder at udforske