At bygge bro mellem det fysiske og det digitale

Transkript

1 At bygge bro mellem det fysiske og det digitale en undersøgelse af Augmented Reality som forskningsfelt og designperspektiv Ernest Holm Svendsen årskort nr Speciale, E2000 IMV: Multimedieuddannelsen Århus Universitet vejleder: Kaj Grønbæk

2

3 Indholdsfortegnelse 1. INDLEDNING FORMÅL OG EMNEAFGRÆSNING 1 FORMÅLET MED DETTE SPECIALE 1 SPECIALETS EMNEOMRÅDE HVAD ER AUGMENTED REALITY? 1 OPSUMMERING AF AFSNIT PRAKTISKE FORHOLD 3 MIN BRUG AF NAVNE OG BEGREBER 3 BAGGRUNDEN FOR SPECIALET 3 STRUKTUREN I SPECIALET 4 OPSUMMERING AF AFSNIT OVERBLIK OVER FELTET ET FELT BLIVER TIL... 7 HVORNÅR BEGYNDER EN BEGYNDELSE? 7 UBIQUITOUS COMPUTING 7 DIGITAL DESK OG ELEKTRONISK PAPIR 9 AUGMENTED REALITY 9 COMPUTER AUGMENTED ENVIRONMENTS 10 OPSUMMERING AF AFSNIT FELTET I DAG ET MORADS AF BEGREBER 14 UBIQUITOUS COMPUTING 14 UBIQUITOUS MEDIA 14 GRASPABLE USER INTERFACES 15 TANGIBLE BITS 16 COOPERATIVE BUILDINGS 17 AUGMENTED REALITY 18 COMPUTER-AUGMENTED ENVIRONMENTS 19 OPSUMMERING AF AFSNIT FELTETS BESTANDDELE 19 FEM KATEGORIER 19 OPSUMMERING AF AFSNIT DELKONKLUSION: KAPITEL 2 22

4 Indholdsfortegnelse 3. COMPUTERBASERET AUGMENTERING I ET TEORETISK PERSPEKTIV DET SKJULTE FUNDAMENT: HVORFOR COMPUTERBASERET AUGMENTERING? 23 COMPUTERBASERET AUGMENTERING DEFINITION VED EKSEMPLER 23 DET TEORETISKE FUNDAMENT: FIRE UDGANGSPUNKTER FOR COMPUTERBASERET AUGMENTERING 24 INTEGRATION AF COMPUTEREN I ARBEJDSSITUATIONEN 25 INDDRAGELSEN AF EKSISTERENDE FÆRDIGHEDER I INTERAKTIONEN 26 UDNYTTELSEN AF VIRKELIGHEDENS AFFORDANCES 26 DEFINITIONEN OP IMOD VIRTUAL REALITY 27 OPSUMMERING AF AFSNIT DEN ØKOLOGISKE BØLGE INDENFOR HCI-FORSKNINGEN 28 DE FIRE UDGANGSPUNKTER FOR COMPUTERBASERET AUGMENTERING 28 OPGØR MED KOGNITIONSVIDENSKABEN 29 KAMPEN FOR KONTEKST DISTRIBUERET KOGNITION, SITUERET HANDLING OG VIRKSOMHEDSTEORI 31 VIRKSOMHEDSTEORI SOM UDGANGSPUNKT FOR DEN FORTSATTE DISKUSSIONEN 32 OPSUMMERING AF AFSNIT INTEGRATIONEN AF COMPUTEREN I ARBEJDSSITUATIONEN 33 VIRKSOMHEDSTEORI 33 VIRKSOMHESTEORIENS UDGANGSPUNKT: PRAKSIS OG MEDIERING AF MENNESKELIG AKTIVITET 33 COMPUTERBASERET AUGMENTERING OG PRAKSIS 34 HIERARKISK STRUKTURERING AF AKTIVITET OG DET TRANSPARENTE INTERFACE 35 COMPUTERBASERET AUGMENTERING OG TRANSPARANS 36 OPSUMMERING AF AFSNIT INDDRAGELSEN AF EKSISTERENDE FÆRDIGHEDER I INTERAKTIONEN 36 POST-WIMP INTERFACES 36 DIREKTE MANIPULATION 37 WIMP INTERFACES 38 POST-WIMP INTERFACES 39 MULTIMODAL INTERACTION 39 POST-WIMP INTERFACES OG COMPUTERBASERET AUGMENTERING 41 OPSUMMERING AF AFSNIT UDNYTTELSEN AF VIRKELIGHEDENS AFFORDANCES 41 HVAD ER AFFORDANCES? 42 NORMANS UDLÆGNING AF GIBSON 44 AFFORDANCES OG DESIGN 44 AFFORDANCES OG COMPUTERBASERET AUGMENTERING 46 OPSUMMERING AF AFSNIT DEFINITIONEN OP IMOD VIRTUAL REALITY 46 NEGATIV AFHÆNGIGHED AF DET VIRTUELLE 46 HVAD ER VIRTUAL REALITY? 47

5 Indholdsfortegnelse STREITZ TAKSONOMI: INFORMATIONSRUMMET OG DET VIRTUELLE 48 KONSEKVENSER FOR EKSPERIMENTERNE 49 ET ANDET EKSEMPEL: DUBOIS & NIGAYS TAKSONOMI 50 SKELLET MELLEM DET VIRTUELLE OG DET FYSISKE 51 OPGIV MODSTILLINGEN AF DET VIRTUELLE OG DET FYSISKE 51 OPSUMMERING AF AFSNIT DELKONKLUSION: KAPITEL COMPUTERBASERET AUGMENTERING SOM DESIGNPERSPEKTIV BRUGERSYNSPUNKT KONTRA TEKNOLOGISYNSPUNKT 56 FORSKELLEN PÅ BRUGERENS OG TEKNOLOGIENS SYN PÅ AUGMENTERING 56 OPSUMMERING AF AFSNIT VIRKSOMHEDSTEORI I PRAKSIS 57 VIRKSOMHEDSTEORI OG DESIGN: UDGANGSPUNKT I BRUGERNE 57 VIRKSOMHEDSTEORETISKE BRUGERSTUDIER 58 BRUGERINDDRAGELSE I DESIGNPROCESSEN COOPERATIVE PROTOTYPING 59 COMPUTERBASERET AUGMENTERING OG UDGANGSPUNKTET I BRUGERNE 60 OPSUMMERING AF AFSNIT DESIGN AF COMPUTERBASERET AUGMENTERING 61 AT UNDGÅ MODSTILLINGEN AF DET VIRTUELLE OG DET FYSISKE 61 MENNESKETS MODES 61 NUANCERING AF FORHOLDET MELLEM INPUT OG OUTPUT 62 I KRYDSFELTET MELLEM INPUT OG OUTPUT 63 SAMSPILLET MELLEM FORSKELLIGE FORMER FOR INPUT OG OUTPUT 64 AFFORDANCES OG MÅLETSÆTNINGEN FOR DESIGN AF COMPUTERBASERET AUGMENTERING 64 OPSUMMERING AF AFSNIT DELKONKLUSION: KAPITEL ET KONKRET EKSEMPEL: VIDEOFIRKORTSPILLET PÅ DANFOSS BAGGRUND: VIDEOFIRKORTSPILLET OG VORES DESIGNPROCES 67 PROJEKTET: DESIGN AF ET INTERAKTIVT RUM 67 VIDEOFIRKORTSPILLET 67 VORES METODE: FELTSTUDIER OG BRUGERINDDRAGELSE 68 DEN AUGMENTEREDE PROTOTYPE 69 OPSUMMERING AF AFSNIT ANALYSE AF PROJEKTET VED HJÆLP AF DESIGNPERSPEKTIVET 71

6 Indholdsfortegnelse DESIGNPROCESSEN: FELTSTUDIER, BRUGERINDDRAGELSE OG BRUGER- & TEKNOLOGISYNSPUNKTET 71 FELTSTUDIERNE UDOKUMENTERET KOMPLEKSITET 71 BRUGERINDDRAGELSEN FRISKE ØJNE PÅ PROJEKTET 71 FRUGTBAR VEKSELVIRKNING MELLEM BRUGER- OG TEKNOLOGISYNSPUNKT 72 PROCESSEN SOM HELHED: METODEN ER GOD, MEN IKKE VÆRDIFRI 72 ET EKSEMPEL PÅ FORHOLDET MELLEM NYE OG EKSISTERENDE AFFORDANCES 73 BRUGERNES MODES I DEN AUGMENTEREDE PROTOTYPE 73 SAMSPIL OG FORTOLKNING AF INPUT OG OUTPUT I DEN AUGMENTEREDE PROTOTYPE 75 PLACERING AF DEN AUGMENTEREDE PROTOTYPE I SKEMAET FRA FIGUR ET BRUGERØNSKE, DER KRÆVER KOMBINERET FORTOLKNING 76 PLACERING AF DEN AUGMENTEREDE PROTOTYPE I KRYDSFELTET MELLEM INPUT OG OUTPUT 77 OPSUMMERING AF AFSNIT DELKONKLUSION: KAPITEL KONKLUSION OPSUMMERING AF SPECIALET SOM HELHED OPSUMMERING AF SPECIALETS RESULTATER COMPUTERBASERET AUGMENTERING OG FREMTIDEN 84 ENGLISH SUMMARY 85 LITTERATUR 91

7 1.1 Formål og emneafgræsning 1 1. Indledning 1.1 Formål og emneafgræsning I dette afsnit definerer jeg formålet med specialet og afgrænser dets emneområde. Formålet med dette speciale Med dette speciale er det mit ønske at diskutere det område indenfor den nyeste computer- og HCI (Human Computer Interaction)-forskning, som i daglig tale kaldes Augmented Reality. Augmented Reality er et ganske ungt forskningsfelt, som først blev etableret i begyndelsen af 90 erne. Det har ikke desto mindre haft en eksplosiv vækst, båret frem af den teknologiske udvikling og en metode, som næsten udelukkende er baseret på praktiske eksperimenter. Siden etableringen af området som et egentligt forskningsfelt i 1993, har der ikke været gjort et eneste seriøst forsøg på at skabe et overblik over det, eller diskutere det teoretiske grundlag, som feltet hviler på. Resultatet er blevet, at Augmented Reality som forskningsområde i dag udgøres af et uoverskueligt morads af begreber og tilgange, som kun meget få (om overhovedet nogen) har et overblik over, og hvis teoretiske grundlag nok er tilstede, men fortaber sig i vage antydninger, påstande og underforståede argumenter. I etableringen af ethvert nyt forskningsfelt må man naturligvis forvente et vist mål af kaos og mangel på klarhed. Før det giver mening at begynde at kategorisere, afklare og perspektivere, er der behov for en kritisk masse af materiale i form af eksperimenter, artikler og tanker, som tilsammen kan danne et grundlag, som er solidt nok til at destillere og bygge videre på. I dag, cirka ti år efter, at de første forskningsartikler om området begyndte at dukke op, er dette punkt nået. Tidspunktet er derfor inde til en grundlæggende diskussion af Augmented Reality, dets fundament og dets perspektiver, og det er netop det overordnede mål med dette speciale at give et første, kvalificeret bidrag til denne diskussion. Det konkrete formål med dette speciale er derfor: at afdække det teoretiske fundament for den del af computerforskningen, som i daglig tale beskrives som Augmented Reality; at etablere et overblik over dette område som forskningsfelt; og at diskutere området som et perspektiv på design og undersøge, hvordan dette perspektiv kan befrugtes af afdækningen af det teoretiske fundament. Specialets emneområde hvad er Augmented Reality? Augmented Reality er en tilgang til menneskers interaktion med computere, som tager afsæt i den fysiske virkelighed og de værktøjer, vi normalt omgiver os med. I stedet for at erstatte det fysiske med det digitale, ønsker forskningen i Augmented Reality at forene dem, så det fysiske og det digitale ikke adskilles i to forskellige verdener, men integreres, og man opnår det bedste fra dem begge. At augmentere betyder at udvide eller forstørre, og det er netop idéen at udvide det fysiske ved hjælp af computere f.eks. at tilføre fysisk papir nogle af de digitale egenskaber, vi kender fra tekstbehandlingssystemer, uden at miste de praktiske fordele ved papirets fysikalitet.

8 2 1.1 Formål og emneafgræsning Augmented Reality støder op til og lapper ind over en lang række forskellige forskningsområder Virtual Reality, Wearable Computing, forskningen i nye interfaces, Computer- Supported Cooperative Work (CSCW), arkitektur, multimedier og telenærvær for blot at nævne nogle. Men Augmented Reality adskiller sig fra disse ved at være den ene del af en trend, som i øjeblikket vinder hastigt frem i såvel forskningen som på erhvervsmarkedet: ønsket om at stille computerfunktionalitet til rådighed, hvor end brugerne befinder sig. Den anden del af denne trend udgøres af forskningen i Mobile Computing mobile computere og deres anvendelse; forskellen på de to er, at hvor Mobile Computing arbejder på at gøre det muligt for brugerne at tage computeren med sig, arbejder Augmented Reality på at bygge computeren ind i selve det miljø, brugeren ankommer til. Der er således tale om to komplementære strategier, og på papiret ser denne opdeling også indlysende ud. Men som så ofte er det ikke helt så enkelt i praksis. De to felter rækker nemlig ind over hinanden der indgår resultater fra forskningen i Mobile Computing i mange eksperimenter med Augmented Reality, og forskningsresultater fra Augmented Reality indgår i løsningen af nogle af de problemer, forskningen i Mobile Computing står med. Man må derfor beskrive relationen mellem de to områder, som jeg har gjort det i figur 1.1. Det område, jeg diskuterer i dette speciale, er den cirkel, der udgør Augmented Reality, og derfor også den skraverede del, som rummer elementer fra forskningen i Mobile Computing. Men de dele af Mobile Computing, der ligger udenfor Augmented Reality, kommer jeg ikke ind på, ligesom jeg heller ikke kommer ind på de dele af de øvrige forskningsområder, som ligger udenfor Augmented Reality. Jeg vil også gøre det klart, at jeg i dette speciale fokuserer på det filosofiske og interaktionsteoretiske fundament for computerbaseret augmentering og ikke på den teknologi, der ligger til grund for forskningen. Og endelig vil jeg understrege, at da dette speciale tager udgangspunkt i Augmented Reality som akademisk forskningsfelt, fokuserer det på den anvendelse af Augmented Reality i arbejdssammenhænge, som er det altoverskyggende objekt for forskningen, og kommer kun i meget begrænset omfang ind på anvendelsen af Augmented Reality i kunst og underholdning. figur 1.1: Afgrænsning af specialets emne, som er Augmented Reality, og de dele af de omgivende felter, som dette emne lapper ind over. Opsummering af afsnit 1.1 I dette afsnit har jeg defineret formålet med dette speciale, som er at afdække det teoretiske grundlag for forskningen i Augmented Reality, etablere et overblik over området og diskutere, hvordan afdækningen af det teoretiske fundament kan befrugte området som et perspektiv på design. Derpå har jeg afgrænset emneområdet i forhold til den beslægtede forskning, herunder forskningen i Mobile Computing, idet jeg har gjort det klart, at jeg dækker den mindre del af forskningen i Mobile Computing, som falder indenfor Augmented Reality, men ikke resten.

9 1.2 Praktiske forhold Praktiske forhold I dette afsnit gør jeg rede for min brug af navne og begreber i specialet, den praktiske erfaring der ligger bag den teori, jeg udvikler, samt specialets struktur. Min brug af navne og begreber Indtil videre har jeg beskrevet mit emne som Augmented Reality, fordi det er det begreb, der er mest udbredt i litteraturen omkring feltet. Som det vil fremgå af kapitel 2, er der dog langt fra enighed om, at Augmented Reality er den bedste betegnelse, og der findes mange alternative navne for feltet, ligesom en del af forskningen kun betragter Augmented Reality som et mindre underområde, der udelukkende dækker eksperimenter med en særlig form for displayteknologi. For at holde forvirringen på et minimum, har jeg derfor fundet det nødvendigt at etablere min egen fællesbetegnelse for feltet, som ikke er tynget af eksisterende konnotationer, og som jeg derfor kan bruge frit. Selvom jeg beklager, at det er nødvendigt der eksisterer alt for mange navne og begreber allerede anvender jeg således begrebet computerbaseret augmentering, når jeg skal tale om hele feltet med alle dets myriader af underområder og eksperimenter. Og alle andre begreber behandler jeg som navne, hvorfor jeg ikke oversætter dem, men blot skriver dem i kursiv, som det har været tilfældet indtil videre med Augmented Reality. Jeg bruger begreberne digital og virtuel mange gange undervejs, og da der hersker en del forvirring omkring dem, vil jeg ganske kort afklare min anvendelse af dem her: Når jeg kalder noget digitalt, mener jeg, at det er medieret af, eller baseret på, en computer. Når jeg kalder noget virtuelt, mener jeg, at det er en digital udgave af noget, vi kender fra den fysiske virkelighed, f.eks. et virtuelt dokument eller et virtuelt rum. Jeg bruger således ikke begreberne synonymt, men anser det digitale for at være en bredere kategori end det virtuelle, hvilket jeg vender tilbage til i en nøjere diskussion af virtualitetsbegrebet i afsnit 3.6. Som det vil fremgå af kapitel 2, er der gennemført mange eksperimenter med computerbaseret augmentering, og man arbejder med emnet mange steder. For at gøre min diskussion af feltet så overskuelig som muligt, har jeg forsøgt at samle mine referencer til forskellige systemer og personer mest muligt. Hvor flere har udtalt sig på samme måde, har jeg således valgt citater fra dem, der har den mest fremtrædende rolle indenfor forskningen, ligesom jeg har prøvet at begrænse mine eksempler til et mindre antal centrale systemer, som læseren efterhånden kan genkende og forholde sig til. Jeg håber på denne måde at have minimeret forvirringen så meget, som det lader sig gøre, uden at give køb på nuancerne i diskussionen. Baggrunden for specialet At jeg har valgt at skrive et speciale om computerbaseret augmentering er ikke tilfældigt. Jeg fattede interesse for emnet allerede tidligt på uddannelsen, og i flere af de kurser og projekter, jeg har gennemført på overbygningen, har jeg arbejdet med væsentlige problemstillinger indenfor feltet. Jeg har især gennemført to store, praktiske projekter indenfor området: The McPie Project (Horn et al., 2000), hvor vi var to studerende, der arbejdede med at augmentere brugere direkte, for at lade dem interagere med et computersystem gennem gestik og bevægelse; og Interaktive Rum, hvor vi var en tværfaglig gruppe på 7 studerende, der, i samarbejde med Danfoss A/S, konstruerede et augmenteret miljø til støtte for en særlig designproces (Svendsen & Søndergaard 2000a; 2000b). Derudover har jeg været med i opstartfasen på et af Aarhus Universitets nye, store satsninger, et forskningsprojekt om Pervasive Computing (AU (web)). Og endelig har jeg har været med til at planlægge og afholde den første internationale konference om computerbaseret augmentering som overordnet felt: DARE 2000 De-

10 4 1.2 Praktiske forhold signing Augmented Reality Environments (Mackay (Ed.), 2000), og både dér og på adskillige workshops har jeg fungeret som facilitator i en række designprocesser omkring computerbaseret augmentering. Selvom dette speciale er teoretisk, er det derfor uløseligt knyttet til de praktiske erfaringer, jeg har gjort mig i forbindelse med disse projekter. Og det er arbejdet med dem, der har gjort det tydeligt for mig, hvor stort et behov, der er, for en teoretisk diskussion af feltet, og for at etablere et sprog, som kan gribe nuancerne i de designprocesser, der ligger til grund for forskningen. Da specialet er den første strukturerede gennemgang af feltet, der er lavet, er det ikke mit formål at lave endelige kategorier eller afslutte diskussionen. Tværtimod er det mit håb, at mine resultater kan åbne for debatten og sætte skub i en langsigtet bevægelse mod en større grad af artikulation af det teoretiske og filosofiske fundament for forskningen, og at det kan medvirke til at etablere et overblik over feltet, som baner vejen for en større afklaring af forskningens forskellige elementer. Strukturen i specialet Specialet fylder 101 normalsider 1 og består af seks kapitler, som er opdelt i mindre, nummererede afsnit. Såvel afsnittene som kapitlerne to til fem indledes med et kort resumé og afsluttes med en opsummering, som for kapitlernes vedkommende tager form af delkonklusioner. Det første kapitel udgøres af denne indledning, som præsenterer formålet med specialet, motiverer det, afgrænser emneområdet og redegør for praktiske forhold omkring baggrunden for specialet, min brug af navne og begreber og specialets struktur. I det andet kapitel gennemgår jeg det historiske udgangspunkt for forskningen og præsenterer de idéer, der udgør feltets fundament. Derpå forsøger jeg at etablere et overblik over feltet, som det tager sig ud i dag, og til slut inddeler jeg det i fem overordnede kategorier. Efter at have etableret dette overblik over feltet, graver jeg i det tredje kapitel dybere, for at finde frem til det teoretiske fundament, som udgør den egentlige forbindelse mellem de mange underområder. Jeg blotlægger de fire fundamentale elementer i teorierne bag computerbaseret augmentering, og påviser, hvordan de falder sammen med det, jeg kalder den økologiske bølge i HCI-forskningen. Derpå diskuterer jeg de fire argumenter hver for sig og forholder dem til relevant teori indenfor denne forskning. Med denne afklaring på plads, forsøger jeg i det fjerde kapitel at føre de teoretiske konsekvenser tilbage på det praktiske arbejde og skifter fra at betragte computerbaseret augmentering som forskningsfelt, til at se det som et designperspektiv. Jeg diskuterer, hvordan resultaterne fra de teoretiske undersøgelser kan operationaliseres og forsøger at skærpe det sprog og den måde at forstå computerbaseret augmentering, som er grundlaget for den nuværende arbejdspraksis. I det femte kapitel belyser jeg designperspektivet yderligere ved hjælp af et konkret eksempel, nemlig det interaktive rum, som jeg i 1999 var med til at konstruere i samarbejde med Danfoss A/S. Jeg beskriver projektet og diskuterer det derpå i lyset af de resultater, jeg er nået frem til i kapitel tre og fire. 1 En normalside består af 2400 typeenheder (tegn + mellemrum).

11 1.2 Praktiske forhold 5 Det sjette og sidste kapitel er en konklusion, hvor jeg opsummerer specialets centrale pointer og resultater. Opsummering af afsnit 1.2 I dette afsnit har jeg forklaret min brug af begrebet computerbaseret augmentering i stedet for et af de allerede etablerede begreber indenfor feltet. Derpå har jeg gjort rede for den praktiske baggrund, jeg har, for at skrive dette, primært teoretiske speciale, og gjort klart, at mine teoretiske overvejelser hviler på dette praktiske grundlag. Endelig har jeg gennemgået strukturen i specialet.

12 6 1.2 Praktiske forhold

13 2.1 Et felt bliver til Overblik over feltet Forskningen i computerbaseret augmentering er et bredt felt, som spænder over mange forskellige typer af eksperimenter med mange forskellige måder at augmentere den fysiske virkelighed. Siden feltet blev etableret i begyndelsen af 90 erne, har der ikke været gjort seriøse forsøg på at etablere et overblik over det, eller diskutere relationerne mellem de mange forskellige underområder, som selv henregner sig som dele af forskningen. Vi står derfor i dag med et uoverskueligt morads af begreber og navne, og en strukturering af disse mange forskellige underområder vil være særdeles gavnlig for mulighederne for at orientere sig indenfor forskningen. I dette kapitel forsøger jeg at formidle et sådant overblik og etablere en struktur ved at inddele feltet i fem overordnede kategorier. I afsnit 2.1 gennemgår jeg det historiske udgangspunkt for forskningen og præsenterer de idéer, der udgør feltets fundament. I afsnit 2.2 gennemgår jeg feltet, som det tager sig ud i dag. Og i afsnit 2.3 inddeler jeg det i fem overordnede kategorier. 2.1 Et felt bliver til... I dette afsnit gennemgår jeg det historiske udgangspunkt for computerbaseret augmentering og præsenterer de idéer, der udgør feltets fundament: Ubiquitous Computing, Augmented Reality og Computer-Augmented Environments. Hvornår begynder en begyndelse? Hvornår begyndte det hele? Hvem satte det i gang? Og hvornår blev det overhovedet klart, at noget var sat i gang? Alt efter hvem man spørger, kan alle pege på nogen, som lavede noget, der mindede om det, inden de andre. Det er længe siden, man begyndte at mærke dyr med radiosendere, så man kunne spore dem. Det er endnu længere siden, man satte stregkoder på tog for at kunne registrere dem, når de kørte forbi stationen. Og indenfor militær- og medicinalindustrien har man også længe arbejdet med løsninger, der involverede teknologier, som i dag beskrives som computerbaseret augmentering. Men set fra et akademisk synspunkt, er det ikke så meget et spørgsmål om, hvor langt tilbage i tiden vi kan spore teknologier, som i dag kan henføres til computerbaseret augmentering. Det er et spørgsmål om, hvornår feltet blev etableret som et akademisk forskningsområde. Forskningsfelter opstår vel altid tøvende, uden en klar linie, med spredte tiltag flere steder samtidig i nogle tilfælde med en direkte virkning på hinanden, i andre på overfladen uafhængigt af hinanden, og så alligevel forbundne gennem de begivenheder eller den type af teknologi, som inspirerer dem. Det er i hvert fald tilfældet med computerbaseret augmentering. Forskningen i Virtual Reality, i Mobile og Wearable Computing, i distribution og netværk og i nye grænseflader foregik mange steder, især drevet af de nye muligheder, den teknologiske udvikling hele tiden åbnede. Ubiquitous Computing Det var dog først med Marc Weisers artikel i Scientific American i 1991 (Weiser, 1991), at en vision, der samlede flere af de forskellige områder, blev formuleret. Weiser var leder af

14 8 2.1 Et felt bliver til... Computer Science laboratoriet på Xerox Palo Alto Research Center (Xerox PARC). I slutningen af 80 erne lod han sig inspirere af arbejde inden for det antropologiske felt (Weiser, 1993), hvor folk som Lucy Suchman (Suchman, 1987) beskrev, hvordan mennesker hele tiden justerer deres planer og tilpasser deres handlinger til den situationen, de befinder sig i. Weisers artikel præsenterede Xerox PARCs forestilling om den næste revolution i den måde, vi omgås computere, nemlig det, Weiser kaldte Ubiquitous Computing. Webster s Dictionary (Mish (Ed.), 1990) definerer ubiquitous som: existing or being everywhere at the same time / constantly encountered / widespread, og Weiser brugte netop begrebet til at beskrive computere, der er spredt alle steder, og som dermed direkte og indirekte kan støtte mennesker i deres foranderlige arbejdsopgaver. Der er især to centrale temaer i visionen om Ubiquitous Computing: For det første selve tanken om computeren som allestedsnærværende (ubiquitous), med f.eks. hundrede enheder, indbyggede som mobile, i et enkelt rum. For det andet tanken om, at computeren derved kan blive usynlig (invisible) i den forstand, at vi holder op med at forholde os til den, som noget i sig selv, men blot interagerer igennem den, med det materiale, vores arbejde egentlig er fokuseret på. Weiser sammenligner processen med den måde, elektriske motorer i vores dagligdag har udviklet sig fra, at det var en enkelt central motor, der drev en hel fabrik omkring århundredeskiftet, til at der i en almindelig bil i dag er omkring 20 forskellige motorer, der driver alt fra låsesystemet til tændingen, uden at vi skænker det en tanke. Weisers vision rummer computere i mange forskellige størrelser og til mange forskellige formål. I artiklen beskriver han, hvordan Xerox PARC har udviklet tre forskellige former for Ubiquitous Computers: Tabs, Pads og Boards. Tabs minder om Post-It noter: displays på få centimeter på hver led som også kan fungere som Active Badges (navneskilte med en sender som gør det muligt at finde folk, styre automatiske døre og lignende (Want et al., 1992; 1999)). Pads minder om en blanding mellem A4-papirer og bærbare computere og Boards om white boards eller opslagstavler. Disse forskellige enheder er forbundne i trådløse netværk, og Weiser understreger, at det netop ikke er ideen, at de skal følge med særlige personer (som bærbare computere), men at de skal være tilstede i stort antal alle steder, så man blot griber fat i den nærmeste og begynder at arbejde. Ubiquitous Computing står, siger Weiser, i diametral modsætning til Virtual Reality systemer, som forsøger at erstatte brugerens oplevelse af virkeligheden med en virtuel udgave, baseret på stereografik og syntetisk lyd (Rheingold, 1991): [Virtual Reality] excludes desks, offices, other people not wearing goggles and bodysuits, weather, trees, walks, chance encounters and, in general, the infinite richness of the universe. Virtual Reality focuses an enormous apparatus on simulating the world rather than on invisibly enhancing the world that already exists. Indeed, the opposition between the notion of virtual reality and ubiquitous, invisible computing is so strong that some of us use the term embodied virtuality

15 2.1 Et felt bliver til... 9 to refer to the process of drawing computers out of their electronic shells. The virtuality of computer-readable data all the different ways in which they can be altered, processed and analyzed is brought into the physical world. (Weiser, 1991) Digital Desk og elektronisk papir Mens Weiser arbejdede på Xerox PARC i Palo Alto, var man også i gang i EuroPARC, Xerox PARCs søsterafdeling i Europa. Baseret på Weisers Board-teknologi konstruerede Pierre Wellner, i samarbejde med William Newman, i 1992 The Digital Desk (Newman & Wellner, 1992; Wellner, 1993), som på sin vis var tættere på at enhance the world that already exists. Wellner havde som Ph.D. studerende arbejdet med video i kontormiljøer, og var nået frem til, at der var et stort behov for teknologi, som kunne lette samarbejdet mellem fysisk papir og elektronisk information (Xerox, web-1). Baseret på Weisers Board kombinerede han et kamera og en projektor, og ved hjælp af billedgenkendelse gjorde han det muligt for en computer at registrere både skrevne tegn og fingermarkeringer. På den måde byggede han et skrivebord, der både kunne reagere på fysiske tegn og projicere digitale tegn, og således kom til at fungere som en hybrid mellem det fysiske og det digitale, en udvidet desktop, hvor man brugte fysisk papir, men havde digital funktionalitet til rådighed. Selvom Wellner lod sig inspirere af dele af den teknologi, Weiser arbejdede på, er det værd at bemærke, at Wellners projekt på et filosofisk plan ikke have noget at gøre med Ubiquitous Computing. Wellners vinkel var en anden, nemlig forholdet mellem papir og elektronisk information, og han var ikke specielt interesseret i computere, der er spredt overalt han fokuserede tværtimod meget lokalt, på skrivebordet. En anden, der arbejdede med papir og elektronisk information på EuroPARC, var Wendy Mackay. Inspireret af N. Sheridons tanker om Electronic Paper (Mackay, 2000), eksperimenterede hun med at udvide almindeligt papirs funktionalitet, bl.a. på Wellners Digital Desk (Mackay et al., 1993). Dette arbejde og eksperimenterne med Wellners Digital Desk førte til, at hun og Wellner kontaktede ACM 2 med henblik på at lave en specialudgave af Communications of the ACM om de nye muligheder i denne form for udvidet virkelighed. ACM accepterede forslaget, og Wellner og Mackay slog sig sammen med Richard Gold, som var artist in residence på EuroPARC, for at lave en workshop og et seminar om emnet, hvor de inviterede alle, der indsendte materiale. Augmented Reality En af dem der (sammen med Blair Macintyre og Dorée Seligmann) indsendte en artikel, var Steven Feiner fra University of Columbia. Feiner var leder af universitetets Computer Graphics and User Interfaces Laboratory, og her arbejdede han bl.a. med Virtual Reality. Feiner var begyndt at interessere sig for den del af forskningen i Virtual Reality, som forsøgte at blande den virkelige og den virtuelle verden, ved at bruge såkaldte see-through Head Mounted Displays (HMDs), altså displays, som tillader brugeren at se virkeligheden, men som gør det muligt at lægge computerkonstrueret grafik ovenpå. Det, der interesserede Feiner, var at bruge denne blanding til at opnå præcis det samme resul- 2 ACM (Association for Computing Machinery) er en international medlemsorganisation, som arrangerer konferencer (bl.a. SIGCHI og SIGGRAPH) og udgiver en række fremtrædende computerrelaterede tidsskrifter (se i øvrigt:

16 Et felt bliver til... tat som Wellner og Mackay at udvide virkeligheden med computerfunktionalitet. Men hvor deres tilgang var at indbygge funktionaliteten i selve den fysiske verden, forsøgte Feiner at indbygge den i brugerens oplevelse af den fysiske verden. I artiklen præsenterer forfatterne strategien som komplementær til Weisers idé om Ubiquitous Computing: A complementary approach known as ubiquitous computing, embeds large numbers of computers and displays in the world so they become an inextricable and socially invisible part of our surroundings. ( ) By extending this vision to include small, lightweight, comfortable see-through (and hear-through ) wearable displays, we can craft a personalized (and, where appropriate, private) augmented reality whose user interface is not restricted to the displays and interaction devices embedded in the surrounding world or held in the user s hands. (Feiner et al., 1993). Macintyre, Seligmann og Feiner havde konstrueret et system, de kaldte KARMA. KARMA anvendte et see-through HMD til at vise brugere af laserprintere, hvordan enkle vedligeholdelsesopgaver, som f.eks. papirskift, skulle udføres, og et af de centrale temaer var, hvordan systemet kunne vide hvilken information, brugeren havde brug for på forskellige tidspunkter. Denne form for forskning var langt fra ny. Eksperimenter med Wearable Computing havde længe været i gang, især var man langt fremme på MIT, hvor forskningen strakte sig så langt tilbage som til systemer fra begyndelsen af 1960 erne (Thorp, 1962; Sutherland, 1968). Det første deciderede system, som man i dag ville kalde Wearable Augmented Reality, var fra 1967, hvor Hubert Upton fra Bell Helicopter konstruerede en analog bærbar computer med et LED-display, som kunne monteres på et par briller, og som hjalp mundaflæsere ved at markere forskellige typer af fonemener (Upton, 1968). Feiner brugte begrebet Augmented Reality om denne form for Virtual Reality. To augment defineres i Websters Dictionary (Mish (Ed.), 1990) som: to make greater, more numerous, larger, or more intense. Udtrykket kunne således godt dække såvel Feiners arbejde som Wellner og Mackays. Men på workshoppen argumenterede Feiner for, at det ville skabe for stor forvirring, hvis man begyndte at kalde hele feltet for Augmented Reality. Man endte derfor med at enes om begrebet Computer-Augmented Environments, og under dette navn blev feltet præsenteret i specialudgaven af Communications of the ACM i juli 1993 (Wellner et al. (Eds.), 1993). Computer Augmented Environments Specialudgaven af Communications of the ACM om Computer-Augmented Environments rummede den første egentlige samling af artikler om emnet og kom derfor i endnu højere grad end Weisers artikel til at etablere feltet. Weisers artikel havde været en enkelt gruppes beskrivelse af deres syn på fremtiden, men udgaven af Communications of the ACM rummede mange forskellige bidrag og forsøgte at samle dem i en fælles terminologi. I introduktionen, som de kaldte: Computer-Augmented Environments: Back to the Real World, definerede Wellner, Mackay og Gold også feltet op imod Virtual Reality: Another view of the future of computing is emerging, taking the opposite approach from VR. Instead of using computers to enclose people in an artificial world, we can use computers to augment objects in the real world. We can make the environment sensitive with infra-red, optical sound, video, heat, motion and light detectors, and we can make the environment react to people s needs by up-

17 2.1 Et felt bliver til dating displays, activating motors, storing data, driving actuators, controls and valves. With see-through displays and projectors, we can create spaces in which everyday objects gain electronic properties without loosing their familiar physical properties. (Wellner et al. (Eds.), 1993) Definitionen af Computer-Augmented Environments blev således denne: Computer-Augmented Environments merge electronic systems into the physical world instead of attempting to replace them. Our everyday environments are an integral part of these systems; it continues to work as expected, but with new integrated computer functionality. Wellner, Mackay og Gold sluttede deres artikel af med at formulere det håb, at de med magasinet kunne inspirere forskere til at forsøge at række ud over skrivebordsmetaforen og eksperimentere med computeren i flere sammenhænge, der tager udgangspunkt i den fysiske virkelighed. Figur 2.3, som er en oversigt over de begreber, der i dag eksisterer indenfor feltet, skulle kunne illustrere, at det i høj grad blev tilfældet. Communications of the ACM Volume 36, No. 7 (Jul. 1993) figur 2.1: Specialudgaven af CACM om Computer Augmented Environments vandt en pris for at være årets flotteste videnskabelige tidsskrift indenfor alle felter. figur 2.2: Indholdsfortegnelse for specialudgaven af CACM om Computer Augmented Environments fra juli Back to the real world Pierre Wellner, Wendy Mackay and Rich Gold Scalable, secure, mobile computing with location information Michael Spreitzer and Marvin Theimer Charade: remote control of objects using free-hand gestures Thomas Baudel and Michel Beaudouin-Lafon Environmental technology: making the real world virtual Myron W. Krueger Situated information spaces and spatially aware palmtop computers George W. Fitzmaurice Tracking requirements for augmented reality Ronald Azuma Knowledge-based augmented reality Steven Feiner, Blair Macintyre and Dorée Seligmann Behavior construction kits Mitchel Resnick This is not a pipe Rich Gold Some computer science issues in ubiquitous computing Mark Weiser Responsive office environments Scott Elrod, Gene Hall, Rick Costanza, Michael Dixon and Jim Des Rivières Interacting with paper on the DigitalDesk Pierre Wellner Augmenting reality: adding computational dimensions to paper Wendy Mackay, Gilles Velay, Kathy Carter, Chaoying Ma and Daniele Pagani

18 Et felt bliver til... Opsummering af afsnit 2.1 Med sin artikel fra 1991 om Ubiquitous Computing slog Marc Weiser en tone an, som hurtigt gav genlyd andre steder. Weiser etablerede sin vision i opposition til forskningen i Virtual Reality, og definerede den med to primære karakteristika: 1) spredningen af mange computere i brugernes arbejdsomgivelser og dermed 2) usynlighed (invisibility) i arbejdet med dem. Inspireret af blandt andre Weiser, arbejdede Wellner og Mackay også med computerens rolle i vore fysiske omgivelser, men med en anderledes drejning end Weiser. De fokuserede nemlig primært på at udvide (augment) fysiske objekter, i første omgang især papir, med computerfunktionalitet. Sideløbende forsøgte Feiner at nå det samme mål, men han anvendte en radikalt anderledes metode, han brugte nemlig see-through HMDs til at lægge computergenereret grafik ovenpå virkeligheden. I juli 1993 samledes disse forskellige vinkler under fællesbetegnelsen Computer-Augmented Environments i en specialudgave af Communications of the ACM, som blev startskuddet til en lang række af forskellige eksperimenter og forskning indenfor området.

19 2.1 Et felt bliver til SONY Real World Interfaces Manipulative User Interfaces Graspable Groupware Real World Interaction Tangible User Interfaces Tangible Bits MIT Ishii Graspable User Interfaces Hybrid Paper Electronic Interfaces Fitzmaurice Enhanced Reality Rekimoto Wearable Augmented Reality HUC '99 IBM Pervasive Computing Invisible interfaces Ubiquitous Computing PARC Sheridon Weiser Media Spaces Embodied Virtuality Ubiquitous Media Ubiquitous Video Buxton Toronto Reactive Environments Amplified Reality Computationally Enhanced Craft Items Milgram euro PARC Wellner Mackay Newman Mixed Reality Computer Augmented Environments DARE 2000 SONY Augmented Interaction Augmented Reality Columbia Feiner Audio Augmented Reality Virtual Reality Mediated Reality Wearable Computing CoBuild '98 CoBuild '99 Roomware Streitz Intelligent Environments Cooperative Buildings Responsive Environments Smart Homes Adaptive Rooms Smart Spaces Augmented Virtuality Hybrid Reality figur 2.3: Overblik over feltet - Speciale af Ernest Holm Svendsen, Multimedieuddannelsen AU, efter ret 2000

20 Feltet i dag et morads af begreber 2.2 Feltet i dag et morads af begreber I dette afsnit gennemgår jeg feltet, som det tager sig ud i dag. Mit udgangspunkt er figur 2.3, som er en oversigt over de mange navne og begreber, der udgør feltet, og deres væsentligste indbyrdes relationer. Formålet er for det første at formidle et overblik over feltet og for det andet at nå frem til at kunne inddele feltet i nogle få, centrale størrelser. For at lette formidlingen har jeg opdelt figuren i en række mindre udsnit, som er placeret ud for de dele af teksten, hvor de gennemgås. Ubiquitous Computing Udsnit af figur 2.3: Ubiquitous Computing I det foregående afsnit (2.1) beskrev jeg Marc Weisers originale vision om Ubiquitous Computing. Selvom det var det begreb, der slog igennem, brugte han faktisk også to andre begreber i artiklen: Invisible Interfaces og Embodied Virtuality. De refererer begge til idéen om Ubiquitous Computing, men hver for sig accentuerer de forskellige aspekter af den henholdsvis det transparente element i interfacet og Weisers forsøg på at etablere sig op imod Virtual Reality. De tre begreber er samlet i venstre side af figur 2.3 og ses også på udsnittet til venstre. Ubiquitous Computing bruges stadig som nøgleord i mange artikler om computerbaseret augmentering, men beskrives oftest som en kilde til inspiration, snarere end det erklærede formål med den forskning, den pågældende artikel omhandler. Decideret forskning og eksperimenter, som først og fremmest retter sig mod Ubiquitous Computing, ser man kun i meget begrænset omfang. Udbredelsen af mange computere i et miljø opstår oftest som en bivirkning ved andre eksperimenter indenfor feltet. Der er dog nogle få direkte arvtagere til Weisers idéer: På PARC har man fortsat arbejdet, bl.a. under Weiser selv frem til hans død i 1999 (Weiser & Brown, 1996; Weiser (web)). IBM har præsenteret en nært beslægtet udgave af begrebet, som de kalder Pervasive Computing 3, som beskriver en verden, hvor computere i alt fra mobile telefoner til køleskabe er forbundne i trådløse netværk, stærkt inspireret af Weiser (IBM (web)). Og i 1999 afholdtes den første International Workshop on Handheld and Ubiquitous Computing, hvor man dog fokuserede mest på personlige, mobile enheder (HUC 99). Ubiquitous Media Den mest ihærdige arvtager udenfor PARC er Bill Buxton fra universitetet i Toronto. Samtidig med at Weiser og hans kolleger udviklede idéerne om Ubiquitous Computing, var Buxton videnskabelig leder af The Ontario Telepresence Project i Toronto, som var delvis sponseret af PARC (Buxton, 1997). I den forbindelse arbejdede han som forskningskonsulent på PARC og stiftede her bekendtskab med både Weiser og en anden gruppe på Udsnit af figur 2.3: Bill Buxton 3 To pervade defineres i Webster s (Mish (Ed.), 1990) som: to become diffused throughout every part of og ligger således meget tæt op ad ubiquitous som ligeledes ifølge Webster s betyder existing or being everywhere at the same time / constantly encountered / widespread.

21 2.2 Feltet i dag et morads af begreber 15 PARC, som arbejdede med MediaSpaces 4 (Bly et al., 1993; Gaver et al., 1992). Buxton mente at se en sammenhæng mellem de to gruppers arbejde, og formulerede begreberne Ubiquitous Media og Ubiquitous Video for at udvide Weisers koncept og inddrage idéerne fra forskningen i MediaSpaces. Som leder af The Ontario Telepresence Project var det især telenærvær, der interesserede Buxton, og hans forskning førte bl.a. til udviklingen af The Active Desk, et skrivebord der, i modsætning til Wellners Digital Desk, var baseret fuldstændigt på virtuelle elementer, men som tilgengæld støttede forskellige former for distribueret samarbejde (Buxton, 1997) Buxton færdedes også en del på EuroPARC og var med til at inspirere Wellner og Mackay til arbejdet med computerbaseret augmentering. Efter at Wellner, Mackay og Gold havde udgivet specialudgaven af Communications og the ACM i 1993, begyndte Buxton at arbejde med det, han kaldte Reactive og Responsive Environments (Buxton, 1995; 1997; Cooperstock et al., 1995; 1997) hele rum, der udnyttede mulighederne i Ubiquitous Media og Computer- Augmented Environments til at registrere og reagere på brugeres tilstedeværelse. Denne forskning er markeret i midten på den nederste halvdel af figur 2.3, hvor den er beslægtet med forskningen i Cooperative Buildings, som jeg skal vende tilbage til. Graspable User Interfaces I Toronto arbejdede Buxton sammen med to andre: George Fitzmaurice, som var Ph.D. studerende ved universitetet i Toronto og også havde en artikel i specialudgaven af Communications of the ACM (Fitzmaurice, 1993), og Hiroshi Ishii, som senere blev leder af The Tangible Media Group på MIT. Udsnit af figur 2.3: Graspable User Interfaces og Tangible Bits Fitzmaurice, Ishii og Buxton arbejdede med det, de i begyndelsen kaldte Graspable User Interfaces (fremhævet øverst i midten på figur 2.3) (Fitzmaurice et al., 1995; Fitzmaurice, 1996; Fitzmaurice & Buxton, 1997). I første omgang var det Fitzmaurice, der lavede det meste af arbejdet med sin Ph.D.- disputats om emnet fra 1996 (Fitzmaurice, 1996). Men Buxton var hans vejleder og Ishii var med til at gennemføre de eksperimenter, der lå til grund for Fitzmaurices arbejde, og de var derfor begge engagerede i projektet. Teorierne om Graspable User Interfaces var både inspireret af Weisers Ubiquitous Computing og af Wellners Digital Desk, og Bricks, det projekt, som teorierne var bygget op om, var baseret på Buxtons Active Desk. Eksperimenterne gik ud på at undersøge fordelene ved at bruge dedikerede fysiske værktøjer som interface frem for generelle værktøjer (som musen), som kun tillader sekventielle handlinger (Space-multiplex versus time-multiplex). Consider the task of text entry with a space- versus time-multiplex input style. The time-multiplex input scheme could, for example, employ a Morse code button where a single key is used to encode each alphanumeric character. In contrast, the space-multiplex input scheme could use a QWERTY keyboard where there is one key per character. (Fitzmaurice & Buxton, 1997) Desuden samlede interessen sig om at eksperimentere med selve fysikaliteten i interfacet: 4 MediaSpaces anvender lyd, video og computere til at formidle forskellige former for kommunikation og samarbejde mellem distribuerede grupper af brugere, ved at støtte såvel den perifære bevidsthed om hinanden som formelle og uformelle mødesituationer.

22 Feltet i dag et morads af begreber Graspable UIs attempt to tap into a user s existing skills at manipulating physical objects. These manipulations are possible by knowledge we have learned through a lifetime of practice. Our innate motor abilities, sense of touch and texture discrimination, and our everyday skills in grasping, gesturing and manipulation all contribute to the performance gains of Graspable UIs. The challenge lies in designing efficient Graspable UI objects that minimize the switching costs to acquire objects as well as minimize the learning needed to understand the relationship between the physical manipulation and corresponding virtual action. (Fitzmaurice, 1996) På MIT var Ishii også involveret i et andet projekt, The Luminous-Tangible Workbench (Underkoffler & Ishii 1998; 1999; Underkoffler et al., 1999), som ligeledes anvendte fysiske objekter som værktøjer, der blev placeret direkte på bordet og kunne bruges som input til forskellige projektioner på bordet. Ishiis arbejde førte til, at han blev leder af en mindre gruppe under MITs Media Laboratory, som fik navnet Tangible Media Group. I 1997 udgav Ishii sammen med et andet medlem af denne gruppe, Brygg Ullmer, artiklen: Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms (Ishii & Ullmer, 1997). Ligesom Weisers artikel om Ubiquitous Computing og Wellner, Mackay og Golds specialudgave af Communications of the ACM, er denne artikel kommet til at stå som et af de centrale værker i den fortsatte udvikling af feltet. Tangible Bits I artiklen lancerer Ishii og Ullmer begrebet Tangible Bits og forbundet med det, Tangible User Interfaces. De gør rede for den historiske og filosofiske baggrund for begrebet, herunder inspirationen fra Ubiquitous Computing og Computer-Augmented Environments og skriver bl.a. følgende: Tangible Bits is an attempt to bridge the gap between cyberspace and the physical environment by making digital information (bits) tangible. We are developing ways to make bits accessible through the physical environment. Our key concepts are: 1) Interactive Surfaces: Transformation of each surface within architectural space (e.g., walls, desktops, ceilings, doors, windows) into an active interface between the physical and virtual worlds; 2) Coupling of Bits and Atoms: Seamless coupling of everyday graspable objects (e.g., cards, books, models) with the digital information that pertains them; and 3) Ambient Media: Use of ambient media such as sound, light, airflow, and water movement for background interfaces with cyberspace at the periphery of human perception. ( ) We are exploring ways of both improving the quality and broadening the bandwidth of interaction between people and digital information by:

23 2.2 Feltet i dag et morads af begreber 17 allowing users to grasp & manipulate foreground bits by coupling bits with physical objects, and enabling users to be aware of background bits at the periphery using ambient media in an augmented space. De præsenterer derpå tre projekter, som illustrerer disse mål: transboard (en digital whiteboard, dvs. en Interactive Surface), metadesk (fysiske objekter som værktøjer på en digital flade, dvs. coupling of bits and atoms) og ambientroom (et rum hvor information formidles i periferien af brugerens opmærksomhed gennem forandringer i lyde, lyspåvirkninger og luftstrømme, dvs. Ambient Media). I forhold til det arbejde, Fitmaurice lavede med sin Ph.D.-disputats, udvider Ishii og Ullmer således området til ikke bare at dække interfaces, baseret på afgrænsede fysiske værktøjer, men også arkitektoniske flader og perifære informationskilder baseret på lys, lyd og luft. Cooperative Buildings Dermed bevæger de sig også ind i det område, som jeg kort berørte i gennemgangen af Buxtons arbejde, og som jeg lovede at vende tilbage til: Cooperative Buildings. Udsnit af figur 2.3: Cooperative Buildings Cooperative Buildings er en form for computerbaseret augmentering, som arbejder med hele miljøer i form af rum og bygninger. Begrebet Cooperative Buildings blev formuleret i 1998, da Norbert Streitz fra German National Research Center for Information Technology tog initiativ til den første konference om emnet (Streitz et al. (Eds.), 1998). Udover en erklæret inspiration fra både Ubiquitous Computing, Computer-Augmented Environments og Tangible Bits, trækker forskningen indenfor Cooperative Buildings i høj grad på erfaringer fra forskningen i CSCW. I sin introducerende artikel fra den første CoBuild-konference (Streitz et al., 1998) (hvor Weiser i øvrigt var key-note speaker og Ishii deltog med en artikel om AmbientROOM (Wisneski et al., 1998)), skriver Streitz: We propose the concept of cooperative buildings as a flexible and dynamic environment that provides cooperative workspaces supporting and augmenting human communication and collaboration. By the choice of this term we want to indicate that the building serves the purpose of cooperation and, at the same time, it is also cooperative towards its inhabitants and visitors. This is to say that the building does not only provide facilities but it can also (re)act on its own after having identified certain conditions. ( ) While the term building implies strong associations with a physical structure, our concept of a cooperative building goes beyond this. It is our understanding that a cooperative building originates in the physical architectural space but it is complemented by components realized as objects and structures in virtual information spaces. Combining real and virtual worlds in a computer-augmented environment allows us to design enabling interfaces that build on the best affordances of everyday reality and virtuality.

24 Feltet i dag et morads af begreber Som det fremgår af figur 2.3, er der adskillige andre begreber forbundet til Cooperative Buildings, men de bruges stort set synonymt, og der, hvor jeg har trukket linier mellem dem, er det udtryk for, at de refererer til Cooperative Buildings som det samlende begreb. Augmented Reality En anden, der bidrog med en artikel til CoBuild 98, var Jun Rekimoto fra Sony i Japan (Rekimoto, 1998). Rekimoto arbejder med det, han kalder Augmented Interaction, som er en hybrid mellem den form for Augmented Reality, som Feiner arbejder med (see-through displays, se afsnit 2.1), og den mere objektbaserede, som f.eks. Wellner og Mackay arbejder med (se ligeledes afsnit 2.1). Jeg nævner Rekimoto, fordi han, ligesom Ishii, er et af de store navne i den anden generation af forskere inden for computerbaseret augmentering. Rekimotos arbejde er bygget op omkring brugen af kameraer til at registrere elementer i den fysiske verden, og meget af hans forskning har drejet sig om udviklingen af det, han i Udsnit af figur 2.3: Augmented Reality dag kalder CyberCode. CyberCode er et visuelt mærkningssystem, som giver en computer mulighed for at genkende objekter i den fysiske verden og registrere deres position i 3 dimensioner. Dette bruger Rekimoto både i sit NaviCam (Rekimoto & Nagao, 1995; Rekimoto & Ayatsuka, 2000), som er et kamerabaseret, håndholdt see-through display, og i sit InfoRoom (Rekimoto & Saitoh, 1999; Rekimoto & Ayatsuka, 2000), som består af et digitalt arbejdsbord, der kombinerer fysiske og virtuelle elementer i stil med Wellners originale Digital Desk. Udover Rekimotos arbejde fortsætter forskningen i forskellige former for Wearable Augmented Reality fortsat (bl.a. med IEECs IWAR-konferencer i både 1998 og 1999), godt hjulpet på vej af den teknologiske udvikling, som hele tiden præsenterer mindre computere og bedre display-teknologi. I 1997 udkom der en specialudgave af Presence om Augmented Reality (Presence 6 (4)), og der er med tiden også på dette område opstået flere forskellige, delvis synonyme begreber. Paul Milgram, som er ansat ved universitetet i Toronto ligesom Bill Buxton, har bl.a. foreslået begrebet Mixed Reality (Milgram & Kishino, 1994) som en overordnet term for blandingen af det fysiske og det virtuelle (nederst til højre på figur 2.3, udenfor udsnittet herover). Et mindre underområde er desuden arbejdet med Audio Augmented Reality, hvor lyd bruges til at formidle information i og om den fysiske verden, både som støtte til brugeres perifære opmærksomhed (Mynatt et al., 1997; Mynatt et al., 1998) og til primær informationsformidling (Bederson, 1995).