Effektmåling af Danfoss House Udført af Alexandra Instituttet

Transkript

1 Effektmåling af Danfoss House Udført af Alexandra Instituttet Juni 2011

2 2/12 Indholdsfortegnelse 1. Introduktion Metode Google analytics Spørgeskema Indikatorer Forbehold: Data og analyse Data fra og analyse af spørgeskema Brugsregistreringer gennem Google Analytics Electric thermostats - Main story Electric thermostats- What s in it for me story Hydronic floor heating - Main story Hydronic floor heating - What s in it for me story Fælles analyse Konklusion Metodiske refleksioner...10

3 3/12 1. Introduktion I forbindelse med en effektmåling af Danfoss House har Alexandra Instituttet gennemført en spørgeskemaundersøgelse med brugere af Danfoss House siden. Herudover er besøgendes adfærd på siden blevet registreret. Formålet med undersøgelsen er, at kunne sige noget om, hvordan de besøgende bruger siden og således kunne konkludere på om denne form for oplevelsesbaseret kommunikation har potentiale i forbindelse med at skulle kommunikere kompleks og abstrakt viden om Danfoss varmeløsninger igennem oplevelser. Projektet har således opsat nogle indikatorer for, hvornår siden er succesfuld i denne kommunikation og lever op til de besøgendes krav til en sådan side. Disse indikatorer gennemgås herunder, ligesom relevant data vil blive fremhævet og udgøre grundlag for de efterfølgende konklusioner på undersøgelsen. På grund af begrænset datagrundlag vil disse konklusioner i høj grad også bestå af anbefalinger til, hvad og hvordan det vil være meningsfyldt at registrere og måle i lignende projekter i fremtiden. Rapporten herunder indledes med et metodeafsnit, som beskriver vores metodiske tilgang som et samspil mellem spørgeskema og besøgsregistreringer, udvælgelse af indikatorer, udarbejdelse af spørgeskema osv. 2. Metode I løbet af projektet er slutbrugere blevet inddraget igennem workshops, hvor brugerne afprøver en prototype og kommer med feedback og forslag til forbedringer. Som afslutning på projektet, er en kvantitativ effektmåling blevet efterspurgt fra projektets partnere. Til dette formål udvalgte vi to forskellige kvantitative metoder, nemlig registrering af besøgende på siden ved hjælp af google analytics, samt et spørgeskema (bilag 1), som besøgende opfordres til at besvare i forbindelse med deres besøg på siden Google analytics Google analytics har bl.a. registreret, hvor mange brugere, der har besøgt siden og dermed automatisk igangsat main-story. Dette er registreret under drop down selection, hvor det også registreres, hvor lang tid der går før siden ændrer tilstand (dvs. når brugeren har startet samme eller en ny film, lukket siden ned eller andet). Herudover er der registreret hvor mange unikke gange og hvor lang tid replay-intro og what s in it for me filmene kører. Som det kan ses på graferne i afsnit 3.2 herunder, lader flere af de besøgende, som ser filmene til ende, siden køre i mange minutter uden aktivitet (også flere minutter end graferne nødvendigvis viser), hvilket foranlediger os til at konkludere, at de ikke længere aktivt kigger på skærmen. Derfor er det desuden svært at bruge den gennemsnitlige besøgstid som et resultat, fordi nogle besøg viser sig at være utroligt lange og uden aktivitet (hvorved vi antager at den besøgende blot har siden kørende i baggrunden), og det har desværre ikke været muligt for os at sortere disse ekstremer fra i vores dataregistrering.

4 4/ Spørgeskema Spørgeskemaet består både af dropdown valgmuligheder (fx civil status: single/gift), multiple choice hvor de besøgende skal udtrykke deres enighed i et udsagn på en skala fra 1-5 (1 er overhovedet ikke enig og 5 er meget enig ), samt tekstfelter til svar på kvalitative spørgsmål. Spørgeskemaet er viden om brugernes oplevelser på tre forskellige niveauer: Sidens form (grafik og design), indhold og navigation/interaktionslogik. Hvis disse tre niveauer spiller positivt sammen, ser vi det som en indikation af, at siden vil have effekt og være succesfuld i at kommunikere kompleks og abstrakt viden om Danfoss varmeløsninger igennem oplevelser. Yderligere konkrete indikatorer er udfoldet herunder Indikatorer De udvalgte indikatorer er: 1) Afdækning af bevægelses-/brugsmønstre på sitet og antal klik som udtryk for interesse. 2) Hvorvidt og hvornår stopper brugerne historierne inden de har spillet til ende. Indikatorer for (manglende) interesse og/eller (manglende) forståelse af indholdet. 3) Besøgstid med regelmæssig aktivitet (klik). Indikator for interesse. 4) De enkelte spørgsmål og udsagn i spørgeskema (se bilag 1), som udtryk for interesse i og tilfredshed med siden. 5) Brugernes henholdsvis positive/negative udsagn om siden Disse indikatorer forventer vi, giver os viden om, hvorvidt (og hvordan) Danfoss House egner sig til at kommunikere kompleks og abstrakt viden om Danfoss varmeløsninger igennem oplevelser Forbehold: I forbindelse med udførslen af undersøgelsen er der opstået en række forbehold som må tages i betragtning i forhold til den genererede data. De vigtigste er listet her og vil blive henvist til efterfølgende: 1) Antallet af besøgende og respondenter på spørgeskemaet er lavt. 2) Siden er afprøvet af projektets deltagere, deres kollegaer og venner. Dermed kan man stille spørgsmålstegn ved om deres adfærd på siden og svar i spørgeskema er lig eksterne besøgendes adfærd og svar. 3) Der er løbende under dataindsamlingen blevet foretaget ændringer på siden, dvs. at den data der indsamles, kan være på forskellige udgaver af siden og dermed ikke nødvendigvis direkte sammenlignelig. Herudover er projektpartnernes (blandt andet mine) egne besøg på siden med forskellige formål til sigte, også bliver registreret og indgår dermed som en del af datamaterialet. 4) Spørgeskemaet popper op inden filmen går i gang. Dermed kan nogle foranlediges til at svare på spørgeskemaet inden de har set siden og filmene. 5) Timeren stopper ikke, når der ikke er aktivitet på siden eller filmen er stoppet. Dvs. at den gennemsnitlige besøgstid vi har målt, har en stor fejlmargin, da det ser ud som folk har været på siden i lang tid (og dermed vist stor interesse), men i realiteten har unity nok nærmere bare kørt i baggrunden, mens de har lavet andet på computeren.

5 5/12 6) Der er fejl i dropdown, som gør, at ikke alle besøgende er registrerede. Disse er alle forbehold, som de registrerede data og resultater skal ses i lyset af. 3. Data og analyse Her følger en analyse af den begrænsede mængde data, som undersøgelsen har haft adgang til. Her identificeres desuden de forbehold, som skal tages i forhold til den indsamlede data. Siden består af en menu, hvor man kan vælge mellem: 1) Main story, som også går automatisk i gang, når man åbner siden og Unity harloaded. 2) What s in it for me story 3) More info, hvor en ekstra menu popper op og giver forskellige muligheder for at få flere oplysninger. Disse link er dog ikke aktiveret under testen Data fra og analyse af spørgeskema Der er 20 respondenter på spørgeskemaet, som popper op, når man åbner Danfoss House siden. Kønsfordelingen er 75% mænd og 25% kvinder i alderen mellem 26 og 44 år. Gennemsnitsalderen er 32,5 år og 60% af respondenterne bor i lejlighed og 40% er lejere, hvorfor man kan antage, at de ikke har behov for at overveje varmeløsninger i forhold til deres nuværende bolig. Desuden har 85% en videregående uddannelse. Herunder er resultaterne fra spørgeskemaets multiple choice.

6 6/12 Som det ses herover, er det især grafik, design og forståelses-niveauet, der bliver modtaget positivt. Navigation og tempo, har derimod en større procentdel af negativ modtagelse fra de besøgende. Hvis vi holder dette sammen med de kvalitative svar fra respondenterne i slutningen af spørgeskemaet, viser der sig et billede af, at respondenterne i højere grad ønsker mulighed for aktiv interaktion med siden i stedet for at blive passiv tilhører: There could be more interaction. It can be hard to just sit and watch and listen. I think it would be good to learn what happens when you interact with the devices I forlængelse af dette nævnes, at der er (for) meget tale og gentagelser, ligesom en savner muligheden for selv at vælge, hvad man vil have information om. Grafik og design omtales positivt. En enkelt kommentar udtrykker forbehold ift. at skulle bruge tid på at installere unity web playeren, hvilket kan være en væsentlig barriere sammen med load-tiden, for frafald inden brugerne overhovedet kommer ind på siden. Herudover kunne man forestille sig, at load-tiden som unity-platformen kræver, medvirker til høje forventninger til siden og de muligheder den tilbyder, hvilket kan være en forklaring på de negative kommentarer om mangel på mulighed for interaktion i spørgeskemaet. Under spørgsmålet om, hvad der mangler på hjemmesiden nævnes en oversigt over produktet, hvor man selv kan vælge mere information; sammenlignende prisinformationer og tilbagebetalingsmodeller for konventionelle løsninger ift. Danfoss løsning; mere fokus på komfort og ikke kun energibesparelser. Den fulde liste kan læses i bilag 1. Næste skridt for dem som har besøgt siden er meget blandede. Nogle vil have blik for produktet, hvis de støder på det igen eller vil undersøge et specifikt produkt nærmere. Andre vil ikke gøre noget eller har ikke beslutningskompetence ift. køb af sådanne produkter. En skriver, at vedkommende højst sandsynligt vil købe produktet, i forbindelse med køb af eget hjem. Men de meget blandede svar og lille mængde respondenter gør det svært at konkludere, hvad effekten af siden har været ift. at få folk til at ville eje et Danfoss-produkt. Her skal vi igen også huske, at dem som har svaret er blevet opfordret til det i forbindelse med deres daglige arbejde og ikke

7 7/12 nødvendigvis er et sted i deres liv, hvor de af sig selv ville undersøge varmeløsninger Brugsregistreringer gennem Google Analytics I det nedenstående gennemgås data fra de to forskellige scenarier: Electric Thermostats og Hydronic floor heating. Da mange af de samme faktorer gør sig gældende for de to scenarier, vil de herunder blive behandlet samlet og der vil afslutningsvist være en fælles analyse og konklusion på data fra både registreringer og spørgeskema Electric thermostats - Main story Main story er ca. 140 sekunder lang og det ses tydeligt på grafen herunder, at der sker et stort frafald umiddelbart efter filmens slutning, hvilket tyder på, at ca. halvdelen faktisk ser filmen til ende. Der forekommer et lidt større frafald på termostat historierne end på hydronic floor heating historierne. Det større frafald kan muligvis skyldes bedre viden om termostater end gulvvarme. Tre besøgende vælger at se historien til ende anden gang introen vælges og samme tre besøgende vælger at se hele intro historien endnu en gang Electric thermostats- What s in it for me story Denne film er ca. 300 sekunder lang. Ligesom det var tilfældet med main story for termostater, ser næsten halvdelen af brugerne filmen til ende. Det på trods af, at denne historie er væsentlig længere. Frafaldet er dog større for termostathistorierne (ca. 50%) end for historierne for vandbaseret gulvvarme (ca. 30%). Tre besøgende vælger at se hele historien til ende to gange.

8 8/ Hydronic floor heating - Main story Denne historie er også ca. 140 sekunder lang. Frafaldet er kun på cirka 30% ved historiens afslutning hvilket som nævnt er bedre end for termostathistorierne. Derudover er der 5 der ser historien til ende anden gang denne vælges, hvor meget af historien de så første gang vides dog ikke. En besøgende ser historien til ende mindst to gange. Frafaldet efter historiens ende indikerer igen at historierne ret faktisk ses til ende Hydronic floor heating - What s in it for me story Denne historie er også ca. 140 sekunder lang og samme mønster gør sig gældende her, som for main story for gulvvarme. Dog kan man se et større frafald inden for de første 30 sekunder end for intro historien. En person vælger at se denne historie til ende to gange.

9 9/ Fælles analyse Der er registreret mellem 23 og 31 unikke brugere på hver historie og mellem 45% og 74% ser historierne til ende. Tre af historierne er ca. 140 sekunder lange, mens den sidste er ca. 300 sekunder. I de fleste historier er der et jævnt frafald igennem historierne dog med en antydning af et større frafald indenfor de første 30 sekunder. En del af dette frafald kan tænkes at være et udtryk for indledende undersøgelse af sitet og dets muligheder inden egentlige informationer konsumeres. Det skal yderligere bemærkes, at vi i spørgeskemaerne kan se, at alle de besøgende er personer, der er stødt på siden igennem deres arbejde (deltagere i projektet eller kollegaer til deltagere 85%) eller fået linket af en ven (15%) og sandsynligvis derfor vil have større gennemførselsprocent og dermed sikre regelmæssighed på tværs af historier og længder, end hvis det var eksterne brugere. I forlængelse af dette må vi også stille spørgsmålstegn ved, om svarene i spørgeskemaet er mere positive end de ellers ville være. Holdt sammen med respons på spørgeskemaets spørgsmål, What did you think of Danfoss House, virker det usandsynligt, at en så stor procentdel ville se filmene til ende, hvis ikke de var blevet introduceret til det igennem sit netværk. Fx lyder det: I would like it to be more interactive instead of listening to a man talking for ages! I like the house and it s surroundings, but it is very boring to listen and listen and listen. 4. Konklusion Med forbeholdene for bias i data i mente, viser vores spørgeskemaundersøgelse, at brugernes oplevelse af Danfoss House generelt er positiv, ligesom brugsmønsteret på siden, hvor ca. halvdelen ser filmene til ende, må anses som værende positivt (afhængigt af Danfoss forventninger/succeskriterier for en sådan side). Samtidig giver de kvalitative svar i spørgeskemaet dog et billede af, at brugerne oplever et potentiale i denne form for oplevelsesbaseret kommunikation (og specifikt for unity3d-platformen), men at de oplever, at Danfoss House ikke til fulde udlever dét potentiale i sin nuværende form.

10 10/ Metodiske refleksioner De data-mæssige udfordringer i undersøgelsen munder ud i nogle metodiske erfaringer, som også er et vigtigt resultat, og derfor har vi valgt at afslutte rapporten med at gennemgå nogle af disse erfaringer og de anbefalinger de afføder. Sammenholdningen af data fra de to forskellige metoder kan til dels give os en viden om, hvornår og hvorfor folk 'falder' fra brugen af siden. Den største del af brugbar viden kommer fra de uddybende kommentarer, som brugerne har skrevet til sidst i spørgeskemaet. Altså data af en mere kvalitativ karakter. Alt i alt kan kombinationen af de to typer data bibringe projektet brugbar viden i forhold til at konkludere om den form for oplevelsesbaseret kommunikation, som Danfoss House muliggør, er brugbar til kommunikation af kompleks viden og produkter som Danfoss' varmesystemer. Vi har dog erfaret, at målinger af siden er svære at lave, fordi selve dataindsamlingen kan være udfordrende, både i forhold til kvantiteten og kvaliteten af den data der indsamles. Dette skyldes rækken af forbehold, som er beskrevet i metodeafsnittet herover, bl.a. at der har været få besøgende på siden og sandsynligvis er størstedelen af de besøgende hvervet igennem projektets netværk ved hjælp af s og andet. Der har desuden været et begrænset antal besvarelser af spørgeskemaet og nogle af de besvarelser som ER kommet, er af en sådan karakter, at vi stiller spørgsmålstegn ved deres brugbarhed. Dette kan være udfordringer og erfaringer som er specifikke for vores projekt, og hvis det lykkes at indsamle valid kvantitativ data i en passende mængde, kan kombinationen af de to forskellige kvantitative metoder danne et godt udgangspunkt for vidensgenerering om effekten af siden. Men hvor dataindsamlingen er problematisk, som i vores projekt (og sikkert mange andre), vil en metodisk anbefaling derfor være at lave dybdegående kvalitative interviews og/eller workshops, hvor data er af kvalitativ karakter.

11 11/12 5. Bilag 5.1. Spørgeskema Danfoss House

12 12/12