Metode - Efterskolerejser i et dannelsesperspektiv

Transkript

1 Metode - Efterskolerejser i et dannelsesperspektiv

2 Indhold Metodiske overvejelser... 3 Ontologiske og Epistemologiske overvejelser... 3 Virkningsevaluering... 4 Empirisk design... 5 Mixed methods... 6 Empiriindsamlingsteknikker... 6 Deltagende observation... 8 Semi-struktureret interviews... 8 Spørgeskemaundersøgelse Litteraturliste

3 Metodiske overvejelser For at sikre forståelsen af de metodiske valg, der er taget i denne undersøgelse, vil vi starte med beskrivelsen af det verdenssyn, de for-forståelser og de ideer, som ligger bag den valgte metodologiske tilgang. Dette gøres, for at gøre det klart for læseren hvilke ontologiske og epistemologiske overvejelser, der guider projektets forståelser af forskning og etik i forhold til undersøgelsens fokus. Undersøgelsens interne validitet og reliabilitet er afhængige af disse for-forståelser af forskningens tilgang til hvad, der eksisterer og hvordan det kan studeres. Ontologiske og Epistemologiske overvejelser Denne undersøgelse er baseret på den opfattelse, at vi alle er under indflydelse af vores respektive kulturelle kontekst, der er med til at forme vores verdenssyn og forståelse af hvad virkelighed er, hvordan den er formet og hvordan man definerer sandhed. Verdenen, som vi kender den, er et produkt af hvordan vi subjektivt opfatter og fortolker den, altså en social konstruktion produceret af det enkelte individs subjektive forståelser (Mills, Bonner, & Francis, 2006, s. 2). Der forekommer altså en ubevidst subjektivitet i forskerens antagelser om det observerede. Dette kan fortolkes således at vi, som forskere, altid vil være påvirket af en vis grad af etnocentrisme, som derfor vil have en indflydelse på vores analyse af undersøgelsens empiriske materiale, selvom der altid bevidst stræbes mod, at se på empirien objektivt og uden for-forståelser (Mills, Bonner, & Francis, 2006, s. 2). Da vi, som forskere, ikke kan distancere os fra vores etnocentrisme og ubevidste forforståelser er det dermed også umuligt, at samle og analysere empirisk data fuldstændigt objektivt. Empirien fortolkes igennem vores sociale, personlige og uddannelsesmæssige optik, og det er derfor vigtigt at vi, som forskere, er opmærksomme på eventuelle bias, der følger denne optik og udtrykker dette eksplicit, således at andre kan forholde sig til relativt til forskningen og dens resultater. På samme måde bliver den viden, der kan samles omkring verdenen altså også et resultat af den kontekstuelle baggrund den udspilles i. Dette forskningsprojekt er derfor udført med stor respekt for den relativitet, der konstant spiller ind i livet og vores forståelse af det. Netop fordi vi forholder os til verden som værende skabt i beskuerens øjne, er det vigtigt at forholde sig til den sammenhæng, begivenheder udfoldes i. Det er vigtigt at understrege at disse subjektive for-forståelser og den kontekstuelle indflydelse ikke betyder, at der er taget en normativ tilgang til, hvad en korrekt form for dannelse er. Normativitet er når man analyserer ud fra normer, dvs. at man bruger en fastsat ide om hvordan noget skal eller bør være som analytisk pejlemærke. Definitionen af dannelse og de processer og effekter Nepal rejsen har på efterskole eleverne er i stedet opbygget igennem en teoretisk ramme, hvorudfra, der kan udarbejdes en kritisk teoretisk analysetilgang til empirien (se bilag 1). Teorien bliver altså her den optik og ramme, som empirien er sat i for at kunne forstå de dannelses- og udviklingsprocesser og -effekter, der undersøges. Vi arbejder ud fra en hermeneutisk tilgang til undersøgelsens empiri og analyse. Dette betyder, i forlængelse af ovenstående ontologiske gennemgang, at vi altid forstår data i forhold til de fortolkningslag, der yder indflydelse på et givet dataset. Epistemologisk set sker empiriindsamling og behandling derfor indenfor, hvad der klassisk bliver betegnet for en hermeneutisk forståelse af hvordan vi kan producere og hvordan vi forstår viden (Marsh & Stoker, 2002, s ). Det afgørende her er en forståelse af og opmærksomhed omkring de lag af fortolkning, der påvirker analysegrundlaget. Når empirien, der indsamles består af de undersøgtes egne udsagn eller fortolkninger (af sig selv eller en relevant situation), hvilket er tilfældet i teknikker så som interviews og spørgeskemaer, fortolker vi som forskere de undersøgtes fortolkninger. Forskeren, som observatør i et interview, fortolker de svar, der fremkommer af de stillede spørgsmål, mens den interviewedes svar er en fortolkning af det givne emne på baggrund af deres for-forståelser. Dermed kommer forskeren til at fortolke det, der allerede er fortolket og der opstår flere lag af fortolkning. Der bliver altså her tilføget endnu et lag af hermeneutisk forståelse også kaldet dobbelt hermeneutik (Marsh & Stoker, 2002, s. 19). 3

4 Denne dobbeltfortolkning betyder, at man aldrig kommer i en position, som total neutral observatør og derfor aldrig for en total refleksion af den sande virkelighed, men den virkelighed, der er konstrueret igennem observatøren og den observeredes fortolkninger. Forskeren bliver på den måde altså selv en del af den viden der produceres ud fra forskningen, i stedet for at fungere som udefrastående observatør. Virkningsevaluering Formålet med denne undersøgelse er kort beskrevet, at vurdere hvilken dannelsespåvirkning Ranum Efterskoles rejser til Nepal har på de elever der deltog. Ranum Efterskoles rejser til Nepal skal i denne forbindelse forstås bredt som omfattende de relevante aktiviteter, der er tilknyttet rejsen. For Ranum Efterskoles elever betyder det således at rejsen også skal forstås, som de aktiviteter i Danmark som leder op til og afslutter profilfaget der er koblet sammen med rejsen. Evalueringen af elevernes dannelsesmæssige udbytte af Ranum Efterskoles Nepal rejser er en virkningsevaluering (Dahler, 2006), hvilket betyder at evalueringen er en realitets test af Ranum Efterskoles egne virkningsforestillinger om hvordan denne rejse til Nepal influere deres elever. Målet er at undersøge hvorfor og hvordan de opsatte rejseformer, mål og aktiviteter der konstituere rejsen virker for enten, at be eller afkræfte og videreudvikle på de virkningsforestillinger, der på forhånd er opsat omkring rejsen. Hensigten er altså at forbedre indsatsen igennem en læringsproces (Dahler, 2006). Denne læringsproces faciliteres i en virkningsevaluering ved, at gøre klart hvordan Ranum Efterskoles egne virkningsforestillinger omkring rejsen hænger sammen med det værdiggrundlag, der fra skolens egen side ligger baggrund for hensigten med rejsen til Nepal og de mål der er opsat for elevernes udbytte af rejsen og skoleopholdet. Det der testes i denne virkningsevalueringen er altså hvordan og hvorfor bestemte aktiviteter eller situationer på Nepal rejsen resultere i et dannelsesmæssigt udbytte for den enkelte elev. Dette er den konkrete virkningsforestilling Ranum Efterskole har opstillet omkring rejsen i forhold til skolens eget værdiggrunlag og det er derfor også fokus for denne virkningsevaluering. Arbejdsspørgsmålet for evalueringen kan derfor formuleres på følgende måde: Hvilke dannelsesmæssige virkninger havde Nepalrejsen på efterskoleeleverne? I en virkningsevaluering indgår både at virke dvs. en proces, og virkning i betydningen effekten (Dahler, 2006). Denne evaluering fokuserer hovedsagelig på hvilken virkning eller effekt rejsen har haft på Ranum efterskoles elever men inddrager proces at virke, hvor det naturligt er relevant i forhold til undersøgelsens empiriske data. Det vigtigste for enhver evalueringen er, at der er et klart mål med den efterfølgende anvendelsesproces. Denne evaluering er i første omgang produceret til, at blive anvendt af Ranum Efterskole til at selvevaluere Nepal rejsens form og mål. Ud fra denne selvevaluering kan skolen trække paralleller imellem denne virkningsevaluerings konklusioner og skolens andre dannelsesrejser. På denne måde kan Nepal rejsens evaluering hjælpe Ranum Efterskole til, at påbegynde en diskussion af deres andre rejsers form og mål i en proces, hvor denne evaluerings konklusioner og skolens ansattes egne erfaringer kan sammenfattes til, at forbedre dannelsesrejsernes form og indhold så de overordnede mål for rejserne bedre kan realiseres. Udover den interne anvendelse af evalueringen på Ranum Efterskole, er det evalueringens mål, at hjælpe til en kvalificering af udenlandsrejsens mål og form i efterskoleverden generelt gennem fælles offentlig debat af evalueringsresultaterne. 4

5 Empirisk design De følgende afsnit præsenterer de metodiske tilgange og teknikker, der er blevet brugt i undersøgelsens indsamling af empiri. Empirien er indsamlet via en blanding af kvantitative og kvalitative metodeteknikker. Både den kvalitative og kvantitative data der er blevet genereret i forbindelse med denne undersøgelse, er hvad der normalt betegnes som primær data, og i dette afsnit vil vi konkret præsentere hvordan og hvilke konsekvenser det valgte empiriske design for undersøgelsen har. Præsentationen starter med en grafisk afbildning af undersøgelsens overordnede design, herefter giver den en gennemgang af den valgte metodiske tilgang, mixed methods, der beskriver hvordan og hvorfor undersøgelsen kombinerer kvalitative og kvantitative teknikker. Derefter vil de individuelle kvalitative og kvantitative metodiske teknikker blive gennemgået, og der vil blive forklaret hvordan og hvorfor de er brugt i undersøgelsen. Undersøgelsens empiriske design kan illustreres således: Figur 1: Undersøgelsens empiriske design: Ud fra figuren kan man undersøgelsen af rejsens dannelses påvirkning på eleverne empiriske design. Dannelsesvirkning på eleverne Virkningsevaluering Mixed methods Deltagende observation Klassisk eksperimentelt design Semistrukturerede interviews Spørgeskemaundersøgelse 5

6 Mixed methods Da vi i dette projekt bruger mixed methods, altså blander kvalitative og kvantitative metodeteknikker, er det vigtigt at forklare hvorfor netop denne kombination resulterer i et metodisk valg, der stemmer overens med denne undersøgelses overordnede design og målet med den viden, der produceres som resultat heraf. Dette skal gøres, da den overordnede kvalitet af undersøgelsen er afhængig af hvor godt det overordnede design stemmer overens med det man vil undersøge. Ved brugen af mixed methods er der i denne undersøgelse lagt størst vægt på kvalitative teknikker, ud fra den overbevisning, at de vil give det mest dybdegående empiriske udbytte i undersøgelsen af Nepal rejsernes dannelsesvirkning på efterskole eleverne. Vi bruger altså en mixed methods tilgang for, at afdække det mest holistiske perspektiv muligt (Marsh & Stoker, 2002, s. 202) af forløbet omkring efterskolens dannelsesrejse til Nepal. Ved at kombinere de kvalitative og de kvantitative metodiske tilgange forbedres chancerne for, at dække så mange sider af evalueringens arbejdsspørgsmål som muligt. Denne form for metodisk helgardering af ens empiriindsamling via flere metodiske tilgange bliver også kaldt en triangulering af metoder (Marsh & Stoker, 2002, s. 238). De to metodiske tilgange og deres respektive teknikker støtter og tjekker hinandens resultater, men bruges også som forskellige led i undersøgelsen. Kvantitative data er ofte gode til at finde mere generelle tendenser i dataene, hvor de kvalitative metoder derefter kan uddybe og finde baggrunde bag disse tendenser. På denne måde bruges de to metoder til at komplimentere hinanden. Dette kan blandt andet ske ved, at de kvalitative og kvantitative teknikker kan konstituerer forskellige referencepunkter, der igennem fokusering på specifikke emner i forskningen, kan validere de samme tendenser i dataene. Konkret hjælper teknikkerne altså hinanden enten ved at verificere fundne tendenser eller falsificere dem, ved at undersøge den samme variabel med forskellige teknikker. Dette er f.eks. gældende når vi undersøger den samme problemstilling via et spørgeskema, semistruktureret interview og deltagende observation. Denne form for metodeteknisk triangulering øger validiteten af den samlede empiri og derved også de undersøgte problemstillinger ved at sikre, at der er mindre chance for fejlfortolkninger eller fejlanalyser fra observatøren eller den observeredes side, hvilket som beskrevet har betydelig indflydelse, jf. beskrivelsen af vores hermeneutiske tilgang. Empiriindsamlingsteknikker I udarbejdelsen af denne undersøgelse har vi brugt følgende epiriindsamlings teknikker. Deltagende observation Semi-strukturerede interviews Spørgeskemaundersøgelse Som beskrevet tidligere, danner den teoretiske begrebsafklaring grundlag for empiriindsamlingen, således at spørgsmål til interviews og spørgeskemaer bygger på de respektive diskussioner af hvordan dannelse kan måles. Teknikkerne og denne specifikke kombination af teknikker er altså baseret på et forløbende dokumentstudie af det teoretiske materiale der omhandler dannelse og hvordan dette tidligere er blevet operationaliseret til konkrete undersøgelser. På baggrund af dette dokumentstudie i den sekundære litteratur, er den følgende kombination af teknikker altså blevet vurderet til, at kunne give det mest holistiske perspektiv på undersøgelsens arbejdsspørgsmål. Den nedenstående Figur 2 viser et overblik af undersøgelsens tidslinje fra december 2011 til maj 2012, samt hvornår specifikt de metodiske teknikker anvendes i undersøgelsen. 6

7 Figur 2: Undersøgelsens tidslinje >2012: metoder og teknikker Kontinuerlig deltagende observation december januar Februar marts april Pre rejse fase: Første Spørgeskema runde: Alle elever på skolen forventninger og forberedelse Første semi - struktureret interviews om forventninger og forberedelse 2. januar: afgang til Nepal Jan indsamling af udviklingsdata i landsbyer og skoler Samt Forberedelse af elev ankomst. 11 Jan elev ankomst: Dannelses data indsamling (deltagende observation, og semistrukturerede interviews) Jan afslutning i Nepal og rejsen tilbage. Post rejse fase: Anden spørgeskema runde: Alle elever på skolen (indtryk, oplevelser) Opfølgning af tendenser i spørgeskema data via semistruktureret interviews. Semi-strukturede interviews med gamle elever. Begyndende data behandling fra Nepal rejsen, sammenligning af kvalitativ og kvantitativ data. (Refleksion, efterbehandling, dannelse proces) Analyse påbegyndes og afsluttes. Formidlingsopga ve: Offentliggørelse af evalueringens resultater Seminar Workshops, Diskussion, Foredrag 7

8 Deltagende observation Som vist ovenfor i Figur 2 blev, der brugt kvalitative metoder kontinuerligt igennem hele studiet, blandt andet ved at være til stede og følge de processer eleverne og lærerne gennemgår i forberedelsen, under og efter rejsen. Dette skete igennem deltagende observation af hele rejseprocessen, men også undersøgelsens semistrukturerede interviews, der vil blive gennemgået i afsnittet nedenfor. Deltagende observation betyder, at man som forsker lader sig fordybe, i de social omgivelser, den gruppe af mennesker man undersøger, befinder sig i. Dette gøres for at kunne lave regelmæssige observationer over en længere periode og derved teste sine antagelser i forhold til den undersøgte problemstilling. Man deltager altså i de sociale omgivelser for, at kunne have uformelle samtaler, og små ustrukturerede interviews med den undersøgte gruppe mennesker. Denne deltagelse udmunder i, at man som forsker forstår de sociale omgivelser, man har deltaget i, og derved kan forstå den givne gruppe af menneskers meninger og adfærd i forhold til denne kontekst (Bryman, 2004, s ). At bruge deltagende observation kræver altså, at man kan følge og deltage i den hverdag der undersøges, og interagere med de personer man undersøger over en længere periode (Payne & Payne, 2004, s. 166). Denne undersøgelse har gjort dette, ved at interagere og inkludere forskerne i elevernes hverdag og hele processen der omhandlede rejsen til Nepal. Brugen af deltagende observation gav denne undersøgelse en unik mulighed for, at kunne følge hele processen omkring Ranum Efterskoles rejse til Nepal. Ved at deltage i den normale hverdag på skolen kunne vi følge med i elevernes hverdag, og ikke mindst rejsens indledende profilfag, der specifikt omhandlede forberedelsen af rejsen til Nepal. Igennem deltagende observation kunne vi både følge forberedelsesprocessen og efterbehandlingsprocessen af rejsen sammen med elever. Vigtigst gav det samtidigt mulighed for, at følge eleverne tæt på selve Nepal rejsen, hvor deres umildbare personlige reaktioner og handlinger kunne observere på tæt hold. Den inklusion vi, som forskere havde i elevernes hverdag i to måneder før afrejsen hjalp os med bedre, at kunne forstå elevernes personlige reaktioner og handlinger på og efter rejsen, da vi på forhånd havde lært langt de fleste af eleverne, at kende og derfor kunne sætte deres reaktioner i en personlig kontekst. Den viden vi samlede fra den deltagende observation er også blevet brugt i undersøgelsens fortolkning af de spørgeskemaer og semi-struktureret interviews, der senere gennemførtes for at undersøge den dannelsesmæssige virkning af rejsen. Det personlige nærvær med skolen og eleverne betød, at vi som forskere ikke kom til at stå, som fremmede for både lærer og elever i hele undersøgelsesprocessen, hvilket resulterede i at samtaler (ustrukturerede interviews) omkring de undersøgte emner forløb meget mere naturlige (Bryman, 2004, s ). Sidst, men vigtigst, gav den deltagende observation os mulighed for at aflæse de ændringer, der skete hos eleverne løbende over hele rejseprocessen, fordi vi havde lært dem at kende før rejsen. Dette var afgørende for undersøgelsen særligt på grund af dannelsesudviklingens subtile virken. Det ville være utopi at forvente, at man vil kunne se valide ændringer på baggrund af den type øjebliksbilleder som undersøgelsens andre teknikker giver, uden samtidig at benytte løbende observation. Semi-struktureret interviews Den semi-strukturerede interviewform er en fleksibel form for interview, hvor den interviewede bliver stillet meget åbne spørgsmål, der giver stor frihed til at formulere svar. Formen giver samtidigt også intervieweren stor frihed til at følge og spørge ind til spændende svar der søges at uddybet i interviewet. Intervieweren har før interviewet lavet en interviewguide, der består af en række emner, og spørgsmål, der er formuleret på baggrund af det undersøgte problem. Denne interviewguide bliver så fulgt i hvert interview og måden spørgsmålene bliver stillet på vil udmunde i omtrent det samme i hvert interview, men formen er stadig meget fleksible og kan uden problemer diskutere emner udenfor guidens struktur. Interviewguidens opsatte emner og spørgsmål sikrer også at man komparativt kan sammenligne forskellige interviews afholdt på kryds af personer og steder (Bryman, 2004, s ). De semi-strukturerede interviews har i denne undersøgelse af dannelsespåvirkningen været afholdt af to planlagte omgange samt løbende under den undersøgte rejse. Begge planlagte omgange af semi-strukturerede 8

9 interviews er afholdt efter hver, af de to runder af spørgeskemaundersøgelser, dvs. en runde af interviews før og efter rejsen til Nepal, jf. vores anvendelse af det eksperimentelle design i næste afsnit omkring spørgeskema undersøgelsen. Denne planlægning er gjort for, at inkludere de tendenser, der udfolder sig fra spørgeskemaerne i de semi-strukturerede interviews. Udover de planlagte semi-strukturerede interviews blev der løbende lavet semi-strukturerede interviews med eleverne under og efter rejsen. Forud for hver interviewrunde, og før rejsen blev der konstrueret interviewguides formuleret ud fra undersøgelsens teoretiske begrebsafklaring, af dannelse (se Bilag 1). Spørgsmålene er altså grundet i en teoretisk forståelse omkring, hvad der indikerer dannelsesprocesser og dannelsesindikatorer. Før rejsen blev der udarbejdet en speciel interviewguide, der indeholdte fem overordnede kernespørgsmål til at afholde interviews med elever under turen. Interviewguiden er vist nedenfor. Kernespørgsmål 1. Hvilken oplevelse har betydet mest for dig på rejsen indtil nu? (Er der nogle af oplevelserne indtil videre på rejsen du har gået og tænkt over? det var fedt eller det var grænseoverskridende eller?) 2. Har denne oplevelse fået dig til at overveje den måde du normale gør/ser på xxx? 3. Hvad har været den største udfordring på rejsen indtil nu? 4. Er der noget som ikke har været som du havde forventet, og hvordan har du oplevet det? 5. Har der været situationer hvor det har været vigtigt for dig at kunne diskutere noget med en af de voksne på rejsen, og hvordan har du oplevet det? Under rejsen til Nepal blev der løbende lavet interviews ud fra ovenstående interviewguide med så mange elever som det var muligt. Målet var, at dække det brede spektrum, af forskellige elever der deltog på turen. Vi fik ca. interviewet 80 % af alle eleverne, der deltog på rejsen, hvilket også var en nødvendighed for at dække den diverse elevgruppe der var med på rejsen, og derved sikre den empiriske data var repræsentativ. Bedømmelsen af, hvilke elever der hørte til hvilken af disse grupper var baseret på vores egen personlige kendskab til eleverne, der var blevet opbygget gennem den deltagende observation i månederne før afrejsen til Nepal. Udover, at sikre validiteten af vores data var disse interviews også analytisk nødvendige, da vi ud fra dem fik et billede af, hvordan forskellige elever oplevede de forskellige udfordringer og forandringer turen kunne byde på. Det var altså her vi fandt ud, af hvad der virker for hvem under turen og hvorfor. De to planlagte semi-struktureret interviewrunder, der blev afholdt umildbart efter hver spørgeskemaundersøgelse foregik ved, at der blev udvalgt en gruppe af eleverne der skulle med på turen, da det ressourcemæssigt ikke var muligt at interviewe alle 80+ elever enkeltvis i minutter. Udvælgelsen af de elever der blev interviewet før rejsen foregik tilfældigt, da disse interview foregik tidligt i undersøgelsens proces. I anden runde af de semi-strukturerede interviews efter rejsen skete udvælgelsen af eleverne efter ønske om, at dække så mange perspektiver som muligt fra den diverse elevgruppe dvs. at udvælgelsen af eleverne foregik efter, hvad tidligere interview og observationer havde indikeret. Udvælgelsen skete konkret efter det parameter, der hed vi skal dække alle elevgrupper der var med på turen. Ud fra de interviews vi havde lavet med elever under rejsen kunne vi så udvælge interviewgruppen til, at inkludere alle de forskellige perspektiver vi havde dokumenteret under rejsen. Enkelte elever blev i denne interviewrunde udvalgt ud fra den præmis, at de havde konstitueret analytisk spændende eksempler under rejsen i forhold deres relative dannelsesmæssige udbytte. Dette var både positive og negative eksempler. Begge interviewrunder blev også brugt, som muligheder til at følge op på de to spørgeskemaundersøgelser. Alle interviews blev optaget på diktafoner for, at sikre et naturligt, ugeneret flow i interviewsne og samtidig undgå den risiko der er for at glemme eller fejlfortolke i øjeblikket når interviewet ellers ville skulle dokumenteres efter dets gennemførsel. 9

10 Spørgeskemaundersøgelse Spørgeskemaundersøgelserne følger i undersøgelsen et eksperimentelt design. Det eksperimentelle design betyder for det første, at vi udfører flere runder af spørgeskemaundersøgelser: en før den eksperimentelle gruppe (Nepal elev holdet) bliver påvirket af eksperimentets intervention (Nepal Rejsen), og en efter intervention (rejsen) er udført for at måle, hvilken dannelses påvirkning rejserne har haft på eleverne. For det andet betyder det eksperimentelle design også, at vi udover den eksperimentelle gruppe (Nepal elev holdet) har en kontrol gruppe, hvilket i denne undersøgelse konstitueres af alle andre elever på Ranum efterskole, der dog også skal ud og rejse, men ikke har samme destination (se Tabel 1). Nogle af de andre rejsehold har destinationer, der er meget kulturelt sammenlignelige med Danmark f.eks. skiferien til Norge, mens andre er kulturelt er helt anderledes. Ranum Efterskoles andre rejser kan derfor bruges som målestok imod Nepal rejsen, fordi de indholds og aktivitetsmæssigt tager en anden form en Nepal rejsen. Da det har været muligt, at spørge alle elever før, under og efter rejsen er det derfor også muligt at stille forskellige kontrolgrupper op i form af elever som rejser til hhv. Norden, Miami, Ghana og Indien og altså udsættes for andre påvirkninger end gruppen som rejser til Nepal. Tabel 1: Klassisk eksperimentelt design, inspireret af (de Vaus 2001, 49) Pre-undersøgelse Intervention (Nepalrejse) Post-undersøgelse Eksperimentel gruppe Kontrol grupper Vurdering af effektvariabel (Dannelse) Vurdering af effektvariabel (Dannelse) Påvirkning Ingen/anden påvirkning Vurdering af effektvariabel (Dannelse) Vurdering af effektvariabel (Dannelse) I alt er der gennemført to runder af spørgeskemaundersøgelser, der gav konkrete øjebliksbilleder af opfattelser, forventninger, og refleksioner før og efter rejsen til Nepal og de andre rejser på Efterskolen. Første runde spørgeskemaundersøgelse blev distribueret umildbart før rejsen dvs. i de sidste uger før juleferien. Den fokuserede på emner som bl.a. forventninger til rejsen, grunde til valg af rejsedestination, evaluering af forberedelsen, og specifikke dannelses indikatorer osv (se bilag 2). Der var nogle specifikke spørgsmål, der gik igen igennem begge runder af spørgeskemaer, nemlig de som er designet til at lade eleven selvevaluere sit dannelsesniveau ud fra en række personlige spørgsmål, der direkte er baseret på skemaet i undersøgelsens teoretiske begrebsafklaringen af dannelse. Disse spørgsmål gik igen i de to undersøgelser, og gav derved mulighed for, via krydsfordelinger og sammenligning af frekvenser, at fastslå om eleverne ifølge deres egen selvindsigt og forståelse af spørgsmålene har udviklet sig over rejseforløbet. Anden runde af spørgeskemaundersøgelsen blev gennemført da eleverne havde færdiggjort deres formidlingsopgave (foredrag, artikel skrivning, producerring af korte film, dagbøger) og derved har haft mulighed for at reflektere over rejsen. Spørgeskemaerne blev udformet og distribueret i programmet Survey Exact og omfordelt til skolens elever via e- mail. I alt var 250 elever involveret i spørgeskemaundersøgelserne, hvilket ikke er en stor respondent størrelse til at lave signifikante kvantefiseringer, der kan formuleres generaliserbare konklusioner ud fra. Derimod komplimenterede spørgeskemaerne, som beskrevet de andre kvalitative teknikker og højnede derved validiteten af undersøgelsens empiri i sin helhed. Vi lagde vægt på, at elevernes deltagelse i undersøgelsen ikke var tvunget, da det er vores opfattelse at dette kunne have en yderst negativ og forvrængende effekt på de svar der gives. Det er vores overbevisning, at de svar der udformes på frivillig basis er mere ærlige og mere grundige besvaret, hvilket vil højne validiteten af den data der udformes af spørgeskemaet. Efter at have fulgt denne tilgang i første runde af spørgeskemaundersøgelsen kunne vi dog konstatere at resulteret var at kun 70 % 10

11 efterskolens elever svarede, hvilket har en negativ effekt på reliabilliteten af undersøgelsen, da det ikke er alle eleverne der har svaret og man kan derfor ikke basere undersøgelsens konklusioner på totale repræsentative data. I spørgeskemarunden efter rejsen forsøgte vi derfor at forbedre respondent besvarelsen ved at gøre besvarelsen tvungen. Dette gav flere respondenter, men kan have haft en negativ effekt ved at der måske modsat første runde blev besvaret lidt forhastet på undersøgelsen for nogle af respondenternes vedkommende, hvilket sænker validiteten af besvarelserne en smule, men som sagt sikrede en højere procent af respondenter der gennemfører undersøgelsen. 11

12 Litteraturliste Bryman, A. (2004). Social Research Methods. New York: Oxford University Press. Dahler, P. l. (2006). Selvevalueringens Hvide Sejl. Odense: Syddansk Universitetsforlag. Danida. (2006). Evaluation Guidelines. København: Udenrigsministeriet. Davies, R., & Dart, J. (2005). The 'Most Significant Change' Technique - A Guide to its use. Care, Oxfam, Ibis and Lutheran World Relief. de Vaus, D. (2001). Reseearch Design in Social Research. London: Sage. Garbarino, S., & Holland, J. (2009). Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results. Governance and Social Development Research Centre. Marsh, D., & Stoker, G. (2002). Theory and Methods in Political Science Second edition. New York: Palgrave. Mills, J., Bonner, A., & Francis, K. (2006). The Development of Constructivist. International Journal of Qualitative Methods 5. OECD. (15. november 2006). OUTLINE OF PRINCIPLES OF IMPACT EVALUATION. Paris. Payne, G., & Payne, J. (2004). Key Concepts in Social Research. London: Sage. Serrat, O. (januar 2009). The Most Significant Change Technique. Manila: Asian Development Bank. 12