Evaluering af Brug fr alle unge 1. periderapprt Den 29. september 2009 Ministeriet fr Flygtninge, Indvandrere g Integratin
Indhldsfrtegnelse 1. Effektevaluering af Brug fr alle unge, 2008-2009 3 2. Sammenfatning g knklusiner 4 3. Krt m Brug fr alle unge 8 3.1 Rllemdeller 8 3.2 Lektiecaféer 9 3.3 Vidensbasaren 9 3.4 Hldningsbearbejdende kampagne: Spil dine krt rigtigt! 10 3.5 Frmidlingsindsatsen 10 4. Ernst & Yung s metde til løsning af evalueringspgaven 11 4.1 Evalueringsramme 11 4.2 Knkret tilgang til effektevaluering af Brug fr alle unge 15 5. Evaluering af unge rllemdeller (lkale g centrale) 19 5.1 Indledning g sammenfatning 19 5.2 Præsentatin af grundsklerne 19 5.3 Grundskleniveau kvalitative data 20 5.4 Grundskleniveau kvantitative data 5.5 Individniveau 24 24 6. Evaluering af frældrerllemdeller 28 6.1 Indledning g sammenfatning 28 6.2 Præsentatin af grundsklerne 28 6.3 Grundskleniveau kvalitative data 28 6.4 Grundskleniveau kvantitative data 32 6.5 Individniveau 32 7. Evaluering af lektiecaféer 35 7.1 Indledning g sammenfatning 35 7.2 Præsentatin af grundsklerne 35 7.3 Grundskleniveau kvalitative data 36 7.4 Grundskleniveau kvantitative data 41 7.5 Individniveau 43 8. Spørgeskemaundersøgelse: Brug fr alle unge g Fasthldelseskaravanens frmidlingsmæssige indsats 45 8.1 Indledning g sammenfatning 45 8.2 Respndenterne, besvarelsesprcent g rykkere 45 8.3 Resultatet af spørgeskemaundersøgelsen 46 9. Brug fr alle unge Vidensbasaren 58 9.1 Indledning g sammenfatning 58 9.2 Udfrmning af spørgsmål g kvalitetssikring 9.3 Resultatet af spørgeskemaundersøgelsen 58 59 10. Hldningsbearbejdende kampagne: Spil dine krt rigtigt! 61 11. Andre relevante aktiviteter 62 Bilag Bilag 1: Begrebsafklaring 63 Bilag 2: Spørgeskemaundersøgelse: Brug fr alle unges frmidlingsmæssige indsats verfr de fagprfessinelle 65 Bilag 3: Interview versigt 75 Bilag 4: Inverviewguides 76 Bilag 5: Vidensbasaren 90
1. Effektevaluering af Brug fr alle unge, 2008-2009 Opgaven er udført af: Ernst & Yung P/S Gyngemse Parkvej 50 2860 Søbrg Tlf.: 35 87 22 22 Fax: 35 87 22 00 Hjemmeside: www.ey.cm/dk E-mail: ey.cpenhagen@dk.ey.cm CVR-nr.: 73 31 74 28 Opgaven er udført fr: Ministeriet fr Flygtninge, Indvandrere g Integratin Hlbergsgade 6 1057 København K Tlf.: 33 92 33 80 Fax: 33 11 12 39 Hjemmeside: www.inm.dk E-mail: inm@inm.dk CVR-nr.: 26 48 17 32-3 -
2. Sammenfatning g knklusiner Brug fr alle unge-indsatsen arbejder fr at sikre, at flere unge med anden etnisk baggrund end dansk påbegynder g fuldfører en uddannelse med henblik på at pnå varig tilknytning til arbejdsmarkedet. Brug fr alle unge blev prettet i december 2002 på baggrund af en str ungdmshøring afhldt af Integratinsministeriet. Blandt indsatsens første initiativer var rllemdeller, lektiecaféer g hldningsbearbejdende kampagner. Det er disse initiativer, sm frtsat udgør en central del af Brug fr alle unges samlede indsatser, der har hvedfkus i nærværende periderapprt. Effektevalueringen i denne periderapprt bygger på både kvalitative g kvantitative data. De anvendte indikatrer g spørgsmål til evaluering af indsatserne, er udvalgt på baggrund af en frandringsteretisk tilgang. Fr de kvantitative data er der udvalgt t indikatrer til måling af effekten af indsatserne karakterer fra 9. klasses afgangsprøver g vergang til øvrig uddannelse 3. måneder efter afslutning af 9. klasse fr at belyse eventuelle faglige frandringer g udvikling i andel af unge, der frtsætter med uddannelse efter 9. klasse. I frbindelse ved indhentningen af kvantitative data til belysning af indikatrerne er evalueringen stødt på en praktisk udfrdring i frhld til rllemdelindsatsen. Sm følge heraf er det valgt at ppriritere den kvalitative del af rapprten på dette mråde samtidig med at fastlægge en kvantitativ baseline fr rllemdelindsatsen fr de udvalgte skler med henblik på evaluering fremadrettet. Samlet set kan det knkluderes, at størstedelen af de interviewede persner har plevet en umiddelbar effekt af såvel rllemdeller sm lektiecaféer. Der er således bl.a. registeret øget mtivatin, tlerance g øget knstruktiv dialg blandt de unge sm følge af indsatserne. På langt g mellemlangt sigt er det ikke muligt at lave samme klare knklusiner g sklernes resultater er af meget frskelligartet karakter, hvilket kan tilskrives en række faktrer, hvr den tidsmæssigt begrænsede data gså spiller ind. Dg er der på flere mråder indikatiner m, at der er et udviklingsptentiale, idet flere respndenter udtrykker frøget fkus g ppririterede indsatser på mrådet fremadrettet. Unge rllemdeller I frbindelse med evalueringen af unge rllemdeller er der følgende interessante iagttagelser: De interviewede lærere g vejledere fra Ungdmmens Uddannelsesvejledning tilkendegiver, at der på krt sigt er blevet registreret en større gensidig (kultur)frståelse blandt eleverne g øget mtivatin i frhld til sklen blandt enkelte elever sm følge af rllemdelbesøgene. De interviewede lærere udtrykker manglende registrering af effekter på langt sigt, hvilket ifølge respndenterne tilskrives kmplikatiner ved effektmåling af sådanne indsatser. Det skal dg ses i lyset af, at flere respndenter peger på, at man er i en pstartsfase med frøget indsats på mrådet. Flere elever nævner, at enten de eller en ven har ændret adfærd efter besøget af rllemdeller, mens en selv ønskede at blive rllemdel g hjælpe andre. - 4 -
Ovenstående er interessant set fra et frandringsteretisk synspunkt. Selvm der ikke er registreret en længerevarende effekt, er der via psitive umiddelbare effekter lagt et fundament fr, at de unge rllemdeller på sigt vil kunne bidrage psitivt på mellemlangt g ptentielt langt sigt. Kmbineret med, at sklerne selv fremhæver en øget indsats fremver, kan denne indledende analyse give grund til psitive frventninger fremadrettet. Udver de nævnte knklusiner, har vi gjrt s en række bservatiner, hvr man særligt kan fremhæve ngle punkter til inspiratin g videre vervejelse: Rllemdelkrpsets sammensætning bør pririteres mht. at sikre en tilstrækkeligt variatin i uddannelsesmæssig baggrund (dvs. både bglige g praktiske uddannelser) fr at sikre appel til alle elever mht. interesser g evner. Overvejelser m behvet fr systematisering af tilfredshedsundersøgelser efter hvert rllemdelbesøg med henblik på at udnytte de løbende indsamlede tilbagemeldinger g frslag til frbedringer ptimalt på et generelt niveau (gså relevant ifht. frældre rllemdellerne). Frældre rllemdeller I frbindelse med evalueringen af frældre rllemdeller er der fremkmmet følgende interessante iagttagelser: Der er på grundskleniveau registreret en øget dialg mellem frældre g skle, hvilket ptentielt kan udvikle sig til et styrket skle-hjem samarbejde. Set i et frandringsteretisk perspektiv, kan dette være det første skridt på vejen til længerevarende effekter. På individniveau registrerede vi flere interessante frhld gennem interviews med frældre, der har deltaget i rllemdelbesøg, der peges bl.a. på, at besøgene har haft knkret persnlig betydning fr ngle af deltagernes egne hldninger g adfærd ver fr deres egne børns uddannelse g pdragelse. Ved siden af de verrdnede knklusiner vil vi fremhæve ngle interessante bservatiner til inspiratin g videre vervejelse: Det bør vervejes, m det vil være hensigtsmæssigt at finde alternativer til sklerne med hensyn til sted fr afhldelse af frældrerllemdelbesøg fr at sikre trygge g afslappede rammer fr frældrene. Frmen fr plæggene kan gså vervejes i frhld til at sørge fr at gøre møder mere dialgrienterede g erfaringsudvekslende, så rllemdelbesøg bliver mindre undervisningspræget. Overvejelser m at indtænke rllemdelbesøg sm en del af sklernes indsats på skle-hjem mrådet, da indsatsen kan hjælpe til en persnlig kntakt mellem frældre g sklen. Man kan tilmed verveje at invitere etnisk danske frældre fr at facilitere frældrenetværk mkring de enkelte klasser. Lektiecaféer I frbindelse med evalueringen af lektiecaféerne er der fremkmmet følgende interessante iagttagelser: Et fkus på både det sciale g det faglige i lektiecafeerne bliver understreget sm gavnligt g ønskeligt ved størstedelen af de gennemførte interviews med lærere, frivillige g skleledere. - 5 -
Adgangen til et dansk netværk g styrket lkalt tilhørsfrhld gennem kntakt til lektiehjælpere fremhævet sm en vigtig afledt effekt. På individniveau gør flere interviewede elever pmærksm på, at de bl.a. har plevet, at det er blevet nemmere at lave lektier g sjvere at gå i skle. Eleverne fremhæver gså det sciale aspekt ved lektiecafeerne sm et vigtigt element, hvilket understreges af, at flere har givet udtryk fr, at de gdt kunne finde på at kmme i en lektiecafé, selvm de ikke har lektier fr. Analysen af de kvantitative data viser, at i hvert fald én af de skler, der har haft et lektiecaféinitiativ, har udviklet sig signifikant i frhld til såvel karaktergennemsnit i afgangsprøverne sm vergang til ungdmsuddannelserne. Det er dg vigtigt at være pmærksm på, at der er tale m en frandring baseret på en meget krt peride fr de t indikatrer. Ud ver disse verrdnede knklusiner på evalueringen, har vi gjrt s en række interessante bservatiner, hvr man særligt kan fremhæve ngle enkelte til inspiratin g videre vervejelse: Frøget g mere rganiseret vidensdeling g erfaringsudveksling generelt mellem lektiecaféerne bør vervejes, herunder i hvilken frm det evt. skal ske. Overvejelse m at følge udviklingen g erfaringerne fra de skler, der vælger systematisk at måle elevernes udvikling i frbindelse med brug af lektiecaféer med henblik på vidensdeling g vejledning af nye indsatser. Mulighederne ved at kmbinere lektiecafeindsatsen med en mere mfattende scial indsats, hvr cafeen kan være kntaktflade til brugernes frældre g indgang til etablering af et dansk netværk i lkalmrådet, bør vervejes. Frmidlingsmæssig indsats I frhld til kendskab til den frmidlingsmæssige indsats er der blevet frtaget en spørgeskemaundersøgelse blandt de fagprfessinelle, sm Brug fr alle unge g Fasthldelseskaravanen har været i kntakt med. Undersøgelsen viser, at kendskabet til Brug fr alle unge er frhldsvis begrænset, da kun ca. 50 prcent af respndenterne vurderer, at de har et selverklæret psitivt kendskab til indsatsen. Kendskabet til Fasthldelseskaravanen er endnu mere begrænset, da kun knap fire ud af ti har angivet at have et enten gdt eller meget gdt kendskab. Undersøgelsen viser gså, at der er vervældende enighed blandt brugerne m, at Brug fr alle unges g Fasthldelseskaravanens materialer er anvendelige g der er generel tilfredshed med hjemmesiden www.brugfralleunge.dk. Ud ver de generelle knklusiner, kan man fremhæve en række andre centrale bservatiner fra undersøgelsen til inspiratin g videre vervejelse: Det vurderes, at der er et strt behv g ptentiale fr at øge kendskab til Brug fr alle unge g Fasthldelseskaravanens aktiviteter blandt fagflk på mrådet. Der er ptentiale med hensyn til en øget satsning på elektrnisk kmmunikatin både i frhld til at udsende infrmatin g nyheder g med hensyn til at distribuere materialer via dwnlad. - 6 -
Trds generel tilfredshed g kendskab til hjemmesiden, besøger de færreste respndenter siden regelmæssigt. Det kunne undersøges m der er et behv g, hvad der ptentielt kunne få brugere til at besøge siden ftere. Vidensbasar Med hensyn til Vidensbasaren kan det knkluderes, at der verrdnet set er str tilfredshed med arrangementet. Endvidere bør det fremhæves, at 66 prcent svarer bekræftende på, at de har brugt de pågældende metder g viden fra Vidensbasaren i deres arbejde, g p til 44 prcent bruger den præsenterede viden ugentligt. Spil dine krt rigtig I Spil dine krt rigtigt!, hvr der blev sat fkus på 20 af industriens erhvervsfaglige ungdmsuddannelser, lykkedes det at frbedre kendskabet fr 10 af de 20 uddannelser, mens kendskabet var uændret fr ni g fr én af dem var kendskabet blevet dårligere blandt de unge i målgruppen fr indsatsen 1. Intern udvikling Brug fr alle unge g Fasthldelseskaravanen samt Ernst & Yung har i samarbejde identificeret en række frskellige interne udviklingsptentialer i relatin til effektevaluering. På den baggrund er der afhldt både en intern wrkshp i frhld til udarbejdelse af spørgeskemaundersøgelser g udarbejdet en krt guide med retningslinier til udarbejdelse af spørgeskemaundersøgelser. Der er ligeledes blevet udpeget t interne superbrugere i udarbejdelse af spørgeskemaundersøgelser, der fremadrettet kan sparre g vejlede integratinsknsulenterne i Brug fr alle unge g Fasthldelseskaravanen m dataindsamling ved spørgeskemaundersøgelser. I frhld til angivelse af de eksakte tidspunkter fr hvrnår, at de frskelle rllemdeller har været ude på de enkelte skler vil det være frdelagtigt hvis Brug fr alle unge yderligere styrker den løbende registrering g pdatering af kntaktpersner g tidspunkter fr initiativer på de enkelte skler. Ernst & Yung har ved ngle lejligheder er registreret diskrepans i mellem besøgstidspunktet plyst af Integratinsministeriet g sklerne. Fr at sikre præcis evaluering fremadrettet vil det være frmålstjenligt med præcisin g klarhed mkring dette. 1 I frhld til evalueringen af den hldningsbearbejdende kampagne, Spil dine krt rigtigt!, gør Ernst & Yung pmærksm på, at vi på ingen måder har været invlveret i den nævnte undersøgelse. - 7 -
3. Krt m Brug fr alle unge Brug fr alle unge-indsatsen arbejder fr at sikre, at flere unge med anden etnisk baggrund end dansk påbegynder g fuldfører en uddannelse med henblik på at pnå varig tilknytning til arbejdsmarkedet. Brug fr alle unge blev prettet i december 2002 på baggrund af en str ungdmshøring afhldt af Integratinsministeriet. Blandt de første initiativer var rllemdeller, lektiecaféer g hldningsbearbejdende kampagner. Det er disse initiativer, sm frtsat udgør en central del af Brug fr alle unges samlede indsatser, der har hvedfkus i nærværende rapprt. Fasthldelseskaravanen, der er en selvstændig del af Brug fr alle unge g et tværministerielt samarbejdsprjekt mellem Integratinsministeriet g Undervisningsministeriet blev etableret i efteråret 2008. Fasthldelseskaravanen, der delvist er finansieret af EU s scialfnd, skal frem til 2012, gennem et samarbejde med 24 erhvervsskler g tte prduktinsskler, bidrage til at frbedre sklernes fasthldelse af etniske minritetselever. 3.1 Rllemdeller Rllemdeller er persner, sm via deres egne persnlige beretninger frtæller m udfrdringer i frbindelse med bl.a. uddannelsesvalg g gennemførsel, beskæftigelse g, fr frældrerllemdellernes vedkmmende, m pdragelse g vejledning af sine børn i den frbindelse. Rllemdelbesøgene har til frmål dels at mtivere g inspirere andre unge til at tage en uddannelse, dels at mtivere g inspirere de unges frældre til at rådgive g støtte deres børn i frbindelse med uddannelse. Tre frskellige frmer fr rllemdelindsatser vil blive evalueret i denne rapprt 2 : Centrale unge rllemdeller Centrale frældrerllemdeller Lkale unge rllemdeller. 3.1.1 Centrale frældrerllemdeller Alle frældrerllemdeller har selv børn, der enten allerede har gennemført en uddannelse, eller er i færd med det. Derfr besidder de knkrete erfaringer med at støtte unge i den frbindelse, både med uddannelsesvalg, gennemførsel g håndtering af udfrdringer. De centrale frældrerllemdeller rejser rundt m i landet g frtæller m deres erfaringer med vejledning g støtte af børn g unge i deres uddannelse. 2 Ud ver de tre nævnte frmer, er det første lkale frældrerllemdelkrps under prettelse. - 8 -
3.1.2 Centrale unge rllemdeller De centrale unge rllemdeller har enten gennemført eller er i færd med at gennemføre en uddannelse. De centrale unge rllemdeller repræsenterer mange frskellige uddannelser. De centrale unge rllemdeller er knkrete eksempler på, at unge med en anden herkmst end dansk kan gennemføre en uddannelse, på trds af de udfrdringer der måtte være. 3.1.3 Lkale unge rllemdeller De lkale unge rllemdeller frankres typisk lkalt i Ungdmmens Uddannelsesvejledning; de første fire krps blev prettet i 2006. De lkale rllemdeller består ligesm det øvrige rllemdelkrps af unge med anden etnisk baggrund end dansk, sm selv har mødt udfrdringer men har klaret sig gdt inden fr det danske uddannelsessystem. Der er særligt fkus på at rekruttere unge rllemdeller med en erhvervsfaglige uddannelser (dvs. unge med anden etnisk herkmst end dansk, der har gennemført en erhvervsmæssig uddannelse g samtidig har pnået beskæftigelse sm et resultat deraf) 3. 3.2 Lektiecaféer På nuværende tidspunkt støtter Brug fr alle unge flere end 80 frskellige lektiecaféer rundt mkring i Danmark. Persnalet på de frskellige lektiecaféer består af frivillige lektiehjælpere. Tilbuddet er hvedsageligt rettet md persner på grundsklerne. Alle børn g unge er sm udgangspunkt velkmne, g der er fra Integratinsministeriets side ikke krav m, at man har en anden etnisk herkmst end dansk fr at kunne deltage 4. I nærværende undersøgelse har vi hvedsageligt fkuseret på grundskler, der har haft en lektiecafé kblet til den specifikke grundskle. Dette har været en frudsætning fr at kunne fastlægge en årsagsvirkningsrelatin mellem udviklingen i de kvantitative indikatrer g indsatsen på de enkelte skler. Dg er der udvalgt en frivillig lektiecafe på Blågårds Plads, der ikke direkte er tilknyttet én skle i frbindelse med undersøgelsen af elevernes plevede effekt af lektiecaféerne. Denne er dg ikke medtaget i frhld til de kvantitative data. 3.3 Vidensbasaren Vidensbasaren blev afhldt den 25. marts 2009 i Trvehallerne i Vejle. Her var mere end 300 fagflk fra ver 100 frskellige grundskler repræsenteret med henblik på at udveksle viden g erfaringer samt tilegne sig nye metder i frhld til at fremme andelen af unge med anden etnisk baggrund end dansk end dansk, der gennemfører en ungdmsuddannelse. I løbet af dagen var der ca. 20 frskellige udstillingsstande g flere plæg m cachmetder, læring g pædaggik. 3 I frbindelse med nærværende periderapprt har vi valgt at fkusere på grundsklerne. Det betyder, at de lkale unge rllemdellers særlige fkus på de erhvervsfaglige uddannelser ikke har kunnet evalueres direkte. Endvidere fremgår det af interviews, at sklerepræsentanterne ikke har bemærket frskelle ved besøg af hhv. centrale g lkale rllemdeller, hvrfr det er valgt at evaluere begge i det samme kapitel. 4 I frbindelse med de kvalitative interviews, sm Ernst & Yung har fretaget, har det dg vist sig, at der decentralt på de enkelte grundskler er en tendens til at være en indsats, der er frbehldt de børn g unge med anden etnisk herkmst end dansk. På visse grundskler har dansk etniske børn g unge mulighed fr at deltage, såfremt der ikke er nk børn g unge med anden etnisk herkmst end dansk. Dette gennemgås i kapitel 9, Lektiecaféer. - 9 -
3.4 Hldningsbearbejdende kampagne: Spil dine krt rigtigt! I periden fra den 7. januar til den 2. marts 2008 gennemførte Brug fr alle unge i samarbejde Tejlmann & C. (marketingsvirksmhed) g Barfd Kmmunikatin en kmmunikatinsmæssig indsats, der hed, Spil dine krt rigtigt tag en uddannelse i industrien. Frmålene var fr det første at skabe pmærksmhed mkring de mange ubesatte jb, der på daværende tidspunkt eksisterede i industrien g dernæst at få en øget andel af de unge persner i flkesklen til at tage en erhvervsfaglig ungdmsuddannelse 5. 3.5 Frmidlingsindsatsen Brug fr alle unge g Fasthldelseskaravanen har ønsket, at frmidlingsevnen ver fr fagflkene, der mgiver børn g unge med anden etnisk herkmst end dansk, bliver evalueret. Begrundelsen fr dette er, at man er i færd med at lave en række tiltag inden fr det pågældende mråde, g man var derfr bl.a. interesseret i at måle kendskabet g tilfredsheden med den frmidlingsmæssige indsats samt de udviklede undervisningsmaterialer. Siden pstarten af Brug fr alle unge-indsatsen har der ikke været fretaget en sådan måling, g derfr er det ikke muligt i nærværende rapprt at måle effekten af Integratinsministeriets tiltag inden fr frmidlingsindsatsen. Frmidlingsindsatsen vil dg blive målt fremadrettet i frbindelse med udarbejdelsen af de enkelte periderapprter, g det vil derfr være muligt at fastlægge effekten i de senere rapprter. 5 Ernst & Yung gør pmærksm på, at man ikke har været invlveret i den nævnte undersøgelse. Evalueringen er udført af Integratinsministeriet g dennes samarbejdspartner. - 10 -
4. Ernst & Yung s metde til løsning af evalueringspgaven I nærværende evalueringsrapprt vil vi med både kvantitative g kvalitative metder g data fastlægge, hvilke umiddelbare g mellemlangsigtede effekter, der er afstedkmmet sm en knsekvens af de evaluerede indsatser: unge rllemdeller, frældrerllemdeller g lektiecaféer. Udgangspunktet g den verrdnede ramme fr vurdering af indsatserne er vres pstillede evalueringsramme, der er pbygget på baggrund af en frandringsteretisk tilgang. Figur 1. De frskellige faser i frhld til effektmålingen Effekter Input Indsatser Output (umiddelbare) Effekter (mellemlangt sigt) Effekter (langt sigt) Ratinalet i frhld til at fkusere på umiddelbare effekter samt mellemlangsigtede effekter er, at det på nuværende tidspunkt ikke er muligt at vurdere, m de langsigtede effekter er indtruffet på de evaluerede grundskler, der er invlveret i nærværende undersøgelse. Skulle dette have været muligt, skulle de aktuelle Brug fr alle unge-indsatser rllemdeller g lektiecaféer have været gennemført på de pågældende grundskler i en tilstrækkelig tidsperide til at det kunne muliggøre en måling mht. m deltagerne havde fuldført en ungdmsuddannelse g derefter pnået en permanent tilknytning til arbejdsmarkedet. Da det ikke er muligt i frhld til de udvalgte grundskler, er der identificeret en række kvantitative indikatrer, der beskriver effekten på mellemlangt sigt. Disse indikatrer er kblet med kvalitative interviews, hvraf sidstnævnte afdækker de plevede effekter hs både brugerne af indsatserne g hs sklerepræsentanter g krdinatrer ud ver at validere g kvalificere de kvantitative data. Dette kan jf. den frandringsteretiske tilgang give indikatiner på, m aktiviteterne er på rette vej i frhld til at pnå den ønskede langsigtede effekt, hvr flere unge med anden etnisk herkmst gennemfører en ungdmsuddannelse g dernæst pnår en permanent tilknytning til arbejdsmarkedet. 4.1 Evalueringsramme Evalueringsrammen tager sm nævnt udgangspunkt i en frandringsteretisk tilgang, der er blevet udviklet specifikt til Integratinsministeriets arbejdsmråde g behv. På denne måde sikres en fælles verrdnet tilgang til effektevaluering af Brug fr alle unge g dennes frskellige indsatser. Frandringsteri kan bedst beskrives sm værende en årsagsvirkningsrelatin, hvr man med udgangspunkt i virkningen på langt sigt arbejder sig baglæns i en årsagsvirkningsrelateret kæde g på den baggrund fastlægger, hvilke virkninger der skal pnås på mellemlangt sigt, de nødvendige umiddelbare effekter, utputtet, indsatserne g det krævede input. Fr effektevalueringer er det vigtigt, at der kan skabes en årsagsvirkningsrelatin mellem effekt g de pågældende indsatser. Der eksisterer dg en lang række eksgene faktrer, sm både kan være indenfr g udenfr den enkelte aktørs indflydelsessfære g kan have en betydelig påvirkning af den langsigtede effekt. I nedenstående figur 2, har vi pstillet de tre evaluerede indsatser g dernæst kblet dem med utput, resultater, effekter samt eksgene faktrer (i nedenstående figur repræsenterer de røde bkse de eksgene faktrer). - 11 -
Figur 2. Frandringsteretisk tilgang 6 Kvalitativt (grundskle- g individniveau) Kvantitativt (natinal- g grundskleniveau) Fase Input Indsatser Output Resultater (umiddelbare) Effekter (mellemlangt sigt) Effekter (langt sigt) Fritidsaktiviteter Scialt netværk Scialt netværk Øknmisk støtte Lektiehjælpscafé Hjælp til lektier Øget mtivatin Bpæl Anvise handlingsstrategier Bedre karakterer Kmmunale tiltag Gd intern debat i klassen Fælles kultur fremdyrkes Lærepladser Prces Unge RM Den gde histrie Øget mtivatin Kulturfrskelle UVM tiltag belyses Mere tlerance Flere tsprg. påbeg. en ung.udd. Flere tsprgede får en ung.udd. Varig tilknytning til arb. markedet Samfundsøknmi Scial ansvarlighed Frældres uddannelse Tilfredshed med Arrangementet Lav prestige ved manuel arbejde Flere tsprg. er på ung.udd. tre måneder Knsulentbistand Frældre RM Uddannelse hs ældre søskende Større frståelse fr udd. syst. Kntakt til ressurcesvage frældre Øget viden m fritidsakt. Øget dialg ml. skle g frældre Privatøknmi I frbindelse med at tilvejebringe den frnødne infrmatin til effektevalueringen af de tre frskellige indsatser indsamles infrmatin fra tre frskellige niveauer, hhv. natinalt, institutins/skle- g individniveau. Disse niveauer vil have et specifikt fkus i frhld til at indsamle infrmatin fra en eller flere af faserne i den pstillede frandringsteretiske ramme. Af den verrdnede evalueringsramme angivet nedenfr fremgår det, at Ernst & Yung vil anvende t verrdnede kvantitative indikatrer på både det natinale niveau g på grundskleniveau. Følgende indikatrer er valgt: Afgangskarakterer fr 9. klasse (virkning på mellemlangt sigt) 7. Andelen af elever der vergår til ungdmsuddannelser g stadig er tilmeldt efter tre måneder (virkning på mellemlangt sigt). Indikatrerne viser m de pågældende indsatser har haft en indvirkning, men det statistiske datamateriale kan dg ikke i sig selv bibringe en udtømmende frklaring, hvilket er årsagen til, at der benyttes kvalitative metder til yderligere afdækning g validering. 6 De røde bkse er eksempler på eksgene faktrer, der kan påvirke Brug fr alle unges ambitin m, at flere tsprgede fuldfører en ungdmsuddannelse g dernæst pnår varig tilknytning til arbejdsmarkedet. 7 Udviklingen i 9. klassernes afgangskarakterer er beregnet på baggrund af gennemsnittet i frhld til de fag, hvr 9. klasserne hvert år er til eksamen i bundne prøvefag. Årskaraktererne er således frasrteret, da de i højere grad bygger på et subjektivt grundlag. Afgangskarakterer er derimd tildelt af en uvildig censr g frventes derfr at være mere bjektive g sammenlignelige i frhld til andre grundsklers karakterer. - 12 -
På natinalt g grundskleniveau vil vi benytte de kvantitative indikatrer til at fastlægge en baseline, sm vi vil benytte i senere rapprter til at fastlægge en eventuel udvikling i frhld til udarbejdelsen af de kmmende evalueringsrapprter. En baseline kan bedst beskrives sm værende et fastlagt udgangspunkt, hvrfra fremtidige målinger pgøres i frhld til. Baseline pgøres både på det natinale niveau g på grundskleniveau. Dette er fr at sikre, at udviklinger på grundskleniveau i psitiv eller negativ retning ikke tilskrives en specifik indsats på den enkelte grundskle, såfremt der har været en tilsvarende udvikling på natinalt niveau. Tabel 1. Overrdnet evalueringsramme frdelt per niveau Niveau Evalueringsspørgsmål Metdiske værktøjer Natinalt niveau 1 Hvilken udvikling har der været i frbindelse med karakterudviklingen i frhld Kvantitativt datamateriale fra til 9. klasses afgangskarakterer på natinalt plan? Undervisningsministeriet hjemmeside. 2. Hvilken udvikling har der været i andelen af elever, der vælger at begynde på Kvantitativt datamateriale fra en ungdmsuddannelse g stadig er i gang med denne ungdmsuddannelse efter Undervisningsministeriet tre måneder? hjemmeside. Grundskleniveau 1. Hvilken betydning har de unge rllemdeller, frældrerllemdeller g Kvantitativt datamateriale fra lektiecaféerne haft fr udviklingen i den pågældende grundskles karakterniveau Undervisningsministeriet i frhld til gennemsnittet fr de bligatriske afgangsfag fr 9. klasse, g hvad hjemmeside. har udviklingen været i denne andel? 2. Hvilken betydning har de unge rllemdeller, frældrerllemdeller g lektiecaféerne haft fr udviklingen i den pågældende grundskles andel af elever, der vælger at starte på en ungdmsuddannelse g stadig er i gang med denne ungdmsuddannelse efter tre måneder? Kvantitativ datamateriale fra Undervisningsministeriet hjemmeside. 3. Hvrdan har den plevede effekt været på krt sigt i frhld til de interviewede lærer/uddannelsesvejledere/skleledere/frivillige? Kvalitative interviews med lærere g uddannelsesvejledere. 4. Hvrdan har den plevede effekt været på mellemlangt sigt i frhld til de interviewede lærer/uddannelsesvejledere/skleledere/frivillige? Kvalitative interviews med lærere g uddannelsesvejledere. Individniveau 1. Hvrdan har den plevede effekt været på den enkelte unge eller frældre på krt sigt? Kvalitative interviews med eleverne. 2. Hvrdan har den plevede effekt været på den enkelte unge eller frældre på mellemlangt sigt? Kvalitative interviews med eleverne. 4.1.1 Natinalt niveau Sm beskrevet vil begge nævnte kvantitative indikatrer blive benyttet i frbindelse med alle de evaluerede indsatser. I nedenstående er resultaterne fr indikatrerne angivet på natinalt niveau. Afgangskarakterer fr 9. klasse (virkning på mellemlangt sigt): Med hensyn til de natinale tal var gennemsnittet i 2006 g 2007 på 8,1 fr landets samlede 9. klasser i frhld til bundne prøvefag, mens den i 2008 steg til 8,2. Med andre rd i frhld til landets samlede 9. klasser har udviklingen været uden nævneværdige udsving i periden. 2006 2007 2008 (7-trinskala) 2008 (13-trinskala) Landsgennemsnit 8,1 8,1 6,4 8,2-13 -
Andelen af elever der vergår til ungdmsuddannelser g stadig er tilmeldt efter tre måneder (virkning på mellemlangt sigt): I frhld til andelen af elever der vergår til ungdmsuddannelser g stadig er tilmeldt uddannelsen efter tre måneder, er der ikke sket nævneværdige frskydninger siden fra 2006 til 2007. Alle ungdmsuddannelserne er frhldsvis stabile, g der er ikke registreret stre frskydninger i disse år 8. (EOU) Overgang til uddannelse efter 3 måneder, i prcent frdelt på uddannelsestype (EOU) Overgang til 2006 2007 Uplyst/ukendt 11,20% 10,30% Grundsklen 48,70% 48,50% Ikke kmpetencegivende udd. 1,10% 0,50% Gymnasiale uddannelser 28,30% 29,50% Erhvervsfaglige uddannelser 10,70% 11,20% Krte videregående uddannelser 0,00% 0,00% Mellemlange videregående uddannelser 0,00% 0,00% Lange videregående uddannelser 0,00% 0,00% Ttal 100,00% 100,00% Ovenstående data anvendes, således at vi i frbindelse med analyse af de pågældende kvantitative data på grundskleniveau kan frvente at finde en tilsvarende udvikling; en eventuel psitiv eller negativ afvigelse (afhængig af dens størrelse) vil kunne vurderes sm værende et resultat af decentrale tiltag, herunder rllemdelindsatsen g lektiecaféerne En sådan vurdering bør dg kntrlleres g underbygges af de kvalitative data. Sm nævnt baseres evalueringen gså på kvalitative data fr at kvalificere evalueringen g fastlægge den plevede effekt hs respndenterne. Den kvalitative evaluering vil fkusere på t niveauer, hhv. grundskle- g individniveau. 4.1.2 Grundskleniveau På grundskleniveau fkuseres på sklerepræsentanter, krdinatrer g frivillige fr at indsamle infrmatin m plevede g mellemlange effekter på institutinsniveau gennem kvalitative interviews. Respndenter inden fr hver indsats udvælges: Unge rllemdeller: Lærere. Frældrerllemdeller: Lærere g frældreambassadører. Lektiecaféerne: Skleledere, frivillige lektiehjælpere g lærere. 4.1.3 Individniveau På individniveau vil vi fkusere på de persner g brugere, sm tiltaget har været rettet imd med henblik på at indsamle infrmatin m den plevede effekt g ptentielt den individuelle udvikling ver tid. De udvalgte respndenter er: Unge rllemdeller: Børn g unge på de udvalgte skler. Frældrerllemdeller: Frældre/frældreambassadører på de udvalgte skler. Lektiecaféerne: Børn g unge der har benyttet lektiecaféerne. 8 Tallene fr 2008 er endnu ikke frigivet fra Undervisningsministeriets side, men frventes tilgængeligt i løbet af efteråret 2009. - 14 -