EVALUERING AF KOMPETENCEBEVISER

Transkript

1 Til Undervisningsministeriet Dokumenttype Rapport Dato Januar, 2014 EVALUERING AF KOMPETENCEBEVISER

2 EVALUERING AF KOMPETENCEBEVISER Rambøll Hannemanns Allé 53 DK-2300 København S T F

3 INDHOLD 1. Resumé Konklusioner 1 2. Introduktion Kompetencebeviset dokumentation og anerkendelse af kompetencer Formålet med evalueringen Metode og datagrundlag Målopfyldelses- og virkningsevaluering Dataindsamling Læsevejledning 7 3. Kompetencebeviset som virkemiddel i produktionsskolernes hverdag Kompetencebeviset formelle krav, konkret eksempel og generelle træk Formelle krav til kompetencebevisets indhold Generelle observationer i forhold til den indholdsmæssige implementering Produktionsskoleforeningens ny skabelon til kompetencebeviset Tilbyder skolerne alle deltagere et kompetencebevis og hvor stor en andel fravælger beviset? Implementering og administration af kompetencebeviser på skolerne Kompetencebevisets relevans og anvendelighed fra et skoleog deltagerperspektiv Leder- og medarbejderperspektivet på relevans og anvendelighed Relevans og anvendelighed fra et deltagerperspektiv Delkonklusion implementering, relevans og anvendelighed Kvaliteten af skoleforløbet Drøftelsen af indholdet i kompetencebeviset Skærpede forløbsplaner og styrket kvalitet af produktionsskoleforløbet Delkonklusioner kompetencebeviset som pædagogisk redskab Kompetencebevisets Umiddelbare resultater for de unge Faglig selvtillid Skoleledere og medarbejderes vurdering af effekt på deltagernes faglige selvtillid De unges oplevelser af kompetencebevisets effekt på deres faglige selvtillid Sammenfatning Motivation for uddannelse 35

4 5.2.1 Skoleledernes og medarbejdernes vurdering af effekt på deltagernes motivation De unges oplevelse af kompetencebevisets effekt på deres motivation for videre uddannelse Sammenfatning Delkonklusion - umiddelbare effekter for de unge Kompetencebevisets betydning for aftagerne Dokumentation af de unges kompetencer Anerkendelse af de unges kompetencer Aftagernes perspektiv på kompetencebevisets anvendelighed Uddannelsesinstitutioners perspektiv på kompetencebevisets anvendelighed Delkonklusioner - et aftagerperspektiv Muligheder for Uddannelse og beskæftigelse Uddannelse og beskæftigelse første måned efter endt forløb på produktionsskole Uddannelse og beskæftigelse tre måneder efter endt forløb på produktionsskole Delkonklusion Konklusioner og opmærksomhedspunkter Konklusioner på evalueringens undersøgelsesspørgsmål Tværgående konklusioner og opmærksomhedspunkter 54 BILAG Bilag 1. Uddannelses- og beskæftigelsesadfærd for deltagere, der har afsluttet produktionsskoleforløb - signifikanstest

5 1 1. RESUMÉ Siden 1. august 2012 har unge, der har gennemført og afsluttet et produktionsskoleforløb, haft krav på at få et udstedt et kompetencebevis, der dokumenterer forløbets varighed, indhold og resultat. Kompetencebeviset blev indført med en ændring af produktionsskoleloven i maj 2012 og er en udmøntning af den politiske aftale "En styrket indsats overfor unge ledige" fra juli Målet er at forbedre de unges chancer for at komme videre i uddannelse eller beskæftigelse. Undervisningsministeriet har bedt Rambøll Management Consulting (herefter Rambøll) om at gennemføre en evaluering af ordningen med kompetencebeviser. Evalueringen skal tilvejebringe et solidt vidensgrundlag, der kan indgå i de aftalte politiske drøftelser om kompetencebeviset. Formålet med evalueringen er for det første at evaluere de umiddelbare erfaringer med kompetencebeviset. Der er i rapportens første del fokus på skolernes indholdsmæssige og administrative implementering af ordningen samt skolernes og deltagernes oplevelse af kompetencebevisernes relevans og anvendelighed. For det andet er formålet at foretage en overordnet vurdering af, om ordningen virker efter hensigten. Der er i rapportens anden del fokus på at afdække, om kompetencebeviserne medvirker til at styrke anerkendelse og dokumentation af de unges kompetencer blandt aftagerne, samt hvorvidt flere unge kommer i job og uddannelse efter ordningen med kompetencebeviser er indført. 1.1 Konklusioner Rambøll har i perioden fra september 2012 fra december 2013 gennemført nærværende følgeevaluering. Evalueringens konklusioner er baseret på spørgeskema- og interviewdata, der er indsamlet løbende blandt ledere og merarbejdere på produktionsskolerne, blandt tidligere deltagere på produktionsskoler samt aftagere fra virksomheder og uddannelsessteder. Der er tillige anvendt udtræk af data fra Indberetningsportalen og Ungedatabasen. Det er evaluators samlede vurdering, at den indholdsmæssige implementering 15 måneder efter ordningens ikrafttrædelse er ved at være på plads på alle skoler. Samtlige produktionsskoler udsteder kompetencebeviser, der lever op til lovgivningens indholdsmæssige krav, når det gælder beskrivelsen af deltagernes faglige kompetencer. Der er blandt ledere og medarbejdere forskellige opfattelser af, hvor stor vægt, der bør lægges på beskrivelsen af deltagernes personlige og sociale kompetencer. En mindre andel af skolerne udarbejder i forbindelse med kompetencebeviset separate beskrivelser af deltagernes personlige og sociale kompetencer, hvilket ikke er i overensstemmelse med bestemmelserne om ordningen. Evalueringen viser, at omtrent 75 procent af alle deltagere, der siden indførelsen af ordningen har gennemført produktionsskoleforløb af en varighed på mere end tre måneder, har modtaget et kompetencebevis. Når cirka en fjerdedel af deltagerne på de lange produktionsskoleforløb ikke får udstedt et kompetencebevis, skyldes det blandt andet, at en del deltagere afbryder skoleforløbet, før det er afsluttet. I forhold til de korte forløb af en varighed på mindre end tre måneder er det relativt få, der fravælger kompetencebeviset. Der er dog indikationer på, at skolerne ikke konsekvent får informeret alle deltagere om, at de har krav på at få udstedt et kompetencebevis. Evalueringen viser, at den administrative implementering er forløbet relativt gnidningsfrit, og der er i løbet af det første halve år etableret et organisatorisk set-up, der sikrer en enkel administration af ordningen. Ud fra en ressourcemæssig betragtning er konklusionen, at størstedelen af skolerne vurderer, at ordningen ikke har medført et øget ressourceforbrug. Omtrent en tredjedel af skolerne vurderer dog, at ordningen med kompetencebeviser har øget ressourceforbruget og peger på, at den er mere tidskrævende at administrere end den lokale praksis, der blev anvendt før indførelsen af ordningen. Skolerne er samlet set positive i deres vurdering af kompetencebevisets relevans og anvendelighed. Dette billede bekræftes af deltagerne. Det er således ganske få, der aktivt

6 2 takker nej til beviset. Der er imidlertid stadig en meget stor andel - 9 ud af 10 deltagere - der ikke er bevidste om, hvad de kan bruge beviset til. Kun få tidligere deltagere har konkrete erfaringer med at anvende kompetencebeviset, efter de har afsluttet produktionsskoleforløbet. Evalueringen viser, at skolernes oplever, at indførelsen af kompetencebeviser desuden har bidraget til at skærpe arbejdet med forløbsplanerne. Hovedparten af de interviewede ledere og medarbejdere vurderer, at skærpelsen af arbejdet med forløbsplanerne har bidraget til at styrke kvaliteten, fordi forløbet i højere grad målrettes den enkeltes behov, samt hvordan læring og progression bliver tydelig. Der kan på baggrund af evalueringen kun drages forsigtige konklusioner om kompetencebevisets betydning for de unges selvtillid og motivation til videre uddannelser. Evalueringer viser, at kompetencebeviset, når det bringes i spil og får en integreret plads i skolernes arbejde med kompetencetavler og forløbsplaner, kan bidrage til at bringe de unges læring og faglige progression endnu mere i fokus end tidligere. Skolerne vurderer, at dette til en vis grad har en effekt på primært deltagernes faglige selvtillid og sekundært deres motivation for at tage en ungdomsuddannelse. Med afsæt i evalueringen kan det konkluderes, at kompetencebeviserne i overensstemmelse med hensigten bidrager til at styrke en mere systematisk dokumentation. Evalueringen viser imidlertid, at kompetencebeviset endnu kun i enkeltstående tilfælde har haft effekter, der rækker udover produktionsskolen og dermed har påvirket aftagerne. Der er blandt uddannelsesinstitutioner såvel som virksomheder et meget begrænset kendskab til ordningen med kompetencebeviser, og det er derfor endnu for tidligt at vurdere, om kompetencebeviset har potentiale til at styrke aftagernes anerkendelse af kompetencer opnået på produktionsskoler. Samlet set viser evalueringen, at der både blandt skoler og aftagere peges på, at det er uhensigtsmæssigt, hvis arbejdet med kompetencebeviset overvejende fokuserer på deltagernes faglige kompetencer på bekostning af et fokus på deltagernes personlige og sociale kompetencer. Aftagerne udtrykker entydigt, at de efterspørger et kompetencebevis, der vægter beskrivelsen af deltagernes personlige og sociale kompetencer højt. Der er i forbindelse med evalueringen foretaget en analyse af uddannelses- og beskæftigelsesadfærden for tidligere deltagere ved produktionsskoler. Denne del af evalueringen viser, at beskæftigelses- og uddannelsesadfærden for deltagere, der har taget produktionsskoleforløb, er ændret i flere henseender, når vi sammenligner adfærden før og efter, at ordningen med kompetencebeviser er indført. Der er imidlertid ikke noget entydigt mønster i udviklingen. Analysen af beskæftigelsesadfærden viser, at der efter indførelsen af kompetencebeviser er sket et mindre, men dog signifikant fald i andelen af produktionsskoledeltagere, der inden for en tre måneders periode overgår til beskæftigelse. I relation til uddannelsesadfærden er udviklingen gået flere veje. En mindre andel af de unge, der har gået på produktionsskole, går videre på en erhvervsuddannelse, mens andelen af unge, der påbegynder grundskoler, forberedende uddannelse eller en gymnasial ungdomsuddannelse, er øget efter indførelsen af ordningen. Endelig er andel af unge, der efter et skoleforløb på en produktionsskole, overgår til offentlig forsørgelse mindsket, efter at ordningen med kompetencebeviser er blevet indført. Det er ikke på baggrund af evalueringen muligt at afgøre, om der er nogen sammenhæng mellem indførelsen af kompetencebeviser og de ændringer, der sker i de unges beskæftigelses- og uddannelsesadfærd. Viden herom vil forudsætte, at der gennemføres en egentlig effektevaluering.

7 3 2. INTRODUKTION 2.1 Kompetencebeviset dokumentation og anerkendelse af kompetencer Siden 1. august 2012 har unge, der har gennemført og afsluttet et produktionsskoleforløb, haft krav på at få et udstedt et kompetencebevis, der dokumenterer forløbets varighed, indhold og resultat. Kompetencebeviset blev indført med en ændring af produktionsskoleloven i maj 2012, der udmøntede den politiske aftale "En styrket indsats overfor unge ledige" fra juli Målet er at forbedre de unges chancer for at komme videre i uddannelse eller beskæftigelse. Udstedelse af kompetencebeviser er et nyt virkemiddel, der skal sikre dokumentation og anerkendelse af de kompetencer, som deltagerne opnår ved at tage et forløb på en produktionsskole. Det er obligatorisk for skolerne at udstede kompetencebeviser for deltagere. En deltager kan fravælge at modtage beviset, hvis forløbet har været kortere end tre måneder. For at styrke indholdet og kvaliteten af kompetencebeviset er undervisningsministeren bemyndiget til at fastsætte nærmere regler herom. Reglerne fremgår af bekendtgørelse nr. 758 af 2. juli 2012 og angiver, hvilke oplysninger kompetencebeviset skal indeholde. Kompetencebeviset skal beskrive de specifikt faglige kompetencer, deltageren har opnået i skoleforløbet, herunder de eventuelt tilknyttede personlige og sociale kompetencer. Skolen skal udstede kompetencebeviset på baggrund af de kompetencemål, der er fastsat i forløbsplanen. 2.2 Formålet med evalueringen Undervisningsministeriet har bedt Rambøll Management Consulting om at gennemføre en evaluering af ordningen med kompetencebeviser. Evalueringen skal tilvejebringe et solidt vidensgrundlag for de politiske drøftelser om kompetencebeviset, der er aftalt som led i lovændringen om ordningen. 1 Formålet med undersøgelsen er dobbelt. For det første er formålet at foretage en overordnet vurdering af, om ordningen virker efter hensigten. Denne del af evalueringen vil have fokus på følgende undersøgelsesspørgsmål: I hvilket omfang vurderes brugen af kompetencebeviser at styrke anerkendelsen af de unges kompetencer opnået på produktionsskoler (oplevet effekt)? I hvilket omfang vurderes brugen af kompetencebeviser at styrke dokumentationen af de unges kompetencer opnået på produktionsskoler (oplevet effekt)? Medfører brugen af kompetencebeviser, at flere unge kommer i job eller uddannelse? Da der ikke er gennemført en egentlig effektevaluering, jf. metodeafsnittet nedenfor, vil denne evaluering ikke forsøge at besvare, om der er en systematisk sammenhæng mellem brugen af kompetencebeviser og en eventuelt ændret beskæftigelses- og uddannelsesadfærd for de unge, der har deltaget i et produktionsskoleforløb efter ordningen med kompetencebeviser er trådt i kraft. Nærværende evaluering giver en indikation af de udfordringer, der er i forhold til at få de unge, der er målgruppen for produktionsskolernes tilbud videre og kan bidrage til at perspektivere det videre arbejde med kompetencebeviset. For det andet er formålet at afdække en række specifikke spørgsmål, der knytter sig til de umiddelbare erfaringer med ordningen. Denne del af evalueringen vil have fokus på følgende temaer: De umiddelbare erfaringer med kompetencebeviset som virkemiddel Den administrative implementering af ordningen Ordningens relevans for forskellige målgrupper (de unge, skolerne og aftagerne) Anvendelighed for den unge. 1 LBK nr. 456 af 23. maj Bekendtgørelse af lov om produktionsskoler.

8 4 2.3 Metode og datagrundlag Målopfyldelses- og virkningsevaluering Der er anvendt et evalueringsdesign, der kombinerer en målopfyldelsesevaluering og en virkningsevaluering, da kombinationen af disse to tilgange både kan give svar på evalueringens centrale undersøgelsesspørgsmål og give et solidt vidensgrundlag for de politiske drøftelser om kompetencebeviset. Formålet med målopfyldelsesevalueringen er for det første at vurdere målopnåelsen og for det andet at vurdere, i hvilken udstrækning eventuelle resultater kan tilskrives indsatsen. Konkret har vi undersøgt, i hvilken grad målsætningerne bag indførelsen af kompetencebeviser om at få flere unge i uddannelse og beskæftigelse er indfriet, samt i hvilken udstrækning der er sket en ændring i uddannelses- og beskæftigelsesadfærden blandt de unge. Virkningsevaluering giver mulighed for at forstå sammenhænge mellem indsats og resultater. Med dette evalueringsmetodiske fokus er der opnået viden om, hvorfor de opnåede effekter er nået, hvordan det er sket, og hvilke faktorer der har været drivkræfter eller barrierer for disse effekter. Et centralt element i arbejdet med virkningsevalueringen har været at udarbejde en forandringsteori, der tydeliggør de antagelser og hypoteser, der ligger bag lovændringen. Arbejdet med forandringsteorien har også bidraget til at synliggøre andre mulige og ikke direkte intenderede effekter af lovændringen. For eksempel er der arbejdet med en hypotese om, at de samtaler, der afholdes mellem produktionsskoledeltagere og lærere som led i udarbejdelsen af kompetencebeviser, kan bidrage til at styrke kvaliteten af produktionsskoleforløbet og dermed øge den unges chance for efterfølgende beskæftigelse og uddannelse. Den udarbejdede forandringsteori har udgjort en strukturerende ramme for såvel dataindsamling som analyse og er gengivet i figur 1. De fuldt optrukne linjer viser de intenderede sammenhængen og virkninger af lovændringen, mens de stiplede linjer viser andre mulige og ikke direkte intenderede sammenhænge og effekter af indførelsen af kompetencebeviser. Figur 2.1. Forandringsteorien om indførelse af kompetencebeviset Boks 2.1 opsummerer de centrale hypoteser, der vil blive undersøgt i forbindelse med evalueringen. Læsevejledningen i afsnit 2.4 nedenfor indeholder en uddybende beskrivelse af, hvordan der i de enkelte afsnit er arbejdet med de hypoteser, der er indeholdt i forandringsteorien.

9 5 Boks 2.1. Oversigt over centrale virkningsmekanismer og hypoteser Følgende er centrale virkemekanismer eller grundlæggende hypoteser bag indførelsen af kompetencebeviser, som vil blive undersøgt som led i evalueringen: 1. Dokumentation: Hvis der indføres kompetencebeviser på produktionsskolerne, styrkes dokumentationen af deltagernes kompetencer, idet de får papir på opnåede kompetencer som led i produktionsskoleforløbet. 2. Anvendelse: Hvis der indføres kompetencebeviser på produktionsskolerne, styrkes anerkendelsen af de unges kompetencer blandt aftagerne, fordi virksomheder og uddannelsesinstitutioner anvender kompetencebeviset i forbindelse med indgåelse af uddannelsesaftaler og optagelse på videre uddannelse. 3. Faglig selvtillid og motivation: Hvis en deltager på produktionsskolerne får udstedt et kompetencebevis, styrkes deres faglige selvtillid, fordi de bliver opmærksomme på, hvad de har lært som led i produktionsskoleforløbet. Dette understøtter motivationen for videre uddannelse. 4. Kvalitet af forløbsplaner og produktionsskoleforløbet: Hvis der indføres kompetencebeviser, så skærpes arbejdet med forløbsplaner, fordi disse skal pege hen mod et konkret produkt, nemlig et kompetencebevis, hvor der foretages en opsamling på indholdet af forløbsplanerne. Dette styrker samtidig kvaliteten af produktionsskoleforløbet, idet forløbet i højere grad målrettes den enkelte elevs behov Dataindsamling Som led i evalueringen har Rambøll indsamlet kvantitative såvel som kvalitative data. Nedenstående figur viser, hvilken type data, der er indsamlet, hvornår data er indsamlet samt hvilke og hvor mange respondenter, der har deltaget i undersøgelsen. Figur 2.2. Oversigt over indsamlet data Kvantitative data Runde 1. runde, september 2013 Produktionsskoler Survey med 70 skoleledere, Deltagere Aftagere Kvalitative data 2. runde, oktober runde, december januar runde, september oktober 2013 (undtagen deltagerne) 3. runde, juni august 2013 Survey med 26 viceskoleledere, 121 værkstedslærere, 39 vejledere samt 9 administrative medarbejdere Interview med 7 forstandere, 2 viceforstandere, 13 værkstedslærere og 4 vejledere fordelt på 10 produktionsskoler Interview med 8 forstandere, 2 viceforstander, 11 værkstedslærere og 9 vejledere på 10 produktionsskoler Interview med 25 tidligere produktionsskoledel tagere Interview med 33 tidligere produktionsskoledel tagere (februar maj 2013) Interview med 45 tidligere produktionsskoledel tagere Interview med 12 uddannelsesinstitutio ner Interview med 1 virksomhed Interview med 14 uddannelsesinstitutio ner Interview med 6 virksomheder

10 6 Validitet og reliabilitet Det forhold, at evalueringen i meget høj grad bygger på primære data, indebærer, at vi har designet spørgeskemaer og spørgeguides med afsæt i de centrale hypoteser og undersøgelsesspørgsmål. Høj datakvalitet er desuden sikret gennem triangulering af metoder (survey, registerdata samt interview) og datakilder (ledere og medarbejdere ved produktionsskoler, deltagere og aftagere). Kvalitet i behandlingen er sikret gennem systematik og transparens. Behandlingen af de kvantitative data er foretaget med i et tæt samarbejde med Rambøll Survey, der blandt andet har forestået pilottest og efterfølgende validering af spørgerammen. I relation til registerdata er der foretaget grundig stikprøvekontrol for at validere data. Centralt for behandlingen af de kvalitative data er den systematiske kodning af interviewreferater i forhold til de opstillede hypoteser og spørgsmål. Specifikke vurderinger og overvejelser i relation til validiteten af såvel kvantitative og kvalitative data fremgår af de enkelte afsnit nedenfor samt i de kapitler, hvor data indgår. Kvalitative interviews I de tre interviewrunder med tidligere produktionsskoledeltagere er der i alt gennemført 103 interviews med unge fra ti udvalgte produktionsskoler, heraf 90 med unge, som har modtaget et kompetencebevis. De unge, som har deltaget i interviewrunderne, er mellem 16 og 25 år. 17 tidligere deltagere er under 18 år,55 er i alderen år, og 24 er i alderen år. Varigheden af de unges forløb på produktionsskolerne spænder fra en måned til halvandet år. Størstedelen af de interviewede deltagere (57) har gået på skolen i 2 måneder. I 1. og 2. interviewrunde med skoleledere og medarbejdere på produktionsskolerne såvel som med aftagere deltager nogle informanter i begge runder. Samtlige interviews er gennemført som telefoninterviews. Det er en effektiv måde at få indsamlet kvalitative data fra et stort antal informanter. En metodisk udfordring kan være, at ikke alle informanter er fortrolige med den form og de rammer, der gør sig gældende i et telefoninterview. Denne udfordring har vi mødt i forbindelse med interviewrunderne med de tidligere deltagere, hvor det for eksempel for nogle unge er uvant at blive bedt om at sætte ord på oplevelser i forbindelse med et skoleforløb, der ligger nogle måneder tilbage. I læsningen af de dele af evalueringen, der baserer sig på det kvalitative datagrundlag, er det vigtigt at have in mente, at kvalitative data ikke er generaliserbare. Når vi i rapporten skriver, at fx hovedparten af de interviewede skoleledere giver udtryk for en holdning, skal det derfor ikke forstås sådan, at denne holdning er udbredt blandt alle skoleledere på produktionsskoler. Dog sammenligner vi, når det er meningsfuldt, det kvalitative data med surveydata (se nedenfor), hvorved den kvalitative analyse gives mere tyngde. Surveydata I september og oktober 2013 har Rambøll gennemført en spørgeskemaundersøgelse blandt 82 produktionsskoler. Der er tale om en totalundersøgelse, som har genereret bred viden om implementering og administration af ordningen samt skolernes erfaringer med og holdninger til ordningen. Surveyen er gennemført i to runder. Første runde med deltagelse af skoleledere genererede kontaktoplysninger til anden runde med viceskoleledere, værkstedslærere, vejledere og andre relevante medarbejdere (herunder administrativt personale). 79 produktionsskoler besvarede spørgeskemaet i første runde, hvilket giver en svarprocent på 95. Dette vidner om en stor interesse for ordningen med kompetencebeviser fra skolernes side. I få tilfælde er invitationen til spørgeskemaundersøgelsen sendt til produktionsskolens generelle adresse, hvorfor en anden end skolelederen i ni tilfælde har besvaret spørgeskemaet. I alt har 70

11 7 skoleledere, fem viceskoleledere, to administrative medarbejdere og to vejledere deltaget i surveyens første runde. I anden runde besvarede 26 viceskoleledere, 121 værkstedslærere, 39 vejledere samt 9 administrative medarbejdere spørgeskemaet. Dette giver en svarprocent på 68, eftersom spørgeskemaet blev sendt ud til 297 medarbejdere på produktionsskolerne. Indberetningsportalen I forbindelse med lovændringen er det blevet bestemt, at produktionsskolerne skal indberette årsagen til Undervisningsministeriet, hvis en deltager afstår fra at modtage et kompetencebevis. Indberetningsportalen er sat op i Rambøll Results, hvorfor Rambøll har adgang til alle indberetninger om årsager til fravalg af kompetencebevis. Imidlertid bør det understreges, at Rambøll ikke er i stand til at vurdere validiteten af data fra indberetningsportalen. Når kontrollen over dataindsamlingen overlades til institutionerne selv, er der lige så mange mulige fejlkilder, som der er institutioner. Resultater baseret på data fra indberetningsportalen skal læses med dette for øje. Registerdata (Ungedatabasen) Med henblik på at undersøge, om ordningen med kompetencebeviser medvirker til, at flere unge kommer i uddannelse eller job, har Rambøll indhentet statistik baseret på Ungedatabasen 2 (UNI C), som giver et samlet overblik over unges uddannelses- og beskæftigelsesstatus ved afslutningen af hver måned fra januar 2011 og til nu. Ungedatabasen er baseret på fortløbende udtræk fra en række administrative systemer i kommuner, uddannelsesinstitutioner, UU-centre, e-indkomstregisteret 3 m.fl. UU-centrene er kildesystem til Ungedatabasen med hensyn til uddannelsesoplysninger vedrørende produktionsskoler, forberedende aktiviteter, særligt tilrettelagt ungdomsuddannelse samt grundskole og efterskole. Data fra Ungedatabasen er behæftet med større usikkerhed end de øvrige statistikker, som indsamles af UNI C, da det ikke gennemgår samme omfattende kvalitetssikring. Til gengæld er data fra Ungedatabasen mere aktuelt 4. Datagrundlaget for den kvantitative analyse i kapitel 8 er baseret på et udtræk fra Ungedatabasen, som dækker perioden til og med Selvom kun data for årige er offentligt tilgængeligt, har Ungedatabasen venligst stillet data for årige til rådighed for Rambølls evaluering. Data for årige har gennemgået en vis kvalitetssikring, mens data for årige endnu ikke er kvalitetssikret. Dette har betydning for validiteten af data. Ungdommens Uddannelsesvejledning i Gribskov Kommune har ikke indberettet data siden juni 2012, hvorfor der ikke findes oplysninger om individer med bopæl i kommunen, som har afsluttet er forløb på produktionsskole efter indførelsen af kompetencebeviser. Ungdommens Uddannelsesvejledning i Københavns Kommune har ikke indberettet data siden december Samtlige individer med bopæl i en af de to kommuner er slettet fra datasættet, da det ellers ville give et skævt billede af uddannelses- og beskæftigelsesadfærd efter endt produktionsskoleforløb blandt unge i de to kommuner. På trods af, at der er tale om registerdata, er der altså ikke tale om en totalundersøgelse. 2.4 Læsevejledning Rapporten indeholder foruden resumé og nærværende indledning fem analysekapitler og et konkluderende kapitel. 2 At statistikken er baseret på Ungedatabasen vil sige, at data ikke er trukket direkte fra Ungedatabasen, men fra en bearbejdet version af Ungedatabasen, hvorfra en månedlig 'i gang'-status kan trækkes. 3 E-indkomstregisteret er et samlet digitalt register, som indeholder oplysninger om alle borgeres indkomstforhold. Alle, der udbetaler løn, dagpenge, kontanthjælp, pension, barsel, SU o. lign. skal indberette til e-indkomstregisteret månedligt. 4 Grunden til, at Rambøll ikke har anvendt UNI C's statistik for produktionsskoler er, at nyeste data er for 2012.

12 Kapitel 3 indledes med en beskrivelse af de umiddelbare erfaringer med kompetencebeviset som virkemiddel. Vi afdækker den administrative implementering, idet forholdene i relation til den administrative implementering kan have betydning for, hvor stor en andel af deltagerne, der faktisk har fået udstedt et kompetencebevis (jf. forandringsteorien). For det andet undersøger vi den oplevede relevans og anvendelighed af kompetencebeviset blandt såvel deltagere som ledere og medarbejdere, idet det vurderes, om disse faktorer kan have betydning for, hvor stor en andel af deltagerne, der forlader produktionsskolen med et kompetencebevis. 8 I kapitel 4 undersøger vi, om og på hvilken måde arbejdet med kompetencebeviset anvendes som et pædagogisk redskab i produktionsskoleforløbet. Omdrejningspunktet for kapitlet er en hypotese om, at arbejdet med kompetencebeviser og særligt det løbende arbejde med kompetencemål, der indgår i både forløbsplanen og kompetencebeviset - styrker kvaliteten af produktionsskoleforløbet. Kapitel 5 afdækker, hvorvidt og hvordan indførelsen af kompetencebeviser har en effekt for unge, som i en kortere eller længere periode går på produktionsskole. Der vil i dette kapitel være fokus på at afprøve forandringsteoriens hypotese om, at udstedelsen af et kompetencebevis, styrker de unges faglige selvtillid, fordi de bliver opmærksomme på, hvad de har lært som led i produktionsskoleforløbet. Dette understøtter motivationen for videre uddannelse. I kapitel 6 undersøger vi tre sammenhængende antagelser i forandringsteorien om dokumentation, anerkendelse og anvendelighed. Vi undersøger for det første, om ordningen med kompetencebeviser har medvirket til at forbedre dokumentation af de faglige kompetencer, unge opnår som led i produktionsskoleforløbet. Dernæst undersøger vi, om kompetencebeviset fremmer aftagernes anerkendelse af den unges kompetencer. Endelig undersøger vi i dette kapitel, hvorvidt aftagerne finder kompetencebeviset anvendeligt, og hvilke justeringer af kompetencebeviset, de vurderer, kan bidrage til at øge relevansen. I kapitel 7 undersøger vi, om der i perioden før og efter indførelsen af ordningen med kompetencebeviser er sket en ændring i uddannelses- og beskæftigelsesadfærden for de unge, der har deltaget i et produktionsskoleforløb. Denne del af undersøgelsen giver en indsigt i udviklingen i den undersøgte periode, der kan bidrage til at perspektivere det videre arbejde med kompetencebeviserne. Kapitel 8 indeholder rapportens hovedkonklusioner samt en række opmærksomhedspunkter, der er fremkommet i forbindelse med evalueringen.

13 9 3. KOMPETENCEBEVISET SOM VIRKEMIDDEL I PRODUKTIONSSKOLERNES HVERDAG I dette kapitel undersøger evaluator, hvordan bestemmelserne om kompetencebeviser er blevet udmøntet i skolernes hverdag, og hvordan ledere, administrativt personale, værkstedslærere, vejledere og ikke mindst deltagerne har taget imod den ny ordning. Med afsæt i et konkret eksempel på et kompetencebevis beskriver vi i afsnit 3.1. de indholdsmæssige karakteristika ved det kompetencebevis, deltagerne får i hånden ved et afsluttet produktionsskoleforløb. Desuden gør vi rede for, hvor mange unge, der har afstået fra at modtage kompetencebeviset. I afsnit 3.2. undersøger vi den administrative implementering og udviklingen af denne i den undersøgte periode. Med afsæt i forandringsteorien undersøger vi, om der er skabt en enkel administration af ordningen, der muliggør udstedelse af kompetencebeviser for alle deltagere. Vi afdækker de implementeringsudfordringer, skolerne er stødt på undervejs, idet vi undersøger, om eventuelle implementeringsudfordringer kan have betydning for, hvor stor en andel af deltagerne, der faktisk har fået udstedt et kompetencebevis. Endelig undersøger vi i afsnit 3.3., hvorvidt ledere og medarbejdere samt produktionsskoledeltagere oplever kompetencebeviset som relevant og anvendeligt. Begge disse faktorer kan udgøre såvel en drivkraft som en barriere for, hvor stor en andel af deltagerne, der forlader produktionsskolen med et kompetencebevis. Der tages udgangspunkt i kvantitative data fra spørgeskemaundersøgelsen med lederne på produktionsskolerne samt kvalitative data indsamlet gennem interviews med skoleledere, værkstedslærere, vejledere og deltagerne. Endelig inddrages interviews med aftagere samt data fra indberetningsportalen. 3.1 Kompetencebeviset formelle krav, konkret eksempel og generelle træk I dette afsnit redegør vi for de formelle krav til kompetencebeviset. De formelle krav sammenlignes med et konkret eksempel, hvorefter vi gør rede for en række generelle træk ved de kompetencebeviser, der aktuelt udmøntes på produktionsskolerne landet over. Datagrundlaget for indeværende afsnit er interview med skoleledere og medarbejdere på produktionsskoler, et mindre antal indsamlede eksempler på skabeloner for kompetencebeviset samt interview med repræsentant fra Produktionsskoleforeningen Formelle krav til kompetencebevisets indhold Det fremgår af produktionsskoleloven, at undervisningsministeren er bemyndiget til at fremsætte nærmere regler om kompetencebeviset. Reglerne fremgår af 11 a, stk. 2. i bekendtgørelse nr. 758 af 2. juli 2012, hvoraf det fremgår, at kompetencebeviset skal indeholde deltagerens navn og CPR-nr., perioden for produktionsskoleforløbet, hvilke undervisningstilbud mv. deltageren har deltaget i, deltagerens opnåede kompetencer, og hvilken produktionsskole, der har udstedt beviset, samt at kompetencebeviset skal udformes i overensstemmelse med nedenstående skabelon, der er indeholdt i bekendtgørelsens bilag 1. Skabelonen er gengivet i boks 3.1. nedenfor.

14 10 Boks 3.1. Bekendtgørelsens formelle krav til kompetencebevisets indhold KOMPETENCEBEVIS Kompetencebeviset er udstedt i henhold til 2, stk. 8, i lov om produktionsskoler Produktionsskole: Deltagerens navn: Deltagerens CPR-nr.: Forløbets startdato: Forløbets slutdato: Periode (Angiv værkstedsperiode) Værksted (Angiv værksted) Periode: Værksted: Deltageren kan: Periode: Værksted: Deltageren kan: Periode (Angiv aktivitetsperioden) Opnåede kompetencer (Angiv deltagerens opnåede specifikt faglige kompetencer, herunder eventuelt tilknyttede personlige og sociale kompetencer) Øvrig aktivitet Opnåede kompetencer (Angiv undervisning efter anden (Angiv deltagerens opnåede specifikt faglige kompetencer, uddannelseslovgivning, herunder eventuelt tilknyttede personlige og sociale meritgivende kombinationsforløb, kompetencer) praktikophold og andre aktiviteter) Periode: Aktivitet: Deltageren kan: Periode: Aktivitet: Deltageren kan: Dato: Skolens underskrift: Produktionsskoler tilbyder undervisningsforløb, der er baseret på praktisk arbejde og produktion. Undervisningen skal bidrage til udvikling af deltagernes personlige, sociale og faglige kompetencer med henblik på at styrke mulighederne for fortsat uddannelse eller overgang til varig beskæftigelse. Af ovenstående skabelon for kompetencebeviset fremgår det, at der i kompetencebeviset skal indgå deltagerens opnåede specifikt faglige kompetencer, herunder eventuelt tilknyttede personlige og sociale kompetencer. Kompetencebeviset skal således indeholde en beskrivelse af deltagerens opnåede faglige kompetencer. Beviset kan tillige indeholde en beskrivelse af personlige og sociale kompetencer. Denne skal være knyttet til beskrivelsen af de faglige kompetencer. Det er således ikke intentionen, at kompetencebeviset skal indeholde en selvstændig beskrivelse af deltagerens personlige og sociale kompetencer. Dette specifikke krav i bekendtgørelsen udgør den primære udfordring i forhold til den indholdsmæssige implementering af ordningen med kompetencebeviser på enkelte produktionsskoler. Udfordringen vil blive undersøgt nærmere i afsnit Et konkret eksempel på et kompetencebevis I forbindelse med evalueringen er der indsamlet et mindre antal eksempler på, hvordan bestemmelserne om kompetencebeviser er blevet udmøntet i praksis. I boks 3.2. gengives et konkret eksempel, som lever op til de formelle indholdsmæssige krav. Boks 3.2. Et eksempel på et kompetencebevis Produktionsskole: Deltagerens navn: Angiv periode: Periode: CPR-nr.: Startdato: Slutdato: Angiv værkstedsaktivitet: Opnåede kompetencer: (Deltagerens opnåede specifikke faglige kompetencer, herunder eventuelt tilknyttede personlige og sociale kompetencer) Køkken: Deltageren kan: Manuelle færdigheder Betjene maskinerne i køkkenet på kyndigt niveau Forståelse for processer Læse en opskrift på rutineret niveau Bage og kende bagemetoder på kyndigt niveau Bage morgenbolle på kyndigt niveau Lave salatbar på kyndigt niveau Tilberede en kold ret på begynderniveau

15 11 Forståelse for værktøj Samle og vedligeholde og passe maskinerne på kyndigt niveau Periode: Periode: Periode: Dato: Forståelse for materialer Sikkerhed og arbejdsmiljø Angiv øvrig aktivitet: (Undervisning efter anden uddannelseslovgivning, meritgivende kombinationsforløb, praktikophold og andre aktiviteter) Aktivitet: Praktik i køkkenet på et plejehjem Aktivitet: Kombinationsforløb på Social- og sundhedsskolen Behandle og opbevare madvarer på kompetent niveau Være opmærksom på sikkerhed omkring maskinerne på kyndigt niveau Overholde hygiejnereglerne på kyndigt niveau Opretholde personlige hygiejne på kompetent niveau Opnåede kompetencer: (Deltagerens opnåede specifikke faglige kompetencer, herunder eventuelt tilknyttede personlige og sociale kompetencer) Deltageren kan: Anrette buffet og servere morgenmad på rutineret niveau. Vaske op på kompetent niveau. Deltageren har arbejdet med: Det sunde menneske og det gode arbejdsmiljø Skolens underskrift: Begynder Rutineret Kompetent Kyndig Ekspert Taksonomi Skal koncentrere sig om at løse forholdsvis enkle opgaver. Skal have præcise instruktioner. Arbejder regelorienteret / op-skriftorienteret. Kan løse enkle, almindelige opgaver. Arbejder erfaringsbaseret. Har stadig behov for nogen instruktion, har begyndende blik over arbejdsprocessen. Arbejder i nogen grad selvstændig. Foretager selv justeringer og tilrettelser i opgaveløsningen. Har overblik over arbejdsprocessen. Har ikke brug for instruktion længere, men har brug for støtte og råd. Arbejder selvstændigt. Opdager og løser uforudsete problemer. Vurderer intuitivt situationen. Har ikke brug for instruktion eller støtte, men bidragsgodkendelser. Arbejder helt selvstændigt. Er sin egen opgaveløsning. Har ikke brug for ledelse i opgaveløsning I ovenstående eksempel er der taget direkte afsæt i skabelonen fra bekendtgørelsens bilag 1. I det konkrete eksempel er der kun indsat ét værksted samt generelle faglige kompetencer. Der kunne principielt tilføjes flere værksteder, hvis det var relevant for den konkrete deltager. De personlige og sociale kompetencer kan, ligesom i skabelonen i bekendtgørelsens bilag 1, beskrives som en tilknytning til de faglige kompetencer under punktet opnåede kompetencer. Deltagerens opnåede kompetencer i hver enkelt funktion vurderes ud fra en taksonomi på fem: begynder, rutineret, kompetent, kyndig og ekspert. Eksemplet lever op til de formelle krav om indholdet i kompetencebeviset. Det er Rambølls vurdering, at samtlige produktionsskolers udarbejder kompetencebeviser, der lever op til lovgivningens indholdsmæssige krav, når det gælder beskrivelsen af de faglige kompetencer Generelle observationer i forhold til den indholdsmæssige implementering Det er muligt at identificere to generelle træk, der er værd at bemærke i relation til den indholdsmæssige udmøntning af kompetencebeviset. For det første anvender skolerne forskellig taksonomi. For det andet er der forskel på, hvorvidt skolerne overholder det formelle krav om beskrivelsen af faglige samt personlige og sociale kompetencer. I nedenstående uddybes disse træk.

16 Forskellig taksonomi Anvendelsen af forskellig taksonomi på skolerne kan anses som et naturligt resultat af, at der ikke er fastsat nationale krav i lovgivningen herom. En forholdsvis stor andel af de interviewede skoleledere og medarbejdere peger på, at de oplever forskelligheden på tværs af produktionsskoler som en barriere for, at aftagerne tager beviset i anvendelse. Derfor bør fælles taksonomi ifølge informanterne indgå som en del af kravene i lovgivningen, således at alle skoler vurderer deltagernes kompetencer ud fra samme skala. En mindre andel af skoleledere og medarbejdere peger desuden på, at en fælles taksonomi kunne have gjort indførelsen af kompetencebeviser lettere og mindre tidskrævende, fordi skolerne således ikke selv skulle udvikle relevante niveauer. I afsnit redegøres der for Produktionsskoleforeningens forsøg på at imødekomme udfordringen med forskellig taksonomi. 12 Beskrivelse af faglige såvel som personlige og sociale kompetencer Det gælder for samtlige skoler, der har deltaget i evalueringen, at de i overensstemmelse med de formelle krav anser beskrivelsen af de faglige kompetencer, som kernen i kompetencebeviset. Skolelederes og medarbejderes holdning til hensigtsmæssigheden af vægtningen mellem faglige, personlige og sociale kompetencer undersøges i afsnit 3.3. Måden, hvorpå skolerne har indarbejdet en beskrivelse af de personlige og sociale kompetencer, varierer. Hovedparten af skolerne vælger ligesom i eksemplet ovenfor at knytte personlige og sociale kompetencer til beskrivelsen af de faglige kompetencer. En mindre andel af skolerne udarbejder en separat beskrivelse af deltagernes personlige og sociale kompetencer, der ikke er knyttet til beskrivelsen af de faglige kompetencer. Den sidste løsning er principielt ikke i overensstemmelse med det formelle krav om, at eventuelle personlige og sociale kompetencer skal knyttes til de faglige kompetencer eller beskrives i en faglig kontekst. Det er indtrykket, at vejledningen til skolerne om, hvordan lovgivningens krav om vægtning mellem faglige, personlige og sociale kompetencer skal forstås og udføres i praksis enten har været utilstrækkelig eller ikke har nået alle i målgruppen. Denne problemstilling behandles også i afsnit Produktionsskoleforeningens ny skabelon til kompetencebeviset Produktionsskoleforeningen har i forbindelse med ikrafttrædelsen af ordningen med kompetencebeviser igangsat projekt Implementering af kompetencebeviset på produktionsskolerne, som løber i perioden september 2012 juni Resultatet af projektet er blandt andet en anbefaling om en fælles standard, der udmøntes i en ny skabelon for kompetencebeviset. Skabelonen forventes at blive videreformidlet til produktionsskolerne og blive gjort tilgængelig på Produktionsskoleforeningens hjemmeside primo Produktionsskoleforeningen standardbevis ses i nedenstående boks 3.3. Boks 3.3. Produktionsskoleforeningens anbefalede skabelon for et standardkompetencebevis, inklusiv anbefalet standardtaksonomi Produktionsskole: X-købing Produktion ssko le Produktionsskolevej 11, 7890X-købing Deltagerens navn: Cpr.nr.: Startdato: Slutdato: Ole Olsen Periode: Værkstedsaktivitet: Opnåede kompetencer: 5 Ni produktionsskoler, som repræsenterer landets fem regioner, har deltaget som projektskoler. I projektet er kompetencebeviset blevet drøftet, erfaringer er blevet udvekslet, og der er blevet sparret med en følgegruppe bestående af repræsentanter fra henholdsvis UU, EUD, DI og LO. Projektets anbefalinger er afslutningsvist drøftet i Produktionsskoleforeningens bestyrelse, blandt forstanderne i de fem regioner samt i følgegruppen.

17 Metalværkstedet Konstruktionsopgave Tegningslæsning Fremstilling af enkeltdele/metal Monteringsopgaver/metal Svejsning CO2 TIC Sikkerhed Kendskab til sikkerhedsregler Maskiner og håndværktøj Materialekendskab Øvet Rutineret Begynder Kompetent Øvet Rutineret Rutineret Rutineret Periode: Øvrig aktivitet: Opnåede kompetencer: Undervisning efter anden udd.lovgivning: Danskundervisning, FVU på VUC X-købing 5 mdr.- forløb á 4 timer/uge Bestået niveau F, dansk Jf. Bilag 1: Eksamensbevis Kombinationsforløb: Produktion og udvikling, EUC X-købing 2 ugers undervisning á 30 timer/uge Øget afklaring og udd. parathed. Jf. Bilag 2: Kombinationsbevis Praktik: X-købing Maskinfabrik, 2 uger Branchekendskab og -afklaring: Jf. Bilag 3: Praktikudtalelse Meritgivende kursus: Arbejdsmiljø og sikkerhed v. svejsning og termisk skæring ( 26 kursus) Jf. Bilag 4: Kursusbevis Dato: Skolens underskrift: Anvendt taksonomi Begynder Arbejder regelorienteret / opskriftorienteret Deltageren har arbejdet med teknikken/funktionen, men skal have præcise instruktioner. Øvet Arbejder erfaringsbaseret Deltageren har begyndende overblik over arbejdsprocessen, men har stadig behov for nogen instruktion. Rutineret Arbejder i nogen grad selvstændigt Deltageren har overblik over arbejdsprocessen, men har ind imellem brug for råd og vejledning. Kompetent Arbejder selvstændigt Deltageren vurderer og korrigerer selv arbejdsprocessen og kan selv være med til at vurdere kvaliteten. Kan instruere andre i opgaven. Ovenstående skabelon følger de standarder, der er angivet af Undervisningsministeriets skabelon, jf. boks 3.1. Der tilføjes en taksonomi, ligesom der gives en række eksempler på, hvordan bilagsdelen kan anvendes til vedhæftning af de specifikke beviser og udtalelser, der er udarbejdet for deltageren i produktionsskoleforløbet (kombinationsbeviser, praktikudtalelser,

18 14 kursusbeviser mv). Med den ny skabelon imødekommer Produktionsskoleforeningen den af skoleledere og medarbejdere påpegede udfordring i en manglende fælles taksonomi og layout. For at understøtte skolerne anvendelse af den ny skabelon afholder Produktionsskoleforeningen to regionale temadage i henholdsvis januar og februar 2014, hvor primært praktikere inviteres til en præsentation af den ny skabelon samt diverse workshops om det konkrete arbejde med beviset. Produktionsskoleforeningen forventer, at hovedparten af landets skoler vil tage den ny skabelon i brug i løbet af 1. kvartal Produktionsskoleforeningen forventer dog, at der vil være skoler, der ikke umiddelbart kan implementere den foreslåede taksonomi, da dem ikke umiddelbart er forenelig med de begreber, disse skoler anvender, i forbindelse med de øvrige pædagogiske redskaber (i forhold til fx realkompetenceafklaring og kompetencetavler) Tilbyder skolerne alle deltagere et kompetencebevis og hvor stor en andel fravælger beviset? I dette afsnit undersøger vi, hvorvidt skolerne lever op til bestemmelsen om, at produktionsskolerne skal udstede et kompetencebevis til alle deltagere, der har afsluttet et produktionsskoleforløb. Det undersøges også, hvor mange af de deltagere, der har gennemført et produktionsskoleforløb med en varighed på mindre end tre måneder, der benytter muligheden for at afstå fra at modtage beviset. Bestemmelsen betyder, at det er obligatorisk for skolerne at udstede kompetencebeviser til alle deltagere, der gennemfører et produktionsskoleforløb. Deltagere, der har gennemført et forløb af en varighed på mindre en tre måneder, kan afstå at modtage kompetencebeviset. Boks 3.4. Produktionsskoleloven, 2, stk. 8 Ved afslutningen af et forløb på en produktionsskole udsteder skolen efter drøftelse med deltageren et kompetencebevis. En deltager kan afstå fra at modtage et kompetencebevis, hvis produktionsskoleforløbet har været kortere end 3 måneder. Af nedenstående tabel fremgår det, at ca. en fjerdedel af de deltagere, der har deltaget i forløb af en varighed på mere end tre måneder i perioden fra august 2012 til november 2013, ikke har modtaget et kompetencebevis. Tabellen viser, at andelen af deltagere, der ikke modtager et kompetencebevis, er højere for de deltagere, der har et produktionsskoleforløb med en varighed på over tre måneder end for deltagere med kortere forløb. Tabel 3.1. Andel af deltagere, der ikke har modtaget et kompetencebevis fordelt på længde af forløb Andel af deltagere, der ikke har modtaget et kompetencebevis fordelt på længde af forløb Antal skoler Procent af skoler 0 2 uger uger uger uger uger 3 mdr Over 3 mdr Uoplyst 5 0 Total Datakilde: UVMs indberetningsportal (den 1. august 2012 d. 4. november 2013).

19 15 Deltagere, der afstår kompetencebeviset Nedenstående tabel viser andelen af deltagere, der har været på skolen under tre måneder, og som benytter muligheden for at afstå kompetencebeviset. Tabel 3.2. Skolernes angivelse af, hvor stor en andel deltagere, der har gennemført forløb på under tre måneder, som har afstået fra at modtage et kompetencebevis Andel af de deltagere, som er påbegyndt et forløb på skolen efter 12. august 2012 og som har været på skolen under tre mdr., takker nej til et kompetencebevis? Antal Procent Under 10 procent Mellem 11 og 20 procent 8 11 Mellem 21 og 30 procent 5 7 Over 30 procent 6 8 Ved ikke Total Som det fremgår af ovenstående tabel gælder det for over halvdelen af skolerne, at mindre end ti procent af de deltagere, som er påbegyndt et forløb på skolen efter 12. august 2012 og som har været på skolen under tre måneder, har afstået kompetencebeviset. En mindre andel af skolerne (8 procent) har oplevet, at over 30 procent af denne gruppe deltagere har afstået kompetencebeviset. De kvalitative interviews blandt skoleledere, medarbejdere og deltagere peger samstemmende på, at det reelt er meget få deltagere, der aktivt afstår kompetencebeviset. Der er samtidig indikationer af, at en betydelig andel af skolerne ikke har fået tilbudt kompetencebeviser til de deltagere, der har været på skolen i mindre end tre måneder. I de tre interviewrunder, der er gennemført med tidligere produktionsskoledeltagere, er der i alt gennemført 103 interviews med unge fra ti udvalgte produktionsskoler. Kun en af de 13 unge, som på interviewtidspunktet ikke havde modtaget et kompetencebevis, har oplyst, at vedkommende aktivt takkede nej hertil. De øvrige 12, hvoraf hovedparten har gennemført forløb af en varighed på mindre end tre måneder, oplyser, at de enten ikke har hørt om kompetencebeviset, eller at de ikke ved, hvorfor de ikke har modtaget det. Der kan være en række forklaringer på, hvorfor det ikke er lykkedes for skolerne de første 15 måneder, ordningen har været gældende, at tilbyde kompetencebeviser til alle deltagere. I afsnit 3.2. og afsnit 3.3 undersøger vi, hvilke forklaringer der kan være herpå. 3.2 Implementering og administration af kompetencebeviser på skolerne I dette afsnit undersøger evaluator sammenhængen mellem den administrative implementering af ordningen og omfanget af den faktiske udstedelse af kompetencebeviser. Med afsæt i forandringsteorien undersøger vi, om der er skabt en enkel administration af ordningen, der muliggør udstedelse af kompetencebeviser for alle deltagere. Vi afdækker de implementeringsudfordringer, skolerne er stødt på undervejs, idet vi undersøger, om eventuelle implementeringsudfordringer kan have betydning for, hvor stor en andel af deltagerne, der faktisk har fået udstedt et kompetencebevis. Nedenstående tabel viser, hvor stor en andel af de deltagere, som er påbegyndt et forløb efter lovændringens ikrafttrædelse, der er blevet tilbudt et kompetencebevis.

20 16 Tabel 3.3. Hvor stor en andel af de deltagere, som er påbegyndt et forløb på skolen efter august 2012, har fået tilbudt et kompetencebevis? Hvor stor en andel af de deltagere, som er påbegyndt et forløb på skolen efter 12. august 2012, har fået tilbudt et kompetencebevis? Antal Procent Ca procent Ca procent Ca procent 2 3 Ingen 1 1 Ved ikke 1 1 Total Som det fremgår af tabellen, har kun halvdelen af skolerne tilbudt procent af skolens deltagere, der er påbegyndt forløbet efter den 12. august 2012, at få udstedt et kompetencebevis. Skoleledere på de resterende skoler er blevet stillet spørgsmål om årsager hertil. I nedenstående tekstboks præsenteres de årsager, som er angivet i spørgeskemaet. Tekstboks 3.5. Årsager til at en andel af deltagere ikke er blevet tilbudt et kompetencebevis SKOLELEDERES OG MEDARBEJDERES ANGIVNE ÅRSAGER TIL, AT EN ANDEL AF DELTAGERE IKKE ER BLEVET TILBUDT ET KOMPETENCEBEVIS 29,1 procent (23) af alle deltagende skoler angiver årsager, der knytter sig til deltagerne 2,5 procent (2) af alle deltagende skoler angiver vanskeligheder med at afse tid som en af årsagerne 10,1 procent (8) af alle deltagende skoler angiver, at det administrative omkring udstedelsen af kompetencebeviset har været forsinket 7,6 procent (6) af alle deltagende skoler angiver, at en it-løsning har været forsinket. I indeværende afsnit vil vi beskæftige os med de to sidste årsager, mens der i afsnit 3.3 vil være fokus på den første årsag. Implementering af administration Tabellen nedenfor viser, hvornår skolernes praksis for udstedelse af kompetencebeviser var på plads. Tabel 3.4. Hvornår var skolens praksis for udstedelse af kompetencebeviser på plads? Hvornår var skolens praksis for udstedelse af kompetencebeviser på plads? Antal Procent September oktober November december Januar februar Senere end dette 9 12 Ved ikke 1 1 Total Som det fremgår af tabellen, havde lidt over halvdelen af skolerne praksis for udstedelse af kompetencebeviser inden for tre måneder efter, lovændringen trådte i kraft. Efter et halvt år gjaldt det 87 procent af skolerne. 12 procent (9 skoler) havde først en praksis for udstedelse på 6 I denne og de følgende tabeller er total 77 i stedet for 79, som er det antal skoler, der har deltaget i første runde af surveyen. Årsagen er, at to skoleledere har ladet en vejleder besvare spørgeskemaet i stedet for dem selv. Vejledere har ikke fået stillet spørgsmål om implementering og administration af ordningen.