PISA- undersøgelserne som et PMS for den danske folkeskole

Transkript

1 PISA- undersøgelserne som et PMS for den danske folkeskole Vejleder: Kristian Mohr Røge Institut for Virksomhedsledelse Aarhus BSS Bachelor Thesis Antal anslag ekskl. blanktegn: Forfattere: Anders Friis Nyegaard Afleveringsdato: Andreas Stenvang Hansen

2 Abstract The purpose of this thesis is to examine whether the PISA tests can be applied as a valid performance management system (PMS) to measure the quality of the students in the Danish Folkeskole. The Danish Folkeskole is essential for the society as it prepares the students to further education, creates business methods and improves creativity, responsibility and independence, which makes it interesting to examine. The purpose of the PISA tests is to examine every third year whether the students are prepared to deal with future challenges. The PISA tests have been criticized among the Danish media, because it seems like it doesn t measure the required output. Experts states that OECD has never presented any data that proves that a good PISA test score is a useful goal for future competitiveness as studies show that there is no correlation between a country s test score and it s BNP. This arise a question whether PISA can be applied as a valid PMS, which will be investigated throughout the thesis. The investigation is based on Otley & Ferreira s PMS framework (2009) that includes twelve questions which highlights all elements of a PMS. The thesis has applied Arbnor & Bjerke s methodological model including the systems view which is based on a holistic and abductive approach. A single case study is assessed to confirm or deny whether the PISA tests are useful in measuring quality objectives for the Danish Folkeskole. The single case study is applied in order for the thesis to have a critical approach to make an indepth investigation and discussion of the topic. A qualitative study is used to examine this. The qualitative study is based on semi-structured expert interviews on which the analysis will be based on. Four interviews with the schools PISA responsible employee are conducted. The analysis is supported by secondary literature consisting of quantitative data, academic articles and reports. The results of the investigation show that the PISA tests as a valid PMS to measure the quality of the Danish Folkeskole contains significant deficiencies. The main issue is that the PISA tests are not directly incorporated in any of the twelve elements of Otley & Ferreira s PMS framework (2009). The lack of involvement in the schools daily routines is mainly a result of the missing focus from Undervisningsministeriet and the municipal councils. The missing focus leads to the fact that Side 1 af 107

3 none of the schools use the PISA tests as a part of their vision/mission-statement. This causes that the PISA tests are difficult to relate and consider daily. Instead, Undervisningsministeriet has established national performance targets that must be given the most attention. For this reason the PISA tests are naturally neglected by the schools as a performance target. Another difficulty is issued in the design of the PISA tests as the schools don t receive any evaluation except from the national test score. Thus, the schools have no chance of using the PISA tests as a PMS as they don t receive any specific data which makes it impossible to identify with. Following this it is also impossible to implement a reward structure as there is nothing to evaluate on. Another weakness is identified in the change of the PISA tests as a PMS. The design of the PISA tests has changed marginally whereas the environment has changed significantly consisting of school reforms. A PMS has to change as the environment changes to maintain the PMS relevant and useful. The PISA tests current design and structure is insufficient as a PMS based on the weaknesses assessed in the analysis. For the PISA tests to be sufficient it requires a list of improvements in the current design. The thesis recommends a 1-year interval of the tests as it would allow the schools to trace a specific progress from year to year. In addition, the schools must receive data upon participation as the foundation for evaluation will be optimized. Lastly, a larger sample is required so the uncertainty of being selected is minimized or eliminated. These recommendations will make the PISA tests more tangible and relevant to use in the schools daily routine in measuring quality. Side 2 af 107

4 1. Indholdsfortegnelse 2. INTRODUKTION PROBLEMFORMULERING Underspørgsmål VIDENSKABSTEORETISK OG METODISK TILGANG DET METODISKE SYNSPUNKT ANTAGELSER DET TEORETISKE PARADIGME DET METODISKE OPERATIVE PARADIGME UNDERSØGELSESOMRÅDE Undersøgelsesdesign Data-indsamling Transskribering Kodning VURDERINGSKRITERIER Pålidelighed Validitet Generaliserbarhed AFGRÆNSNING DEFINITIONER AFHANDLINGENS LITTERATUR PERFORMANCE MANAGEMENT SYSTEM FRAMEWORKETS GRUNDSTEN AFHANDLINGENS FRAMEWORK Spørgsmål 1: Vision og mission Spørgsmål 2: Kritiske succesfaktorer Spørgsmål 3: Organisationsstruktur Spørgsmål 4: Strategier og planer Spørgsmål 5: Performance mål Spørgsmål 6: Target setting Spørgsmål 7: Performance evaluering Spørgsmål 8: Belønningssystem Spørgsmål 9: Information flows, systemer og netværk Spørgsmål 10: Anvendelse Spørgsmål 11: Forandring over tid Spørgsmål 12: Styrker og sammenhænge Sammenfatning af frameworket CASE BESKRIVELSE KRITIK AF PISA-UNDERSØGELSERNE ANALYSE AF PISA-UNDERSØGELSERNE SOM ET PMS FOR DEN DANSKE FOLKESKOLE SPØRGSMÅL 1: VISION OG MISSION SPØRGSMÅL 2: KRITISKE SUCCESFAKTORER SPØRGSMÅL 3: ORGANISATIONSSTRUKTUR SPØRGSMÅL 4: STRATEGIER OG PLANER DELKONKLUSION SPØRGSMÅL SPØRGSMÅL 5: PERFORMANCE MÅL Side 3 af 107

5 7.7 SPØRGSMÅL 6: TARGET SETTING SPØRGSMÅL 7: PERFORMANCE EVALUERING SPØRGSMÅL 8: BELØNNINGSSYSTEM DELKONKLUSION SPØRGSMÅL SPØRGSMÅL 9: INFORMATION FLOWS, SYSTEMER OG NETVÆRK SPØRGSMÅL 10: ANVENDELSE SPØRGSMÅL 11: FORANDRING OVER TID SPØRGSMÅL 12: STYRKER OG SAMMENHÆNGE DELKONKLUSION SPØRGSMÅL DISKUSSION AF PISA-UNDERSØGELSERNE SOM ET PMS FOR DEN DANSKE FOLKESKOLE PISA-UNDERSØGELSERNES SVAGHEDER SOM ET PMS FORSLAG TIL FORBEDRINGER AF PISA-UNDERSØGELSERNE SOM ET PMS KONKLUSION PERSPEKTIVERING LITTERATURLISTE BILAG BILAG 1 TRANSSKRIBERING AF INTERVIEW MED P BILAG 2 TRANSSKRIBERING AF INTERVIEW MED K BILAG 3 TRANSSKRIBERING AF INTERVIEW MED K BILAG 4 TRANSSKRIBERING AF INTERVIEW MED K BILAG 5 K2 S MÅLSÆTNING OG VÆRDIGRUNDLAG - ANSVAR BILAG 6 K2 S MÅLSÆTNING OG VÆRDIGRUNDLAG FAGLIGT MILJØ BILAG 7 P1 S VI VIL, VI KAN, VI SKAL BILAG 8 K2 S UDVIKLINGSPLAN 2014 REFLEKTERET PRAKSIS BILAG 9 K2 S UDVIKLINGSPLAN 2014 OVERSIGT OVER MÅLSÆTNINGER BILAG 10 DATA TIL KARAKTERGENNEMSNIT BILAG 11 DATA TIL KARAKTERGENNEMSNIT Side 4 af 107

6 2. Introduktion Den danske folkeskole er afgørende for det danske samfund, da den skal forberede eleverne til videre uddannelse, udvikle arbejdsmetoder, skabe rammer for kreativitet samt forberede eleverne til medansvar, deltagelse, rettigheder og pligter i samfundet ( 2006). Dette skal ses i lyset af, at disse egenskaber bliver vigtigere og vigtigere i den globale verden i takt med, at antallet af rutinemæssige jobs falder, og efterspørgslen efter folk med analytiske og samarbejdsmæssige kompetencer stiger (Egelund, 2013). På baggrund af dette har Undervisningsministeriet opsat nogle nationale mål for folkeskolens udvikling, som danner udgangspunkt for Undervisningsministeriets dialog med kommunerne og folkeskolerne. Disse omhandler, at andelen af de dygtigste elever skal øges, andelen med dårlige resultater skal reduceres og elevernes trivsel skal øges ( 2015). I denne sammenhæng besluttede Undervisningsministeriet i 1997, at Danmark skulle deltage i de internationale PISA-undersøgelser omhandlende tests i matematik, læsning og naturvidenskab. Undersøgelsen har til formål at måle, og sammenligne landene imellem hvor godt unge er forberedt til at klare udfordringer i dagens informationssamfund. I bedømmelsen af hvad der fører elever og det danske uddannelsessystem til gode resultater, kan PISA-undersøgelserne ses som et pejlemærke (Egelund, 2013). Grundet gennemsnitlige resultater i de seneste undersøgelser har undersøgelserne tiltrukket et større fokus blandt politikere og medierne. Dette har medført et større pres på folkeskolerne for at forbedre resultaterne. Hvorvidt PISA-undersøgelserne kan anvendes som et redskab til at måle på kvaliteten af de danske folkeskoleelever er det store spørgsmål. I Afhandlingen undersøges og argumenteres der for, at PISA-undersøgelserne kan opfattes som mere end et redskab til at sammenligne test-resultater landene imellem. Afhandlingen formoder ligeledes at undersøgelserne kan anvendes som et performance management system (PMS) for de danske folkeskoler, og vil undersøge hvorvidt de kan anvendes til at måle på udviklingen af danske folkeskoleelevers faglige kunnen. Ifølge Otley & Ferreira anses et PMS for at involvere formelle og uformelle mekanismer, processer, systemer og netværk som bliver benyttet af organisationer til at opfylde de mål som bliver stillet af ledelsen. Disse skal hjælpe med at analysere, planlægge, måle, Side 5 af 107

7 kontrollere og belønne, hvilket indgår i den generelle styring af performance, herunder læring og udvikling (Otley & Ferreira, 2009). Denne definition stemmer overens med PISA-undersøgelsernes formål, og opfylder kriterierne for et PMS. Dette skal ses i lyset, af at PISA-undersøgelserne har til formål at belyse læring og udvikling i henhold til de 64 andre deltagende lande gennem løbende måling. 2.1 Problemformulering Formålet med afhandlingen er at undersøge, om der er grundlag for, at PISA undersøgelserne kan anvendes som et valid PMS til måling af de danske folkeskoleelevers faglige kunnen. Nedenstående problemformulering og underspørgsmål har til hensigt at belyse dette. Er der grundlag for, at PISA-undersøgelserne kan anvendes som et valid performance management system til måling af danske folkeskole elevers faglige kunnen? Underspørgsmål - Hvilket formål har PISA-undersøgelserne i forhold til det danske uddannelsessystem og hvad er holdningen i pressen? Dette spørgsmål har til formål at skabe forståelse for, hvad PISA-undersøgelserne indebærer, da disse er den centrale part i afhandlingen. Derudover findes det interessant at undersøge, hvordan holdningen er i pressen, da denne kan have stor betydning for skolernes og nationens holdning til undersøgelserne. - Kan PISA-undersøgelserne anvendes som et valid PMS i henhold til Otley & Ferreira s analytiske framework omkring præstationsmåling? Der vil i analysen blive taget udgangspunkt i Otley & Ferreira s analytiske framework, der indeholder 12 spørgsmål omhandlende forskellige elementer af et PMS. Dette gøres for at analysere, hvorvidt disse stemmer overens med anvendelsen af PISA-undersøgelserne som et PMS. Side 6 af 107

8 - Hvilke svagheder opleves i PISA-undersøgelserne som et PMS og i så fald, hvordan kan de forbedres? Ud fra resultaterne i analysen fra Otley & Ferreira s analytiske framework, diskuteres hvilke svagheder der identificeres i PISA-undersøgelserne som et PMS. Afhængig af analysens resultater, vil spørgsmålet diskutere, hvordan kvaliteten af PISA-undersøgelserne kan opretholdes eller forbedres som et valid PMS. 3. Videnskabsteoretisk og metodisk tilgang Afhandlingens metodiske tilgang tager udgangspunkt i Arbnor & Bjerke s Metodology For Creating Business Knowledge (2009). Der er udvalgt de mest hensigtsmæssige teorier og tilgange i forhold til afhandlingens studie og dennes struktur. Tilgangen er inddelt i fem faser, som hver repræsenterer emner, som anvendes i afhandlingens metodiske opbygning, der sættes i en specifik kontekst. De fem faser er illustreret i nedenstående figur 1. Figur 1: Metodisk model (Arbnor & Bjerke, 2009) Egen tilvirkning Metoden skal ifølge Arbnor & Bjerke (2009) ikke ses som en best practice, men skal derimod forsøge at forklare kompleksiteten ved at simplificere og klarlægge de tilgængelige metoder. 3.1 Det metodiske synspunkt Det metodiske synspunkt tager udgangspunkt i tre metodiske tilgange the analytical view, the systems view og the actors view. The analytical view er ikke interesseret i filosofiske spørgsmål. Denne har en forudindtaget tilgang om, at virkeligheden er fyldt med fakta som Side 7 af 107

9 opfattes summerbare. Arbnor & Bjerke (2009) beskriver denne tilgang ud fra, at hvis man skal sammensætte det bedste fodboldhold, vil man oftest tage den bedste målmand, de bedste forsvarsspillere, de bedste midtbanespillere og de bedste angribere. Dette er dog ikke en garanti for, at have det bedste fodboldhold, da andre aspekter har indflydelse. Teorien fokuserer dermed på individer, som skal skabe en helhed. Af denne grund tages der ikke udgangspunkt i the analytical view, da Otley & Ferreira s framework tager udgangspunkt i en holistisk tilgang. The actors view fokuserer på, at virkeligheden kun eksisterer igennem social konstruktion, hvilket betyder, at virkeligheden er afhængig af aktørerne. Tilgangen findes ikke relevant, da afhandlingen fokuserer på relationerne i PISA-undersøgelserne, og ikke den enkelte aktørs interaktion. The systems view tager udgangspunkt i tre filosofier: holisme, systems theory og structuralism. Systems theory indebærer, at undersøgerne kan analysere og beskrive ethvert objekt, der har til formål at skabe et resultat. Et objekt kan være komponenter i en organisme eller en organisation. Structuralism har en forudsætning om, at strukturelle relationer med fordel kan udforskes og eksponeres. Den tredje filosofi, holisme, omhandler, at man ikke betragter de enkelte komponenter alene, men derimod ser systemet som en helhed (Arbnor & Bjerke, 2009). Disse tre filosofier, der danner the systems view, stemmer overens med formålet for afhandlingens synspunkt, og denne tilgang findes mest relevant. I henhold til systems theory analyserer og beskriver afhandlingens forfattere, hvorvidt PISA-undersøgelserne kan anvendes til måling af kvaliteten blandt danske folkeskoleelever. Structuralism anvendes i det henseende, at afhandlingen tager udgangspunkt i, at PISA-undersøgelserne er det centrale element til at måle kvalitet, hvor undersøgelserne anses for værende komponenterne i systemet. Derudover bygger afhandlingens framework, Otley & Ferreira (2009) på en holistisk tilgang, og derfor findes denne relevant i afhandlingens metode. Afhandlingen tager ikke udgangspunkt i, at enkelte elementer af Otley & Ferreira s framework (2009) skaber kvalitet, men derimod at kvaliteten skabes igennem helheden af de 12 elementer. 3.2 Antagelser Dette berører, hvilke antagelser afhandlingens forfattere har gjort sig inden analyse af afhandlingens problemstilling. Antagelserne går på, at PISA-undersøgelsernes formål og Otley & Ferreira s definition på et PMS stemmer overens, hvilket danner grundlaget for at kunne analysere Side 8 af 107

10 PISA-undersøgelserne som et valid PMS. Analysens resultater vil belyse, hvorvidt denne antagelse er korrekt. 3.3 Det teoretiske paradigme Kuhn definerer, at et paradigme er en samling af argumenter og opfattelser, som deles af en række personer. Et paradigme er en fælles forståelse og teoretisk referenceramme (Bergenholz, 2014). Afhandlingens paradigme er essentielt i forhold til behandlingen og fortolkningen af den indsamlede empiri. Et videnskabeligt paradigme består af Conception of reality, Conception of science, Scientific ideals og Ethical and aesthetical aspects. Disse sættes i relation til the systems view - tilgangen. Conception of reality omhandler, hvordan man opfatter virkeligheden (Arbnor & Bjerke, 2009). Dette skabes gennem objektive og subjektive holdninger. I henhold til PISAundersøgelserne er de objektive holdninger det fakta-baserede output, som undersøgelserne skaber. Derimod indsamles de subjektive holdninger gennem empiriske interviews, der giver en dybere forståelse for, hvordan PISA-undersøgelserne opfattes. Conception of science tager et pragmatisk udgangspunkt i, hvordan PISA-undersøgelserne anvendes på skolerne, samt hvorvidt Otley & Ferreira s PMS teori (2009) stemmer overens med dette. The scientific ideal indebærer at forklare undersøgelsens formål, hvor interne og eksterne forhold forsøges at blive forklaret. Her findes det relevant at undersøge, hvilken indflydelse PISA-undersøgelserne har på skolernes adfærd. Ethical and easthetical aspects tager udgangspunkt i, hvilke hensyn de involverede aktører tager i henhold til den viden, som fremkommer af PISA-undersøgelserne (Arbnor & Bjerke, 2009). Dette kan være forholdet mellem trivsel, karakterer, lærernes indflydelse og økonomien. 3.4 Det metodiske operative paradigme Det operative paradigme relaterer det metodiske synspunkt med et specifikt undersøgelsesområde. Det operative paradigme består af to vigtige elementer: metodiske procedurer og metodikker. Arbnor & Bjerke (2009) er af den tro, at komponenterne i en metodologi skal relatere med hinanden og skal sikre, at elementerne i metoden fungerer som en integreret helhed. Side 9 af 107

11 På baggrund af dette, skal afhandlingens operative paradigme relatere the systems view med PISA-undersøgelserne, hvilket gøres gennem metodiske procedurer og metodikker. Den metodiske procedure henviser til, hvordan undersøgerne inkorporerer, modificerer og udvikler tidligere anvendte teknikker til et metodisk synspunkt. Afhandlingen tager udgangspunkt i tidligere anvendte teknikker i form af Otley & Ferreira s (2009) framework. Hvor metodiske procedurer handler om, at tilegne en teknik til et metodisk synspunkt, så omhandler metodikker, hvordan man anvender disse teknikker. Denne proces er anvendt gennem interviews og akademiske journaler til at fremkomme et metodisk synspunkt. 3.5 Undersøgelsesområde Dette afsnit vil indeholde afhandlingens undersøgelsesdesign, data-indsamling, transskribering og kodning. Dette har til formål at belyse afhandlingens overvejelser og retningslinjer ved anvendelse af brugbar metoder Undersøgelsesdesign Afhandlingen tager udgangspunkt i et single case studie, der omhandler PISA-undersøgelserne som kvalitetsmåling for de danske folkeskoler, og som er lavet ud fra en empirisk undersøgelse. Single case studiet er anvendt, da fokus blot er på én case. Studiets design er valgt af tidsmæssige såvel som praktiske årsager. Den tidsmæssige horisont begrænser studiets undersøgelse over tid, og derfor fravælges blandt andet et longitudinalt studie. Single case studiet er anvendt til at kunne konkludere, hvorvidt PISA-undersøgelserne kan be- eller afkræftes som et kvalitetsredskab for de danske folkeskoler. Formålet er, at have en kritisk indgangsvinkel i forhold til kvaliteten af PISAundersøgelserne, for at afhandlingen kan gå dybdegående og diskuterende ind til emnet. Ifølge Yin (2003), skal et case studie anvendes, når fokus er på at besvare hvordan og hvorfor spørgsmål, hvilket stemmer overens med afhandlingens kvalitative tilgang. Derudover mener Yin (2003) og Baxter & Jack (2008), at et sådant studie skal anvendes, når man ikke kan manipulere adfærden med de involverede respondenter. Afhandlingens udgangspunkt er at tilegne viden fra respondenter og er dermed i tråd med disse argumenter. Afhandlingen tager ydermere udgangspunkt i en intensiv tilgang, da denne har til formål at give en kontekstualiseret og helhedsorienteret beskrivelse af emnet. Dermed er fokus på en dybdegående Side 10 af 107

12 beskrivelse og analyse. Ved et intensivt case studie er det en typisk udfordring at koble det teoretiske udgangspunkt sammen med de empiriske undersøgelser. Disse udfordringer har været gældende i afhandlingens teoretiske framework, da det har været problematisk at inkorporere PISA-undersøgelserne i samtlige 12 elementer af Otley & Ferreira s (2009) framework. I henhold til at afhandlingen tager udgangspunkt i Otley & Ferreira s (2009) teori, anvendes en deduktiv tilgang. Denne teori vil danne grundlag for organiseringen af empiriens indsamlingsmetoder. Jævnfør Abnor & Bjerke (2009) opstår der ligeledes en induktiv tilgang i forbindelse med analysen. Dette skyldes, at der først kan fastlægges endelige relationer i et system efter analysen. En induktiv tilgang er nødvendig for analysen, da de endelige konklusioner, vedrørende PISA-undersøgelserne som et PMS, er uvisse i henhold til afhandlingens udgangspunkt. I og med at der skiftes mellem en induktiv og deduktiv tilgang, benyttes abduktion i denne afhandling Data-indsamling Et kvalitativt udgangspunkt er valgt, da afhandlingen ønsker at lave en dybdegående analyse. Netop dette er en fordel, da det ønskes at afdække en ny problematik set fra en økonomistyringssynsvinkel, som afhandlingens forfattere ikke har været bekendt med før. Kvalitative metoder er ideelle til at udforske ukendte områder (Grønhøj, 2015). På trods af dette, så vil en kvantitativ undersøgelse være mere generaliserbar, men en kvalitativ tilgang fandtes mere relevant i henhold til afhandlingens teoretiske framework og undersøgelsesdesign (Harboe, 2006). Ligeledes anvendes kvantitative data til at illustrere en udvikling i PISA-resultater og karaktergennemsnit. Afhandlingens primære data består af interviews med ekspertpersoner, der har relation til PISAundersøgelserne. Afhandlingens forfattere henvendte sig til de PISA-ansvarlige, hvilket hovedsageligt var skoleledere. Overvejelser omkring at involvere lærere blev diskuteret, men efter kontakt med potentielle respondenter fandtes det ikke relevant, da de ikke havde den fornødne viden omkring PISA-undersøgelserne. Ligeledes er de ansvarlige fra kommunerne og Undervisningsministeriet fravalgt, da afhandlingens hensigt har været at se det i et bredere perspektiv, og dermed interviewe respondenter, der har mulighed for at anvende PISAundersøgelserne i dagligdagen. Blot én respondent på hver skole er blevet interviewet. Hensigten Side 11 af 107

13 var at interviewe privatskoler såvel som kommunalskoler for at dække et bredere perspektiv i analysen. Skolerne er anskaffet tilfældigt gennem kontaktpersoner. Af hensyn til respondenternes ønske om at være anonyme, vil der henvises til disse således: - Privatskole 1. PISA-ansvarlig henvises til som P1 - Kommunal skole 1. PISA-ansvarlig henvises til som K1 - Kommunal skole 2. PISA-ansvarlig henvises til som K2 - Kommunal skole 3. PISA-ansvarlig henvises til som K3 I forbindelse med ovenstående interviews, blev der udarbejdet en interviewguide på baggrund af Otley & Ferreira s (2009) framework. Denne blev udarbejdet, som en guide til, hvordan interviewet kunne forløbe. Interviewguiden blev udarbejdet med en fast struktur og formål, men varierede fra respondent til respondent på baggrund af indsamlede informationer inden interviewene fandt sted. Under interviewene blev visse spørgsmål ændret og andre udeladt, hvis respondenten allerede havde besvaret dette. Dette går i hånd med, at der blev anvendt semistrukturerede interviews, hvilket tillader en dynamisk interaktion. Et semistruktureret interview tillader, at der skabes interaktion mellem interviewer og respondent, hvilket gør det muligt at få uddybende svar. Denne form er ligeledes valgt, da det muliggør en systematisk procedure med mulighed for uddybning fra respondenter såvel som interviewer. Et semistruktureret interview kræver erfaring og opmærksom fra interviewer for at gøre interviewet så uproblematisk som muligt (Kvale & Brinkmann, 2009). Afhandlingens forfattere var bevidste omkring dette, og oplevede forbedrede interview-kompetencer fra interview til interview. Inden hvert interview udnævnte vi en primær interviewer og en sekundær interviewer. Dette havde til formål at skabe et naturligt flow i samtalen og undgå unødvendig forvirring ved at tale i munden på hinanden. Der blev byttet roller til hvert interview, ligesom der blev evalueret på hinandens præstation efterfølgende. Afhandlingens sekundære data består af akademiske journaler samt artikler, rapporter, statistik og tidsskrifter fra internettet. Kvalitative såvel som kvantitative kilder er anvendt, hvor især kvantitative data er med til at danne et overblik (Harboe, 2006). Disse anvendes til at forstærke holdninger indsamlet i interviewene. Derudover er det anvendt til at danne den teoretiske ramme Side 12 af 107

14 for afhandlingen. Af hensyn til at bevare respondenternes anonymitet, men samtidig kunne dokumentere informationer fra skolernes hjemmesider, er udklip fra disse vedlagt som bilag Transskribering Inden interviewenes afholdelse, blev respondenterne adspurgt, hvorvidt interviewene måtte optages som lydfil. Grundet respondenternes accept, trods ønske om anonymitet, lå disse lydfiler til grundlag for, at kunne transskribere interviewene. Dette for at sikre, at grundlaget for analysen var så detaljeret som muligt og for at øge undersøgelsens pålidelighed. Transskribering sikrer, at samtlige pointer og holdninger bliver dokumenteret, så det giver et bedre udgangspunkt og lettere kan anvendes i den senere analyse. Ligeledes sikres unødvendig tidsspild, da der ikke skal spoles frem og tilbage i de forholdsvist store lydfiler (Kvale, 1996). Transskribering kræver en nøjagtig notering af respondentens svar såvel som interviewernes spørgsmål. Dette har været for øje, da det store tidsforbrug til transskribering ellers ikke ville kunne forsvares. Når dette er nævnt, har afhandlingens forfattere dog valgt at fravælge at transskribere overflødige ord som fx øh samt latter, suk og tænkepauser, da disse virker forstyrrende i gennemlæsningen af transskriberingen og ikke bidrager med noget brugbart. På grund af ønsket om anonymitet er sætninger, hvor respondenten afslører sin eller skolens identitet blevet sløret, undladt eller omformuleret for at beskytte respondenten. Derudover er dele af udvalgte sætninger undladt. Dette kan være i forbindelse med, at respondenten starter på en sætning uden at fuldføre den, da respondenten har til hensigt at omformulere sig. Gennem transskribering er afhandlingens forfattere blevet opmærksomme på argumenter og holdninger, som ikke blev bemærket under interviewene, og som kan anvendes i den senere analyse. Hukommelsen har sine begrænsninger, og væsentlige elementer kan blive forglemt, hvis interviewet ikke blev transskriberet (Bryman, 2004) Kodning For at overskueliggøre det kvalitative datasæt der blev transskriberet, er der udarbejdet en kodning af disse data, der har til formål at opdele transskriberingen i mindre og mere relevante dele. Transskribering af interviews giver et stort output af data, og igennem kodning simplificerer det at sammenligne respondenternes holdninger til de respektive emner. Afhandlingens forfattere har fokuseret på at gennemgå transskriberingen og kodningen grundigt, da det kan forekomme, at Side 13 af 107

15 man mister indhold og betydning (Metodeguide.au.dk, 2014). Kodningen er gennemgået slavisk, hvor hvert enkelt spørgsmål/svar inddeles i et af Otley & Ferreira s (2009) tolv elementer af et PMS. 3.6 Vurderingskriterier Det er vigtigt at sikre, at kvaliteten af den metodiske tilgang indeholder den rette kvalitet for at sikre gyldigheden af afhandlingens metode. Denne kvalitet sikres gennem en række vurderingskriterier, såsom pålidelighed, validitet og generaliserbarhed Pålidelighed Pålidelighed, som også omtales som reliabilitet, omhandler hvorvidt en bestemt metode kontinuerligt leder til de samme resultater. Derudover skal resultaterne være konstante over tid, og resultaterne skal være konsistente ved anvendelse af forskellige metoder (Korsgaard, 2015). Ifølge Arbnor og Bjerke (2009) er the systems view mindre kvantitativ orienteret end den analytiske tilgang, hvilket gør, at metodens pålidelighed er mindre præcis. Denne ønskes ikke altid at fremkomme og skal ses i lyset af, at det ikke altid er vigtigt at undersøge måden målingen blev lavet på, men derimod hvad målingen kan anvendes til. Eftersom afhandlingen tager udgangspunkt i en kvalitativ tilgang ud fra the systems view, er det svært at sikre metodens pålidelighed. Der har været nøje overvejelser omkring, hvordan undersøgelsen gøres så pålidelig som mulig. I et forsøg på at sikre dette, er spørgsmålene stilet som åbne og ikke ledende, så respondenternes ærlige mening fremkommer. Gennem respondenternes anonymitet sikres, at de giver svar, som muligvis ikke var fremkommet, hvis de ikke var anonyme, og dermed formodes det, at deres svar er mere pålidelige. Derudover blev respondenterne ved første kontakt, gjort opmærksom på undersøgelsens formål. Dette blev gentaget ved interviewets start, ligesom der blev gjort opmærksom på at skaffe pålidelige og ærlige svar, hvilket respondenterne var indforstået med Validitet Validitet anses som en proces frem for en tilstand. Validitet anvendes til at undersøge forholdet mellem måleinstrumentet og det begreb, som skal måles. I afhandlingens tilfælde referer dette til forholdet mellem Otley & Ferreira s (2009) framework og PISA-undersøgelserne. Validitet Side 14 af 107

16 undersøger den måde, man kommer frem til resultaterne på, og hvorvidt det som findes frem til er velfunderet og velbegrundet, samt hvorledes det er muligt at finde støtte i de bearbejdede data (Korsgaard, 2015). Ifølge Arbnor og Bjerke (2009) skal der igennem the systems view anvendes adskillige primær og sekundær data, hvilket stemmer overens med triangulering, der er et af elementerne i validitet. Denne form for validitet er forsøgt opnået ved brug af så mange respondenter som muligt og anvendelse af adskillig sekundær data. Antallet af respondenter er begrænset grundet det forholdsvist korte tidsaspekt. Et andet element af validitet er member checks. Dette består i, at undersøgelsens resultater præsenteres for de anvendte respondenter, hvilket gør det muligt, at de bliver hørt i forbindelse med de endelige resultater. Afhandlingen sikrer denne validitet ved at udlevere det endelige resultat til respondenterne. Respondenterne vil dog ikke blive hørt og have indflydelse på ændringer af resultater, da ændringer ikke kan foretages efter afleveringsfristen. Dette problem kunne løses ved at aflevere resultaterne til respondenterne i god tid i forhold til afleveringsfristen, men igen opstår problemer med tidsaspektet Generaliserbarhed Generaliserbarhed omhandler, hvorvidt et studie eller undersøgelse kan generaliseres til en større population eller enhed (Korsgaard, 2015). I kvalitative undersøgelser findes det oftest ikke muligt at sikre dette vurderingskriterium. Dette skyldes, at det kræver en repræsentativ undersøgelse i form af en stor stikprøve, hvilket er tidskrævende og ressourcetungt. I afhandlingen er dette ligeledes tilfældet, og det er, ud fra afhandlingens resultater, ikke muligt at generalisere dette til en større population. I stedet kan der laves en analytisk generalisering på baggrund af indsamlet data, som er udvalgt på en sådan måde, at de repræsenterer helheden. Afhandlingen tager udgangspunkt i Otley & Ferreira s (2009) framework, der anvendes som skabelon til de indsamlede data, som ligger til grund for analysen. Dermed er det kollaborationen mellem dette teoretiske framework og den indsamlede empiri, der sikrer en analytisk generaliserbarhed (Antoft & Salomonsen, 2007). 3.7 Afgrænsning Som tidligere nævnt har afhandlingen afgrænset sig til kun at interviewe PISA-ansvarlige på de respektive skoler. Da PISA-undersøgelserne kun finder sted hvert tredje år, har skolerne, som afhandlingen har berørt, valgt at have én, der er ansvarlig for PISA-undersøgelserne. Af den grund har lærere og kontorassistenter ikke haft den fornødne viden omkring undersøgelserne. Side 15 af 107

17 Otley & Ferreira s (2009) framework afgrænser sig fra kultur-aspektet og kontekstuelle faktorer. Dette skyldes, at de anser disse for værende betingede variabler. Afhandlingen afgrænser sig fra direkte at benytte disse to faktorer, men ifølge Otley & Ferreira (2009) er disse faktorer implicit inkorporeret i afhandlingens framework. Afhandlingen fokuserer udelukkende på PISA-undersøgelserne som et PMS til at måle kvaliteten af de danske folkeskoleelever. Af den grund afgrænser afhandlingen sig fra at vurdere, hvor godt et redskab PISA-undersøgelserne er til at sammenligne landenes testscores. Eftersom PISAundersøgelserne udelukkende tester 8. og 9. klasses elever, vil afhandlingen referere til disse, når folkeskoleelevers faglige kunnen omtales. Afhandlingen afgrænser sig fra at involvere 0. til 7. klasse samt 10. klasse. 3.8 Definitioner Gennem udarbejdelsen af afhandlingen bliver begreber som folkeskole, kommunalskole og privatskole anvendt. Afhandlingens forfattere har i høj grad anvendt begrebet kommunalskole, hvorimod respondenterne anvendte begrebet folkeskole. Disse refererer umiddelbart til det samme, men afhandlingen skelner mellem disse. Når respondenterne anvender begrebet folkeskole, så anser de det som en kommunalskole. Afhandlingen distancerer derimod disse begreber. Kommunalskoler dækker over retten til frit at gå i skole uden nogen form for egenbetaling. I modsætning til disse benyttes begrebet privatskole, som dækker over en skole, hvor en årlig betaling for eleven forekommer. Afhandlingens definition af folkeskolen dækker over én samlet enhed af kommunalskole og privatskole. Én af afhandlingens mest hyppigt anvendte elementer er kvalitet. Definitionen på kvalitet varierer væsentligt fra land til land, branche til branche, men også fra virksomhed til virksomhed. Derfor kræves en definition af, hvad kvalitet indebærer i den danske folkeskole. Afhandlingen definerer kvalitet som, at eleverne ud fra egne forudsætninger skal tilegnes højest muligt fagligt niveau og sociale kompetencer, der skaber trivsel blandt eleverne. Disse skal sikre, at eleverne er omstillingsparate til at fortsætte i uddannelsessystemet. Afhandlingen fokuserer hovedsagligt på det faglige aspekt af kvalitet. Side 16 af 107

18 4. Afhandlingens litteratur Afsnittet har til formål at belyse, hvordan Otley & Ferreira kommer frem til en definition af et PMS, som ligger til grund for afhandlingens analyse. Afsnittet vil beskrive, hvilke teorier og overvejelser Otley & Ferreira har gjort sig i udarbejdelsen af det endelige framework. 4.1 Performance management system Redegørelsen af et PMS indebærer, en kort beskrivelse af management control systems (MCS), da dette begreb ligger til grund for Otley & Ferreira s holistiske tilgang til performance. MCS er blevet anvendt og defineret på forskellige måder. Det klassiske syn på MCS, som blev lavet af Anthony (1965), inddelte kontrol i strategisk planlægning, ledelsesmæssig kontrol og operationel kontrol. Han definerede ledelsesmæssig kontrol som en proces, hvorved ledere sikrer, at ressourcer bliver anvendt mest effektivt for, at opnå virksomhedens mål. Dette resulterede således i en manglende sammenhæng mellem den strategiske planlægning og den operationelle kontrol og med MCS (Otley 1999). Derudover resulterede fremgangsmåden i et for snævert syn på MCS, der ikke inkluderede alle emner og relationer involveret i et design og anvendelsen af et MCS (Otley & Ferreira, 2009). Sidenhen har forskellige definitioner af et MCS forekommet. Én af disse er Simons (1995), der anser et MCS som et redskab, der bruges af ledere til at implementere den tilsigtede strategi. Chenhall (2003) definerer det som et systematisk værktøj til management accounting i samarbejde med andre former for kontrol, såsom kulturelle eller personlige kontroller for at opnå de opstillede mål. Otley og Ferreira er af den overbevisning, at MCS er et begrænset begreb, der ikke dækker over helheden inden for performance. Af den årsag foretrækker Otley & Ferreira (2009) at benytte sig af en mere general beskrivelse af performance, for at have en bredere tilgang til styring og kontrol af organisatorisk performance. Otley & Ferreira fremhæver, at begrebet inkluderer alle aspekter af organisationen ikke blot lederne af MCS (Otley & Ferreira, 2009). Af den årsag fremkommer Otley & Ferreira s definition af et PMS. De anerkender at konceptet for PMS er svært at etablere, men definerer begrebet som følger: Side 17 af 107

19 However, we view PMSs as the evolving formal and informal mechanisms, processes, systems, and networks used by organizations for conveying the key objectives and goals elicited by management, for assisting the strategic process and ongoing management through analysis, planning, measurement, control, rewarding, and broadly managing performance, and for supporting and facilitating organizational learning and change (Otley & Ferreira, 2009, s. 264). De definerer et PMS som systemer, processer, mekanismer og netværk, formelle såvel som uformelle, der bruges til at formidle de vigtigste målsætninger opstillet af ledelsen. Disse skal anvendes til at hjælpe den strategiske proces og igangværende ledelse gennem analyse, planlægning, måling, kontrol og belønning, der involveres i den generelle styring af performance, som skal støtte organisatorisk læring og forandring. 4.2 Frameworkets grundsten Otley & Ferreira udarbejdede sit analytiske framework på baggrund af tidligere teoretiske frameworks. Dette afsnit vil identificere og beskrive disse omtalte frameworks. Afhandlingens framework (Otley & Ferreira, 2009) har sine grundsten i Otley s (1999) PMS, Simons (1995) Levers of Control framework og til slut i Otley & Ferreira s framework fra Disse tre havde en stor rolle i udviklingen af det endelige framework som denne afhandling benytter. Af den årsag findes det relevant, at give en kort beskrivelse af de ovennævnte teorier. I 1995 lancerede Robert Simons sit Levers of Control framework, som et værktøj til at implementere og kontrollere forretningsstrategier. Dette framework har fokus på fire kontrolsystemer som er illustreret og beskrevet nedenfor: Figur 2: Levers of Control (Simons, 1995) Side 18 af 107

20 1. Core values er kontrolleret af virksomhedens overbevisning, som fokuserer på sammenhænge mellem strategien og virksomhedens kerneværdier. 2. Risks to be avoided er kontrolleret af virksomhedens begrænsninger, som har fokus på de risici, som skal undgås. 3. Critical performance variables er kontrolleret af virksomhedens forfatning, som har fokus på at overvåge, vurdere og belønne præstation. 4. Strategic uncertainties er kontrolleret af virksomhedens interaktive system. Denne har fokus på at motivere til læring samt processen med udvikling af nye ideer og strategier. For en succesfuld og effektiv implementering af en strategi, skal alle fire kontrolsystemer ifølge Simons (1995) benyttes. Frameworkets største styrker er, at det fokuserer på de strategiske spørgsmål, samt hvordan disse bliver benyttet af virksomheden (Ferreira, 2002). Ifølge Collier (2005) er en af svaghederne, at der ikke ligges nok vægt på den socio-ideologiske kontrol heriblandt virksomhedens kultur, værdier og normer. Dette skal ses i sammenhæng med, at dette framework fokuserer på topledelsen, og derfor undlader at se på organisationen som en helhed. Der er flere ligheder mellem Simons (1995) og Otley s (1999) frameworks. Overordnet er strategien det centrale element i begge frameworks. Otley frameworket fra 1999 består af fem spørgsmål, som Otley argumenterede for at være relevante i processen omkring at udvikle en sammenhængende struktur for et PMS. Det første spørgsmål omhandler, hvilke målsætninger der er essentielle for organisationen, samt hvordan disse evalueres. Det andet omhandler processen omkring formulering og implementering af strategier og planer, samt hvordan disse måles og vurderes. Det tredje omhandler, hvilke performance targets organisationen skal opnå, samt hvordan disse opsættes. Det fjerde har fokus på belønning eller straf, når de ansatte opnår eller fejler performance targets. Det femte og sidste spørgsmål omhandler, hvilke information flows, som er fornødne i forhold til, at organisationen lærer af sine erfaringer samt tilpasser sin nuværende adfærd ud fra dette. Styrkerne ved dette framework er, at det giver en god struktur i forhold til at analysere et MCS som helhed ved at fokusere på de fem kerneområder. Det kan bruges for både profit og non-profit organisationer, hvilket er særligt relevant i denne afhandlings tilfælde. Desuden kan det benyttes i Side 19 af 107

21 case-baserede undersøgelser til, at håndtere store mængder data (Ferreira, 2002). Dette framework har også sine svagheder. Det tager ikke højde for vision og mission, på trods af at disse er kerneelementer i processen af kontrol i organisationer. Ifølge Simons (1995) ignorerer Otleys fem spørgsmål interaktionskontrol som giver mulighed for at foretage udvikling på forskellige hierarkiske niveauer. Det beskæftiger sig mest med det diagnostiske kontrolsystem, der ifølge Stringer (2007) kun giver et snapshot. Det tager ikke hensyn til dynamikken og forandringen i kontrolsystemer. Det sidste kritikpunkt går på, at der fremkommer manglende interaktion mellem de forskellige parter af et PMS. For at imødekomme disse kritikpunkter, udviklede Otley & Ferreira i 2009 et udvidet framework. Dette tager udgangspunkt i Otley s fem spørgsmål fra 1999, men udbygges nu til tolv spørgsmål. Frameworket tager en ny tilgang, der inkluderer et mere holistisk syn på PMS, der skaber et bredere perspektiv af et kontrolsystems rolle i organisationen. Dette framework er illustreret nedenfor: Figur 3: The performance management systems (PMSs) framework (Otley & Ferreira, 2009) Der er to faktorer, der ikke eksplicit er inkorporeret i de 12 spørgsmål. Dette er kontekstuelle faktorer og organisationskultur. Otley & Ferreira anerkender dog, at litteraturen viser, at der er en sammenhæng mellem kontekstuelle faktorer og kontrolsystemets design og brug. Otley & Ferreira Side 20 af 107

22 slår fast, at de kontekstuelle faktorer er inkorporeret implicit i de 12 spørgsmål. To af de kontekstuelle faktorer, strategi og organisationskultur, er allerede eksplicit en del af spørgsmålene, da organisationerne har signifikant indflydelse på disse. Organisationskultur opfattes ifølge Hofstede (1984) som en variabel, der har stor indflydelse på valg og adfærd hos individer. Otley & Ferreira har undladt de kontekstuelle faktorer samt organisatorisk kultur, da disse anses for værende betingede variabler, der højst sandsynligt kan forklare, hvorfor visse mønstre af kontrol er mere eller mindre effektive (Otley & Ferreira, 2009). Otley & Ferreira anser sit framework for at være et værdifuldt redskab, der tillader en effektiv og omfattende beskrivelse af adskillige aspekter af et PMS s design og brug. De påpeger, at det kræves, at spørgsmålene stilles til alle hierarkiske niveauer for, at forstå den overordnede effekt af et PMS. På trods af det forbedrede framework modtog Otley & Ferreira efterfølgende kritik. Stringer (2007) har påpeget, at Otley & Ferreira s udkast fra 2005 gør interaktion mellem forskellige komponenter af et PMS eksplicit, og at det kun er anvendeligt for topledelsen. Otley & Ferreira er enig i det første kritikpunkt, men anser det andet kritikpunkt som værende et for snævert syn af frameworket. Frameworket tilbyder en brugbar liste af spørgsmål, der skal overvejes i en dybdegående analyse af kontrolsystemer (Merchant and Otley, 2007). Ligeledes tilbyder det en logisk struktur, der tillader at identificere de forskellige komponenter af et PMS samt sammenhænge mellem disse komponenter (Otley, 2008). Broadbent og Laughlin (2009) fremhæver vigtigheden af at skabe en forståelse af et PMS i Otley & Ferreira s framework. Broadbent og Laughlin er af den opfattelse, at Otley & Ferreira har inkluderet de sidste fire spørgsmål under kontekst og kultur, hvilket Otley & Ferreira mener, at de har misforstået. Otley & Ferreira anser de otte første spørgsmål som værende kernen af et PMS, og de resterende fire spørgsmål danner en helhed for PMS et og er med til at skabe et holistisk perspektiv i analysen. En tredje kritiker ved navn Collier (2005) brugte frameworket i et longitudinalt studie, hvor han konkluderede, at frameworket var brugbart i en rational forstand, men han kritiserer det for kun Side 21 af 107

23 at inkludere to af Simons kontrolsystemer: diagnostik og interaktive kontroller. Otley & Ferreira giver Collier delvist ret i kritikken, men udfordrer denne kritik på to punkter. De mener, at deres spørgsmål omhandlende vision, mission, kritiske succesfaktorer, strategi og planer samt organisationsstruktur har indflydelse på virksomhedens overbevisning og grænser. Dermed er alle Simons fire kontrolsystemer ifølge Otley & Ferreira inkluderet i deres framework. Derudover var formålet med Collier s studie at bruge Otley & Ferreira s framework til at forstå sammenhænge mellem formelle og uformelle kontroller, og dermed er hans konklusion ifølge Otley & Ferreira ikke overraskende. Collier s kritik kommer på baggrund af frameworket fra 2005, hvorimod de I frameworket fra 2009 har tilføjet koncepter af kontrolsystemer for at vise behovet for at undersøge design og brug af et PMS på forskellige hierarkiske niveauer. 4.3 Afhandlingens framework Otley & Ferreira s framework fra 2009 er udvalgt som afhandlingens analytiske redskab, da den skaber en grundig og struktureret gennemgang af de vigtigste elementer af et PMS. Ligeledes tillader frameworket, at identificere de forskellige komponenter af et PMS og sammenhænge mellem disse. Frameworket er tilegnet profit såvel som non-profit organisationer, og dermed findes dette framework relevant, da afhandlingen beskæftiger sig med en non-profit organisation i form af Undervisningsministeriet. Derudover har afhandlingen valgt Otley & Ferreira s framework frem for Simons Levers of Control, da de argumenterer for, på trods af Collier's kritik, at hans fire kontrolsystemer alle er indarbejdet i de tolv spørgsmål. Der argumenteres af den grund derfor for, at Otley & Ferreira s framework er mere dybdegående. På baggrund af dette mener afhandlingens forfattere, at frameworket gør det muligt at lave en grundig analyse. Afhandlingens næste afsnit har til hensigt, at beskrive de tolv spørgsmål nærmere, som skal bruges i den senere analyse Spørgsmål 1: Vision og mission Det første spørgsmål omhandler organisationens overordnede vision og mission, samt hvordan der gøres opmærksom på disse overfor organisationens medarbejdere. Oftest udtrykkes organisationens vision og mission gennem den retning, som organisationen vil gå, samt hvad deres kerneværdier er. Missionen beskriver det overordnede formål med organisationen i overensstemmelse med de værdier, som er fastlagt, samt forventningerne fra organisationens Side 22 af 107

24 interessenter. Organisationer møder svære og vanskelige mål, som typisk er fastlagt af den øverste ledelse for at opfylde de vigtigste interessenters forventninger. Disse forventninger kan betegnes som konkurrerende i forhold til organisations egne mål og interesser (Otley & Ferreira, 2009). Ifølge Chenhall (2003) kan det ligeledes ses som en identifikation af de krav, som er nødvendige for at tiltrække og fastholde aktionærer, medarbejdere og kunder. Visionen skal derimod ses som et billede af fremtiden, men det er vigtigt, at det fremstår troværdigt, realistisk og bedre end organisationens nuværende situation. Det skal ifølge El-Namaki (1992), opfattes som en proces til at identificere den optimale retning for organisationen. Visionen og mission er begge en del af Simons (1995) core values, som er kontrolleret af organisationens overbevisning, og som fokuserer på sammenhænge mellem strategien og organisationens kerneværdier. Mission og vision er pejlemærker til at styre beslutningsprocessen omkring, hvor og hvordan organisationen skal ændres i forhold til strategier og aktiviteter ud fra ændringer i miljøet og omverdenen (Collins og Porras, 1996). Det er sandsynligt, at nogle organisationer ikke har en klar mission og vision, hvis de f.eks. er underlagt en højere instans, eller ikke finder det relevant. Alle organisationer burde dog være omhyggelige omkring deres mission og vision, hvad enten det kommunikeres ud klart og tydeligt eller i en mere formel udgave (Otley & Ferreira, 2009) Spørgsmål 2: Kritiske succesfaktorer Det andet spørgsmål omhandler, hvilke kritiske succesfaktorer, der er centrale i henhold til organisationens fremtidige succes, og hvordan der gøres opmærksom på disse overfor organisationens ansatte (Otley & Ferreira, 2009). De kritiske succesfaktorer indebærer de aktiviteter, komponenter og kapaciteter, der anses som værende de kritiske forudsætninger for succes i en given organisation på et bestemt tidspunkt (Thompson og Strickland, 2003). Disse kritiske succesfaktorer er organisationen nødsaget til at opfylde, hvis de skal arbejde i den retning, der imødekommer deres fastlagte vision (Rockart 1979). Disse kritiske succesfaktorer kan opfattes som en viden i form af organisationens vision og mission, der bliver bearbejdet og organiseret således, at disse bliver mere eksplicitte og letforståelige. De kritiske succesfaktorer er nødt til at blive målt og vurderet rutinemæssigt indenfor bestemte tidsrammer, hvorefter de kommunikeres ud til organisationens ansatte. Side 23 af 107

25 Ifølge Thomson og Strickland (2003) er det vigtigt, at ledere kun fokuserer på de kritiske succesfaktorer, som har en signifikant betydning for den langsigtede succes for organisationen. Ledere har en tendens til, at fokusere på kritiske succesfaktorer, som har mindre betydning. Det er vigtigt, at hele organisationen er bekendt med de opstillede succesfaktorer, da disse giver et billede af, om organisationens vision og mission bliver succesfuldt opnået (Otley og Ferreira, 2009) Spørgsmål 3: Organisationsstruktur Det tredje spørgsmål omhandler organisationens struktur, samt hvilken indflydelse denne har på et PMS brug og design. Ligeledes fokuserer spørgsmålet på, hvordan dette har indflydelse på den strategiske ledelsesmæssige proces. Ifølge Chenhall (2003) er organisationsstruktur en måde at videreføre roller og opgaver til organisationens ansatte, så organisationen er sikker på, at de ansatte handler indenfor deres ansvarsområde. Der findes forskellige former for organisationsstruktur, hvor en centraliseret eller decentraliseret tilgang kan anvendes. Derudover varierer niveauet af regler og procedurer samt konfiguration hvorpå strukturer, processer og forhold er sat sammen, og hvordan de fungerer som helhed på tværs af organisationen (Johnson et al. 2005). Ligeledes er organisationsstruktur et centralt kontrolelement, der ændres igennem omstrukturering, omorganisering og nytænkning (Keidel, 1994). Af denne grund er dette både en hindring for PMS design og anvendelse, men samtidig er det nødvendigt at organisationen tager stilling til dette i takt med organisationens vækst og udvikling. Organisationsstruktur hænger sammen med organisationens kritiske succesfaktorer og de strategiske beslutninger. Dette skal ses i lyset af, at de kritiske succesfaktorer, som organisationen vælger, for det meste vil betragtes som velegnede i forhold til de eksisterende strukturer i organisationen. I henhold til de strategiske beslutninger, viser flere studier, at det er afgørende, at organisationsstrukturen hænger sammen med strategien (Chandler, 1962; Thompson og Strickland, 2003). Chenhall (2003) argumenterer for, at strategi er implementeret i forholdet mellem MCS og strukturen, ligesom han anbefaler, at de undersøges sammen. Donaldson (1987) er af en anden opfattelse. Han mener, at hvis disse skal hænge sammen, så vil det begrænse Side 24 af 107

26 lederne af organisationen i at udvikle konkurrencedygtige strategier, da det kræver at flere personer involveres i processen. Otley & Ferreira (2009) fastholder i deres framework, at forholdet mellem organisationsstrukturen og organisationens strategi er kompleks, og disse to forhold er indbyrdes afhængige i og med, at de begrænser og støtter hinanden. Dette spørgsmål fremkalder en bredere sammenhæng mellem organisationsstrukturen og de strategiske processer. De strategiske processer omfatter både den strategiske formulering og implementering (Langfield-Smith, 2007). Formulering af strategien omhandler vejen til at imødekomme organisationens mål. Implementeringen fokuserer på, at de strategiske valg bliver inkorporeret i organisationen, ligesom der igennem overvågning skal sikres, at organisationens ønskede resultater forekommer (Mintzberg et al., 2003) Spørgsmål 4: Strategier og planer Det fjerde spørgsmål omhandler organisationens strategier og planer, samt hvilke processer og aktiviteter organisationen har besluttet at igangsætte for at sikre fremtidig succes. Derudover tager spørgsmålet fat i, hvordan disse strategier og planer bliver tilpasset, genereret og kommunikeret til ledere og ansatte (Otley & Ferreira, 2009). Organisationens strategi omhandler, hvilken retning organisationen vil følge for at opnå sine mål på lang sigt (Johnson et al., 2005). Ansoff (1965) og Porter (1980) påpeger, at organisationen skal udvikle styrker, der matcher de kritiske succesfaktorer for at opnå det ønskede output. Jævnfør Chenhall (2003) er det et vigtigt element, at overføre de strategiske mål til de operationelle mål for at opnå en tilpasning af målene. Derudover viser undersøgelser, at et match mellem organisationens miljø, strategi og interne struktur er associeret med øget performance (Otley & Ferreira, 2009). Mange teoretiske redskaber indenfor strategi, såsom Porter s cost leadership og differentiations strategy (1980), er brugbare, når man skal undersøge en specifik organisations strategi. De er brugbare til at identificere, hvordan strategien er overført i organisationens PMS er. Dermed kan disse teoretiske frameworks give indsigt i, hvordan organisationen opfatter sig selv. Otley & Ferreira s framework (2009) udelader at inkludere en specifik strategisk typologi, da Side 25 af 107

27 mange af de teoretiske typologier ikke er brugbare for non-profit organisationer, hvilket er passende for denne afhandlings udgangspunkt. Spørgsmålets fokus ligger på de beslutninger, som ledelsen finder nødvendige, for at skabe en succesfuld udvikling i organisationen. Det hænder, at organisationer har en klar forståelse af, hvad deres vision og mission er, samt at have identificeret sine kritiske succesfaktorer, men ikke har overvejet, hvilke beslutninger, der er nødvendige for at opnå disse mål (Otley & Ferreira, 2009), hvilket gør dette spørgsmål yderst relevant. Spørgsmålet inkluderer den proces, det kræver at udtænke og kommunikere strategier og planer. Otley & Ferreira (2009) er af den overbevisning, at denne proces er ligeså vigtig som outputtet for den strategiske planlægning, og dermed kræver processen væsentlig omtanke. Manglende styring og kommunikation af organisationens strategi er en af de største problemer indenfor kontrol. Dette kan resultere i en manglende forståelse af, hvordan de ansatte kan bidrage til den overordnede strategi (Merchant and Van der Stede, 2007). Derudover tager spørgsmålet fat i, hvordan den strategiske ledelsesproces foregår ved at fokusere på, hvordan disse strategier og planer kommunikeres til ledere og medarbejdere. En strategi kan enten opstå ved hjælp af den traditionelle top-down fremgangsmåde, hvor ledelsen fastsætter den strategiske udarbejdelse og beslutningstagen. Strategien kan ligeledes opstå ved hjælp af bottom-up tilgangen, hvor der skabes et større engagement på alle hierarkiske niveauer af virksomheden. Det viser sig, at en større involveringsgrad på alle hierarkiske niveauer øger forståelsen af strategiens intention, og skaber en bredere tilpasning i organisationen (Balogun and Johnson, 2004) Spørgsmål 5: Performance mål Det femte spørgsmål omhandler, hvordan organisationens performance mål udledes fra organisationens målsætninger, kritiske succesfaktorer, og strategier og planer. Spørgsmålet undersøger samtidig, hvordan disse er specificeret og kommunikeret, samt hvilken rolle de spiller i evaluering af performance. Side 26 af 107

28 Performance mål er finansielle såvel som ikke-finansielle og kan bruges på forskellige hierarkiske niveauer i organisationen. De benyttes til at evaluere succes i henhold til organisationens målsætninger, kritiske succesfaktorer, strategier og planer og for at tilfredsstille forventningerne fra stakeholderne. Disse er identificeret i Otley & Ferreira s framework (2009) og benyttes til at reflektere vigtigheden af performance mål, og belyse hvilken indflydelse disse har på de ansattes adfærd (Otley & Ferreira, 2009). Dette spørgsmål relaterer til to af Simon s (1995) kontrolsystemer de kritiske performance variable og de strategiske usikkerheder. I henhold til de kritiske performance variable belyser spørgsmålet, hvilke af disse mål, der har direkte korrelation med organisationens succes. I henhold til de strategiske usikkerheder belyser spørgsmålet, hvilke mål lederne fokuserer på, samt hvilke de anvender til at påvirke adfærd. Spørgsmålet omhandler dermed, i hvor stor udstrækning performance målene udledes af organisationens målsætninger, kritiske succesfaktorer og strategier og planer til at identificere performance mål som del af den strategiske implementeringsproces. Det er væsentligt, at fokus er på at observere de mål, der bliver benyttet, men også fokusere på områder, hvor mål er fraværende. Det handler ligeledes om at identificere det rette antal performance mål, da ledere har begrænset tid til at observere disse. For mange performance mål reducerer indvirkningen (Kaplan and Norton, 1996) Spørgsmål 6: Target setting Det sjette spørgsmål omhandler, hvilket niveau af performance organisationen finder nødvendigt til at opnå sine performance mål, som identificeres i spørgsmål 5. Derudover undersøger det, hvordan passende targets tilegnes disse mål, samt hvor udfordrende disse performance targets er. Target setting er et kritisk aspekt indenfor performance management da ny litteratur haft fokus på problemet i form af, at anvende target settings til at evaluere og belønne performance. Imidlertid har ingen formået at lave en dybdegående analyse af disse problemer specielt i sammenhæng mellem target setting og andre elementer af et PMS (Stringer, 2007). Side 27 af 107

29 Spørgsmålet reflekterer mellem, hvad der ønskes og hvad der menes at være gennemførligt, når man skal udforme targets for alle aspekter af organisationens performance. Undersøgelser viser, at target setting har en effekt på performance, hvor en moderat sværhedsgrad af målet forbedrer gruppe performance (Fisher et al., 2003). Aggressiv target setting, i situationer hvor der er brug for samarbejde, viser sig ikke at være associeret med bedre performance (Chan, 1998) Spørgsmål 7: Performance evaluering Det syvende spørgsmål omhandler, hvilke processer en organisation følger, når den evaluerer individer, grupper og selve organisationens performance. Generelt er ledere og ansatte mest påvirket af, hvilke områder den øverste ledelse anser som vigtige. Dette skyldes, at hvis de opnår succes indenfor disse områder, så anser de ansatte muligheden for forfremmelse for større. Ifølge Gibbs et al. (2004) er tillid afgørende, så ansatte og ledere ved, at deres evaluering stemmer overens med sandheden. I dette spørgsmål er det vigtigt at pointere, at det ikke kun er individuel performance, men også gruppe performance der kan evalueres på. Derudover viser studier, at ledere, der er evalueret ud fra organisationens profit, opnår bedre resultater, ved at evaluere og benytte en team-tilgang i stedet for en individuel tilgang (Schulz og Pruitt, 1978). Performance evaluering kan være objektiv, subjektiv eller en blanding af disse. I henhold til subjektiv evaluering er individet eller gruppen, som bliver evalueret, ikke underrettet hvilke områder de bliver evalueret på. Fordelen er, at lederne som evaluerer, kan korrigere for identificerbare fejl i performance målingen. Ifølge Ittner et al. (2003) skaber det en usikkerhed, da det kan tillade favorisering. I kontrast til dette kan objektiv performance evaluering anvendes, hvor ansatte og ledere evalueres ud fra faktiske resultater. Af den grund benyttes objektiv performance evaluering mest i situationer, hvor input-output forholdet er tydeligt (Otley & Ferreira, 2009). Ved relativ performance evaluering vurderes individerne internt i organisationen. Dette anvendes til at eliminere eksterne faktorer, så der udelukkende evalueres på, hvordan individerne klarer sig relativt i forhold til hinanden (Dye, 1992). Ifølge Otley & Ferreira (2009) findes ingen signifikante Side 28 af 107

30 beviser til at belyse anvendelsen og effektiviteten af relative performance evalueringer på et lavere hierarkisk niveau Spørgsmål 8: Belønningssystem Det ottende spørgsmål omhandler, hvordan ledere og ansatte belønnes, både finansielt og ikkefinansielt, når de opfylder sine performance targets. Samtidig viser et belønningssystem, om ledere og ansatte bliver straffet for ikke at opfylde deres performance targets. Belønning eller straf til ledere eller ansatte, kommer typisk efter evaluering af deres performance. Af den grund kommer dette spørgsmål i naturlig forlængelse af spørgsmål 7 vedrørende performance evaluering. Yderligere er dette spørgsmål videreført fra Otley s (1999) framework, men forskellen er, at det nu eksplicit fremgår, at belønning både kan være finansielt og ikke-finansielt. Ligeledes er Simons (1995) overbevisnings- og grænsekontrol omkring positiv eller negativ belønning inkorporeret i spørgsmålet. Belønning til ledere eller ansatte kan bunde i alt fra anerkendelse af den øverste ledelse til finansielle belønninger i form af bonusser og lønstigninger. I henhold til de ikke-finansielle belønninger, indeholder det ofte subtile holdninger og adfærd fra lederne i organisationen. Således kan uformel ros eller kritik af en ansat føre til, at det i væsentlig grad påvirker de ansattes adfærd og derigennem organisationens PMS. Forholdet mellem belønning, motivation og performance er kompleks. Belønningssystemer er i en lang årrække blevet anvendt til at motivere ansatte og opnå egne og organisationens mål (Hopwood, 1972). Dette har i en årrække forekommet gennem intrinsisk eller ekstrinsisk motivation. Intrinsisk motivation indebærer f.eks. at opnå tilfredsstillelse med ens job, hvorimod ekstrinsisk motivation kan indebære belønning gennem løn. Dette har ifølge Keer (1975) medført, at mål der ikke belønnes bliver forsømt af de ansatte. Jenkins et. Al (1998) argumenterer mod Keer (1975) ved at fastslå, at finansielle incitamenter ikke altid fører til god performance. Han understreger i stedet, at det muligvis kun øger kvantiteten, men ikke kvaliteten. Siden starten af 00 erne har gruppebelønning tiltrukket stor interesse. Denne belønning sker på baggrund af en gruppepræstation, hvis gruppen som helhed klarer en lang række vanskelige Side 29 af 107

31 udfordringer (Otley & Ferreira, 2009). Studier viser, at gruppebelønninger oftest er effektive (Merchant og Van der Stede, 2007), da det er vanskeligt at identificere den enkelte ansattes bidrag til organisationens samlede performance (Hope og Fraser, 2003b) Spørgsmål 9: Information flows, systemer og netværk Det niende spørgsmål omhandler, hvilke specifikke information flows, heriblandt feedback, feedforward, systemer og netværk, som organisationen benytter i forbindelse med at understøtte sit PMS, da disse er væsentlige mekanismer. Indenfor information flows opereres der med feedback og feedforward, der anvendes i alle moderne organisationer (Otley, 1999). Feedback vedrører, hvordan information i en organisation justeres og forbedres i henhold til tidligere erfaringer. Dette anvendes til at give organisationens ansatte en tilbagemelding på deres seneste performance. Feedforward omhandler derimod, hvordan organisationen anvender information til at lære af erfaringer, skabe nye ideer og rekonstruere strategier og planer. Systemer indebærer det informationssystem og den infrastruktur af informationsteknologi, som anvendes i organisationen. Ifølge Granlund og Mouritsen (2003) kan utilstrækkelige informationssystemer skabe hindringer til kontrolsystemets design og implementering. Kontrolsystemer er bedre til finansiel information end ikke-finansiel information, da kvaliteten af den ikke-finansielle information skal vurderes nøje i henhold til sin sårbarhed overfor manipulation og fejlrapportering (Otley og Ferreira, 2009). Netværk er en del af informationssystemet og informationsteknologiens infrastruktur. Mange organisationer har designet sit netværk således, at adskillige afdelinger har adgang til disse. Der findes både formelle og uformelle netværk. De uformelle netværk tillader at samtlige individer kan dele information, hvilket kan være medvirkende til at skabe en organisations kultur (Otley og Ferreira, 2009). Strukturen mellem performance og kontrolinformation er essentiel i en organisation. Der er en række karakteristikker, der er vigtige for organisationen at fokusere på i henhold til information flows i et PMS. Dette inkluderer informationernes omfang, aktualitet, sammenhæng og integration (Chenhall og Morris, 1986). Side 30 af 107

32 Spørgsmål 10: Anvendelse Det tiende spørgsmål omhandler anvendelsen af et PMS mere konkret, hvilken måde det anvendes ved brug af adskillige informationer og forskellige kontrolmekanismer. Det undersøger, hvorvidt anvendelsen af et PMS kan karakteriseres i forskellige litterære typologier. Derudover undersøger spørgsmålet, hvordan kontroller anvendes på forskellige hierarkiske niveauer (Otley & Ferreira, 2009). Anvendelsen af informationer og kontroller er et vigtigt element i benyttelsen af et PMS. Case studier viser, at anvendelsen af informationer i kontrolsystemet kan være mere signifikant for et PMS end selve designet og kontrollen af systemet (Ferreira, 2002). Anvendelsen af et PMS er endnu ikke et veludviklet fænomen i litteraturen. Simon s Levers of control (1995), og konceptet angående interaktiv brug af kontrolsystemer, anses som et af de eneste bidrag til anvendelsen af et PMS. Dette fænomen forekommer utilstrækkeligt i studier for interaktiv kontrol, hvor Simons, som tidligere nævnt, inddeler anvendelsen i 5 delområder. Broadbent og Laughlin s (2007) teori går på, at anvendelsen af et PMS inddeles i transactional og relational anvendelser. En transactional anvendelse har en klar forståelse for, hvad man vil opnå, hvilket kan foretages gennem target setting og performance mål. En relational anvendelse er derimod mindre specifik i henhold til, hvad man vil opnå, men er derimod meget præcis ved anvendelse. Disse tilgange repræsenterer ideale metoder, hvor det ikke nødvendigvis fungerer i praksis (Broadbent and Laughlin, 2007). Otley og Ferreira (2009) anerkender Broadbent og Laughlin s (2007) arbejde, da det fokuserer på organisationens analytiske niveau indenfor anvendelsen af et PMS. Brugen af transactional og relational kendetegner den overordnede brug af et PMS, som skabes af en række kontrolmekanismer på tværs af organisationen (Otley & Ferreira, 2009) Spørgsmål 11: Forandring over tid Det ellevte spørgsmål omhandler, hvordan PMS et har ændret sig i forbindelse med organisationens udvikling og miljø. Derudover undersøger spørgsmålet, hvorvidt ændringer i PMS design og anvendelse har haft en positiv eller negativ effekt. Side 31 af 107

33 Tidligere har ændringer og dynamik ikke været inkluderet i Otley & Ferreira s arbejde. I og med at miljøet og organisationen ændrer sig over tid, kræver det at PMS et ændres for at bevare det relevant og brugbart. Ændringer i PMS et involverer designet, samt hvordan informationen anvendes. Spørgsmålet berører ikke processen omkring ændringer, men fokuserer derimod på omfang og typer af ændringer, som er sket i henhold til PMS design og brug. Et vigtigt element i dette spørgsmål er de dynamiske ændringer, der er inkorporeret i PMS design, da det medvirker til forståelsen af, hvordan dele af PMS et relaterer med hinanden. Det fokuserer på, hvordan et ufuldkomment PMS design kan resultere i, at systemet ikke fungerer sammenhængende. Det findes ligeledes relevant at overveje de strategiske ændringer, da organisationer befinder sig i et øget konkurrencepræget miljø. Organisationens strategi er et afgørende element i PMS et, og ændringer i strategien kan forårsage ændringer i hele PMS et. Dermed findes strategiske ændringer relevant, da det hjælper med at forstå funktionaliteten af et PMS (Otley & Ferreira, 2009) Spørgsmål 12: Styrker og sammenhænge Det tolvte spørgsmål omhandler, hvor stærkt og sammenhængende de enkelte komponenter af PMS et er. Derudover undersøger spørgsmålet, hvordan de enkelte komponenter anvendes, og fokuserer på helheden af frameworket. I forståelsen af hvordan et PMS fungerer, er det afgørende at observere styrker og sammenhænge imellem de enkelte komponenter af PMS et, hvilket er argumentationen for, at Otley & Ferreira har medtaget dette spørgsmål i det udvidede framework. De foregående elleve spørgsmål indeholder overlappende elementer, hvilket er med til at sikre den teoretiske baggrund for, at de forskellige komponenter af et PMS samarbejder. For at skabe et effektivt output er det afgørende, at disse komponenter koordinerer og samarbejder. Et studie omhandlende dette viser, at kontrolfejl kan fremkomme i tilfælde af, at komponenterne i PMS et ikke samarbejder (Ferreira, 2002). Når man skal vurdere styrker og sammenhænge af et PMS, mener Chenhall (2003), at det undersøges i hvilket omfang kontrolsystemet giver informationer omkring, hvordan Side 32 af 107

34 organisationen relaterer til sit eksterne miljø, og hvordan det formår at tilpasse sig dette. Det skal samtidig overvejes i hvilket omfang organisationens performance målsætninger afspejler strategien, samt hvordan denne strategi overføres til de vigtigste succesfaktorer (Van der Stede et al., 2006). Når man observerer PMS et på forskellige hierarkiske niveauer, kan der opstå manglende sammenhænge, eftersom ændringer lavet på et hierarkisk niveau ikke automatisk overføres til det næste. Styrker og sammenhænge mellem komponenterne i et PMS er uden tvivl det mest udfordrende aspekt ved frameworket, men det er samtidig fundamentalt for, at PMS et skal fungere optimalt (Otley & Ferreira, 2009) Sammenfatning af frameworket De ovenstående tolv spørgsmål danner rammen for Otley & Ferreira s (2009) framework, der ligger til grundlag for analysen af, hvorvidt PISA-undersøgelserne kan anvendes som et valid PMS til måling af de danske folkeskoleelevers faglige kunnen. Frameworket er udarbejdet på baggrund af tidligere research, der danner ramme for dette udvidede framework. Et udkast til frameworket udkom i 2005, og siden har Otley & Ferreira tilpasset frameworket ud fra konstruktiv kritik fra diverse professorer. Otley & Ferreira ligger vægt på, at der ikke findes nogen konsistens mellem de forskellige aktiviteter fra en del af organisationen til en anden. Derudover understreger de, at frameworket handler om at hjælpe organisationer med at tage et snap-shot af organisationens aktiviteter på et givent tidspunkt, samt give et indblik i hvordan disse aktiviteter har udviklet sig (Otley & Ferreira, 2009). Side 33 af 107

35 5. Case beskrivelse I 1997 blev det af Undervisningsministeriet besluttet, at Danmark skulle deltage i Programme for International Student Assessment, hvilket afhandlingen omtaler som PISA. PISA er et samarbejde mellem regeringer i OECD-medlemslande, hvoraf der i 2012-undersøgelsen var 65 deltagende lande. Undersøgelserne tester elever på tværs af deltagende lande, og har til formål at sammenligne landenes test-resultater. PISA-undersøgelserne i Danmark gennemføres af Det Nationale Institut for Kommuners og Regioners Analyse og Forskning, Danmarks institut for Pædagogik og Uddannelse (DPU), Aarhus Universitet og Det Nationale Forskningscenter for Velfærd. Formålet med undersøgelserne er at belyse hvor forberedte unge er til at håndtere udfordringerne i dagens informationssamfund. Dette bunder i, at det har afgørende betydning for jobmuligheder i fremtiden, at det enkelte individ fortsætter i uddannelsessystemet efter folkeskolen. Derudover er det afgørende for samfundets generelle vækst og velfærd, at flere vælger at tage en længere uddannelse (Egelund, 2013). Undersøgelserne skal ligeledes viderebringe informationer omkring læringsresultater ud fra sammenlignelige tal til politikere, praktikere og uddannelsesadministratorer. Dette anvendes til at understøtte og bidrage til ressourceallokeringer og politiske beslutninger. I 2012-undersøgelsen befandt Danmark sig ikke statistisk signifikant fra OECD-gennemsnittet og var placeret som nummer 22, 25 og 27 i henholdsvis matematik, læsning og naturvidenskab (Nielsen, 2014; Egelund, 2013). Den første PISA-undersøgelse blev gennemført i år 2000 og udføres hvert tredje år hvoraf den seneste blev afholdt i Danmark har deltaget i samtlige seks undersøgelser. Undersøgelsen i 2015 er gennemført, men resultaterne foreligger ikke endnu. Disse omfattende kvantitative undersøgelser havde i år deltagende lande, 41 deltagende lande i år 2003 og siden er antallet vokset stødt til 65 deltagende lande i 2012, som tilsammen udgør næsten 90 % af verdensøkonomien. I henhold til den danske PISA-undersøgelse fra år 2012 deltog elever fra 339 forskellige uddannelsesinstitutioner, inklusiv offentlige og private skoler. For skolernes vedkommende er deltagelsen frivillig i de fleste lande. Det skal pointeres, at hvis mere end 15 % af de udvalgte skoler melder fra, kan resultaterne ikke anvendes i den internationale rapport. I Side 34 af 107

36 samtlige af de deltagende lande forekommer stramme regler i udvælgelsen af, hvilke skoler og elever der benyttes. Ved 2012-undersøgelsen i Danmark blev der udvalgt et stort antal tosprogede skoler og elever for at dække et repræsentativt udsnit (Egelund, 2013). Eleverne bliver verden over testet i de samme tre faglige områder omhandlende læsning, matematik og naturvidenskab. Undersøgelsen er opbygget således, at et af disse er hovedområdet, hvilket indebærer, at dette område dækkes grundigere end de to andre i undersøgelsen. Hovedområdet skifter fra undersøgelse til undersøgelse. Ifølge Niels Egelund (2013) måler undersøgelserne ikke kun paratviden og indlærte færdigheder i og med, at 40 % af opgaverne stilles som åbne spørgsmål. Det betyder at eleverne har mulighed for at beskrive og vurdere med egne ord. For at gøre det sammenligneligt på tværs af landende, så bliver disse åbne opgaver vurderet af særligt uddannende bedømmere. Udover elevernes svar, indgår også baggrundsoplysninger i vurderingen. Dette omfatter køn, sprog der tales i hjemmet, holdning til skolegang, familiebaggrund, immigrantstatus, fritidsaktiviteter og socioøkonomisk baggrund. Side 35 af 107

37 6. Kritik af PISA-undersøgelserne De danske folkeskoler har som nævnt, deltaget i PISA-undersøgelserne siden år Undersøgelserne har imidlertid mødt en del kritik i danske såvel som internationale medier, og derfor findes det relevant at belyse. PISA-undersøgelsernes formål er at teste hvorvidt eleverne er forberedte til at klare fremtidens udfordringer. Eksperter mener ikke, at det er hvad undersøgelserne tester. Den norske projektleder Svein Sjøberg argumenterer for, at OECD aldrig har fremlagt data, der beviser, at en god testscore er et brugbart mål for fremtidig konkurrenceevne. I den sammenhæng henviser han til amerikanske studier, der viser, at der ikke er nogen sammenhæng mellem et lands PISA testscore og BNP. Dette antages at være retvisende at sammenligne med PISA-undersøgelsernes formål in mente (Thorup, 2014). Ulf Lundgren, som er en af PISA-undersøgelsernes grundlæggere, mener at politikkerne fokuserer for intenst på at forbedre elevernes testscore for at opnå en bedre rangering. Dermed negligerer man at analysere den tilgængelige viden, som PISA-undersøgelserne skaffer. Samtidig fortæller han, at der er sket en tabloidisering af resultaterne i den offentlige debat. De involverede lande forsøger at styre uddannelsen imod at skabe en god placering i PISA-undersøgelserne, hvilket skaber en standardisering af skolesystemerne. Ulf Lundgren mener, at dette skaber et misforstået billede af, hvad PISA-undersøgelserne bidrager til. Eleverne har behov for flere kompetencer end dem PISA-undersøgelserne bidrager til. Et synspunkt som formanden for det danske PISAkonsortium, Niels Egelund, deler: Politikernes fokus er på PISA-resultaterne og kun dem. Men PISA er et primitivt redskab til at måle elevers samlede, generelle kompetencer. (Thorup, 2014). Kritikken af PISA-undersøgelserne uddybes af lektor ved Danmarks institut for Pædagogik og Uddannelse (DPU), Jan Mejding, der mener, at placeringen på ranglisterne ikke er det centrale ved PISA-undersøgelserne. Derimod bør man fokusere på de forventninger, der tilskrives de danske folkeskoleelever og samtidig undersøge, hvilke færdigheder de reelt har tilegnet sig. Han henviser til en rapport fra DPU, der viser, at elever der klarer sig mindre godt i PISA-undersøgelserne, og dermed ikke spås til at få succes på ungdomsuddannelser, i høj grad gennemfører Side 36 af 107

38 ungdomsuddannelser. Kritikken understøttes af Svend Kreiner, som er professor i statistik. Gennem sin statistiske evidens, kritiserer han PISA-undersøgelserne, da han mener, at undersøgelserne ikke viser noget om elevernes faglige niveau i forhold til elever fra andre lande (Olsen, 2013). PISA-undersøgelserne har, ligesom i de danske medier, været genstand for en del kritik i de internationale medier siden indførelsen i år Den 6. maj 2014 publicerede The Guardian brevet OECD and PISA tests are damaging education worldwide (Andrews, 2014), som var direkte sendt til PISA direktør Dr. Schleicher. The Guardian anvendte professorer fra især europæiske og amerikanske universiteter, til at underskrive dette brev for at vise deres opbakning. Derudover havde andre indflydelsesrige offentlige personer underskrevet. Publiceringen gav genlyd i verdenspressen og satte stor fokus på PISA-undersøgelserne. PISA-direktør Dr. Schleichers modsvar til denne publicering fik på ingen måde samme opmærksomhed. Dette var med til at belyse, at verdenspressen var mere interesseret i kritikken end forsvaret (Štrajn, 2014). I 2013 fik Erwin Wagenhofer s dokumentar Alphabet (2013) premiere. Dokumentaren diskuterer gennem synspunkter fra diverse eksperter, elever, ufaglærte og lærere, hvorvidt uddannelsessystemet hæmmer de unges frie udfoldelsesmuligheder. Dokumentaren belyste, hvordan skolerne i Shanghai var under stor indflydelse og pres af PISA-undersøgelserne og resultaterne heraf. Disse skoler var nødsaget til at opnå høje test scores, specielt indenfor matematik og naturvidenskab. Den store fokus er medvirkende til at mindske børns kreativitet og evne til at tænke kritisk og selvstændighed. På trods af denne kritik har Undervisningsministeriet vedholdt at anvende PISA-undersøgelserne som et redskab til at sammenligne sig med andre deltagende lande. Chefen for Undervisningsministeriet, Elsebeth Aller, tilkendegiver, at undersøgelserne ikke er perfekte, men der findes ingen bedre undersøgelser når der måles på så store data (Fuglsang, 2013). Side 37 af 107

39 7. Analyse af PISA-undersøgelserne som et PMS for den danske folkeskole I efterfølgende afsnit vil en analyse udarbejdes på baggrund af tidligere beskrevet framework af Otley & Ferreira (2009). Analysen tager udgangspunkt i empirisk materiale fra respondenter og sekundært data, som vil blive inkorporeret i de tolv elementer af det teoretiske framework. Dette har til formål, at udarbejde en fyldestgørende analyse af PISA-undersøgelserne som et PMS for den danske folkeskole. Jævnfør Otley & Ferreira (2009) korrelerer spørgsmål 1-4, 5-8 og Af denne grund, vil en delkonklusion blive udarbejdet efter spørgsmål 4, 8 og 12, som har til formål, at give læseren et forbedret overblik over analysen. 7.1 Spørgsmål 1: Vision og mission Dette afsnit har til formål at beskrive og analysere skolernes vision og mission. Det undersøges hvorvidt PISA-undersøgelserne er inkorporeret som en del af skolernes vision og mission, og om undersøgelsernes formål stemmer overens med Undervisningsministeriets, kommunalbestyrelsens og skolernes formål. Jævnfør Folkeskoleloven, kapitel 1, 1, er formålet med den danske folkeskole: Folkeskolen skal i samarbejde med forældrene give eleverne kundskaber og færdigheder, der: forbereder dem til videre uddannelse og giver dem lyst til at lære mere, gør dem fortrolige med dansk kultur og historie, giver dem forståelse for andre lande og kulturer, bidrager til deres forståelse for menneskets samspil med naturen og fremmer den enkelte elevs alsidige udvikling. Stk. 2. Folkeskolen skal udvikle arbejdsmetoder og skabe rammer for oplevelse, fordybelse og virkelyst, så eleverne udvikler erkendelse og fantasi og får tillid til egne muligheder og baggrund for at tage stilling og handle. Stk. 3. Folkeskolen skal forberede eleverne til deltagelse, medansvar, rettigheder og pligter i et samfund med frihed og folkestyre. Skolens virke skal derfor være præget af åndsfrihed, ligeværd og demokrati (Ministeriet for Børn, Undervisning og Ligestilling, 2015). Dette skal opfattes som det overordnede formål, hvor K2 tilkendegiver at skolerne skal arbejde ud fra denne struktur. Herefter har de respektive kommunalbestyrelser det overordnede ansvar i hver af de 98 kommuner. K1 nævner, at skolerne er kontraktstyret af skoleaftalen, der udformes hvert andet år. I denne findes indsatsområder, hvor hver enkelt skole kan vælge, hvordan de vil Side 38 af 107

40 udmønte og arbejde med disse. Nogle af indsatsområderne er faste, og skolerne er bundet til at fokusere på disse. Ifølge P1 er de som privatskole ikke underlagt nogen retningslinjer, og styrer sin vision og mission helt selv. Jævnfør Ministeriet for Børn, Undervisning og Ligestilling (2015) har de enkelte skoleledere det endelige ansvar for kvalitet i henhold til folkeskolens formål. Som tidligere nævnt udmønter og vælger skolerne selv nogle af de formulerede indsatsområder, som de vil anvende. P1 er imidlertid i færd med at formulere sin mission og vision for de kommende syv år. Disse omhandler, at de vil være det oplagte valg for forældre, som har lyst til at give deres børn muligheden for at udnytte deres evner i nogle fornuftige og gode rammer. P1 tilkendegiver, at målsætningen er, at skolen skal være bedre end gennemsnittet, da der forekommer egenbetaling fra forældrene. Dette betyder, at skolen er bedre stillet, da de har større ressourcer til at sikre kvalitet i undervisningen, samt at de har forældrenes opbakning. K1 har et overordnet vision/mission-statement, der hedder, at de skal være en skole, der udvikler børnene og styrker faglige såvel som sociale kompetencer. Dette sikres gennem samarbejde, vidensdeling og fælles læringsprocesser. K2 har et markant vision/mission-statement, der hedder, at de vil være de bedste. Dette betyder, at de er i stand til at holde på egne elever, men også tiltrække elever fra andre kommune- og friskoler i distriktet. Dette har resulteret i, at K2 er blevet kåret som den bedste skole i kommunen. Fælles for samtlige respondenter er, at ingen af disse havde PISA in mente, da deres mission og vision blev formuleret. Dette skal ses i sammenhæng med, at PISA ikke direkte står i Folkeskoleloven, og respondenterne tilkendegiver, at PISA-undersøgelserne ikke har været et indsatsområde, der er mulighed at fokusere på. K3 nævner, at kommunalbestyrelsen og Undervisningsministeriet opsætter så mange mål, at PISA i høj grad bliver negligeret. K2 tilkendegiver, at PISA indirekte kan anses som værende inkorporeret i deres vision/missionstatement om at være de bedste. Dette skal ses i lyset af udtalelsen: hvis vi kan se, at Danmark klarer sig godt eller mindre godt, så er det da selvfølgelig en del af det, der hedder, at vi vil være de bedste (Bilag 3, s. 90). K2 er opmærksom på, at PISA-resultaterne kun kommer på landsplan, men er skolen blevet udvalgt, vil skolen være en del af det samlede resultat. Side 39 af 107

41 Til trods for, at skolerne ikke direkte har inkorporeret PISA-undersøgelserne i deres mission og vision, mener afhandlingens forfattere, at der kan opleves en sammenhæng mellem disse og PISAundersøgelsernes formål. Dette skyldes at formålet med den danske folkeskole i bund og grund, er at skabe uddannelsesparate elever, der skal forbedre medansvar, pligter, deltagelse og rettigheder i dagens samfund, hvilket stemmer overens med PISA-undersøgelsernes formål. K2 nævner ligeledes, at det er vigtigt, at uddannelse forpligter til mere uddannelse på deres skole. Dette argument stemmer ligeledes overens med PISA-undersøgelserne, da K2 forsøger at udvikle elevernes faglige niveau, så de er parate til videre uddannelse og derigennem kan klare virkelighedens udfordringer. P1 er af samme opfattelse og nævner, at de fokuserer på den enkelte elevs udviklingspotentiale og laver handleplaner efter det. K3 nævner ligeledes, at de er optaget af forskellige områder, der giver børnene de bedste udviklingsmuligheder. Afhandlingen argumenterer i ovenstående afsnit for, at PISA-undersøgelserne indirekte er inkorporeret i skolernes mission og vision, da de har samme formål. I den henseende opstår en problematik i forbindelse med, at Otley & Ferreira (2009) nævner, at samtlige medarbejdere i organisationen skal være indforstået med den valgte mission og vision. Dette skyldes, at det udelukkende er skolernes ledelse, der er involveret i beslutningen omkring i hvor høj grad de vil fokusere på PISA. Dermed involveres lærerne ikke og er ikke indforstået med omfanget af PISA. Dette bakkes op af K3, der undrer sig over, hvorfor skolen som helhed ikke har taget konkret stilling til PISA-undersøgelserne. 7.2 Spørgsmål 2: Kritiske succesfaktorer Denne del af analysen omhandler de kritiske succesfaktorer, som skolerne fokuserer på i forbindelse med sin vision for at sikre fremtidig succes (Rockart, 1979). Spørgsmålet tager udgangspunkt i respondenternes svar til spørgsmål 1, men undersøger hvilke faktorer, der er kritiske for at sikre skolens vision. Eftersom kommunalskolerne er underlagt visse rammer, så udvælger skolerne sine fokusområder og kritiske succesfaktorer derigennem. Af den årsag findes visse ligheder, men også forskelle i de kritiske succesfaktorer skolerne imellem. K2 fokuserer hovedsageligt på faglighed blandt lærere som den vigtigste succesfaktor. Formålet er derigennem at sikre elevernes trivsel, de skal have Side 40 af 107

42 gode karakterer og blive uddannelsesparate. Denne succesfaktor sikres jævnfør K2 ved, at lærerne udelukkende underviser i fag, som de er uddannede i, hvilket skaber de bedste rammer for børnenes indlæring. Fagligheden blandt lærere sikres gennem god ledelse, der skaber et godt arbejdsmiljø, og dermed f.eks. sikre lavt sygefravær blandt lærerne. K2 nævner, at sygefraværet blandt lærerne var på 1,9 % i 2014, hvilket er lavt, og medvirkende til et stabilt undervisningsmiljø. K3 har nogenlunde samme kriterier for succes herunder det trivselsmæssige, faglige, sociale og personlige aspekt. K1 har derimod på nuværende tidspunkt ikke nogen systematisk tilgang til, hvordan de imødekommer skolens vision, men er opmærksomme på at fokusere på tilnærmelsesvist samme succesfaktorer som K2 og K3. P1 arbejder i høj grad ud fra en anden tilgang, hvor trivsel er i højsæde. Gennem denne trivsel kan skolen lægge lag på. P1 opererer ud fra citatet der hvor børn kan føle sig trygge, gror det, de gamle vil kalde for lykke (bilag 1, s. 77), hvilket er grundstenen i at imødekomme skolens vision. Hermed opleves en forskellighed blandt privatskolen og kommunalskolernes hovedfokus. De fire udvalgte skoler anvender nogenlunde samme kritiske succesfaktorer. Forskellen ligger i, hvilket indsatsområde skolen tager udgangspunkt i. Fælles for alle er, at PISA-undersøgelserne ikke er en del af deres kritiske succesfaktorer, hvilket stemmer overens med spørgsmål 1. Dermed er PISA-undersøgelserne ikke direkte med til at forme skolernes vision og fremtidige succes. Respondenterne giver udtryk for positivitet i forbindelse med PISA-undersøgelserne, men der forekommer visse usikkerhedsfaktorer, som ligger til grund for, at PISA-undersøgelserne ikke anvendes som en kritisk succesfaktor til måling af kvaliteten blandt folkeskoleelevernes faglige kunnen. Den mest positive omkring PISA-undersøgelserne, K2, så gerne at undersøgelserne var en del af deres kritiske succesfaktorer. K2 foretrækker at kunne se en direkte udvikling i elevernes faglige kunnen, og anser dermed det treårige interval som alt for stort. Meget kan ske på tre år, og sammenligningsgrundlaget er ikke optimalt, hvilket bakkes op af K1. Derudover anser K2 den store usikkerhed omkring udvælgelse til undersøgelserne, som en væsentlig årsag til ikke at inkorporere PISA-undersøgelserne som en del af de kritiske succesfaktorer. K2 er kun blevet udtrukket to gange siden undersøgelsernes start i år K3 argumenterer yderligere, at de måles og vejes på mange forskellige indsatsområder. Det er blandt andet dette tidspres fra andre indsatsområder, der gør, at PISA-undersøgelserne bliver fravalgt som en del af de kritiske succesfaktorer. K1 Side 41 af 107

43 nævner, at de skal skynde sig langsomt (bilag 2, s. 85), hvilket indikerer, at der er mange parametre at forholde sig til, hvilket negligerer indsatsområder, herunder PISA-undersøgelserne, der ikke har relevans i dagligdagen. Skolerne finder det ikke umagen værd at bruge tid og ressourcer på at inkorporere et indsatsområde, hvor der findes mange usikkerhedselementer. 7.3 Spørgsmål 3: Organisationsstruktur Dette spørgsmål omhandler organisationens struktur, samt hvilken indflydelse denne har på PISA. Afhandlingens fokus er i den henseende på, hvorvidt respondenterne foretrækker en centraliseret eller decentraliseret tilgang. Organisationsstrukturen hænger i høj grad sammen med organisationens kritiske succesfaktorer, som blev analyseret i spørgsmål 2 og den strategiske planlægning, som bliver analyseret i spørgsmål 4 (Otley & Ferreira, 2009; Chandler, 1962). Overordnet er kommunalskolerne, jævnfør spørgsmål 1 og 2, underlagt visse rammer i forbindelse med skolernes struktur. Dermed oplever de kommunale skoler en centraliseret tilgang, hvorimod privatskolerne har mere eller mindre frie rammer til at anvende en decentraliseret tilgang, hvis dette ønskes. P1 foretrækker en decentraliseret tilgang og mener samtidig, at kommunalskoler bør have samme frihed. P1 mener, at de kommunale skoler bør have muligheden for at fravælge PISA-undersøgelserne, som P1 selv gjorde i 2012, hvis de ikke har ressourcer til det. I samme ombæring nævner P1: Nogle gange bruger man de her PISA-undersøgelser til at opstille nogle urealistiske politiske mål (bilag 1, s. 77). Dermed mener P1, at hvis skolerne bliver presset til at deltage i undersøgelserne, vil det ikke udmønte sig i et validt resultat af PISA-undersøgelserne. Den nye skolereform har været til megen debat, og P1 mener yderligere, at skolerne bør have muligheden for at tilrettelægge den dagligdag, der gavner og udvikler eleverne bedst muligt. De enkelte skoler vælger selv de fleste indsatsområder, og dermed bør de samtidig have muligheden for at vælge den struktur, der gavner den enkelte skole mest. De resterende skoler er, som tidligere nævnt, underlagt en centraliseret tilgang. K1 har en ambivalent tilgang til dette. På nogle områder er det godt, at det er noget, der er styret i et fællesskab, da folkeskolerne står overfor at skulle præstere. K1 mener, at det er essentielt at skolevæsenet hænger sammen og ser en stor fordel i dette. På den anden side oplever K1, at de indimellem kan have oplevelsen af, at man dels bliver målt på, og dels bliver stillet nogle krav, som Side 42 af 107

44 de kan have svært ved at finde mening i. K1 nævner i den henseende: i det øjeblik at der bliver for mange indsatser på en gang, så bliver man meget presset mere end godt er (bilag 2, s. 85). Dette synspunkt bakkes op af K3, der nævner, at skolereformen forlanger mange nye indsatser, og er en udfordring, da det kræver ekstra forberedelse. K3 mener til gengæld, at når disse indsatser først er kommet ind under huden, så vil det i sidste ende spare tid og ressourcer. Derudover er K1 af den opfattelse, at nogle af de redskaber kommunalbestyrelsen igangsætter er redskaber, der ikke kan anvendes. I den sammenhæng mener K3, at PISA-undersøgelserne heller ikke giver et retvisende billede, hvis skolerne føler, at det bliver trukket ned over hovedet på dem. Motivationen til at yde en ekstra indsats forsvinder muligvis, hvis skolerne ikke føler, at redskabet kan anvendes. Til forskel fra K1 og K3, så foretrækker K2 en mere centraliseret tilgang, end det er tilfældet. Dette foretrækkes for at opsætte nogle mindstemål for at skabe en rød tråd gennem folkeskolen. Som tidligere nævnt, er Danmark inddelt i 98 kommuner, hvor hver kommunalbestyrelse har ansvaret for skolerne i den pågældende kommune. Derudover er der ingen faste rammer for uddannelsesmateriale og lærebøger, hvilket K2 mener, er stærkt medvirkende til at kvaliteten af undervisningen ikke er så høj, som den bør være, hvilket kan ses i sammenhæng med Danmarks middelmådige resultater i PISA-undersøgelserne. K2 mener derfor, at der bør være nationale skoler med national lovgivning, der har samme undervisningsmateriale og pensum. K2 opfatter ikke, at den danske folkeskole ikke er så god, som alle går og tror. Af den årsag findes det relevant at anvende PISA-undersøgelserne som et kontrolsystem af den danske folkeskole, da det giver en unik chance for at måle sig med andre. Det skal ikke opfattes, som om Danmark skal stræbe efter, hvordan f.eks. asiatiske lande gør det, men derimod forstås sådan, at det danske uddannelsessystem vil kunne forbedres med få radikale ændringer. Helt overordnet har respondenterne delte meninger omkring, hvilken organisationsstruktur der findes mest relevant for at sikre og forbedre kvaliteten af den danske folkeskole. Diskussionen går på, om skolerne skal have frie hænder til at vælge indsatsområder, hvilket er mere tidskrævende for de enkelte skoler, eller om der skal være flere faste rammer, så der bliver frigivet mere tid til udvalgte indsatsområder. Side 43 af 107

45 7.4 Spørgsmål 4: Strategier og planer Dette spørgsmål omhandler, hvilke strategier og planer organisationen har igangsat for at sikre den fremtidige succes. Dette kan være i form af handleplaner og strategiske tiltag (Johnson, et al., 2005). Denne del af analysen vil fokusere på, hvilke aktiviteter skolerne har igangsat for at opnå sine mål på lang sigt. Fælles for alle fire skoler er, at der på det operationelle niveau bliver lavet handleplaner for hver enkelt elev. En stor forskel opleves på, hvor stor en indsats de enkelte skoler har på disse handleplaner for hver elev, da der ikke er noget krav, fra hverken Undervisningsministeriet eller kommunalbestyrelsen, til at udarbejde disse. P1 har den største fokus på, at igangsætte handleplaner til den enkelte elev. Der opleves en stor forskel mellem privatskolens og kommunalskolernes ressourcer. P1 s handleplaner omfatter alle elever fra børnehaveklassen til 10. klasse, men eleverne får først karakterer fra 4. klasse. For at styrke elevernes trivsel og faglige niveau, afholdes skolehjemsamtaler tre gange årligt. Det specielle er, at to af gangene laver eleverne en individuel evaluering, hvor de vurderer sig selv på forskellige parametre. Det samme gør sig gældende for lærerne. Til slut laver eleven, læreren og forældrene en handleplan for, hvad og hvordan eleven skal forbedre i løbet af de næste tre måneder. Denne kommunikation mellem de tre parter starter allerede ved optagelsessamtalerne. Her understreger P1 overfor eleven, at vedkommende skal udvise stort engagement, da de har en pligt til at yde en indsats, da der forekommer egenbetaling fra forældrenes side. Føler P1 ikke, at eleven engagerer sig, så har P1 muligheden for at opsige samarbejdet med eleven. P1 iværksætter ligeledes handleplaner for den enkelte klasse og årgang. Ved begyndelsen af hvert år laves trivselsplaner i hver klasse, som skal sikre, at eleverne har de bedste rammer for indlæring. Derudover er et samarbejde med Red Barnet igangsat, hvor de laver handleplaner, hvis enkelte klasser ikke fungerer optimalt. Igennem et Red Barnet ambassadørskole-samarbejde har P1 mulighed for at skabe en skole, der er baseret på de værdier, der er gennemgående i FN s Børnekonvention (Red Barnets Ambassadørskoler, 2015). Derudover har de som privatskole ressourcer til at ansætte en coach på fuldtid, der har til formål, at komme ud i alle nye klasser for Side 44 af 107

46 at sikre, at der findes balance og et godt arbejdsmiljø. Derudover opererer coachen i samtlige klasser i løbet af året for at sikre, at trivselsniveauet opretholdes i klasserne. K2 griber handleplanerne anderledes an, hvor skolelederen mødes med hver enkelt lærer og gennemgår hver enkelt elevs karakterer og scores i nationale tests. K2 fokuserer i højere grad på kvantitative data, da skolen vurderer, at det er lettere at måle på en elevs faglige udvikling fra år til år ved at anvende objektive måleinstrumenter. Den enkelte lærer fremlægger dette for forældrene og eleven til skolehjemsamtaler, og først her inddrages trivselsaspektet for den enkelte elev. Skolelederen bruger mange ressourcer på dette, men understreger vigtigheden af dette, for at sikre fremtidig succes og citerer Jamen prøv og hør her: har vi råd til at lade være? Det er jo et ledelsesredskab (bilag 3, s. 91). K2 har igangsat initiativet Internationalisering, der har til formål, at skabe dannelse og opdragelse af demokrati i medborgerskab. Eleverne skal have et retvisende og klart billede af andre kulturer for at sikre, at eleverne ikke har en snæversynet tilgang til andre kulturer. Fælles for alle fire skoler er, at PISA-undersøgelserne ikke er anvendt som en del af skolernes strategiske planlægning. K3 mener dog, at PISA indirekte har en vis indflydelse på den strategiske planlægning, da kommunen arbejder med synlig læring, pålagt af Undervisningsministeriet, og dermed indirekte korrelerer. K1 pointerer yderligere, at der fra kommunalbestyrelsens side ikke bliver lagt op til, at PISA-undersøgelserne skal inddrages i den strategiske planlægning. P1 tilføjer, at det er nemmere at anvende karaktergennemsnit som del af den strategiske planlægning, da disse forekommer hvert år. K2 bakker denne påstand op, og ønsker at PISA-undersøgelserne skal forekomme mindst hvert andet år for alle skoler, så skolerne finder mening i at fokusere på undersøgelserne som et PMS i hverdagen. Om den nuværende PISA-struktur udtaler K2: Det er simpelthen for lidt. Du kan ikke bruge det det ville jo være 10 gange bedre, hvis PISAundersøgelserne kom oftere og havde en bredere målgruppe. Den er for smal, og der er for langt mellem PISA-undersøgelserne, desværre (bilag 3, s. 94). 7.5 Delkonklusion spørgsmål 1-4 Det kan konkluderes, at ud fra analysens spørgsmål 1-4 opleves overordnet, at skolernes sammenhæng mellem visionen, de kritiske succesfaktorer, strukturen og den strategiske Side 45 af 107

47 planlægning er til stede. Skolerne har hovedsageligt de samme holdninger til vision og kritiske succesfaktorer, men forskellen ligger i hvor hovedfokus er. Der opleves en forskel mellem privatog kommunalskoler, især på den strategiske planlægning, hvilket til dels skyldes de tilgængelige ressourcer privatskolen har. Skolerne har imidlertid en blandet tilgang til, hvilken struktur de finder mest relevant. Overordnet kan det konkluderes, at PISA-undersøgelserne ikke direkte er inkorporeret i de fire ovenstående elementer. Dette skyldes i høj grad en række usikkerhedsparametre, som gør det vanskeligt for skolerne at tage konkret stilling til undersøgelserne. Dog tilkendegives det, at PISA-undersøgelserne kan opfattes som værende indirekte inkorporeret i nogle af de fire elementerne. 7.6 Spørgsmål 5: Performance mål Dette spørgsmål omhandler, hvordan organisationen modellerer sine performance mål ud fra sin vision, kritiske succesfaktorer, strukturen og strategiske planlægning. Disse performance mål kan både være finansielle og ikke-finansielle mål. Jævnfør Kaplan & Norton (1996) opfattes de finansielle mål, som nogle der i sidste ende giver afkast. Olve et al. (1999) tilkendegiver, at det også kan være sociale aspekter i offentlige organisationer, hvor hensigten ikke nødvendigvis er at skabe afkast. Dette stemmer overens med afhandlingens udgangspunkt for denne del af analysen, hvor respondenterne i høj grad anvender sociale aspekter som finansielle performance mål. Undervisningsministeriet har opsat nogle generelle performance mål, som skolerne skal arbejde ud fra. Disse omtales som de nationale mål. Målene omhandler, at andelen af de dygtige elever skal stige år for år, andelen af elever med dårlige resultater skal reduceres, betydningen af social baggrund skal mindskes og elevernes trivsel skal øges. Disse mål danner fundamentet for Undervisningsministeriets kommunikation med kommunalbestyrelserne og de enkelte folkeskoler, så folkeskolens udvikling sikres ( 2015). På trods af at PISA ikke er en del af disse nationale mål, så skal reformen hjælpe med at hæve det faglige niveau, hvilket skaber bedre rammer for PISA-undersøgelserne. Selvom Danmark ligger lige på eller lidt over det internationale gennemsnit, er der en klar målsætning om at forbedre resultaterne ( 2013). Ud fra disse nationale mål, skal kommunerne i samarbejde med skolerne udforme og præcisere egne performance mål, der skal sikre kvaliteten på de respektive skoler. Side 46 af 107

48 K2 har udformet fire hovedpunkter, der skal danne grundlag for skolens performance: ansvar, engagement, trivsel og fagligt miljø. K2 fokuserer hovedsageligt på de finansielle mål og udtaler i den sammenhæng: Nu er jeg ret meget optaget af big data, og hvad data i det hele taget kan bruges til i undervisningen der er jo ingen der kan huske, hvad det var vi syntes sidste år. Men der er rigtig mange, der kan huske, hvordan vores gennemsnit var på karakterer (bilag 3, s. 93). Skolens performance mål for ansvarlighed omhandler, at eleven såvel som de voksne tager ansvar for sine handlinger hvilket diskuteres i skolehjem- og elevsamtaler. Derudover skal eleverne være bevidste om at tage medansvar i undervisningen for at sikre faglig og personlig udvikling (Bilag 5). Ligeledes er en række performance mål opstillet for engagement, hvilket omhandler, at forældrene skal engagere sig i skolen og sine børn, samt at skolen skal være synlig i lokalsamfundet. Derfor har skolen opstillet et mål om, at 95 % af forældrene skal deltage i forældresamtaler, hvilket har været opfyldt de seneste år. Performance mål for trivsel omhandler, at den enkelte elev har livsglæde og høj selvværd, der sikrer, at eleven identificerer sine styrker og anvender disse til fordel for sig selv og sine omgivelser. K2 har et performance mål om, at andelen af ekskluderede elever skal nedbringes til 4 %. Det sidste performance mål er fagligt miljø, der omhandler, at elevernes rammer for indlæring ved anvendelse af opdaterede undervisningsmaterialer er bedst mulig (Bilag 6). Et vigtigt element i det faglige miljø er, at lærernes sygefraværsprocent er lavt. Målet er, at der som udgangspunkt ikke skal aflyses nogen undervisningstimer, hvilket har resulteret i, at K2 havde en sygefraværsprocent på 1,9 i Dette har medvirket til at skabe et fagligt miljø, så 94,5 % af de elever der starter på en ungdomsuddannelse, også fuldfører den (Bilag 3, s. 92). K1 har i samarbejde med kommunen udarbejdet aftalemål, som de handler ud fra. Dette gør sig ligeledes gældende for K3. Disse performance mål omhandler, at reducere eller bibeholde det nuværende acceptable niveau for elevernes og lærernes sygefravær samt at holde lærernes faglige niveau højt. P1 figurerer i samme kommune som K1, men eftersom P1 er en privatskole, har denne mulighed for at udarbejde sine egne performance mål. De har et performance mål, der omhandler at skabe uddannelsesparate elever målt på det faglige, personlige og sociale parameter. Derudover har de, som privatskole, et mål om: Som på andre privatskoler betaler Side 47 af 107

49 forældre for, at deres børn går i skole her. For os betyder det, at vi har et MEGET klart fokus: VI VIL, SKAL OG KAN tilbyde noget andet, mere og bedre! (Bilag 7). På trods af Undervisningsministeriets udtalelser om, at Danmark skal forbedres i PISAundersøgelserne, så er de ikke inkorporeret i de kommunale kvalitetsrapporter. P1 og K2 nævner i den sammenhæng, at hverken Undervisningsministeriet eller kommunalbestyrelsen stiller krav til PISA-undersøgelserne. Dette ærgrer K2, der havde foretrukket, at Undervisningsministeriet og kommunalbestyrelsen havde mere fokus på dette, men anerkender at majoriteten af skoleledere ikke deler dette synspunkt. Derimod oplever K3, at Undervisningsministeriet og kommunalbestyrelsen anvender PISA-undersøgelserne som et kvalitetsmål, og udtaler i den sammenhæng: Det er jeg overbevist om, da vi følger de ting som Undervisningsministeriet arbejder med. Det er, at vi hele tiden bliver optaget af, hvad der har en effekt på læring, og hvornår det er, at børn de udvikler sig og hvordan (Bilag 4, s. 103). Dette strider imod P1 og K2 s opfattelse, hvilket kan ligge til grund for kommunalbestyrelsernes individuelle prioriteringer. Jævnfør Olve et al. (1999) kan PISA-undersøgelserne opfattes som et finansielt redskab, og det bliver muligvis negligeret, da der er andre finansielle måleinstrumenter, som karaktergennemsnit og nationale test, som er lettere at forholde sig til i dagligdagen. 7.7 Spørgsmål 6: Target setting Dette spørgsmål omhandler, at analysere hvilke initiativer skolerne har iværksat for at opnå de identificerede performance mål fra spørgsmål 5. Eftersom den PISA-ansvarlige på K1 er forholdsvis ny, har denne ikke iværksat nogen initiativer til at imødekomme de opsatte performance mål fra kommunalbestyrelsen. Derfor tages K1 ikke i betragtning til dette spørgsmål. Dog tilkendegiver K1 s, at vedkommende på sin gamle skole igangsatte indsatser på områder, hvor skolen lå under landsgennemsnittet. Da ingen af respondenterne identificerer PISA-undersøgelserne som et performance mål, er det svært at inkludere, og dermed vil fokus være på, hvordan skolerne opnår deres valgte performance mål. For at imødekomme performance målet omkring uddannelsesparate elever, tilbyder P1 ekstraundervisning i tilfælde af, at den enkelte elev ikke præsterer som ønsket. Derudover har de investeret i IT-materialer, der følger tidens tendenser og optimerer undervisningen. De opfatter det som et brugbart værktøj til at involvere eleverne i undervisningen. Hvis eleven derimod har Side 48 af 107

50 problemer på det personlige og sociale plan, tilbyder skolen et ekstraordinært samarbejde med skolens coach og/eller psykolog. Dermed igangsættes en handleplan mellem læreren, forældrene og eleven, hvis eleven ikke vurderes uddannelsesparat. De tre involverede parter laver delmål, og holder løbende vurderingssamtaler, der skal sikre at eleven bliver uddannelsesparat, og skolen opnår sit performance mål. K3 s performance mål om at fastholde et højt fagligt niveau blandt lærerne sikres gennem eksterne konsulenter fra kommunen der undersøger og vurderer, hvordan lærerne arbejder med sine indsatsområder. I den henseende interviewes lærere såvel som elever for at sikre den mest valide og retvisende evaluering af lærerens faglige niveau. K2 s performance mål om at nedbringe andelen af ekskluderede elever til 4 % tager udgangspunkt i forældresamarbejde og en reflekteret praksis. Forældresamarbejde fokuserer på at skabe dialogbaseret og ligeværdig kommunikation, der har fokus på barnets liv med tydelige ansvarsafgrænsninger. Reflekteret praksis dækker over at skabe tværfagligt arbejde med udsatte børn samt at udarbejde handleplaner for sprog og læsning (Bilag 8). Performance målet om, at 95 % af eleverne, der starter på en ungdomsuddannelse skal fuldføre den, starter allerede i folkeskolen, hvor eleverne dannes og påklædes. Dette sikres gennem lederskab i et børneperspektiv og kvalitetsudvikling. Lederskab i et børneperspektiv omhandler teamarbejde og entreprenørskab, der skal forbedre elevernes evne til at arbejde i grupper, men samtidig kunne arbejde selvstændigt. Kvalitetsudvikling sikres gennem meningsfuld dokumentation og evaluering, implementering af IT og forberedelse og implementering af skolereformens kvalitetselementer. Udover lederskab og kvalitetsudvikling, har K2 vedtaget at tysk-undervisning i 6. klasse er obligatorisk, så eleverne undlader at fravælge faget i 7. klasse, da det er adgangsgivende for at komme på en ungdomsuddannelse (Bilag 9). Disse initiativer har K2 ikke udelukkende opsat for at opfylde skolens egne performance mål, men samtidig for at opfylde Undervisningsministeriets nationale performance mål. Dette gør sig ligeledes gældende for P1 s initiativer, hvis hensigt er at hjælpe fagligt eller socialt svage elever. Skolernes aktiviteter, der har til hensigt at opfylde de opsatte performance mål, har i bund og Side 49 af 107

51 grund til formål at forbedre niveauet i folkeskolen. Forbedres niveauet, forbedres rammerne for at klare sig tilfredsstillende i PISA-undersøgelserne. 7.8 Spørgsmål 7: Performance evaluering Dette spørgsmål handler om at evaluere på individets, gruppens eller organisationens performance. Performance kan evalueres ud fra et objektivt eller subjektivt synspunkt. Ved objektiv evaluering kræver det et klart input-output forhold, og denne form for performance er lettere at måle på. Ved subjektiv evaluering måles individet eller gruppen på områder, de ikke underrettes omkring. Eftersom respondenten fra K3 ikke var indforstået med, om der forekom nogen form for feedback i henhold til PISA-undersøgelserne, vil denne ikke videre inddrages i den første del af spørgsmålet omhandlende PISA. De resterende respondenter deler forskellige opfattelse af, hvorvidt der forekommer feedback af PISA-resultaterne. Afhandlingens forfattere er bevidste om, at feedback er en selvstændig del af spørgsmål 10, men det kræver feedback på testresultater for at kunne evaluere på disse. Alle respondenter tilkendegiver, at der forekommer en anonymiseret objektiv evaluering af testresultaterne på nationalt plan, som alle skoler og private personer har adgang til. K1 og K2 deler samme opfattelse af, at der ikke forekommer nogen yderligere evaluering på den enkelte skole. K2 udtaler i den sammenhæng: Jamen jeg får kun landsdata. Jeg får ingen lokaldata Det synes jeg jo er ærgerligt Det ville da være ideelt, hvis du får dem på skoleniveau (Bilag 3, s. 94). P1 deler ikke samme opfattelse af dette. De får som skole de anonymiserede testresultater, men ikke på den enkelte elev eller klasse, men skolen som gennemsnit ved den årgang, der er udtrukket. Dermed opleves en modstridende opfattelse af dette. Hvorledes det skyldes, at P1 er en privatskole, og K1 og K2 er kommunalskoler, vides ikke. Sekundære data giver ikke noget svar på denne problematik. Det antages, at K1 og K2 s opfattelse er korrekt, da det er tvivlsomt at privatskolerne bliver forfordelt, og P1 s opfattelse af dette kan være fejlagtigt fortolket. Da PISA-undersøgelserne ikke genererer nogen brugbar feedback, og dermed evaluering, på den enkelte skole og klasse, kan der sås tvivl om, hvorvidt PISA-undersøgelserne kan anvendes som et PMS til at måle performance på den enkelte skole. Derfor har respondenterne valgt at benytte Side 50 af 107

52 andre systemer til at evaluere sin performance og dermed inkluderes nogle af disse i efterfølgende afsnit. P1 evaluerer skolens, lærernes og elevers performance gennem eksamensresultater. Da disse kun forekommer i 9. og 10. klasse, anvendes standpunktskarakter som et pejlemærke for elevernes performance. For at eliminere dysfunktionalitet er skolen opmærksom på, at eksamens- og standpunktskarakter nogenlunde skal matche. Da skolen risikerer at enkelte årgange eller klasser har mange elever med indlæringsvanskeligheder, så er trivsel og undervisningens generelle gang ligeledes en del af lærerens evaluering. Dermed er det essentielt, at lærerne har faglige såvel som tryghedsskabende og sociale kompetencer, hvorfor P1 har løbende evalueringssamtaler med lærerne. Dette gør sig ligeledes gældende for K1, der evaluerer hvor den enkelte lærer kan udvikle sig i henhold til skolens indsatsområder. De anvender observation af undervisningen, som ligger til grund for disse samtaler. K3 benytter sig ligeledes af observation til evaluering af undervisningen. Dette sker i form af eksterne personer, der vurderer lærerens og skolens performance. Dette forekommer både i anmeldte og uanmeldte besøg, der har til formål, at undervisningen skal forløbe bedst muligt uanset omstændighederne. Udover dette anvender skolen trivselsundersøgelserne blandt eleverne, der evaluerer undervisningen og læreren. K2 evaluerer skolens performance ud fra et kvalitativt og kvantitativt synspunkt, og udtaler i den sammenhæng: Det er jo et to-benet system. Man kan godt statistisk set have 3 årgange i rap som underperformer. Man kan godt have 3 årgange, hvor halvdelen af børnene har virkelig svært ved tingene. Og hvor man kan se at undervisningen rent faktisk kører godt nok (Bilag 3, s. 97). Dermed kan forudsætningerne for indlæring være problematiske, hvilket medfører at klassen underperformer på trods af, at undervisningsmiljøet fungerer optimalt. K2 ser fornuft i at evaluere sine elever ud fra et longitudinalt studie, da det giver mening at evaluere på klassens udvikling frem for at sammenligne 9. klasserne år efter år, da disse har forskellige forudsætninger. I den henseende ser K2 det problematisk, at man med PISA-undersøgelserne ikke kan følge udviklingen for den enkelte klasse, da undersøgelserne forekommer hvert tredje år. 7.9 Spørgsmål 8: Belønningssystem Dette spørgsmål omhandler, hvordan ansatte i organisationen bliver belønnet eller straffet som resultat af deres performance evaluering. Dermed kommer spørgsmålet i naturlig forlængelse af Side 51 af 107

53 det foregående. Belønning kan forekomme i både finansiel og ikke-finansiel form. Skolevæsenet har central løndannelse, og derfor er der ikke mulighed for resultatløn. Dette spørgsmål tager hovedsageligt udgangspunkt i de ikke-finansielle belønninger. Eftersom der ikke forekommer nogen grundig feedback, og dermed evaluering, i henhold til PISAundersøgelserne, kan en belønningsstruktur omkring denne ikke iværksættes. Ligeledes bruger skolerne tid og ressourcer på undersøgelserne, hvis de bliver udtrukket, og jævnfør P1 eksisterer ingen finansiel eller ikke-finansiel støtte ved deltagelse. Derfor tvivles der på skolernes motivation til at deltage i PISA-undersøgelser, da der kan sættes spørgsmålstegn ved det begrænsede finansielle og ikke-finansielle udbytte. Udbyttet består udelukkende i, at man som nation klarer sig godt. PISA-undersøgelsernes struktur opfordrer jævnfør K1 til en ikke-finansiel belønning og udtaler følgende: Nu tror jeg i virkeligheden ikke lærere er specielt motiveret af løn, for så havde de valgt noget andet Det er min erfaring at lærere er optaget af at lave god skole Det motiverer lærere, når de oplever, at deres indsats gør en forskel (Bilag 2, s. 87). Dermed kan et tilfredsstillende PISA-resultat på nationalt plan give lærerne intrinsisk motivation. På basis af disse aspekter tager følgende afsnit udgangspunkt i, hvordan skolerne og lærerne belønnes på baggrund af deres performance evaluering, og dermed ikke på baggrund af PISA-undersøgelserne. Ved finansiel belønning opleves en forskel ved kommunal- og privatskoler. Respondenterne fra kommunalskolerne tilkendegiver, at der ikke er mulighed for finansiel belønning, da man er låst af faste løntrin. Lærerne har udelukkende mulighed for lønstigninger efter faste 4-årsintervaller og ikke ud fra deres performance (Danmarks Lærerforening, 2015). Privatskolerne har derimod mulighed for at tildele et realskole tillæg, der udstedes ud fra anciennitet og performance. P1 tilkendegiver dog, at dette tillæg udelukkende anvendes til at løfte lønnen og ikke til at belønne individuel performance. Dette stemmer overens med lærernes opfattelse, hvor P1 udtaler: hvis du går ud og spørger lærerne, så vil de sige, at det får de ingen belønning for (Bilag 1, s. 80). P1 indikerer, at det er kompliceret at belønne lærere, da højere løn korrelerer med flere undervisningstimer. Dette finder P1 problematisk, da erfaring viser, at flere undervisningstimer stresser lærerne og resulterer i højere sygefravær. For at holde lærerne motiveret, forsikrer P1 lærerne om, at de kun underviser i de fag, som de er uddannede i. Dette har ligeledes til hensigt at Side 52 af 107

54 sikre et højt fagligt niveau i undervisningen. P1 anvender ikke-finansielle belønninger i form af personaleudviklingssamtaler og opkvalificeringskurser, hvis den enkelte lærer underperformer. Derudover har lærerne mulighed for at sparre med hinanden og observere undervisningen for at give konstruktiv feedback. Dette initiativ er iværksat på baggrund af de ekstra finansielle ressourcer, P1 har som privatskole. Som tidligere nævnt, arbejder de udvalgte kommunalskoler ud fra ikke-finansiel belønning. K1 anser medinddragelse og ansvar som skolens største motivationsfaktorer, da det er motiverende at være med til at gøre en indsats på noget, som lærerne har en oprigtig interesse i. K2 anvender et belønningssystem, som de kalder for Banken. Dette fungerer som et normalt banksystem, hvor lærerne får et større afkast, hvis de sætter meget i banken. Dette betyder, at hvis lærerne yder en stor indsats, så får de bevilling til flere privilegier. K2 anerkender, at ingen mennesker er ens, og derfor belønnes og behandles disse forskelligt. Af den grund, har K2 ikke iværksat en fast belønningsstruktur, men behandler sagerne individuelt. Ligeledes har K3 ingen fast belønningsstruktur. De benytter sig i høj grad af en dialogbaseret tilgang til, hvordan lærerne forbedrer sig, hvis de især underperformer. Hvis lærerne derimod performer godt, kan de søge midler til interesseprojekter. K3 tilkendegiver, at dette ikke hænder ofte, men hvis læreren udviser stort engagement og drive, er der mulighed for det Delkonklusion spørgsmål 5-8 Det kan konkluderes ud fra analysens spørgsmål 5-8, at skolerne overordnet set har en god sammenhæng mellem sine performance mål, target setting, performance evaluering og belønningsstruktur. Undervisningsministeriet har opsat en ramme for skolernes performance mål, og dermed opleves en fælles tendens. Forskellen ligger i, hvilken tilgang skolerne har til at opfylde disse mål. Problematikken befinder sig i PISA-undersøgelsernes indflydelse, hvor ingen af respondenterne anvender PISA-undersøgelserne som et performance mål. Derudover findes det yderst problematisk, at skolerne ikke har mulighed for at tage konkret stilling til PISAundersøgelserne i forbindelse med evaluering og belønning, da skolerne ikke modtager nogen respons efter deltagelse i PISA-undersøgelserne. PISA-undersøgelsernes struktur gør dermed, at skolerne ikke har noget at forholde sig til og evaluere ud fra. Side 53 af 107

55 7.11 Spørgsmål 9: Information flows, systemer og netværk Dette spørgsmål omhandler hvilke information flows, heriblandt feedback, feedforward, systemer og netværk, som anvendes til at forbedre og udvikle organisationens performance. Spørgsmålet undersøger, hvordan relevant PISA-information deles mellem Undervisningsministeriet, kommunalbestyrelserne, skolerne, lærerne og eleverne. Som tidligere nævnt, får skolerne kun test-resultater på landsplan og dermed begrænses mulighederne for informationsdeling skolerne imellem. Feedback vedrører, hvordan information i organisationen justeres og forbedres i henhold til tidligere erfaringer. Da der ingen feedback forekommer i henhold til PISA-undersøgelserne, er muligheden for justering og forbedring yderst begrænset. P1 anser dette som en svaghed i systemet, da man ikke afsætter tid til evaluering efter undersøgelserne, hvilket P1 ønsker, at der bliver ændret på. Eftersom skolerne anvender forholdsvist mange ressourcer på at deltage i undersøgelserne, finder P1 det uhensigtsmæssigt, at der ikke forekommer nogen informationsdeling, da udbyttet for skolerne og Undervisningsministeriet burde være mere ligeligt fordelt. På trods af denne holdning har P1 ikke forhørt sig, hvorvidt det er muligt at få mere informationsdeling, hvilket indikerer, at de i bund og grund ikke engagerer sig mere, end de er forpligtet til. P1 oplever ligeledes, at andre skoler heller ikke forhører sig omkring yderligere informationsdeling. K2 deler opfattelsen af, at vidensdeling er for mangelfuld i PISA-regi. I den sammenhæng erkender K2 ligeledes, at skolernes udbytte ved deltagelse ikke står mål med Undervisningsministeriets udbytte, og udtaler: Værsgo at deltag, men du får ingen tilbagemelding på individ eller skoleniveau (Bilag 3, s. 94). På trods af den manglende feedback fra Undervisningsministeriet, så har skolerne imellem stadig mulighed for at lave vidensdeling før og efter undersøgelserne. Denne vidensdeling kan bunde i alle elementer af PISA-undersøgelserne på nær test-scores. Denne vidensdeling er problematisk jævnfør K2, der nævner, at størstedelen af folkeskolevæsenet har travlt med at kritisere PISA-undersøgelserne, og deltagelse i en sådan vidensdeling være begrænset. Dette står i kontrast til et måleinstrument som f.eks. afgangsprøvekarakterer, der er lettere håndgribelige for skolerne at sammenligne og forholde sig til. Dette skyldes, at skolerne får feedback i form af kvantitative data på skole- og individniveau. Side 54 af 107

56 K3 indikerer, at der bør være mere informationsdeling fra Undervisningsministeriets side og udtaler: man skal være mere optaget af hvilket undervisningsmateriale der er, som skal svare til, hvad man bliver testet i (Bilag 4, s. 101). Det understreges at K3 ikke går ind for, at man skal lave teaching-for-the-test som i Kina, men ønsker en klarere rød tråd, hvis PISA-undersøgelserne skal anvendes som et PMS. K1 derimod efterspørger ingen yderligere informationsdeling og nævner, at hvis man kigger på skolernes formålsparagraf, så kan man ikke pege på noget, som et bedre PISAresultat vil bidrage med. K1 har ligeledes svært ved at have fantasi til, hvad en øget informationsdeling skal bidrage med, hvis det ikke skal fokusere på teaching-for-the-test. Det virker til, at der ikke er en entydig holdning til informationsdeling, hvilket understøtter K2 s argument om, at denne informationsdeling er besværlig Spørgsmål 10: Anvendelse Dette spørgsmål omhandler, hvordan informationer og kontrolmekanismer anvendes i benyttelsen af et PMS. Ligeledes undersøger spørgsmålet, hvordan PMS et benyttes på de forskellige hierarkiske niveauer i organisationen. Som analysens foregående spørgsmål belyste, så er vidensdelingen omkring PISA-undersøgelserne problematisk. Dette udelukker derfor muligheden for at anvende information i benyttelsen af PISA-undersøgelserne som et PMS. Dette er problematisk, da case studier viser, at anvendelsen af informationer i et kontrolsystem kan være mere signifikante end selve designet og kontrollen af systemet (Ferreira, 2002). Dermed opleves en betydningsfuld svaghed i designet af PISAundersøgelserne som et PMS. Da respondenterne ikke var indforstået med nogen særpræget informationsdeling i henhold til PISA-undersøgelserne, havde de vanskeligt ved at give brugbar viden til denne del af analysen. Af disse grunde har afhandlingens forfattere ikke været i stand til at lave en fyldestgørende analyse af PISA-undersøgelsernes anvendelse. Dette skyldes ligeledes, at respondenterne ikke anvender PISA-undersøgelserne i en tilstrækkelig grad. Forudsætningerne for at udarbejde denne del af analysen fyldestgørende, har ikke været til stede. På trods af ovenstående problematikker, kommenterede K2 på skolens generelle informationsdeling på alle hierarkiske niveau. K2 har italesat en grundfortælling omkring skolens vision og mission, der sikrer, at medarbejdere på alle hierarkiske niveauer er indforstået med, Side 55 af 107

57 hvad der sikrer kvalitet gennem forventninger og engagement. Dette sikrer en rød tråd og klare retningslinjer, så alle medarbejdere handler ud fra samme mål. Afhandlingens hidtidige analyse har konkluderet en manglende rød tråd mellem folkeskolernes daglige arbejde med kvalitet og PISA-undersøgelsernes anvendelse. Dette kan opfattes som en svaghed ved systemet, da der ikke opstilles nogen klare retningslinjer for, hvordan formålet med PISA-undersøgelserne involveres i skolernes dagligdag. Den generelle opfattelse blandt respondenter er, at de deltager uden at få et brugbart udbytte Spørgsmål 11: Forandring over tid Spørgsmålet omhandler, hvordan ændringer i organisationens udvikling og miljø har påvirket PMS et. Det undersøges samtidig, hvorledes disse ændringer, eller mangel på samme, har haft en positiv eller negativ effekt. Organisationens strategi er et afgørende element, da det kan have stor indflydelse på ændringer i PMS design og brug. I løbet af PISA-undersøgelsernes 15-årige eksistens, er der ikke sket nogen større ændringer i undersøgelsernes design (Ravn, 2012), hvor undersøgelsernes grundlæggende opbygning stort set har været uden ændringer. Den eneste ændring ligger i, at matematik, naturfag og læsning skiftevis har været hovedfag. Respondenterne tilkendegiver, at de ikke har oplevet nogen form for ændringer i arbejdet med PISA over årene. P1 nævner, at fokus har været det samme, og har deltaget i undersøgelserne samtlige undersøgelser på nær i år Fravalget skyldtes tidspunktet for undersøgelsen, der kolliderede med en udfordring af forskellige arrangementer. Der kan sås tvivl om P1 s motivation har været faldende over tid, da det ikke kræver de store tidsmæssige ressourcer at deltage, og de kender til undersøgelsernes omfang. P1 udtrykker ønske om, at undersøgelsernes afholdelse tilrettelægges mere hensigtsmæssigt, så skolerne kan forberede sig, og afsætte tid til det, hvilket ikke har været tilfældet indtil nu. K1 tilkendegiver, at der har været fokus på undersøgelserne hen ad vejen, men at det hovedsageligt belyses af medierne, der udelukkende fokuserer på undersøgelserne før og efter de er afholdt. Dermed indikerer K1, at skolens fokus ikke er blevet større, og at de ikke har interesse i det. Siden PISA-undersøgelsernes begyndelse har skolen været forpligtet til at deltage i andre nationale tests, hvor danske folkeskoleelever klarer sig meget bedre. K2 deler ligeledes K1 s holdning om det manglende fokus, Side 56 af 107

58 og udtaler: Jeg ville ønske, at der var mere fokus, at der ikke var så lang tid imellem, og at flere skoler var med. Det kunne jeg rigtig godt tænke mig (Bilag 3, s. 99). Skolernes manglende fokus skyldes manglen på samme fra Undervisningsministeriets og kommunalbestyrelsernes side. Eftersom fagmiljøet og organisationen ændrer sig over tid, er der ligeledes behov for at PMS et ændres for at bevare det relevant og brugbart (Otley & Ferreira, 2009). Undervisningsstrukturen og fagmiljøet i de danske folkeskoler har ændret sig væsentligt siden PISA-undersøgelsernes begyndelse. Folkeskolerne har oplevet besparelser og reformer, der har ændret dagsordenen (Andreasen, 2014). Der opleves en problematik i, at folkeskolerne har gennemgået store forandringer, hvorimod Undervisningsministeriets og skolernes arbejde med PISA ikke har ændret sig signifikant. Dette strider imod afhandlingens framework, der kræver at et PMS ændres og tilpasses miljømæssige forandringer over tid for at opretholde det relevant og brugbart. Samtidig har den nye skolereform lagt en ekstra arbejdsbyrde på skolerne på kort sigt, da det kræver store tilpasningsmæssige forandringer. Ændringerne har delvist negligeret arbejdet med PISA på grund af den øgede arbejdsbyrde. K1 udtaler i den sammenhæng Lige nu står vi i en lidt speciel situation, fordi reformen fylder så meget, som den gør (Bilag 2, s. 86). K1 nævner ligeledes, at der er flere og flere elementer, som de skal måles på. Somme tider også elementer, som de ikke føler, kan anvendes som brugbare redskaber. I den sammenhæng kan der argumenteres for, at miljømæssige ændringer har haft en negativ indflydelse på PISA-undersøgelserne som et PMS. Derudover har skolerne fastlagt sin strategi, så den stemmer overens med reformernes ændringer. Problemet ligger derfor i, at PISA ikke har været med i overvejelserne ved disse forandringer, hvilket fjerner fokus fra PISA-undersøgelserne, da andre måleinstrumenter findes mere relevante i det daglige arbejde Spørgsmål 12: Styrker og sammenhænge Dette spørgsmål omhandler, hvordan de elleve komponenter af PMS et korrelerer. Spørgsmålene indeholder overlappende elementer, der sikrer, at komponenterne samarbejder. For at forstå hvordan et PMS fungerer, er det afgørende, at observere styrker og sammenhænge imellem de enkelte komponenter af PMS et. Side 57 af 107

59 Afsnittet tager udgangspunkt i, hvorvidt respondenterne mener, PISA-undersøgelserne har relevans i henhold til at forbedre kvaliteten af den danske folkeskole. P1 anerkender, at PISAundersøgelserne har relevans for niveauet af folkeskolen, men sætter spørgsmålstegn ved om det er tilstrækkeligt. P1 argumenterer for, at undersøgelserne kan forbedre kvaliteten, men slår fast, at der er en hårfin grænse for, hvor meget folkeskolerne kan tillade at teste eleverne, da flere tests ikke alt andet lige resulterer i bedre output. K1 pointerer, at PISA-undersøgelserne ikke kan stå alene til at måle niveauet for den danske folkeskole, og udtaler i den sammenhæng: De nationale tests kan vi jo i langt højere grad bruge, fordi det er de samme børn, der bliver testet flere gange. Vi ved at kadencen er bestemt, og det fokuserer bredt (Bilag 2, s. 88). På trods af dette anerkender K1, at folkeskolen skal være optaget af PISA-undersøgelserne, da det er relevant at sammenlignes med andre lande. K2 deler samme tvivl, men mener, at PISA-undersøgelsernes relevans for kvaliteten af folkeskolen, vil kunne forbedres, hvis en større stikprøve og hyppigere frekvens fandt sted. K3 tilkendegiver, at undersøgelserne er interessante i henhold til, hvordan man kan få børnene til at udvikle sig, men understreger, at børnenes trivsel er mindst ligeså relevant. K3 udtrykker, at man gennem PISA-undersøgelserne får nye vinkler på, hvordan man kan forbedre sig. Kinas fokus på teaching-for-the-test har medført, at skolen har iværksat kreative indspark, der reflekterer over undersøgelserne i forhold til hvilke fag, der udbydes i skolen. Dette har til formål, at udvikle elever, der ikke har et firkantet syn på læring, som kineserne har tendens til, men at skabe innovative og selvstændige elever. Gennemgående er der gode sammenhænge mellem frameworkets elleve elementer. Den overordnede problematik ligger i, at PISA-undersøgelserne har minimal eller ingen indflydelse på disse, da respondenterne ikke inkorporerer PISA-undersøgelserne i sin vision, succesfaktorer, etc. Dette resulterer i, at frameworket identificerer visse mangler i henhold til at skabe sammenhænge mellem elementerne af et PMS. Det første problematiske element med at finde sammenhænge opstår i respondenternes vision/mission-statement, hvor ingen af disse direkte har tiltænkt PISAundersøgelserne som en del af dette. De kritiske succesfaktorer opsættes for at imødekomme skolernes vision og mission, og ingen af disse har medtaget PISA-undersøgelserne som en kritisk succesfaktor til at opnå fagligt og socialt stærke elever. Dermed findes en manglende sammenhæng mellem denne del af frameworkets analyse. Dette gælder ligeledes for den Side 58 af 107

60 strategiske planlægning. Den anden problematik opstår i forbindelse med, at skolerne ingen feedback får efter PISA-undersøgelsernes afholdelse i og med, at testresultaterne kun kommer på landsplan. Dette gør det uhåndgribeligt for skolerne at arbejde med, hvilket udelukker muligheden for, at skolerne kan evaluere på baggrund af PISA-resultaterne. Når ingen evaluering forekommer, kan ingen belønning finde sted, hvilket skaber den anden problematik af sammenhænge i frameworket. Denne problematik kan opleves i forlængelse med, at ingen informationsdeling finder sted, hverken før eller efter undersøgelserne, da ingen feedback eller feedforward forekommer. Da skolerne ikke modtager nogen feedback fra Undervisningsministeriet, er det svært at lave nogen form for informationsdeling skolerne imellem, da skolerne i princippet ikke ved, hvem der har klaret sig godt eller dårligt Delkonklusion spørgsmål 9-12 Det kan konkluderes, ud fra spørgsmål 9-12, at informationsdeling i henhold til PISAundersøgelserne er problematisk. Dette skyldes i høj grad den begrænsede feedback, som skolerne modtager efter undersøgelsernes afholdelse, hvilket reducerer muligheden for at justere og forbedre undersøgelserne. Eftersom der ingen informationsdeling forekommer, har skolerne ligeledes ikke mulighed for at anvende denne, hvilket er en betydelig svaghed i PISAundersøgelserne som et PMS. En yderligere svaghed identificeres ved, at PISA-undersøgelserne blot har ændret sig marginalt, hvorimod der har været store fagmiljømæssige ændringer. Dette identificeres som en svaghed, da Otley & Ferreira s framework (2009) kræver, at et PMS forandres i takt med organisationens miljømæssige forandringer for at opretholde det relevant og brugbart. Det konkluderes yderligere, at der ikke opleves nogen sammenhænge mellem elementerne i et PMS i henhold til PISA-undersøgelserne. Dette skyldes skolernes manglende fokus på PISA i dagligdagen. Side 59 af 107

61 8. Diskussion af PISA-undersøgelserne som et PMS for den danske folkeskole Afhandlingens diskussion vil tage udgangspunkt i resultaterne fra analysen samt kvantitative og kvalitative sekundære data. Disse skal anvendes til at diskutere, hvorledes PISA-undersøgelserne kan benyttes som et valid PMS for den danske folkeskole i henhold til Otley & Ferreira s (2009) teoretiske framework. På baggrund af dette, vil afhandlingen diskutere, hvilke elementer af PISAundersøgelserne der skal forbedres, så undersøgelsernes relevans og brug optimeres. 8.1 PISA-undersøgelsernes svagheder som et PMS Analysens resultater viste, at PISA-undersøgelserne som et PMS indeholder tilstrækkelige mangler. Overordnet skyldes dette, at skolerne ikke anvender PISA-undersøgelserne som et PMS i den daglige planlægning af undervisningen. Dette skyldes PISA-undersøgelsernes struktur, såvel som Undervisningsministeriets manglende krav til at skolerne skal fokusere på disse. Undervisningsministeriets manglende fokus på PISA-undersøgelserne skyldes, at de anvender andre måleinstrumenter og kvalitetsmål såsom de nationale tests. De nationale tests blev iværksat i 2010, hvilket indikerer, at Undervisningsministeriet ikke følte, at PISA-undersøgelserne var tilstrækkelige (Albrechtsen, 2013). Dette skal dog ses i sammenhæng med, at PISAundersøgelserne tester eleverne i international sammenhæng, hvorimod de nationale tests kun er forbeholdt danske folkeskoleelever, hvilket gør udgangspunktet forskelligt. Eftersom respondenterne ikke anvender PISA-undersøgelserne som PMS og i tråd med undersøgelsernes svagheder i henhold til analysen, kan det diskuteres, hvorledes undersøgelserne kan anvendes som et valid PMS for de danske folkeskoler. Der kan tvivles på, hvorvidt der kan drages en parallel mellem PISA-resultater og karaktergennemsnittet for folkeskolen afgangsprøver. Dette illustreres ud fra de to nedenstående illustrationer af udviklingen i henholdsvis PISA-resultater og karaktergennemsnit for 9. klassernes bundne prøver. Udviklingen i figurerne vil kort beskrives, hvorefter de bliver holdt op imod hinanden. Y-aksen repræsenterer i figur 4 den opnåede gennemsnitstestscore, hvorimod den repræsenterer det opnåede karaktergennemsnit i figur 5. Side 60 af 107

62 Figur 4: Udviklingen i Danmarks PISA-resultater (Egelund; PISA 2012-undersøgelsen En sammenfatning, 2013) I løbet af PISA-undersøgelsernes eksistens har Danmark oplevet et svagt fald i matematik, en svag stigning i naturfag og status quo i læsning. Det summerede PISA-resultat for 2000 og 2012 opleves stort set ens med marginale forskelle. Figur 5: Karaktergennemsnit i bundne prøvefag 9. klasse (UNI C Statistik & Analyse, 2012; Ministeriet For Børn, Undervisning og Ligestilling, 2016) Egen tilvirkning (data til egen tilvirkning bilag 10 og 11) Karaktergennemsnittet i bundne prøvefag i 9. klasse tager udgangspunkt i årene Dette skyldes, at 7-trinsskalaen først blev indført i 2007, hvilket udgør et problem i forhold til at kommentere på udviklingen helt tilbage fra 2000, hvor PISA-undersøgelserne startede. Der forekommer en forbedring af landsgennemsnittet på lige under 1 karakterpoint fra Side 61 af 107

63 Figur 4 og 5 illustrerer, at der ingen direkte parallel kan drages mellem PISA-resultater og karaktergennemsnittet for 9. klasser, da karaktergennemsnittet er steget væsentligt, hvorimod PISA-resultaterne er nogenlunde intakte. Hvis PISA-undersøgelserne skal kunne anvendes som et valid PMS for kvaliteten blandt de danske folkeskoleelever, burde figurerne illustrere nogenlunde samme udvikling. En markant stigning i landsgennemsnittet indikerer, at folkeskolens 9. klasser er blevet fagligt dygtigere. Når PISA-resultaterne ikke indikerer samme faglige udvikling, kan det diskuteres, hvorledes PISA-undersøgelserne belyser det reelle billede af de danske folkeskoleelevers faglige kunnen. Dette understøttes af Svend Kreiner, der mener, at undersøgelserne ikke viser noget om elevernes faglige niveau (Olsen, 2013). På den anden side kan det diskuteres, hvorledes den manglende sammenhæng i figur 4 og 5 skyldes, at eleverne ikke har samme incitament til at præstere ligeligt, da elevernes karakterer i 9. klasse har en direkte indflydelse på fremtidige muligheder, hvorimod et dårligt PISA-resultat ingen konsekvenser har. K2 udtrykker, at elevernes motivation til at opnå et tilfredsstillende PISA-resultat er til stede, og udtaler i den sammenhæng: Selvfølgelig tager de det seriøst (Bilag 3, s. 100). Afhandlingen antager samtidig, at elevernes motivation for, at opnå et tilfredsstillende PISA- og afgangsprøveresultat er identisk i år 2000 og Eftersom folkeskolernes 9. klassers faglige niveau er forbedret, bør forudsætningerne for, at klare sig bedre i PISA-undersøgelserne ligeledes være forbedret. På baggrund af disse faktorer, kan der sås tvivl om, hvorvidt PISA-undersøgelserne måler den reelle kvalitet af de danske folkeskoleelevers faglige kunnen. Som analysen viste, bliver der ikke opsat nogle specifikke mål for, hvordan skolerne skal arbejde for at præstere i henhold til PISA-undersøgelserne. Jævnfør Ordóñez et. al (2009) kræver det, at et mål skal være specifikt og udfordrende, for at det kan blive succesfuldt. Dette skyldes, at specifikke mål bidrager med klare og entydige retninger til at evaluere performance. Når Undervisningsministeriet ikke har opsat et specifikt mål for PISA-undersøgelserne, er det problematisk for skolerne at forholde sig til, hvordan det skal bidrage til måling af kvalitet på den enkelte skole. Det findes yderligere problematisk, at Undervisningsministeriet og kommunalbestyrelserne har opsat så mange indsatsområder, som skolerne skal arbejde ud fra. Shah et. al (2002) belyser denne problemstilling ved, at individer, der får opsat for mange mål, er tilbøjelige til at koncentrere sig om enkelte af disse mål, hvorimod de resterende negligeres. Side 62 af 107

64 Eftersom der ingen evaluering af PISA-undersøgelserne forekommer, anses det som naturligt, at undersøgelserne fravælges, da andre mål er obligatoriske og lettere håndgribelige. PISAundersøgelsernes tidshorisont er en yderligere problematisk faktor. Ifølge Ordóñez et. al (2009) imødekommer og prioriterer individer kortsigtede mål på bekostning af langsigtede mål. PISAundersøgelserne forekommer, som nævnt, hvert tredje år, hvorimod nationale tests og afgangsprøver gennemføres hvert år. Dermed findes teoretisk set en forklaring på, hvorfor skolerne er tilbøjelige til at anvende andre måleinstrumenter end PISA-undersøgelserne som et PMS. 8.2 Forslag til forbedringer af PISA-undersøgelserne som et PMS Afhandlingen har, i analysen og i det foregående diskussionsafsnit, belyst væsentlige svagheder og mangler ved anvendelse af PISA-undersøgelserne som et valid PMS for de danske folkeskoler. På trods af dette vil forbedringsmuligheder til undersøgelserne blive fremlagt, der kan forbedre PISAundersøgelsernes validitet. Forbedringerne vil tage udgangspunkt i, at Undervisningsministeriet og kommunalbestyrelserne opsætter krav til, at skolerne skal arbejde med PISA-undersøgelserne som et indsatsområde. Afhandlingen, såvel som respondenterne, har gennemgående haft fokus på, at det treårige interval imellem undersøgelserne er for stort. Det treårige interval udelukker muligheden for at måle på den enkelte elevs udvikling, hvilket er muligt ved de nationale test og standpunktskarakter. Det kan diskuteres, hvorvidt de nationale tests ville være nødvendige, hvis PISA-undersøgelserne fandt sted hvert år. Dermed vil undersøgelserne både kunne anvendes som et internationalt sammenligningsgrundlag, men samtidig anvendes som et redskab for, hvordan der måles på hvordan de danske folkeskoleelever udvikler sig. Det store interval mellem undersøgelserne gør, at skolerne har svært ved at opretholde fokus på det, og relevansen og brugbarheden af PISA-undersøgelserne forsvinder. Hvis undersøgelserne fandt sted hvert år, ville det være mere håndgribeligt og relevant at arbejde med i dagligdagen. Afhandlingens forfattere er opmærksomme på, at PISA er en stor international undersøgelse, og det vil kræve mange økonomiske og tidsmæssige ressourcer at lave så radikal en ændring, da alle deltagende lande skal være indstillet på disse. Det vil som udgangspunkt ikke være et større økonomisk og tidsmæssigt problem på den enkelte skole, hvis PISA-undersøgelserne erstatter de nationale tests. Side 63 af 107

65 En anden svaghed ved designet af PISA-undersøgelserne, som kommer i forlængelse af ovenstående afsnit, er, at stikprøven der bliver udtrukket til hver undersøgelse er for lille. K2 tilkendegiver denne svaghed og udtaler i forbindelse med, om undersøgelserne skaber kvalitet: Det ville de gøre, hvis der var en hyppigere frekvens, og hvis de var mere spredt ud på landet. Som det er lige nu, så er det jo nogle målinger, som der ikke er nogen skoleledere i sig selv, der kan bruge til ret meget. Desværre (Bilag 3, s. 99). Hvis stikprøven forøges, vil den kunne generaliseres bedre til populationen. I år 2012 deltog 7481 elever på 339 forskellige uddannelsesinstitutioner, hvilket svarer til 22 elever pr. udvalgt skole. Dette er som udgangspunkt repræsentativt (Egelund, 2013), men hvis den enkelte skole skal anvende undersøgelserne som et PMS kræver det, at den enkelte skole deltager hvert år. Det vil være ideelt, hvis alle skoler deltager, hvilket samtidig vil styrke undersøgelsens repræsentativitet. Samtidig oplever skolerne en usikkerhed omkring, hvorvidt de bliver udtrukket til undersøgelserne eller ej. K2 er blevet udtrukket to gange på femten år. Det opleves problematisk at arbejde med i dagligdagen, da usikkerheden er for stor, og bliver skolen udtrukket, så deltager for få elever. Hvis PISA-undersøgelserne skal anvendes som et PMS, kræver det, at skolernes deltagelse er garanteret, så de har noget konkret at tage udgangspunkt i. Fjernes denne usikkerhed, er det mere relevant at implementere i skolens daglige arbejde, da skolerne vil have mulighed for, at sammenligne resultater fra år til år. Armstrong (2009) pointerer i tråd med dette, at evaluering hvert tredje år er for lidt. Når skolerne ikke modtager nogen form for evaluering på, hvordan de har klaret sig, kan det diskuteres, hvorledes det er ressourcerne værd at deltage. Eftersom skolerne ikke har mulighed for at måle på, hvordan de klarer sig fra undersøgelse til undersøgelse, kan der sættes spørgsmålstegn ved PISA-undersøgelsernes relevans i henhold til at måle på elevernes faglige kunnen. Udbyttet for deltagelse er nødt til at være mere ligeligt fordelt, så skolerne kan finde mening i at afsætte tid og ressourcer til undersøgelserne. Det vil være essentielt, hvis skolerne får frigivet data for elevernes, klassernes og skolens performance, hvilket vil medføre, at skolerne kan lave en objektiv evaluering af performance, og derudfra lave handleplaner for, hvordan kvaliteten af skolens elever skal forbedres. Side 64 af 107

66 9. Konklusion Afhandlingens formål var at undersøge, hvorvidt PISA-undersøgelserne kunne anvendes som et valid PMS til at vurdere danske folkeskoleelevers faglige kunnen. Dette blev belyst ud fra tre underspørgsmål omhandlende PISA-undersøgelsernes formål, Otley & Ferreira s (2009) analytiske framework og diskussion af undersøgelsernes svagheder, samt hvordan PISA-undersøgelserne som PMS kan forbedres. PISA-undersøgelserne er et internationalt værktøj til at måle og sammenligne folkeskoleelever på tværs af 65 lande. Undersøgelsernes formål er at give et billede af, hvor forberedte folkeskoleelever er til at møde og håndtere udfordringer i nutidens samfund. Undersøgelserne startede i år 2000, og finder sted hvert tredje år. Afhandlingens undersøgelsesspørgsmål har taget afsæt i Arbnor & Bjerke s metodiske model, hvor der tages udgangspunkt i the systems view. Dette synspunkt anvender en holistisk tilgang, hvilket er i tråd med afhandlingens teoretiske framework af Otley & Ferreira (2009), der ligeledes tager et holistisk afsæt. En abduktiv tilgang er anvendt, da afhandlingen bygger på en nuværende teori, men samtidig var analysens endelige konklusioner uvisse fra start. Analysen bygger på en kvalitativ undersøgelse gennem interviews med ekspertpersoner og sekundære kilder. Analysens overordnede resultater viser, at skolerne har en god sammenhæng mellem det teoretiske frameworks tolv punkter. Problematikken ligger derimod i, at PISA-undersøgelserne ikke direkte er inkorporeret i disse. Dette har resulteret i mange svagheder i gennemgangen af PISA-undersøgelserne som et PMS. Afhandlingens framework tog udgangspunkt i skolernes vision og mission, hvor Undervisningsministeriet og kommunalbestyrelserne har opsat nogle generelle retningslinjer. Dette medførte visse ligheder skolerne imellem, men forskellen bestod i, hvilket hovedfokus skolerne havde. De kritiske succesfaktorer blev udformet fra skolernes mission og vision, hvor nogle hovedsageligt fokuserede på faglighed blandt lærerne, hvorimod andre fokuserede på børnenes trivsel, for at øge kvaliteten i undervisningen og hos eleverne. Respondenterne gav udtryk for tvetydige holdninger til hvilken struktur, der blev foretrukket. En blandet struktur med mest fokus på centralisering, vil give bedre forudsætninger for at skabe en Side 65 af 107

67 rød tråd gennem folkeskolerne og dermed fremme kvaliteten. Den største forskel i analysens første del, bestod i den strategiske planlægning, hvor privatskolen havde flere ressourcer til at ansætte coaches og eksterne konsulenter til at opfylde skolens vision. Hvorvidt dette generelt gør sig gældende for privatskoler vides ikke. Fælles for samtlige respondenter var, at PISAundersøgelserne ikke direkte var inkorporeret til, at imødekomme visionen. I henhold til skolernes performance mål, så har Undervisningsministeriet opsat nogle nationale mål, som skolerne skal arbejde ud fra. Da PISA-undersøgelserne ikke er en del af disse nationale mål, negligerer folkeskolerne naturligt undersøgelserne som et performance mål. På trods af at Undervisningsministeriet ønsker, at Danmarks PISA-resultat forbedres, så tilkendegiver flere respondenter, at PISA-undersøgelserne ikke inkorporeres i de kommunale kvalitetsrapporter, hvilket er et dilemma. Eftersom undersøgelserne ikke er et performance mål, har skolerne ikke direkte mulighed for, at opsætte target settings til disse. Den største problematik i denne del af analysen findes ved PISA-undersøgelsernes design, da skolerne ingen evaluering modtager efter deltagelse. Dette gør det problematisk at iværksætte en belønningsstruktur. Hvis PISAundersøgelserne skal kunne anvendes som et PMS, kræver det et mere brugbart udbytte for skolerne, så de direkte kan evaluere på performance. Informationsdeling er problematisk i designet af PISA-undersøgelserne. Dette bunder i, at der ikke forekommer nogen feedback efter deltagelse, hvilket reducerer muligheden for at justere og forbedre undersøgelserne. Iblandt respondenterne gives der udtryk for, at det er muligt at fremskaffe yderligere informationer efter deltagelse, men dette har respondenterne ikke taget initiativ til. Dette kan tvivle på skolernes engagement til at benytte PISA-undersøgelserne som et PMS. En betydelig svaghed i denne del af analysen opleves ved, at PISA-undersøgelserne har ændret sig marginalt, hvorimod mange miljømæssige forandringer, i form af reformer, har fundet sted. Dette findes problematisk, da et PMS skal forandres i takt med miljømæssige forandringer for, at relevansen og brugbarheden opretholdes. Analysen har identificeret mange svagheder, hvilket i høj grad bunder i skolernes manglende fokus på PISA-undersøgelserne i dagligdagen, samt Undervisningsministeriets manglende retningslinjer omkring disse. Side 66 af 107

68 På baggrund af analysens svagheder, kan det konkluderes, at PISA-undersøgelsernes nuværende struktur og design ikke kan anvendes som et PMS, i henhold til Otley & Ferreira s teori (2009), til måling af danske folkeskoleelevers faglige kunnen. Det er ligeledes illustreret, at på trods af at det faglige niveau, i form af karaktergennemsnit, er steget væsentligt, så er de danske PISA-resultater status quo, hvilket understøtter denne påstand. Hvis PISA-undersøgelserne i fremtiden skal anvendes som et valid PMS, så kræver det større hyppighed, en større stikprøve og mere evaluering. Hvis PISA-undersøgelserne finder sted hvert år, vil skolerne i højere grad kunne anvende disse til, at måle på elevernes udvikling. En større stikprøve betyder, at flere skoler har mulighed for at anvende redskabet år efter år. Dette eliminerer samtidig usikkerheden om, hvorvidt skolerne bliver udtrukket til undersøgelserne. Det er ligeledes essentielt, at skolerne modtager data efter deltagelse, så fundamentet for evaluering optimeres. Disse forslag til forbedringer er radikale, og vil kræve store tidsmæssige og økonomiske ressourcer, men hvis PISAundersøgelserne skal kunne anvendes som et PMS, anses det som en nødvendighed. Side 67 af 107

69 10. Perspektivering Afhandlingens empiri er indsamlet igennem et kvalitativt single case studie, hvilket har medført, at studiet udelukkende kan generaliseres analytisk, da mængden af indsamlet data ikke har været tilstrækkelig til at repræsentere en general tendens. Dette betyder, at undersøgelsens resultater er svære at overføre til andre lande. Undersøgelsens resultater er udelukkende vejledende for lande med lignende uddannelsesstruktur og tilgang til undersøgelserne (Kvale, 1996). Landenes kulturelle forskelle gør det problematisk at overføre afhandlingens resultater. Landenes kultur og andre underliggende mekanismer har stor indflydelse på, hvilken indstilling de respektive lande har til PISA-undersøgelserne. Der opleves en stor forskel på Danmarks kultur og tilgang til undersøgelserne sammenlignet med de Østasiatiske lande, som klarer sig bedst (Jerrim, 2014). Afhandlingens pålidelighed vil være diskutabel, hvis analysens resultater overføres til lande med så divergerende kulturer. På trods af afhandlingens konklusion om at PISA-undersøgelserne ikke kan anvendes som et valid PMS for de danske folkeskoleelever, er det ikke ensbetydende med, at det ligeledes gør sig gældende i andre lande. Side 68 af 107

70 11. Litteraturliste Abnor, I., & Bjerke, B. (2009), Methodology for Creating Business Knowledge. 3. Udgave, London, Sage Publications Inc. Albrechtsen, A.. (2013), Nationale test i folkeskolen styrker fagligheden, udgivet 10. oktober 2013, Alphabet (2013), Dokumentar film, Instrueret af Erwin Wagenhofer, Tyskland: Pandora film. Berlingske, set den 13 april, < Andreasen, J. (2014), Folkeskolen er blevet sønderbombet med reformer og regelændringer, udgivet 28. april 2014, Politikken.dk, set den 11. april, < Andrews, P. (2014) OECD and Pisa tests are damaging education worldwide, udgivet 6. maj 2013, <The Guardian, set den 6 marts, Ansoff, H.I., (1965), Corporate Strategy. McGraw-Hill, New York. Anthony, R. (1965), Planning and Control Systems: A Framework for Analysis. Harvard Business Press, Boston. Antoft, R. & Salomonsen, H. H. (2007), Det kvalitative case stadium introduction til en forskningsstrategi I Håndværk & horisonter tradtition og nytænkning i kvalitativ metode, Syddansk Universitetsforlag. Armstrong, M. (2009), Armstrong s Handbook of Performance Management, London, Kogan Page Limited. Balugun, J., Johnson, G. (2004), Organizational restructuring and middle manager sensemaking. Academy of Management Journal 47, Side 69 af 107

71 Baxter, P. & Jack, S. (2008), Qualitative Case Study Methodology: Study Design and Implementation for Novice Researchers, volume 13, number 4. McMaster University, West Hamilton, Ontario, Canada. Bergenholtz, C. (2013), fra undervisning i faget Videnskabsteori og Metode 1, 2 semester, foråret 2014, Aarhus BSS. Broadbent, J. & Laughlin, R. (2007). Performance management systems: a conceptual model and analysis of the development and intensification of new public management in the UK. In: APIRA Conference, Auckland. Broadbent, J., & Laughlin, R. (2009). Performance management systems: A conceptual model. Management Accounting Research, Bryman, A. (2004), Social Research Methods, 2nd edition, Oxford University Press Inc. Chenhall, R. H., (2003), Management control systems design within its organisational context: findings from contingency-based research and directions for the future. Accounting, Organizations and Society 28, Chenhall, R.H., Morris, D. (1986), The impact of structure, environment, and interdepence on the perceived usefulness of management accounting systems. The Accounting Review 61, Collier, P.M. (2005), Entrepreneurial control and the construction of a relevant accounting. Management Accounting Research 16, 321. Colling, J.C. & Porras, J.I. (1996), Building your company s vision. Harvard Business Review 74, Danmarks Lærerforening. (2015), Lærer på Grundløn, udgivet 12 november 2014, DanmarksLærerforening.dk, set den 8 april, < Side 70 af 107

72 Dye, R.A. (1992), Relative performance evaluation and project selection. Journal of Accounting Research 30, Egelund, N. (2013), PISA 2012-undersøgelsen en sammenfatning. KORA, Det Nationale Institut for Kommuners og Regioners Analyse og Forskning. Egelund, N. (2013), PISA-2012 Danske unge i en international sammenligning. KORA, Det Nationale Institut for Kommuners og Regioners Analyse og Forskning. El-Namaki, M.S.S. (1992), Creating a corporate vision. Longe Range Planning 25, EMU. (2006), Folkeskolens formålsparagraf, senest ændret i 2006, emu.dk, set den 29 marts, < Ferreira, A. (2002), Management accounting and control systems design and use: an exploratory study in Portugal. PhD Thesis. Department of Accounting and Finance Lancaster University. Fischer, J.G., Peffer, S.A., Sprinkle, G.B. (2003), Budget-based contracts, budget levels, and group performance. Journal of Management Accounting Research 15, 51. Fuglsang, J. (2013), Undervisningsministeriet bøjer sig for PISA-kritik, udgivet 29. november 2013, Politiken, set d. 20. april 2016, < Gibbs, D.M., Merchant, A.K., van-der-stede, A.W., Vargus, E.M. (2004), Determinants and effects of subjectivity in incentives. Accounting, Organizations and Society 9, Granlund, M., Mouritsen, J. (2003), Introduction: Problematizing the relationship between mangement control and information technology. European Accounting Review, vol. 12, nr. 1, Grønhøj, A. (2015), fra undervisning i faget Videnskabsteori og Metode 3, 4 semester, foråret 2015, Aarhus BSS. Side 71 af 107

73 Harboe, T. (2006). Indføring i samfundsvidenskabelig metode. Samfundslitteratur. Hofstede, G. (1984), Cultural dimensions in management and planning, Volume 1, Issue 2, Asia Pacific Journal of Management, Hope, J., Fraser, R. (2003b), New ways of setting rewards: the beyond budgeting model. California Management Review 45, Hopwood, A.G. (1972), An empirical study of the role of accounting data in performance evaluation. Journal of Accounting Research 10, Ittner, D.C., Larcker, D.F., Meyer, W.M. (2003), Subjectivity and the weighting of performance measures: evidence from a balanced scorecard. The Accounting Review 78, 725. Jenkins, G.D.J., Mitra, A., Gupta, N., Shaw, J. (1998), Are financial incentives related to performance? A meta-analytic review of empirical research. Journal of Applied Psychology 83, Jerrim, J. (2014), Why do Easy Asian children perform so well in PISA? An investigation of Westernborn children of East Asian descent, Institute of Education, University of London. Johnson, G., Scholes, K., Whittington, R. (2005), Exploring Corporate Strategy: Text and Cases, 7 th ed. Prentice-Hall Financial Times, Pearson Education Limited. Kaplan, R.S., Norton, D.P. (1996), The Balanced Scorecard: Translating Strategy into Action. Harvard Business School Press, Boston. MA. Keer, S. (1975), On the folly of rewarding A, while hoping for B. Academy of Management Journal, Keidel, R.W. (1994), Rethinking organizational design. Academy of Mangement Executive 8, Korsgaard, S. (2015), fra undervisning i faget Videnskabsteori og Metode 3, 4 semester, foråret 2015, Aarhus BSS. Kvale, S. (1996). Interviews, s ; SAGE Publications, Inc. Side 72 af 107

74 Kvale, S., & Brinkmann, S. (2009). InterView - Introduktion til et håndværk. Hans Reitzels Forlag. Langfield-Smith, K. (2007), A review of quantitative research in management control systems and strategy. In: Chapman, C.S., Hopwood, A.G., Shields, M.D. (Eds.), Handbook of Management Accounting Research, vol. 1. Elsevier, Oxford, UK, Merchant, A.K. & Otley, D. (2007), A review of the literature on control and accountability. In: Chapman, C.S., Hopwood, A.G., Shields, M.D. (Eds.), Handbook of Management Accounting Research, vol. 1. Elsevier, Oxford, UK, Merchant, K., & Van der Stede, W. A. (2007). Management Control Systems Performance Measurement, Evaluation and Incentives. Pearson Education Limited Metodeguide.au.dk, (2014), Kodning af kvalitative data, revideret 6. oktober 2014, udgivet af Aarhus Universitet, set 25. april 2016, < Ministeriet for Børn, Undervisning og Ligestilling. (2015), Bekendtgørelse om lov af folkeskolen, kapitel 1, 1, hentet fra Retsinformation.dk den 31 marts. Mintzberg, H., Lampel, J., Quinn, J.B., Ghosal, S. (2003), The Strategic Process: Concepts, Contexts, Cases, 4 th ed. Pearson Education Limited, England. Nielsen, K. Ø. (2014), GRAFIK: Så dårlige er danske skoleelever til at løse problemer, udgivet 1 april 2014, DR.dk, set den 15 marts, < Olsen, T.L. (2013), Forsker: Pisa-undersøgelsen bruges forkert, udgivet 3 decemeber 2013, DR.dk, set den 16 marts, < Olve, N-G., Roy, J., & Wetter, M. (1999). Performance Drivers. Chichester: John Wiley & Sons. Ordóñez, L.D., Schweitzer, M.E., Galinsky, A.D., Bazerman, M.H. (2009), Goals Gone Wild: The Systematic Side Effects of Over-Prescribing Goal Setting, Harvard Business School. Side 73 af 107

75 Otley, D. (1999). Performance management: a framework for management control systems research. Management Accounting Research. Otley, D. (2008). Did Kaplan and Johnson get it right? Accounting, Auditing & Accountability Journal 21, Otley, D., & Ferreira, A. (2009). The design an use of performance management systems: An extended framework for analysis. Elsevier: Management Accounting Research, Porter, M. (1980), Competitive Strategy: Techniques for Analysing Industries and Competitors. The Free Press, New York. Ravn, K. (2012), Helt ny Pisa-undersøgelse fra 2015, udgivet 10 december 2012, folkeskolen.dk, set den 9 april, < Red Barnets Ambassadørskoler (2015), Vi er Red Barnet ambassadørskole, Red Barnet Rockart, J.F. (1979), Chief executives define their own data needs. Harvard Business Review, Schulz, J.W. & Pruitt, D.G. (1978), The effects of mutal concern on joint welfare. Journal of Experimental Social Psychology 14, Shah, J. Y., Friedman, R., Kruglanski, A.W. (2002), Forgetting all else: on the antecedents and consequences of goal shielding. Journal of Personality and Social Psychology, 83(6), Simons, R. (1995), Levers of Control: How Managers Use Innovative Control Systems to Drive Strategic Renewal. Harvard Business School Press, Boston, MA. Štrajn, D. (2014), The PISA Syndrome: Can we Imagine Education without Comparative Testing?, Solsko Polje, vol. 15, Issue 5/5, Stringer, C. (2007) Empirical performance management research: observations from AOS and MAR. Qualitative Research in Accounting & Management 4, Side 74 af 107

76 Thompson Jr, A. & Strickland III, A.J. (2003), Strategic Management: Conceps and Cases, 13 th ed. McGraw-Hill Higher Education, New York. Thorup, M-L. (2014), PISA-test bliver solgt som noget andet end den er. Udgivet 15 marts 2014, Information, set den 16 marts, < UVM. (2013), PISA 2012: Danmark fastholder sit niveau, udgivet 3 december 2013, Ministeriet for Børn, Undervisning og Ligestilling, set den 5 april, < DK/Content/News/Udd/Folke/2013/Dec/ PISA-2012-Danmark-fastholder-sit-niveau> UVM. (2015), Om nationale mål, sidst opdateret 29 juli 2015, Ministeriet for Børn, Undervisning og Ligestilling, set den 5 april, < Van der Stede, W.A., Chow, C.W., Lin, T.W. (2006), Strategy, Choice of Performance Measures, and Performance. Behavioral Research in Accounting 18, Yin, R. (2013). Case Study Research - Design and Methods. SAGE. Side 75 af 107

77 12. Bilag 12.1 Bilag 1 Transskribering af interview med P1 Hvordan er du som kontaktperson/ansvarlig for PISA-undersøgelser involveret med disse i dagligdagen og i hvor høj grad i fokuserer I på undersøgelserne? Jeg har kun været involveret på den måde, at vi besluttede os for, at de første gange, at det var mig som var kontaktperson. Det vil sige, at det er mig der går ud og tager kontakt til de forskellige klasser, som skal involveres. Det er også mig, som har kontakt til de ressource personer som kommer udefra. Ligeledes mig som formidler den kommunikationen til forældrene, da det ikke er alle forældre, som ved hvad denne undersøgelse går ud på, da den er meget bred. Så det er det. Det er ikke sådan, at vi har været ude og involvere lærerne i forståelsen af PISA-undersøgelserne. Har I været med en del år af undersøgelserne eller hvordan? Vi har været med alle årerne undtaget den seneste gang. Der valgte vi at sige nej tak. Det havde de respekt for, forstået på den måde, at de valgte at køre undersøgelsen på et tidspunkt hvor vi var udfordret af forskellige arrangementer. Jeg synes selv, at det var et tidspunkt hvor vores ottende klasser, for det er primært ottende klasser, simpelthen ikke havde tid. Så I synes det var for tidskrævende? Men hvordan er jeres generelle indtryk? Vi vil gerne involveres i det, det har vi ikke noget imod. Vi tænker, at vi er interessante og falder altid ud fra mængden, når man vil lave enten PISA eller andre typer undersøgelser, da vi jo leverer et stort antal elever. Det vil sige, at når vi går ind og kigger på overbygningen har vi et trecifret antal elever til at være i ottende klasse og et trecifret antal elever i niende klasse. Så hver gang man trykker på, at vi skal have et eller andet repræsentativt, så kommer vi næsten frem hver gang. Omkring skolens vision og mission, når I er en så stor skole, har PISA-undersøgelserne så haft nogen indflydelse på disse? Nej. Det har det ikke. Vi er faktisk i gang med skrive på vores mission og vision for de kommende 7 år. Det ligger i 7 års intervaller. Men det bliver en renskrivning af et setup, som i virkeligheden hedder, at vi gerne vil være det oplagte valg for forældre som har lyst til, at give deres børn den mulighed, der nu ligger i, at de skal kunne udnytte deres evner i nogle fornuftige og gode rammer. Den tanke vi ligger i skolegangen er, at vi vil rigtig have, at vi tager fat på den enkelte elev og prøver, at se på den enkeltes elev udviklingspotentiale. Dermed også hele tiden arbejde på, hvad er det næste udviklingszone, som vi kan tage den enkelte elev med på. Der ved vi jo godt, at vi er privilegeret i forhold til et almindelig skole setup, da vi som udgangspunkt har forældrenes opbakning. Vi har også elever som i deres dagligdag ikke udtrykker den store begejstring for at lave lektier, men når vi skal snakke samlet set, så har vi elever der har lyst til, at gå i skole og vi har ikke mindst forældre som vil bakke op. Det er et godt udgangspunkt. Er det sådan generelt for privatskoler? Det kan man sige ja. Vores pointe er, at når vi laver optagelsessamtaler med elever er det vigtigt, at sige til dem, at I skal vide at jeres forældre betaler for, at I går i skole. Det betyder I har en forpligtelse til at få noget ud af skolelivet og I skal i øvrigt også huske, at fortælle jeres forældre hvordan det går, ellers er investeringen jo håbløs. Side 76 af 107

78 Omkring mission og vision er der dikteret nogle retningslinjer oppe fra omkring hvad der skal inddrages? Specielt i forhold til PISA eller de nationale mål? Nej det styrer vi 100% selv. Til gengæld så har vi noget, som måske kunne vejlede af det. Vi har det sådan, at vi har indskrevet en paragraf, at den undervisning vi ligger til grund her på stedet, den skal mindst stå mål med hvad man som i en gennemsnits betragtning møder på almindelige folkeskoler. Der kan man sige, at det er målsætningen, at vi skal jo være bedre. Grunden til det er, at hvorfor skulle man betale for en varer på den her side af vejen, når man kan få en lige så god vare gratis, på den anden side af vejen. Det er vi meget bevidste om, men det er ikke sådan, at det er skrevet ind som et krav om, at så skal vi også ende ud med, at være bedre. Hvilke succesfaktorer har I, når i skal bedømme jer selv? VI har et succes kriterier som hedder trivsel, da vi arbejder med et setup som hedder, at først skal vi have styr på elevens trivsel. Når vi har styr på den, kan vi begynde at ligge lag på. Vi bruger et gammelt udtryk, som hedder der hvor børn kan føle sig trygge, gror det de gamle vil kalde for lykke. Forudsætningen for indlæring er, at man har balance i sit liv og at der er fred og ro i undervisningen. Derudover at man som elev føler, at man er en del af et fællesskab. Det arbejde vi selvfølgelig meget med. Hvad med i forhold til lærerne? Det er der også i høj grad. For at komme tilbage til det faglige. Når vi snakker om elever, så arbejder vi med børnene helt nede fra børnehaveklassen i forhold til evaluering. Fra fjerde klasse arbejder vi både med evaluering og karakterer. Det vil sige, at man tre gange om året får en karakter fra fjerde til tiende klasse. De to af gangene, der laver man individuelle evalueringer, som vil sige at eleverne sidder derhjemme og vurderer sig selv, på forskellige typer af parametre f.eks. hvor god er min arbejdsindsats, koncentration osv. Lærerne gør det ligeledes. Når man så kommer til evalueringssamtalen, så åbner man for det og kigger på det. Enhver samtale, lige meget hvilket klassetrin vi snakker om, slutter altid af med at man stopper inden samtalen får karakterer af, at de er på vej ud af lokalet. Man stopper op og spørger hinanden: hvad laver vi af aftale for de kommende tre måneder, inden næste samtale? Hvad skal du arbejde med? Hvad skal far og mor arbejde med? Hvad kan vi som skole arbejde med?. Det kan være helt basale ting eller større ting, det er meget individuelt. Så der er ikke nogle nøglefaktorer som er dikteret af kommunen, Undervisningsministeriet eller lignende? Nej det er ligesom med vores mission og vision, at det styrer vi helt selv. Generelt omkring PISA. Føler du at det bliver brugt som et centraliseret eller decentraliseret kontrol system i forhold til foleskolerne? Og hvad foretrækker du? Der er i virkeligheden noget spænende i, at se hvor eleverne de er. Det synes jeg. PISA er jo et bredt værktøj, forstået på den måde, at se de resultater som kommer ud af det. Det er spændende, at se om man på den enkelte skole har flyttet sine elever. Der er ingen tvivl om, at jeg har bestemt den holdning, at man skal have friheden på den enkelte skole. Faktisk også kommuneskole skal have frihed. Nogle gange bruger man de her PISA-undersøgelser til, at opstille nogle urealistiske politiske mål. Side 77 af 107

79 I har dermed mere frihed som privatskole end kommuneskole? Vi har fuldstændig frihed. Vi kan f.eks. som vi har besluttet i forbindelse med den nye skolereform valgt, at sige, at det harmonere meget dårligt med den måde, som vi driver skole på. Punkt 1 oplever vi i en generel betragtning, at hvis eleverne tager i lektiecafe hverdag, så føler vi, at de mister følingen med hvor de er henne rent lektiemæssigt. Man kobler i virkeligheden forældrene noget af. Det er forældrene dybt frustreret over, det kan vi mærke, når vi har dem til samtale. Vores setup er mere i retning af, at her har forældre en forpligtelse til at gå ind og tjekke op på om lektier bliver lavet, hvor langt er de kommet i hvert enkelt fag. Hvis man som elev går i skole fra klokken 8-15 eller , så tænker jeg, at der ikke er særlig meget gas og energi tilbage til, at skulle lave lektier når man kommer hjem. Det pudsige er så, at hvad er det så, at man vil tale om når man kommer frem til forældresamtaler, hvis forældrene ikke har været en del af det. Som du skrev i mailen, omkring jeres strategiske planlægning, hvorfor er det PISA ikke er en del af det? Nej det er det ikke. Når vi har set os selv i PISA regi, så kan vi se at vores elever klarer sig fint på de forskellige parametre, som de bliver målt på. Både på det matematiske og det mere boglige i forhold til læsning. Det har ikke været et valg, at vi har tænkt, at vi vil bruge PISA-undersøgelserne. Hvad skyldes det mere præcist? Vi gør mere det som man kan kalde for the real deal, altså vi går ind og kigger på, hvordan vores eksamensresultater er fra år til år. Der tillader vi os, at sige at når vi sender et trecifret antal elever til afgangseksamen i niende klasse i dansk, og får et gennemsnit der hedder f.eks. 7,4, så kan vi godt bruge det som en retningslinje i forhold til, om vores elever er blevet flyttet tilstrækkeligt meget. Ligeledes om de er over/under landsgennemsnittet, også se om vi på den måde, har fået flyttet vores elever. Det synes vi godt, at vi kan tillade os at bruge eksamensresultatet til. Det kan vi, fordi vi er så mange. Hvis man tager et enkelt år, hvor man måske har fået nogle ekstremt dygtige elever ind, så kan man måske være tilbøjelige til at sige hold kæft hvor er vi dygtige. Men hvad gør man så næste år? Det er jo det man ofte ser, når snittet så falder betragteligt ned på det normale niveau. Men helt generelt, er det jo fordi det er nemmere at bruge de her karaktergennemsnit som er hvert år i forhold til PISA som jo kun er hvert tredje år og man til dem ikke er sikker på, at blive udtrukket som skole til at deltage. Har du indtrykket af at kommunen og Undervisningsministeriet har PISA-undersøgelserne som et kvalitetsmål for niveauet af de danske folkeskoler? Og synes I det var relevant at klare sig godt eller var det mere for at hjælpe til? Vi vil helt klart gerne være med til det, som man kalder for best practice. Vi vil gerne have, at hvis det giver mening. Vi siger ikke at vi har opfundet den pædagogiske dybe tallerken, men vi har nogle principper hvor man kan sige, at det i hvert fald som fundament giver god mening. Det kan vi kan se der giver god mening er, at vi over tid har gearet meget op på trivsels elementet. Vi har f.eks. et samarbejde med Redbarnet hvor vi inde og lave handlingsplaner med dem. Vi har ansat en coach fuld tid, hvis eneste opgave er at sørge for at starten er at komme rundt i nye klasser og finde den balance. Derudover være med til at udvikle et trivselsniveau som gør, at det er et rart sted at være. Alle vores klasser starter skoleåret med at lave trivselsplaner, for at lave Side 78 af 107

80 fundamentet for hvordan kommer vi videre herfra. Så det er her trivsel er enormt vigtigt for os. Det hænger i virkeligheden også sammen med, at vi som privatskole vi har jo et redskab, som man som kommuneskole har til en hvis grad også alligevel ikke. Vi har jo retten til, at sige til forældre at vi vil gerne opsige samarbejdet. Når man har sådan en ret, så er det selvfølgelig en ret man skal bruge med rigtig meget omtanke. Men der kan vi bruge det i samarbejde med forældrene, da vi vil ikke have elever ind som skaber ufred og ubalance. Vi har heller ikke brug for, at have elever siddende som ikke har lyst til at gå i skole, så spilder mor og far deres penge. Det er også et parameter. Så i fokuserer mere på karaktergennemsnittene, men er der nogle oppe fra som siger, at nu når I har ressourcerne og har retten til, som du sagde, at afbryde samarbejdet, at I skal ligge over gennemsnittet? Nej det er der ikke. Det man på et tidspunkt, i stedet kan forestille sig er, at vi bliver målt på den sociale løfteevne. Det kan være på integrationen, der kan man sagtens forestille sig at vi vil blive udfordret. Vi kan sagtens sige nu, at det gør vi rigt målt, men der kunne vi godt blive udfordret. Så for at forstå det helt rigtigt: der bliver ikke stillet nogle krav fra kommunen eller Undervisningsministeriet i forhold til karakterer, trivsel, PISA eller andre ting? Nej det gør der ikke. Undervisningsministeriet har også opsat de her nationale mål, hvor andelen af de dygtigste elever skal øges og andelen af de svage skal reduceres. Arbejder I ud fra det eller noget I bliver gjort opmærksomme på? Vi arbejder ud fra vores egne principper. Men man kan sige, at de flugter meget godt med det du lige sagde. Der er som sådan ikke noget svært i, at løfte en elev fra 10 til 12. Den store opgave den består i, at løfte en elev fra 4 til 7, fra 4 til 10 eller 2 til 7. Den vej med at tage fat i de svage, er vi meget enige i. Der er element, som jeg ikke ved om I har tænkt over, men i ottende klasse skal man lave noget som hedder uddannelsesparathedsvurdering. Der skal eleven sammen med forældre tænke fremad og sige: efter niende klasse, hvad kunne jeg tænke mig der?. Hvis man kunne tænke sig, at gå på en gymnasial uddannelse så skal man måles på det. Så går man ind med den enkelte elev og vurderer ud fra, den måde eleven arbejder på nu og de resultater du leverer nu, giver det så mening. Man måler på det faglige, sociale og personlige. Hvis de tre bonner ud på den måde, at det giver god mening, så får man det vi kalder uddannelsesparathed. Det skal alle skoler give til deres elever. Pointen er, at hvis man falder på et af de her elementer, og det kan sagtens ske, så skal man ind og lave en handlingsplan for og sammen med den enkelte elev. Er det karakterer for den endelige eksamen eller standpunktskarakterer? Lærerne har vel også en interesse i, at mange af deres elever kommer videre, så de kan vise at de er en dygtig lærer. Så om der kan komme noget dysfunktionalitet indover. Det kunne der sagtens komme. Men den holder jo ikke helt, altså de karakterer som lærerne giver, de skal i virkeligheden ikke adskille sig særlig meget for de prøvekarakterer eleven får. Så det er noget i går ind og sammenligner? Ja det er det i høj grad. Det kan man lave statistik på. Der er en hvis procentdel af eleverne som overpræsterer og underpræsterer, men som udgangspunkt skal man som lærer nogenlunde Side 79 af 107

81 ramme niveauet. Det fungerer faktisk ret godt, for vi har også en hel del testmateriale. Det er et ganske præcist billede man får af den enkelte elev. Hvordan evaluerer I jeres lærere udover elevernes standpunktskarakterer vs. eksamenskaraktererne? Trivsel? Der har du fat i et udviklingsområde. Der er en løbende diskussion i forhold til hvad der giver mening, når det kommer til at få en klasse til at fungere optimalt. Hvad er det som skal til? Er det den dygtige matematiker? Den universitetsuddannede biolog? Eller hvad er i virkeligheden det vigtigste? Der kan man sige, at der er vi slet ikke i tvivl om hvor vi er henne. Vi er der henne hvor vi skal have fat i en faglig stærk person, en der er kompetent til faget. Men det skal krydres med en person, som er i stand til, at skabe relationer. Relationer har noget at gøre med den tryghedsskabende funktion i en klasse. Der er det klart, at man fra årets start kan lave klassetrivsel. Der findes en del programmer til det. Det kan man i og med, at man laver de her trivselssager for, at finde ud af hvordan det fungerer i klassen. Det kan man så typisk også ved juletid og ved slutningen af året. Det er ikke sådan, at lærerne bliver målt på hvor mange elever de mister i årets løb. Det giver sig selv, at hvis man har en klasse hvor tingene ikke fungerer, og man år efter år kan konstatere, at det virker som om det hænger ved de samme klasse-teams, så er der jo et udviklingsarbejde og tage fat på. Der arbejder vi også pædagogisk med lærerne. Forstået på den måde, at der hele tiden er behov for, at man får afstemt problemer på. Lærerne har blandt andet efterspurgt, at de vil gerne blive bedre til at håndtere det man kalder for de svære samtaler. Det kan være de svære samtaler med forældrene, hvor forældrene kommer med nogle andre forventninger i forhold til hvor eleven er rent fagligt. De vil gerne være bedre til, at lave deres team-samarbejde. Stille større krav til hinanden. Det arbejder vi med. Så der er en del efteruddannelse af lærerne lyder det til. Er det noget du generelt har indtryk af, at alle skoler har eller det noget I som privatskole har ekstra ressourcer til? Jeg tror ikke på, at vi har flere ressourcer til at gøre det end andre. Der er bestemt folkeskoler som pisker afsted og er enormt dygtige, men der er også nogle, hvor man kommunalt set har skabt et arbejdsklima for lærerne, der har gjort at det bliver svært for dem. Er det set ud fra den geografiske beliggenhed af skolen eller? Ja det har du ret i. Men der bliver man jo kompenseret. Der vil det være sådan, at de resultater man når er lig det, som man kan kalde det sociale snit i området. Hvordan er jeres belønningsstruktur i forhold til jeres lærere? Hvordan de motiveres de til, at blive ved med at holde dampen oppe? Der tænker jeg, at hvis du går ud og spørger lærerene, så vil de sige, at det får de ingen belønning for. Det er i virkeligheden også kompliceret, for hvordan belønner man en lærer som leverer et flot stykke arbejde? Skal man belønne det specielt? Vi har som princip her på stedet, at vi vil ikke være lønførerne, men vi vil matche, og give lidt mere end de generelle lønninger i området. Det er et godt parameter at måle på. Ellers er løn en svær størrelse på lærerområdet. For det har noget, at gøre med hvor mange timer man underviser. Jo flere undervisningstimer, jo mere i løn. Det er i virkeligheden en størrelse, som bider sig selv lidt i halen. For principielt har vi på skolen, at f.eks. nye medarbejdere, dem vil vi passe meget på, så de underviser typisk 24 lektioner og ikke 28 som Side 80 af 107

82 ville være det normale. Så på den måde tror vi, at lærerne vil føle mere overskud fra starten. Vi har også et andet princip som siger, at vores lærere får lov til, at undervise i de fag som de dels er uddannet i, men som de også har lyst til at undervise i. De bliver ikke kastet ud i fag de ikke kender til, selvom der måske er meget sygdom. Så det mener vi er en betydelig motivationsfaktor. Det sidste element er, at når man snakker om løn er, at vi vil sikre, at vores lærere ikke bliver skubbet for højt op i deres normeret ugentlige arbejdstid. For hvis vi skubber dem for højt op, så ved vi jo, at så får vi betalingen i den anden ende. Så får vi presset lærere og sygemeldinger. Hvis man kigger på vores sygestatistikker, så ligger vi rigtig flot og det er vi enormt glade for. Men vi skal ikke skjule, at der sidder lærere som siger: vi vil gerne have noget mere i løn og vi ved også godt hvordan, vi skal have flere timer. Men man kan i virkeligheden ikke begge dele. Er det sådan som privatskole, at I kan give specielle tillæg og måske også bonusser? Vi har muligheden, men det er ikke noget som vi opererer med. For at få lønstrukturen til, at ramme rigtigt, så giver vi et tillæg som hedder et realskole tillæg. Det ligger ikke inde i den normale timetals aflønning. Det er en måde, at få løftet lønnen på. Men vi går ikke ind og giver specielle bonusser. Det vi gør er, at vi kan give timer hvis der er noget arbejde vi gerne vil have udført. Lærere som er meget udviklingsorienteret og lærere som insisterer på de gerne vil prøve noget forskelligt ting af, det vil vi være i stand til at kunne give timer til. Dels kunne det være noget, som vi som skole vil have lyst til, at sætte i gang eller det kunne være den enkelte lærer. Det kunne være en anden måde at arbejde på, undervisningsform osv. Det vil vi sagtens kunne støtte. De timer kan jo så også opfattes som løn. For så opbygger man en timebank, hvor man så kan holde en uge fri. Men hvad så hvis I evalurer på lærere som ikke har opfyldt jeres krav? Kan frygt for at blive fyret, så bruges som motivation? Håber du forstår mig ret. Ja jeg forstår. Men det er det ikke. Hvis du med din tanke siger, at vi er ligeglade med hvordan det fungerer, så er vi slet ikke det. Det er klart, at hvis der er noget som bonner ud på en måde, hvor vi tænker at det ser mærkeligt ud, så skrider vi til handling i forhold til en personaleudviklingssamtale. Så kunne man give et opkvalificeringskursus. Det vil være meget mere konstruktivt, at man på den måde gjorde det. Men vi har også programmer hvor man som lærer støtter hinanden og sparrer på den måde. Hvor læreren kan sige, at vedkommende har brug for at en anden lærer ligger specielt mærke til visse elementer. Så mødes man efter timen og diskuterer tingene ud fra hvad der er observeret. Så bliver det lærerens opgave, at tænke videre over det. Så man måske kommer frem til, at det kunne være en mulighed at gøre den ting eller den ting på en anden måde. Det kræver vel også ekstra ressourcer for jer, er det noget I har valgt eller er det dit indryk noget som er på de fleste skoler? Jeg tror ikke, at det er noget som er på alle skoler. Men det er noget som vi har valgt, for at prøve, at se om det kunne være en måde at åbne dørene på. For det at undervise er jo i virkeligheden et ensomt job, da der er en høj grad af tradition for, at man går ind i klassen, også går man i gang - selvfølgelig sammen med eleverne. Men når alt kommer til alt, så står og falder det jo med, om den praksis læreren har kaster det forventede af sig. Kunne man i virkeligeden forestille, at dette Side 81 af 107

83 kunne gøres bedre? Der har vi alle et ønske om, at vi skal blive skarpere til at undervise på en måde hvor vi ved virker. Vi skal væk fra det tror jeg på er en god ide, til det er jeg ret sikker på. På den måde skal vi sparre mere med hinanden. Det arbejder vi med. I forhold til PISA-undersøgelserne var der så en belønningsstruktur som skole, hvis man klarede sig godt? Det var der ikke. Hvis du spørger, om vi vil være ligeglade med, at være dårligt placeret, så vil vi være ret trætte af det. Man kan mene meget om PISA-undersøgelserne, og om de giver et retvisende billede, men man har jo ikke lyst til at se, at de elever man har klarer sig dårligt i forhold andre. Vi har jo ikke indflydelse på hvilke elever der bliver peget ud, det kan lige så godt være de ressourcesvage. Efter PISA-undersøgelserne var der så en opsamling skolerne imellem? Nej det var der slet ikke. Og jeg vil sige, at det nok også er en svaghed i systemet. Der er ikke afsat tid til, at man kommer tilbage efter og evaluerer. Det kunne man måske godt ønske sig, at det kunne komme. Det er ikke noget vi har spurgt ind til og mit indtryk er også at andre heller ikke har. Så op til PISA-undersøgelserne er der heller ikke noget informationsdeling om, at vi skal arbejde med det og det for at klare os godt? Nej slet ikke. Vi havde læst at i Kina intensivere de læsningen og vidensdelingen op til undersøgelserne. Men det er ikke det indtryk du har vi gør i DK? Det er jo en spændende tanke. Altså at man underviser eleverne i at gå til prøve. Det er ikke en strategi vi har mødt og valgt. Får lærerne nogen form for feedback i forhold til hvordan deres elever klarer sig? Nej det gør de ikke. Overhovedet ikke. Men vi får som skole de anonymiserede testresultater, men vi kan ikke se på den enkelte elev eller klasse. Men det er skolen som gennemsnit ved den årgang som er taget ud. Ved hver undersøgelse er der et hovedemne f.eks. matematik. Så det er ikke, for at være sikker, sådan der bliver lagt ekstra vægt på dette? Nej slet ikke ikke. Føler I at arbejdet med PISA har ændret sig siden første undersøgelse? Det har været det samme fokus føler jeg. Undersøgelserne ligger typisk henne i foråret. Det interessante er, at når man kommer i april eller maj måned og byder os op til dans, så bliver vi nødt til, at sige er det er det værste tidspunkt at gøre det på. Der et op til eksamen. I og med, vi har så mange elever der skal til eksamen, så er det ikke noget vi har gjort noget ekstra ud af overhovedet, da der er mange andre ting at tænke på i den tid. Så hvad skulle der til før i vil sætte tid af til det selvom det er i en presset periode? Jeg vil sige, at hvis man valgte den strategi og sagde i august, at vi i år fokuserer på de her ting, og vi vil afvikle undersøgelsen i februar, så kan man sige, at vi har mulighed for at arbejde på det og ligge det ind som et element som kunne være spændende. Så kunne man forestille sig, at vi kunne lave et ekstra godt resultat. Så kunne det begynde, at hænge sammen. Når eleverne som kom Side 82 af 107

84 halvandet år længere frem, ville vi så have en speciel dygtig årgang fordi der blev lagt ekstra fokus på det. Det kunne være spændende at se og en mulighed. Så helt generelt mener du så, at PISA svækker eller forbedrer kvaliteten hvis det bliver inddraget på skolerne? Ingen tvivl om, at det kan forbedre det. Det kan det på den måde, at enhver fokus på den måde man arbejder på tingene, hvordan man måler det og hvilke resultater der kan komme ud af det, gør at man kan se hvordan man kan forbedrer sig. Jeg er slet ikke i tvivl om, at det er en god ting. Dermed ikke sagt, at hvis man bare tester nok, så vil man få mere ud af det. For det tror jeg ikke. Så mener du det har relevans for niveauet af folkeskolerne? Det har relevans. Men der må andre vurdere om, de er tilstrækkelige. Det er jo en international undersøgelse, så på den måde må man gå ud fra at det er et solidt materiale. Men man kan jo godt spørge sig selv om, at hvis forudsætningerne ikke er de samme i de forskellige lande og man ikke har oversat på den rigtige måde. Eller hvis nogle lande har ekstra meget fokus på de områder som testen tager udgangspunkt i, er det så virkelig det samme? Det har også noget med eleverne at gøre. I Kina opbygger de holdsport stemning om de skal gøre det godt. Føler du den holdning også er blandt de danske elever eller om de tog det som en fridag? Nu er det jo sådan, at det er fra en årgang. Det vil sige, at det er ikke 8.B der skal gøre det godt. Men det vi gjorde, var at vi samlede eleverne og fortalte dem, at vi synes det er et spændende og godt initiativ. Vi var glade for forældrene bakkede op og at eleverne ville. Det eneste vi faktisk forventede var, at de skulle gøre det så godt som de kunne. Hvilket flugter godt med det setup som vi generelt set har til at gå i skole. Er vi tvivl om eleven gør det, så går vi i en dialog om det. Selvfølgelig også, at vi motiverer dem til at de repræsenterer deres skole. Men at sige det blev en jubii-prøve, det gjorde det ikke. Jeg vil også sige, at nogle var glade fordi de ikke skulle have tysk. Men det kan vel aldrig helt undgås Bilag 2 Transskribering af interview med K1 Først vil vi høre, hvordan du som skoleleder er involveret med PISA-undersøgelserne i hverdagen og i hvor høj grad fokuserer du på undersøgelserne helt generelt? Det gør vi ikke ret meget. Har I tidligere været med i undersøgelserne? Jeg har kun været på den her skole siden sommerferien, og jeg har ikke været inde og undersøge hvad man har gjort tidligere, men man er jo med i PISA-undersøgelserne i det omfang man nu skal være det. Det er jo ikke noget man lærer. Var I med i undersøgelserne på din tidligere skole? Og var der mere fokus på PISAundersøgelserne på den skole? Ja, vi deltog i undersøgelserne. Nej, det er klart, at når resultaterne kommer, så kigger man på dem og finder ud af hvad man kan bruge dem til. Et eller andet sted, i det store billede, er det ikke det der er det første redskab, som vi tager fat i. Side 83 af 107

85 Så hvordan er dit generelle indtryk af PISA-undersøgelserne? Mener du, at det er et okay værktøj at bruge, eller foretrækker I andre værktøjer? Det der er svært for den enkelte skole i forhold til PISA er at der ikke er noget der hedder alt andet lige. Det er en forholdsvis lille population, kan man sige. Idet at man har måske to spor, og alle ved at det kan variere rigtig meget. Kigger vi på karaktergennemsnit på kommunalt plan fx det er sådan lidt mere enkelt at gå til, da man ved, at det er de her børn, der er gået ud. Vi kender de børn. Vi ved hvad handler det om, hvis de er faldet lidt og hvad handler det om hvis de ikke er faldet. Men at rykke ret meget på det i den sammenhæng er lidt svært, fordi der er så mange hvis er og så mange andre ting der gør sig gældende. Er tidsaspektet også et element? Også det. Du kom her til skolen i sommerferien. Nu ved jeg ikke, hvor tit I laver en vision og mission, men har PISA-undersøgelserne på nogen måde været indblandet i vision og mission? Nej. Man kan sige, at vi kigger på resultater i al almindelighed, men der er det jo ligeså vel nationale tests, som det er karaktergennemsnit, som det er trivselsundersøgelserne, som det er mere bløde data i form af hvordan er tilfredsheden, hvordan ser det ud til at børnene rykker sig. Når I har lavet vision og mission, bliver der så dikteret noget oppefra i forhold til, hvad I skal have med, eller styrer I det helt selv som kommune skole? Der er jo altid nogen aftaler. Vi er jo kontraktstyret forstået på den måde, at vi jo laver en aftale med kommunen. En skoleaftale. Ca hvert andet år, hvor der er nogle indsatsområder, hvor vi typisk kan vælge imellem, og typisk er der også nogle der er helt faste. Så udmønter vi jo selv, så får vi selv skrevet ind hvordan vi vil arbejde med dem. Er det nogen der er faste, som I får givet til jer, eller er det sådan i hele kommunen? Det har det været i alt den tid jeg har været leder. På skolen her, hvilke nøglefaktorer har I, hvor I måler på områder som fx trivsel, karaktergennemsnit, og hvordan prioriterer I disse? Det er ikke så systematisk som det godt kunne være. Det er noget vi først nu er ved at lære det at være systematisk med data. Så det kan jeg ikke sige dig. Vi kigger selvfølgelig på tallene og specelt hvis de ligger et helt andet sted end forventet, kan det jo godt være, at man laver en indsats. Hvis man kigger tilbage i tiden, har jeg fx været med til at vi har kigget på karaktergennemsnittet og kunne se at vi lå signifikant lavt i et bestemt fag. Det har betydet, at vi har lavet en indsats, hvor jeg har lavet møder med faglærer og vi har lagt en plan. Så I ser succesfaktorerne efter I har bearbejdet nogle data og så udarbejder nogle derefter for at se, hvor I kan stramme an? Det er ikke fordi I har nogle overordnet såsom at forbedre den enkelte elevs trivsel, lærernes sygefravær skal formindskes og udlære dem og arbejde derfra? Vi skal det hele på én gang. Vi kommer ikke til at slippe med at gøre 1 ting ad gangen. Det har jeg aldrig oplevet før. Side 84 af 107

86 Er det noget der bliver sagt oppefra, at det skal være sådan? Det bliver desværre mere og mere, at der er en hel række data, som byrådet fx ønsker at det skal vi måle på, og nogle gange kan vi godt sidde tilbage med en fornemmelse af at det faktisk er nogle som vi ikke altid kan bruge som redskaber. Så er det data uden at vi har noget sådant rigtigt mål for det. Er PISA en af de ting, som kommer fra byrådet? Nej, det er det ikke. Det er ikke sådan at de siger, at I skal fokusere lidt på det op til undersøgelserne, eller lige inden undersøgelserne? Det er ikke noget jeg lige har oplevet, men det kunne man sagtens forestille sig. I forhold til PISA, føler du så, at det er en centraliseret eller decentraliseret af styring af kontrollen. Altså om du helst vil have en tilgang, hvor du styrer det hele selv, eller om det skal dikteres meget oppefra? Sådan kommuneskole i forhold til privatskole der er jo lidt mere som bliver styret oppefra, og der er ikke så frie tøjler hos kommunale skoler. Er det korrekt forstået? Vi er jo alle underlagt folkeskoleloven, og så er det rigtigt, at der kan være nogle områder, hvor man som privatskole har muligheden for at regulere noget mere selv. Fx i forbindelse med reformen i forhold til skoledagens længde, så har det jo været sådan at de differentierer ved at bruge flere to-lærer timer på kommunalt plan. Og det kan så være, at det er i gang med at udvikle sig nu. Det er der noget, der tyder på. I forhold til centralisering og decentralisering, hvilken stil foretrækker du så? Jamen på nogen områder er det rigtig fint, at det er noget der er styret i et fællesskab, fordi vi jo står overfor at skulle præstere og vi vil jo gerne være et skolevæsen som også hænger sammen. Jeg ser en stor fordel ved at være et skolevæsen der hænger sammen. Men det er klart, at man godt ind i mellem kan have oplevelsen af, at man dels bliver målt på og dels bliver stillet nogle krav til, som det kan være svært at finde mening i. Og i det øjeblik at der bliver for mange indsatser på en gang, så bliver man meget presset mere end godt er. I forhold til de strategier og planer I har herude, har PISA-undersøgelserne så på nogen måde en indflydelse på dem? Jamen igen, jeg har kun været her et halvt år, og vi er nødt til at skynde os langsomt. Så sådan at lave et stort stykke visionsarbejde. Det er der slet ikke tid til. Hvad med på din tidligere skole? Var det noget der var indarbejdet i strategien med fx gerne ville klare det godt i PISA-undersøgelserne? Gjorde I en ekstra indsats op til PISA-undersøgelserne i forhold til at I gerne ville klare jer bedre? Altså, det har det ikke været, og det bliver der heller lagt op til, at man skal gøre. Hvis man begynder at lave sådan noget teaching for the test så viser alle undersøgelser, at så bliver man rigtig dygtig til at gå til tests, og det ved jeg ikke hvad man kan bruge til i sit liv i alt almindelighed. Og det er faktisk også noget af det man diskuterer på lidt højere plan. På den ene side vil man gerne have at vi klarer os godt, og på den anden side vil man ikke have at vi indretter undervisningen efter det. Fordi det bliver effektivt på et meget meget smalt parameter, og der er en helt række ting, som vi risikerer at børnene ikke lærer, hvis vi Side 85 af 107

87 begynder at undervise efter det. Og det er rent faktisk slet ikke det vi har brug for i det danske samfund. Vi har brug for børn der kan tænke selv, og det lærer man ikke ved at være god til at løse en test. Det har vi jo set, at de meget gør i Kina, og det kan være en af årsagerne til at de ligger så højt. De træner helt vildt op til de her undersøgelser, og vi ville egentlig blot bekræfte, at det ikke fungerer sådan. Omkring nøglefaktorer, har kommunen eller Undervisningsministeriet så opsat nogle kvalitetsmål, eller har i selv opsat disse for hvordan I vil klare jer? Nej, altså der er jo fokus på det forstået på den måde, at man jo måler på nationalt plan, hvor vi ligger henne, og medierne har rigtig meget fokus på det, og man kan være helt sikker på, at hvis vi ligger sådan lige over midten, så får vi af vide, at vi ikke er så gode som de bedste. Det er jo altid en negativ tilgang man har til det. Der er jo aldrig nogen der siger ej hvor er det godt, nu har vi rykket os tre pladser, for det er jo ikke det der er fokus på. Det er ikke en god historie. Vi får altid at vide, at vi klarer os ikke ligeså godt som Finland. Vi bliver vel også generelt sammenlignet meget med de nordiske lande? Vi bliver sammenlignet meget med de bedste. Vi bliver ikke sammenlignet med Norge og Sverige, for de er sådan set ikke meget bedre end os. Nu kan jeg ikke huske de aller seneste tal, men det har vi faktisk ikke været. Det er der ikke nogen der ved. Alle ved bare at vi ikke er ligeså gode som Finland. Bliver i som skole bedømt på karaktergennemsnit? Hvordan bliver i vurderet, når kommunen skal vurdere skolen som helhed? Vi bliver bedømt på den måde, at vi har nogle aftalemål med kommunen, som handler om de indsatser vi har. Så bliver der lavet en kvalitetsrapport, og så er det kvalitetsrapporten, som egentlig er vores redskab til at gå i dialog med byrådet. Er det en man har adgang til? Ja, den kan man finde inde på nettet. Hvad gør I så for at leve op til disse mål, som bliver stillet fra kommunen? Laver I en ekstra indsats på de udvalgte områder eller bliver nogen af tingene ligesom tilsidesat, da der er rigtig mange ting I som skole skal fokusere på? Altså skoleaftalen formulerer man jo ud på de enkelte skoler, og de indsatser der bliver sat i værk der, det er nogle man arbejder intensivt med på de enkelte skoler. Lige nu står vi i en lidt speciel situation, fordi reformen fylder så meget som den gør, og det betyder rent faktisk, at lige nu er der ikke en kommuneaftale, der bliver sat i værk, men hvis man kigger i statistikker år tilbage, så har jeg været med til at sætte indsatsområder igang på min skole, og det har været indsatsområder, som jeg sammen med resten af personalet på skolen har prioriteret og formuleret: hvordan vil vi gerne måles på det her? Hvor er det vi gerne vil bevæge os hen? Og så har vi sat ind på at arbejde med det, og det har vi jo gjort i personalet henover de to år. Og så laver man løbende evalueringer over det. Det er sådan set meget systematisk Side 86 af 107

88 Og hvordan evaluerer I så lærerne på skolen? Går I ind på den specifikke lærer eller evaluerer i lærerstaben som en helhed? Der gør man jo begge dele. Man har jo samtaler. Dels er der observation af de enkeltes undervisning, hvor man kigger på hvordan det ser ud i forhold til de indsatser som vi har. Og dels har man en samtale om det, og vi har medarbejder udviklingssamtaler, hvor vi snakker om er der nogle bestemte retninger du skal udvikle dig i i forhold til de her indsatser, som vi har på skolen i øjeblikket?. Og hvordan motiverer I så lærerne? Forstå mig ret, det kan jo være en proces der gentager sig år efter år, som skolelærer i forhold til undervisningen. Kan I belønne lærerne på en finansiel måde, eller hvad gør I for at holde dampen oppe? Nu tror jeg i virkeligheden ikke lærere er specielt motiveret af løn, for så havde de valgt noget andet, havde jeg nært sagt. Det er min erfaring at lærere er optaget af at lave god skole for de børn der er, og det er jo motiverende at få lov til at være med til at gøre en indsats på noget som man selv har vedtaget er en vigtig indsats. Det er i hvert fald den måde jeg tænker, når det kører godt. Så er det et spørgsmål om at folk har fornemmelse af, at de er medinddraget, at de har indflydelse, at det er noget vi drøfter og at det er noget vi finder frem til i fællesskab, der giver mening. Og at det så i øvrigt er noget, hvor de kan se, at deres elever rykker. Det motiverer lærere når de oplever, at deres indsats gør en forskel. Så I har ikke nogen form for belønningsstruktur? Hverken finansiel eller ikkefinansiel? Såsom efteruddannelse eller sende lærerne på kursus? Det der med at blive efteruddannet, fordi at man har noget man brænder for, det kan jo godt være en belønningsstruktur, som ledelsen kan bruge, og det at man har indflydelse, kan også være en belønningsstruktur, kan man sige. Det der med at få oplevelsen af at blive hørt, og oplevelsen af at det gør en forskel det man mener og det man vil gå ind i. Det tænker jeg rent faktisk er et værktøj, der er rigtig vigtigt. Hvad så som skole generelt? Bliver I belønnet eller straffet i forhold til hvis karaktergennemsnittet er dalende i en årrække eller hvis der er problemer med børnenes trivsel? Eller på den anden side, kan der så bevilliges ekstra penge, hvis I klarer jer godt? Nej. Ikke sådan direkte. Oplevede I nogen form for informationsdeling skolerne imellem og med Undervisningsministeriet op til, før eller efter PISA-undersøgelserne, hvor der ligesom blev evalueret på PISA-undersøgelserne? Nej. Er det noget du gerne havde set ske, hvis I gerne ville have mere ud af PISAundersøgelserne? Jamen altså, igen har jeg lidt svært ved at have fantasi til, hvad det skal gå ud på. For hvis det handler om, at vi skal blive bedre til at gå til tests, så kan man jo godt. Hvis det er den måde man vil lave skole på, så kan man jo godt give sig til at lave sådan noget teaching to the test og sørge for at børnene er gode til at løse de tests. Men det giver ikke rigtigt mening i forhold til Side 87 af 107

89 at børnene skal blive dygtigere. Hvis man kigger på skolernes formålsparagraf, så kan vi ikke pege på noget som PISA et bedre PISA-resultat vil bidrage med. I PISA-undersøgelserne er der visse hovedområder matematik det ene år, naturfag det andet år. Bliver der så slet ikke lagt noget vægt på de enkelte fag op til PISAundersøgelserne? Nej, det gør man ikke. Føler du, at arbejdet med PISA har ændret sig over tid, eller har det bare været en undersøgelse, der kommer hvert tredje år, og så har man skulle tage stilling til det? Eller føler du, at der var meget mere fokus på det i starten eller i slutningen? Også i forhold til hvordan medierne har fokus på det. Der har jo været fokus på det hen ad vejen, og jeg tænker da måske også, at vi kan blive dygtigere til at bruge det. Men det er i høj grad noget der bliver udråbt i medierne, efter min opfattelse. Der findes jo andre nationale undersøgelser, hvor danske skoleelever klarer sig meget bedre. Det handler fx om deres viden om demokrati, deres evne til at indgå i demokratiske processer og sådan nogle ting. Hvis man tager de undersøgelser, så klarer danske skoleelever sig faktisk betydeligt bedre. Så mener du, at PISA-undersøgelserne har en stor relevans for at måle på niveauet blandt de danske folkeskoleelever? Ikke alene i hvert fald. Vi har jo de nationale tests, vi har karaktergennemsnittene osv. De nationale tests kan vi jo i langt højere grad bruge fordi det er de samme børn der bliver testet flere gange. Vi ved at kadencen er bestemt, og det fokuserer bredt. Så det er måske nogen af de ting som skal forbedres, hvis PISA-undersøgelserne skal være mere relevante? Jamen det ved jeg ikke. Man kan sige, at PISA er jo i høj grad noget med at sammenligne med andre lande, og vi bør selvfølgelig være optaget af, at vores elever er dygtige sammenlignet med andre lande, og det er vi da også. Selvfølgelig er det også interessant at få at vide hvordan vi ligger i forhold til andre lande, men vi gør jo hele tiden vores bedste, og som det er lige nu, så er reform-målene jo i høj grad baseret på, at de fagligt skal klare sig bedre. Hvad med i forhold til lærerne? Hvad er dit indtryk af, hvad de føler omkring PISAundersøgelserne? Er det noget de går meget op i, eller er det endnu en dag på arbejdet der skal klares? Ja, det tror jeg nok det er. Et eller andet sted kan man hverken gøre til eller fra, plus at man jo heller ikke får nogle resultater ud. I får vel en samlet score for skolen generelt, men den dykker ikke længere ned i den specifikke elev? Der må jeg være dig svar skyldig. Det mener jeg helt bestemt ikke vi gør. Der har vi de nationale test, som vi kan gå tættere på. Side 88 af 107

90 Føler du at eleverne tager PISA-undersøgelserne alvorligt, eller oplever du, at eleverne har en mere løssluppen stemning omkring det og tænker nu slipper vi for tysk og svømning, så det er fint? Eller oplever du, at der er en team-stemning omkring det, ligesom i Kina, hvor eleverne virkelig vil klare sig godt og bakke hinanden op? Jeg tror da nok at børn sådan generelt er optaget af at gøre deres bedste når de bliver sat til at lave tests. Jeg tror ikke de skelner så meget mellem om det er den ene eller den anden test de bliver sat til at lave. Langt de fleste børn er motiveret af at skulle gøre sit bedste. Der er selvfølgelig også nogen, som har haft så mange trælse oplevelser med test, så de ikke er specielt motiveret. Så kan der også være nogen som har rigtig svært ved at koncentrere sig i så lang tid, som det kræver Bilag 3 Transskribering af interview med K2 Helt generelt, hvordan er du som skoleleder involveret med PISA-undersøgelserne i hverdagen? Jamen det er vi jo kun ved specielle højtider kva at PISA jo ikke bliver lavet hvert eneste år. Det er jo ikke en måling vi har hvert eneste år. Plus, det er jo nødvendigvis heller ikke sikkert, at vi bliver udtrukket til det, når den så er der. Jeg har været skoleleder i 15 år, og jeg har været med 2 gange til PISA og 1 gang til det der hedder PIRL, som minder om det. Så det er jo ikke så tit, at man så er heldig at blive udtrukket. Og jeg mener virkelig heldig. For jeg er jo ikke en af de skoleledere, som synes at PISA er noget fanden eller Niels Egelund har skabt i vrede. Men du kan godt lide undersøgelserne? Ja, det kan jeg. Også fordi de er globale. Jeg ved godt de er oversat, og man kan ikke tage højde for kulturforskelle osv., men det er jo det eneste regulære OECD måleredskab, som er transnationalt, som går over mange lande. Så jeg synes ikke det er helt forfærdeligt. Jeg ved godt der er mange af mine kollegaer, som synes det er. I henhold til skolens mission og vision, har PISA-undersøgelserne på nogen måde indflydelse på hvordan i bestemmer disse? Nej. Det jeg tror mange folkeskoler tror, det er, at vi er kommet dertil hvor folk tænker, at vi jo bare er en selvfølge. Vi er der jo bare. Der er altid penge i vores system. Men i bund og grund er vi jo en kommunal servicevirksomhed i en konkurrencesituation, sat lidt firkantet op. I Danmark er der en lovgivning der hedder frit skolevalg. Det vil sige, at jeg skal ikke bare holde på de elever som er mine i distriktet, jeg skal også gerne tiltrække elever fra andre skoler i min kommune, og samtidig se om jeg kan få nogen fra friskoler. Vi har sådan groft sagt et stort mission og vision statement, som hedder, at vi vil være de bedste. Lige nu lykkes det rigtig godt, og som jeg siger, nu er vi igen nr. 1 i kommunen. Nu har I set området. Vi er jo ikke et område, hvor der er rigtigt mange forældre, som har en PhD. Vi er et landdistrikt område, som har mange forældre med korte og mellemlange videregående uddannelser. Så har vi rigtigt mange landmænd og ufaglærte. Vi er jo ikke et område, som per definition siger, at her får jeg automatisk en PhD eller mastergrad, fordi mine forældre har en. Så derfor er det rigtig vigtigt, at når man går her, så forpligter uddannelse til mere uddannelse, og vi vil være de Side 89 af 107

91 bedste. Så selvfølgelig, i det øjeblik vi får mulighed og chance for, og jeg ved godt at PISAresultaterne kommer på landsplan de er jo ikke pindet ud på min skole eller min region, men hvis vi kan se at Danmark klarer sig godt eller mindre godt, så er det da selvfølgelig en del af det der hedder, at vi vil være de bedste. Og jeg er godt klar over, at det er frygteligt ikkevestjysk, og måske heller ikke særligt folkeskole-agtigt. Kæmpe stort konkurrencegen. Men skulle jeg ikke håbe for alle de elever vi har, at hvis jeg skal være skoleleder, og jeg skal finde eller fostre, sammen med mine lærere, nogen som er i stand til at betale min folkepension, så betyder det jo ikke, at vi skal sætte baren så lavt, så er der jo ingen der kan betale min folkepension. Derfor skal vi have folk til at tage en uddannelse og betale skat, og blive produktive samfundsborgere. Dikteres mission og vision så oppefra eller har i mere eller mindre frie hænder til at bestemme? Der er jo i folkeskoleloven en formålsparagraf, hvor der står noget med dannelse til demokrati. Hvis du kigger på det som tragtform, så er det jo det største mission/vision statement der findes i Danmark for folkeskolen, så er der nogle kommunale mål og rammer, som også er sat, og så er der så dem, som vi sætter for hver enkelt skole. Så jo, der er andre, der har indflydelse på det, men i sidste ende er det jo skolens bestyrelse, som kan vælge ud fra de kommunale værdier ud fra folkeskolens formålsgraf, hvad det er vores skole skal være kendetegnet ved. Du siger, at du gerne vil skaffe elever fra friskolerne. Er der en forskel på hvor meget der bliver dikteret oppefra i forhold til friskoler og fx jeres skole? Jamen selvfølgelig er en friskole noget andet. Her i byen er der en kristen friskole. Det sjove ved den er, at de faktisk klarer sig væsentligt dårligere end os. Det er faktisk lidt underligt. For normalt siger man, at friskolerne ligger lidt højere, men de ligger faktisk over et karakterpoint lavere end vi gør til afgangsprøver. Det er lidt morsomt. Så vi har faktisk cremen af byen. Du nævner, at der er nogle overordnede retningslinjer er det blandt andet nogle af de her nationale mål? Ja, det er det jo. For det er det der står i folkeskolens formålsparagraf. Og så det her med, at der nu er kommet en folkeskolereform. Men den siger jo også at vores elever skal blive dygtigere. Altså dem som i ottende nu skal kunne det samme som de kunne i niende for nogle år tilbage. Dvs. at vi skal have løftet niveauet. Hvis vi ser på nogle af skolens succesfaktorer. Hvilke har I så som skal opnås for at sikre skolens målsætninger? Det kommer an på hvem du taler om. Der er jo nogle shareholdere og stakeholdere interesser, som man skal have ind i det her. Men hvis man kigger sådan lige internt i første omgang: vi skal have at eleverne trives. Vi skal have at eleverne får gode karakterer og bliver uddannelsesparate. Vi skal have et lavt sygefravær blandt lærerne. Det har vi også. Vi skal have en høj faglighed blandt vores lærere. Det har vi også. Vigtigheden af ledelse betyder også noget. Så skal vi jo også sådan i forhold til, hvad vi har af eksterne interessenter, som jo også er delvist internt forældre. Det er jo rigtig vigtigt at have dem med til at bakke op omkring skolen, og være gode kommunikationsambassadører i forhold til, at få fortalt den gode Side 90 af 107

92 historie om skolen. Så der er jo rigtig mange faktorer i hvordan ting lykkes. Men først og fremmest at eleverne lærer noget gennem lærere som er dygtige og som er her meget. Vi skal have forældrene til at bakke op. Vi skal have børnene til og lære alt det de kan eller lære om hvordan man kan lære alt det man kan. Vi skal have nogle lærere med høj faglighed. Det der med, at man siger det er jo bare matematik i tredje klasse, det kan jeg vel også. Gu kan du ej. Du skal have en uddannelse i det. Det bedste der kunne ske for den danske folkeskole var at man lukkede seminarerne. Sådan en 4-årig professionsbachelor uddannelse. Man gjorde jo det for nogle år siden, at der var sådan en mærkelig pseudo akademisering af de der mellemlange videregående uddannelser, hvor de blev professionsbachelorer. Der er altså forskel på at gå på universitetet og gå på en professionshøjskole. Men hvis man lukkede seminarierne og gjorde ligesom stort set alle andre lande i Europa, og sikrede at lærerne var kandidater med speciale i små børn, gymnasiebørn eller noget tredje, så ville vi også kunne højne succeskriteriet for skolevæsnet nemlig at vi kunne lykkes bedre. Fordi seminarierne er simpelthen ikke gode nok. Man kan jo komme ud og blive tysk-lærer i dag med færre tysk timer end min datter havde på a-niveau, da hun gik i gymnasiet. Det er lidt sindssygt. Jeg vil heller ikke have, at en lærer kommer og siger jeg mangler 5 timer i mit skema, men kan jeg ikke få lov til at tage et matematik hold i tredje klasse. Det kommer bare ikke til at ske. Enten har du faget, og så kan du finde ud af det, eller også har du det ikke. En anden ting, som jeg også gør er, i forhold til de nationale test, men også PISA, der gør man simpelthen det: her er de nationale testresultater fra sidste år. Der gør jeg simpelthen det, at jeg kigger på vores karaktergennemsnit og kigger på hver eneste elev. Der gør jeg det, at jeg gennemgår de tests, som en lærer specifikt er ansvarlig for med hver eneste lærer. Dvs. at hvis du har matematik i anden og sjette og syvende fx, så kommer du igennem en performance review baseret på de nationale tests. Hvis man systematisk vurderer og evaluerer ud fra objektivitet. Det kan være PISA eller sådan noget som nationale tests. Hvis man lige pludselig kan se, at der danner sig et mønster af en lærer, som underperformer, så må der jo være en direkte sammenhæng mellem børn der underperformer på flere årgange og en lærer som ikke er dygtig nok. Det er bare ikke ret populært at sige i folkeskolen. Men er der ressourcer til at gøre det? Jamen jeg gennemgår simpelthen det her med hver enkelt lærer hvert eneste år i forbindelse med medarbejderudviklingssamtaler. Tror du det er noget der gennemgående gør sig gældende for kommunalskoler? Nej, det tror jeg ikke. Jamen prøv og hør her: har vi råd til at lade være? Det er jo et ledelsesredskab. Når jeg kigger på min mappe med testresultater. Den ligger jo ikke ret langt væk, vel, i forhold til, hvad jeg sådan går og arbejder med. Det er jo rigtigt vigtigt for mig, og have styr på lige præcis hvordan en enkelt elev eller en enkelt klasse har klaret sig i et fag, fordi hvordan opdager jeg ellers, hvis en lærer er dårlig? Jeg får måske nogle trælse tilbagemeldinger fra nogle elever som siger den og den er træls. Måske hører jeg en enkelt forælder eller to, de mest aktive, der pipper. Men det er jo lidt skidt, hvis vi år efter år har en lærer siddende i et fag, hvor vedkommende simpelthen ikke er dygtig nok. Og her har du et fuldstændigt objektivt kriterium eller kvalitetsmål, hvad du end vil kalde det, for at sige Side 91 af 107

93 værsgo søde ven, du har undervist i dansk på de her årgange. En dansklærer er typisk en der har den samme klasse, men hvis de underperformer i 2., 4. og 6., så kan det godt være, at du ikke skal være dansklærer næste gang, der bliver en anden klasse ledig. Vi kan jo ikke grave efter guld eller så meget andet i Danmark. De ressourcer vi har er primært det der foregår i øverste etage. Så det bliver evalueret efter dem, men hvad med eksamenskarakterer? Jo, men de bliver jo kun taget en gang om året på de samme elever. Det er jo det du kan, hvis du laver et longitudinalt studie, altså et længdegående studie. Så kan du se hvordan en klasse klarer sig fra år til år. Det er derfor det somme tider er tåbeligt at sammenligne 2. klasse i år med 2. klasse fra sidste år. Det man jo skal er at sammenligne 2. klasse fra sidste år med hvordan de klarer sig i 3. og 4. osv. Så der bliver ikke taget noget hensyn til de karakterer, som læreren selv giver? Jo, det gør der jo for så vidt, men vi giver jo kun karakterer, fordi folkeskolen er så underligt indrettet, at man kun må give karakterer i 8. og 9. klasse, og det er godt nok lang tid at vente. Jeg har gået i skole i USA og der får man jo karakter nærmest hvert år. Men det er jo også en af de ting der er i Danmark. Der må ikke være ret mange der er bedre end de andre. Og det er jo svært, for det er der. Vi så på jeres hjemmeside at I har sådan 4 hovedpunkter: ansvar, engagement, trivsel og fagligt miljø. Kan du uddybe disse i forhold til, hvordan de sikres til at øge kvaliteten både i undervisningen, men også ved den enkelte elev? Altså, hvis du kigger på dem: ansvar, trivsel, fagligt miljø og engagement. Så gør jeg simpelthen det, og nu vil jeg se om jeg ikke kan finde det for dig, så jeg kan vise dig det. Jeg laver infomøde fra 0. klasse. Jeg fortæller simpelthen forældrene hvad skolens målsætninger/værdier er. Ansvar betyder: alle har et fælles ansvar for at opføre sig ordentligt. Vi er en konsekvent skole. Vi har heller ikke noget hærværk. Sidste år havde vi for 500 kr. hærværk, og det var en lampe der blev smadret nytårsaften. Og det betyder, at eleverne er gode til at passe på bygningen. Hvis du pjækker, så skylder du timer. Så skal man bare læse dem på et andet tidspunkt. Det er det der hedder eftersidning. Så jeg har simpelthen penslet ud på de forskellige ting, hvad ansvar betyder, hvad engagement betyder. Det er noget med, at vi har et stort fremmøde blandt forældrene til forældresamtalerne. Vi har en aktiv international profil, vi har samarbejde med lokale idrætskulturer. Trivsel er sådan noget med undervisningsmiljøet. At de er glade for at være her. Og der fortæller jeg dem også lærernes sygefraværsprocent. Den er 1,9 i Det er lavt. Hvorfor er det godt? Så skal vi ikke have alle mulige håbløse studenter ind. Og så det der med fagligt miljø. Det betyder hurtigt at sikre mange penge på materialer, karaktergennemsnit, faglige lokaler, udeskole muligheder, forsøge med noget kønsopdelt undervisning og procentdelen af ungerne der har gået på skolen skal videre på gymnasiet. Jeg giver dem nogle facts om, hvad er det det her handler om. Hvad er de her 94,5 %? Det er dem der gennemfører en ungdomsuddannelse herfra. Det er rigtig højt. Og i kraft af, at jeg bruger sådan nogle tal, så siger jeg til forældrene, og det er måske den bedste måde at illustrere at vi mener det her. Det er ikke bare sådan noget synsning. Jeg er fuldstændig allergisk overfor synsning. Mange af de her ting: ansvar, trivsel, Side 92 af 107

94 fagligt miljø og engagement. De er facts baseret. Hvis vi kan se at mere end 95 % af vores forældre kommer til forældresamtaler, og det bliver målt, så viser det mig, at jeg har en engageret forældrekreds. Hvis jeg kan se at elevernes karakterer er sådan og sådan og sådan, så viser det mig, at jeg har et fagligt miljø. Hvis vi kan se i trivselsundersøgelserne, at vi ligger sådan og sådan, så kan jeg se det. Meget af det er fakta baseret. Der er meget lidt synsning baseret på den her skole, og det er måske meget anderledes end mange andre steder, tror jeg. Nu er jeg ret meget optaget af big data, og hvad data i det hele taget kan bruges til i undervisningen. Men der er faktisk en meget spændende bog om big data i undervisningen, fordi der er jo ingen der kan huske, hvad det var vi syntes sidste år. Men der er rigtig mange der kan huske, hvordan vores gennemsnit var på karakterer. Der er rigtig mange der kan huske vores sygefravær. Altså de der facts baseret. Så vi undgår alle de der synsninger, og folkeskolen er jo gennemsyret af folk, som synes et eller andet. Det er ikke evidensbaseret, det er ikke facts baseret, det er ikke forskningsbaseret. Det er bare sådan noget vi synes. Og det er skidt. Men man kan vel også sige, at når der er en sammenhæng mellem alle disse tal, så ved man jo, at det går godt. Når sygefraværet er lavt, karaktererne er høje og forældre møder til forældresamtalerne, så passer det jo også sammen med, at man må have en god skole. Ja, men det er jo også vigtigt hele tiden at stå på tær. Det hjælper jo ikke bare at sige Det er helt vidt fedt, nu er vi nr. 1 i kommunen, og det har vi været de sidste 7 år i træk. De er fedt og jeg er rigtig glad for det. Der var lagkage og serpentiner, da resultaterne kom, men det handler jo også om at selvom vi har et karaktergennemsnit på 8, så er 8 jo ikke fantastisk. 8 kan man ikke komme ind på medicin på, hvis du gerne vil læse det fra gymnasiet. Jeg ved godt det er pænt for et gennemsnit af en masse børn, og jeg ved godt, at det også dækker over at nogle får 4 og andre 12, men det er jo rigtig vigtigt at vi gør og bliver ved med at stå på tæer. At vi ikke bare læner os tilbage og tænker hold kæft hvor går det godt. Det er jo det farligste af alt. Jeg må jo sige, at jeg på baggrund af sådan noget her også har afskediget lærere. Så ryger man sgu ud. Hvis man underperformer konsekvent eller hvis man er doven og ugidelig eller uengageret eller har et højt sygefravær, så skal du ikke være her. Har i aldrig haft vikar i skolen? Du oplever tit, at du har vikar. Du oplever også, at der er nogle der er syge, og de er måske væk 14 dage, og du aner ikke hvor de er, og undervisningen kører med en vikar med elever der hænger oppe i gardinerne. Der sker ingenting. En vikar tjener 200 kroner i timen. Hvis du står nede på Sunset eller McD og vender burgere, så får du 115. Føler I at de her PISA-undersøgelser bliver brugt som et kontrolsystem af folkeskolerne? Nej, overhovedet ikke. Jeg ved godt, at mange synes det, men det synes jeg overhovedet ikke. Jeg synes tværtimod det giver os en unik chance for og finde ud af hvor vi ligger henne. Nemlig opgøre nogle synsninger. Altså basalt set er PISA-undersøgelsen et kæmpe vidunderlgt opgør med synsninger. At vi synes den danske folkeskole er så fantastisk. Gu er den da ej. Vi er håbløst bagefter på rigtig mange parametre som nationalinstitution. Jeg er godt klar over at nogen skoler gør det rigtig godt, og andre mindre godt, men som national institution, og jeg Side 93 af 107

95 synes ikke vi skal være Singapore eller Shanghai, fordi der er også noget kultur i det, men jeg synes godt vi kan oppe os. Så jeg oplever den ikke som et nationalt donk oveni hovedet. Jeg oplever lige præcis det modsatte. Nemlig at det er et nationalt wake-up call i forhold til, hvor det er vi kan blive bedre. Problemer at, at hver gang der kommer en PISA-undersøgelse, så er der enormt mange danskere der har travlt med at tale den ned under gulvbrædderne, og der er ikke validitet og reliabilitet. Hvor man bare tænker hvordan kan du tillade dig at sige det her? Der findes ikke noget mere validt og med en højere grad af reabilitet end sådan noget som PISA. Det er der ikke. For den er fuldstændig støvsuget for synsninger. Så jeg synes da det er fedt at OECD laver den type undersøgelser, hvor vi også kan se hvor vi er henne. For vi er ikke så fantastiske. Det er sådan noget andedams Danmark. Alting er så fantastisk i Danmark. Gu er det da ej. Jeg har undervist på skole i Frankrig, gået skole selv i USA. Så fedt er vores system altså heller ikke. Der er alt for mange der har travlt med at tale PISA ned. Det er synd. Hvad skal der så laves om i forhold til Frankrig og USA? Der er også nogle ting i Frankrig og USA der ikke er særligt spændende, men det der skal laves mest om er det med læreruddannelsen. Luk seminarierne. Og få universitetsuddannede faglærere, som har et speciale i små, store og mellem børn ligesom underviserne i gymnasiet. Det ville da give et kæmpe løft. Det er der slet ingen tvivl om. Og af en eller anden grund, så er det mærkeligt det med seminarierne. Hvis man kigger rundt, så ligger Silkeborg, Skive, Nisum, Jelling og så Aarhus og Aalborg seminarium. Det er sådan en underlig tanke ligesom at hver eneste sogn også skal kunne uddanne egne degne. Saml da det her på nogle store institutioner. Vi er da heller ikke 25 universiteter i Danmark. Saml dem nogle store steder, hvor der er stor faglighed. I Nisum sidder de 40 lærerstuderende på en årgang. Håbløst. Hvor er det faglige miljø henne? Hvis de får færre tysk-timer end min datter på A-niveau i gymnasiet, det er jo sørgeligt. Så selvfølgelig, hvis man skal undervise i tysk, så skal man da være cand.merc i tysk osv. I forhold til jeres strategier og planer, oplever I så at PISA-undersøgelserne har indflydelse på jeres strategiske planlægning? Nej, det har den jo ikke i hverdagen, bortset fra den der overordnede der hedder, at vi vil være de bedste. Det har vi ikke, fordi vi desværre kun er med hvert tredje år. Jeg ville ønske, at PISA var med hvert andet år bare, for alle skoler. Fremfor at man bliver udtrukket 2 gange i løbet af 15 år. Det er simpelthen for lidt. Du kan ikke bruge det. Du kan jo igen kigge på, og det gør man jo også fra den ministerielle side, hvordan Danmark ligger. Men det ville jo være 10 gange bedre, hvis PISA-undersøgelserne kom oftere og havde en bredere målgruppe. Den er for smal, og der er for langt mellem PISA-undersøgelserne, desværre. Hvad med i forhold til de data som I får ud af PISA-undersøgelserne? Jamen jeg får kun landsdata. Jeg får ingen lokaldata. Så I får ikke noget specifikt på skolen? Niks. Det synes jeg jo er ærgerligt. Så du mener, at der er dårlig feedback? Jeg vil ikke sige dårlig feedback. Samplet er jo sat op på den måde. PISA-undersøgelsen hedder Værsgo at deltag, men du får ingen tilbagemelding på individ eller skole-niveau. Du får dem Side 94 af 107

96 på et landsniveau, og dem får du selvfølgelig også. Men det ville da være ideelt hvis du får dem på skoleniveau. Jeg ved godt at det ville være et større apparat, og det koster også penge. Har Undervisningsministeriet et stort fokus på PISA-undersøgelserne som et kvalitetsmål? Nej, desværre. Jeg havde gerne set, at der var mere af det. Men jeg tror, at jeg er meget uenig med mange af mine skoleledere i Danmark, da mange har haft travlt med at tale PISA ned i jorden. Jeg ville jo gerne tale det op. Jeg synes der er noget. Har I så selv opsat nogle mål for hvordan I gerne vil klare jer i undersøgelserne? Nej, for vi ved jo aldrig hvornår vi er med. Det er jo sådan den generelle ånd er. Vi vil jo gerne være dygtige til det vi gør. Vi vil gerne være de bedste. Så nej, PISA har ikke nogen direkte indflydelse den vej, udover at det er et redskab, der engang imellem bliver taget op af os. Men igen, vi kan ikke måle os på skoleniveau eller kommunalniveau. Vi kan kun se landsresultater og måle os i forhold til lige fra Singapore til Holland, Peru. Så kunne vi også se på jeres hjemmeside, at I har lavet en udviklingsplan. Det er den der 14-17, hvor I nævner at målsporene er ministerielle målsætninger. Skal det forstås som at målsætninger er nogle i har fået trukket ned over hovedet? Det var som jeg sagde før med den tragt. Hvor kommer tingene fra. Det der er rigtig vigtigt at huske, og som mange skoleledere glemmer, er at vi altså er sat i verden for borgernes penge. Dvs. at der sidder nogle politikere i folketinget, i kommunen eller i byrådet, der tænker, at hvis det her er målsætninger, så er det dem vi følger. Vi kan ikke sige, at det her er noget skrammel, eller det her synes jeg er godt. Det er jo ikke mit job at skulle sortere i hvad jeg synes om nationale eller kommunal målsætning. Så selvfølgelig skal jeg skrive om de kommunale og nationale målsætninger i forhold til det du siger om de ministerielle spor. Vi bed mærke i at udfordringen, som I havde listet op, var ministeriel, så om du måske foretrækker en mere centraliseret eller decentraliseret tilgang? Jeg ville jo ønske igen. Jeg kan godt høre at nogle af mine synspunkter er radikale, som i ekstreme, men jeg ville ønske, altså det der er så forfærdeligt ved det danske system, synes jeg, er at alt rammelovgivningen er national. Men i Danmark er der jo 98 kommuner og dvs. at hver enkelt skolevæsen af de 98 kommuner, kan sætte på baggrund af den nationale lovgivning, de samme spor. Der er jo ikke ret mange skoler i verden, som i øvrigt har et system hvor det er kommunen. Vi er jo strengt trængt kommunale skoler med en national lovgivning. De fleste andre lande er nationale skoler med national lovgivning og nationalt curriculum og sådan nogle ting. Det har vi jo ikke. Du har jo en høj del af selvbestemmelse på det enkelte skoleniveau. Fx i Danmark hvis du underviser i Dansk i 4. klasse, så kan du strengt taget selv bestemme hvad for noget materiale du bruger. Hvad betyder det? Det betyder at vi for det første ikke har en national standard dansk bog for 4. klasse. Det betyder, at de dansk lærere der er rigtigt dygtige foruden en læsebog finde en masse andre spændende materialer. De dansk lærere der er rigtig dårlige. Hvad gør de? Så kva at vi ikke engang har en national læseplan, betyder det at meget er op til den enkelte lærer. Det er derfor jeg er så hys omkring det her. Vi har godt nok et bogsystem som gælder for hele skolen, men min garanti for at folk ikke bare springer over hvor gæret er lavest er jo også en vis form for kontrolbaseret. Så det Side 95 af 107

97 ville jo være et ønskescenarium, hvis vi havde lighed med andre lande i forhold til national lovgivning og et statsstyret skolevæsen. Men det tror jeg mange af mine kollegaer ville være rigtig uenige i. Folk vil så gerne bestemme selv. Det er sådan en underlig skoleting. Så det skal forstås som, at du foretrækker en centraliseret tilgang? I høj grad. I det mindste for at få sat nogle mindstemål, fordi så vil du komme af med alle de der synsninger. Der er 1500 skoler i Danmark, 98 kommuner. Hvis bare halvdelen af de folkeskoler hele tiden arbejder med synsninger, så er det godt nok langt væk det her. Så stødte vi også på Internationalisering. Har det noget relevans med at styrke kvaliteten blandt eleverne? Hvad går det helt præcist ud på? Ja selvfølgelig. Det handler jo om flere ting. Vi er med i mange forskellige EU projekter, hvor det jo handler om noget af det vi kalder opdragelse af demokrati i medborgerskab. At vi sætter eleverne i situationer, i hjemland som udlandet, hvor eleverne får mulighed for at tale med andre elever fra andre lande, se andre skoler osv. Der er også noget dannelse i det her. Jeg synes jo dannelse er fantastisk. At du ved, at du kan, er ekstremt vigtigt i det her og det er jo også en del af din dannelse. Men jeg tænker, at den der kultur som er blevet i Danmark, at det eneste rigtige i Danmark er stegt flæsk og frikadeller, fordi det er det vi kender. Vi kender ikke andre kulturer og vi taler ikke andre sprog. Men I kender det fra tysk i folkeskolen. Alle de der stereotyper, at de spiser pølser og hører schlager musik, og alle de stereotyper er også noget af det vi gør op med i de her EU-projekter. Nemlig at børnene lærer nogle andre børn fra andre lande, og opdager at de ikke bare spiser pølser og hører Hansi Hinterseer. Eller at børn fra Grækenland ikke bare er korrupte ligesom regeringen og deres forældre. Det der med at udvide verdenshorisonten for børn. XXX er et lille bitte samfund. Det er jo ikke folk der kommer ud og oplever andre kulturer. Det er en måde at åbne børnenes øjne udadtil. Fra XXXborger til verdensborger. Hvad gør I så for at leve op til nogle af de mål der bliver stillet fra Undervisningsministeriet? Både i forhold til PISA, men også sådan helt generelt? Og mener I, at nogle af disse krav er for lette eller svære? Bør man sætte højere eller lavere krav? Jamen selvfølgelig skal man da sætte højere krav i sådan et land som det her. Kravene er jo alt for lave til altid. Det er som om der er gået meget synd i det. At vi må endelig ikke være bedre end andre. Der er sat alt for lave krav, for det er jo synd for folk, at de ikke klarer sig så godt. Det er ikke fordi jeg siger, at vi slet ikke skal have sådan en minimalstat. Men det er bare talesættende at folkeskolen er blevet meget med, at ingen skoler må være bedre end andre, og alle skal kunne det samme. Folkeskolen skal samle alle op, ja. Men vi skal sørme også sørge for at vi skaber nogle rammer for dem. Og nu er vi så der hvor kravene er sat for lavt. Prøv og hør her kammerat: det kan godt være du kommer fra et hjem uden uddannelse, men derfor skal du møde hver dag og hvis du ikke møder hver dag, så bliver du hentet søde ven. For du skal i skole. Og jeg synes der generelt på landsplan bliver sat alt for lave krav til og alt for meget hensyn, og det skal vi også, men vi tager jo ikke hensyn til folk ved at være ligeglade og sige, at det jo nok skal gå søde ven. Altså jeg synes jo det er skræmmende, når jeg kigger på hvor mange af jeres generation, at se på hvor mange ungdomsarbejdsløse der er i jeres årgange Side 96 af 107

98 mellem 20 og 25 år? Der er alt for mange. Hvad skete der? Problemet er, at når der sættes så lave krav og folk synes det er så synd hele tiden. Det duer ikke at vi altid sætter kravene så lavt fordi det bliver så synd. De fleste synes jo det er fedt, at der bliver sat krav. Generelt er der ingen der bryder sig om, at nogen er ligeglade med dem. Nu nævnte du, at I blandt andet bruger nationale tests til at evaluere lærerne. Har I andre former for redskaber til at evaluere lærere? Jamen altså der er jo forskel på redskaber, for der er jo sådan noget almindeligt kvalitativt der. Så er der selvfølgelig også en samtale med lærerne efter man kigger på deres undervisning. Kigger på at vi mødes i lærergrupper og kigger på elevmateriale og snakker om hvordan har den her elev klaret sig, hvad synes du eleven skal have af karakter osv. For at se hvor de forskellige folk ligger henne. Så der er jo mange måder. Dels noget kvalitativt og så noget der er mere kvantitativt. Men det ene kan jo ikke være uden det andet. Det er jo et to-benet system. Man kan godt statistisk set have 3 årgange i rap som underperformer. Man kan godt have 3 årgange hvor halvdelen af børnene har virkelig svært ved tingene. Og hvor man kan se at undervisningen rent faktisk kører godt nok. Så det skal jo gå både på et kvalitativt og kvantitativt ben. Så der er andre måder end dialog baseret evaluering af specifikke undervisningstimer. Hvordan motiverer I så jeres lærere og er der nogen form for afstraffelse eller belønningsstruktur? Jamen altså, prøv og hør. Jeg vil gerne rose folk, men jeg gider ikke den der bevidstløse ros. Hvis mit barn tegner en tegning og spørger om den er flot, så skal jeg da ikke sige at den er flot selvom mange forældre gør det. Man må godt sige, at du godt kan gøre det der bedre. Det samme med lærerne. Hvis børnene kommer og laver sådan en tegning i billedkunst, så er det tilladt for lærerne at sige Ved du hvad, det her kan du godt gøre bedre. Men har i nogen form for finansiel eller ikke-finansiel belønning til lærere der udmærker sig? Nej. Lagkager og serpentiner. Det er jo på det niveau. Problemet er jo også, at i den danske folkeskole. I hvert fald i vores kommune, er der en central løndannelse. Det vil sige, at jeg kan ikke give folk resultatløn mere, desværre. Og det kunne jeg jo godt tænke mig, men det må jeg ikke. Og det er jo igen den der med at alting skal være så lige så lige. Men der er jo stor forskel på den her tegning og så et af Picassos selvportrætter. Hvis en lærer gør det godt, får han eller hun så mulighed for at tage nogle klasser steder hen eller får lov til at komme på flere kurser? Jamen hvem er det vi skal sende på kurser? Er det de gode eller de dårlige? Jeg synes jo, at jeg skal af med de dårlige og sende de gode på kurser. Men belønning som sådan kan være mange ting. Det kan være, ligesom den nye lovgivning hvor alle skal lære og være til stede samme tid. Her har vi et lille system der hedder Banken. Hvis du sætter meget ind, så får man også mulighed for en masse. Det er et ganske almindeligt banksystem. Sætter man meget ind, kan man også hæve meget. Sætter man ikke meget ind, så har man ikke ret meget i banken. Og det er ikke nødvendigvis pengemæssig art. Det kan også være privilegier. Man kan da ikke Side 97 af 107

99 behandle alle folk ens. Alle folk er ikke ens. Jeg har heller aldrig undervisningsbehandlet børnene ens. De er forskellige. I forhold til PISA-undersøgelserne, oplever I så, at der er stor vidensdeling skolerne imellem, men også lærerne? Nej, ikke skolerne imellem. Desværre har man enormt travlt med, fra det danske folkeskolevæsen, at tale PISA-undersøgelserne ned i jorden, så der er stort set ingen dialog mellem skoler omkring det her. Men der er jo også noget logistik i det her. Der er måske kun to skoler fra ens kommune der har været med. Hvorfor er det folk oplever det som et så stort problem? Det er en dag hvert tredje år Jamen fordi de synes vi ikke skal måles og vejes på den måde. Det er det der med at der ikke er nogen der må være bedre end andre. Hvad end det er PISA-undersøgelserne eller noget andet, så er der endelig ikke nogen der må være bedre end andre. Intensiverer i så indsatsen op til PISA-undersøgelserne? Du mener teaching for the test. PISA-undersøgelserne er gode at have, men at begynde og snyde på forhånd. Det er jo det de gør meget i Shanghai og Singapore Det ved jeg godt. Altså det er rigtigt, at de har snakket om, at der ikke bliver snydt, men anvendt teaching for the test. Jeg tror meget det er et kultur fænomen. Men igen, de her østasiatiske kulturer er meget anderledes end vores. Det er måske ikke dem du synes vi skal sammenligne os med? Ikke nødvendigvis. Altså jeg skal til Japan på torsdag og jeg var der for nogle år siden. Der så jeg en masse skolebørn. Og det var om vinteren jeg var der. De går rundt i shorts hele året rundt i skolevæsnet. Hvorfor gør de det? Fordi man ikke skal pive, og de har ca. samme klima som os. Man skal lære at bide tænderne sammen. Det lærer vi ikke i Danmark. Og det er heller ikke fordi jeg synes, at man skal gå i skoleuniform og bide tænderne sammen, men lidt måske. Har I nogen form for feedback til elever, men også lærere for at sikre kvaliteten i forhold til PISA, men også helt generelt? I forhold til afgangsprøve karakterer, så er der jo typisk situationer hvor elever kommer og siger, at de ikke forstår at de har fået 7, når jeg plejer at få 10 eller 12. Så kan man jo sagtens sætte sig ned og gennemgå det med eleven, hvis det fx er en dansk stil eller matematik opgave, men selvfølgelig er der en hverdagsfeedback i forhold til opgaver. Har I aldrig fået opgaver tilbage, hvor der bare stod fint og så en karakter? Synes I ikke det er sølle. Selvom man har fået 12 i en opgave, så vil man da gerne have uddybet hvorfor og hvad der kan gøres bedre. Eleverne får intet ud af en smiley, et fint og så et 7-tal. Man skal give eleverne eksempel på, hvilke former for typefejl de laver. Du har nævnt lidt forskellige kvalitetsmål. Hvordan anvender I det både i ledelsen, men også nede på den enkelte lærer for at sikre kvaliteten? Det gør vi jo dels ved hele tiden at talesætte grundfortællingen om skolen. Hvad er det nu vi er her for? Hvorfor er det nu vi er her? Og den bliver jo talt om stort set hver dag. Hvis jeg har en lærer der kunne finde på at skrive fint og give en karakter, så er jeg nødt til at sige, at i henvisning til vores grundfortælling og mission og vision, så er det der simpelthen ikke okay. Side 98 af 107

100 Så det er sådan noget lavpraktisk noget der bliver brugt. Det hjælper jo ikke at ens vision og værdier står i sådan en mappe og hive den frem ved pæne lejligheder, og man så ikke arbejder ud fra det. Man er jo nødt til at have nogle ting, som fungerer aktivt i ens hverdag frem for at have sådan nogle store fine fuldstændig indholdstomme statements. Så der er rimelig klare retningslinjer i forhold til, hvad man skal gøre for at formidle viden? Ja, men jeg tror også jeg har en fordel. Jeg har siddet her 15 år. De ved godt, hvad det er mor vil have. Og man griner somme tider, men nu har jeg siddet her mange år, og jeg har pensioneret 40 lærere fra den her skole. Men vi er heldigvis sådan et sted, hvor folk bliver længe. Dvs. der er også nogle til at bære den der fakkel videre af, hvad det er vi skal og hvilke traditioner det er vi står på. Det her med ansvar, engagement, fagligt miljø og trivsel. Og jeg ved der er rigtig mange, der ved hvordan jeg vil have det. Og jeg mener det faktisk. Og hvis du gør det med fint og skriver en karakter, så skal du ikke være lærer her. Jeg har basal tillid til at folk laver det de skal. Det havde jeg før skolereformen, det har jeg efter skolereformen. Men hvis de ikke gør, så har vi en anden situation, og det har vi altid haft. For to år siden afsked jeg en lærer der havde været her i over 20 år. Det er bare ærgerligt. Hvis du ikke kan, hvis du ikke gider, så skal du ikke være her. Hvis du synes det der er godt nok, så skal du ikke være lærer her. Det er jo også med til at sikre at kvaliteten er høj Jeg ved godt der er mange skoler der piver over, at de har en dårlig økonomi. Jeg synes vi har en skide god økonomi. Vi har råd til nye ting. Vi har råd til nye bøger. Vi har råd til at sende børnene på lejrskole. Vi har råd til at have nyt inventar. Nu har I set noget af det vi har, og det er jo ikke kun lærerværelset. Men vi gør meget i at sætte vores skole i stand. Jeg ved godt at bygningen er død syg udenpå, men indeni skal den være ordentlig. Så vi bruger rigtig mange penge på undervisning og på bøger og på at købe ordentligt materiale og kunne lave ekskortioner og sådan nogle ting. Jeg synes der er penge nok i skolevæsenet, men jeg kan godt forstå de skoler som siger, at der aldrig er penge nok. Nej, det er der ikke, hvis du sætter 2- lærerordning, hvor den ene lærer står ovre ved radiatoren og glor på sin Iphone. Har en lærer 27,28,29 lektioner i ugen. Hvis I omregner det, så er det ca. i snit 21 timer om måneden de underviser ud af en 37 timers uge. De har stadig tid til forberedelse og sådan noget. Jeg synes vi har en skide god økonomi, jeg synes ikke der mangler noget. Altså vi har ikke guldvandhaner, men det er der ingen der har. Føler du at arbejdet med PISA har ændret sig over tid? Er der et større fokus på det nu? Nej, men jeg ville ønske, at det havde. Jeg ville ønske, at der var mere fokus, at der ikke var så lang tid imellem, og at flere skoler var med. Det kunne jeg rigtig godt tænke mig. Så helt grundlæggende, mener du så at PISA-undersøgelserne er med til at forbedre kvaliteten for de danske folkeskoleelever? Det ville de gøre, hvis der var en hyppigere frekvens og hvis de var mere spredt ud på landet. Som det er lige nu, så er det jo nogle målinger, som der ikke er nogen skoleledere i sig selv der kan bruge til ret meget. Desværre. Side 99 af 107

101 Føler du så at dine elever tager de her tests seriøst? Eller har de en tilgang, hvor de måske tænker hey, nu slipper jeg for tysk. Selvfølgelig tager de det seriøst. Om ikke andet, så hvis mor står med brillerne og kigger, så ved de godt, at nu er det nu. Det gør de. Børn er jo ikke bange for at blive udfordret. Jeg er godt klar over, at der er nogen der synes det er svært at gå til afgangsprøve og sådan nogle ting, men det er jo ikke bare en test, det er ikke bare noget der skal overstås. Det er noget i sig selv. Jeg er så træt af alt det der bare skal overstås. Hvis det bare skulle overstås, så havde vi været med i noget andet. Afgangsprøven er det første tidspunkt, hvor du har mulighed for at se, hvad kan du når du sidder mundtligt. Lige om lidt sidder du i gymnasiet. Der er altså ikke nogen, der synes det er synd for dig, hvis du går ind i OLD og ikke ved noget som helst om Sokratis forsvarstale Bilag 4 Transskribering af interview med K3 Hvordan er du involverede med PISA-undersøgelserne og i hvor høj grad synes du, at jeres skole har fokuseret på disse? Der er rigtig mange ting indover. Vi har både nationale test som vi er forpligtet på i forhold til børnene på de forskellige klassetrin. Derudover er der i den kommune hvor jeg arbejder en strategi der hedder synlig læring, så lige i øjeblikket er der ingen af vores klasser der har deltaget i PISA-undersøgelserne, da vi synes der er rigtig mange ting indover. Hvad er jeres generelle indtryk på skolen af undersøgelserne? Og hvorfor I har valgt dem fra i forhold til de andre? Børnene bliver evalueret, da det jo en form for evalueringsmetode, og testet ud fra det er vi er forpligtet på. Der er så meget fokus på at børn. På vores strategier kunne de jo godt komme ind, da børnene socialt, fagligt og personligt skal nå så langt som muligt. Men de skal også have ro til at kunne fordybe sig. Man kan stille spørgsmålet om de så ikke også kan det selvom de bliver undersøgt og laver en internationaltest. Men jeg synes også at testene har været et øjebliksbilleder. Jeg lavede f.eks. en undersøgelse på de nationale test. Vi havde fået at vide at den test var adaptiv, men hvis de her børn klikkede sig videre, så bliver deres resultat så meget dårligere, da det er procentvis af de opgaver de har svaret på. Så der havde jeg børn i sjette klasse som gik fra under middel til langt over middel. Det gør jo at man ikke får tiltro til hvad er det egentligt man tester og hvordan er det børnene reagerer på de her tests. Der er forskel på hvad det er for en feedforward, som vi arbejder meget med, altså så jeg lavede en eftertest også fandt ud af at de lå langt over middel. Det var børn i sjette klasse som jeg vidste var rigtig gode til at læse og de scorede lige pludselig dårligt. Derfor får man det jo lidt sådan, at når de får et tilbud om at deltage i PISA-undersøgelserne, så tænker man: nå okay, hvordan er den egentligt skruet sammen. Det kræver rigtig meget af læreren synes jeg og finde ud af hvordan de bygget op. Så man kan få et reelt resultat. Side 100 af 107

102 Så det er meget med informationsdeling før og efter undersøgelserne? Både den enkelte skole og Undervisningsministeriet, men også skolerne imellem? Ja lige præcis. Men det tager en del tid, at finde ud af om det egentligt er det samme. Det vi kunne læse i de materialer vi fik var at de kaldet det adaptivt. Det vil sige, at niveauet tilpasser den enkelte elev. Det lyder jo vældig fint, men hvis man kender børn i den alder, at hvis de får det at vide så klikker de jo bare videre når de har læst to sætninger. Det går bare slet ikke. Så det er noget med at forberede eleverne så grundigt som muligt på hvad denne test handler om. De må ikke springe noget over. Det var også noget med, at hvis de ikke havde svaret rigtigt indenfor de første fem spørgsmål, det er der også nogle der har lavet undersøgelser på, så havde de ingen chance for at komme op over et middel niveau. Altså i forhold til de nationale test eller PISA-undersøgelserne? De nationale test. Man får bare den tanke, at når PISA er et tilbud hvilket undrede mig at vores klasse kunne tilbydes, da jeg troede det var en opgave som var kommet for at blive og hvis man blev udtrukket, så skulle man deltage. Rent generelt i forhold til skolens vision og mission er der så nogle af de her test, især PISA, som har indflydelse på disse? Og synes du I som skole har forholdsvis frie hænder til, at styre det? Altså jeg synes, at det bedste er at det er begge veje, så både top-down og bottom-up. Vi har lavet udviklingsprojekter i rigtig mange år, men nu kommer der bare flere og flere krav udefra som vi hele tiden skal være opmærksomme på. Jeg kan godt lige imens vi taler sammen undrer mig over hvorfor vi hele skolen sammen ikke har taget konkret stilling til PISA-undersøgelserne. Men det må være fordi at der er så mange andre ting. Men vi er meget optaget af hvordan vi indenfor alle de her forskellige områder kan give børnene de bedste udviklingsmuligheder. Det er vi vildt optaget af. Så der er ikke nogle af de her test som direkte er inkorporerede i jeres vision og mission? Nej ikke sådan. Vi har talt rigtig meget om, at vi ikke skal ind og lave teaching-to-test. Men på den anden side set synes jeg også, at børnene skal kende opgaven der bliver stillet. Det var igen det jeg sagde tidligere med de nationale test. De er reelt nødt til at have et indtryk af opgaven. Der var en opgave omkring afkodning indenfor dansk, hvor de skulle lave to dele streger i en hel del bogstaver. Det gør børnene meget nemt, men lige så snart de læser to ord som er bøjet, så sætter de bare stregerne og regner med at det er rigtigt. Men det betyder jo ikke, at hvis de lige havde fået en kort gennemgang, så ville de nemt kunne have svaret rigtigt. Så det er igen den der grundige instruktion i opgaven. Så derfor synes jeg alligevel, men er nødt til at lave lidt teachingto-test, så de ved hvad det går ud på. For et eller sted pædagogisk kan man ikke teste børn i noget som ikke er indlært. Det er et dilemma. Så det du siger er, at der skal være lidt instruktioner lige inden testene og ikke som man ser i f.eks. Kina hvor det er i meget lang tid op til? Jeg tænker, at vi i Danmark tænker mere på det hele menneske på en eller anden måde. Vi er et motto der hedder: et godt sted at lege, lære og være. Det tror jeg egentligt vi synes er både indenfor trivsels området og det faglige. Men jeg høre også hele tiden min distriktsleder sige, at børnene skal blive så dygtige som muligt. Jeg synes, at man skal være mere optaget af hvilket Side 101 af 107

103 undervisningsmateriale der er, som skal svare til hvad man bliver testet i. Det er igen den der kunst med om børnene kender den type opgaver. Der skal være en form for layout og retorik, altså der er rigtig mange parametre som man kommer til at kigge på. Det kan jo nemt være sat op på helt forskellige måder i forhold til hvad børnene er vant til. Så det distriktslederen har sagt med at alle skal blive bedre, det er vel en af jeres succesfaktorer? Men har I også andre? Det er også trivselsmæssigt, personligt, socialt og fagligt. Vi har den her tredeling vi hele tiden arbejder ud fra. Er det en i selv har lavet? Ja det har vi, altså det skal være et godt sted at lege, lære og være. Men i forhold til synlig læring, så skal børnene være helt klar over hvad de er ved at lære. Førhen var det mere læreren som havde det, men nu er vi mere forpligtet på og sætte forskellige mål og rammer op til de forskellige børn. Der kommer også flere og flere folk ind i form af f.eks. konsulenter og spørger ind til det. Så spørger de så de her børn: hvad er I ved at lære?. Så svarer de selvfølgelig så godt de kan f.eks. tallene op til 50. Så vi indleder vores undervisning med at give en feedforward, så har vi en fordybelsesfase også til slut feedback hvor vi snakker om hvad næste mål er, som vi skal til. Så der har jeg f.eks. en plakat med hvad de har lært indtil nu, hvor jeg så taler med dem om det. Så man kan sige, at der er kommet meget mere ind i vores regi. Det er noget med, at det som er evidens baseret som vi har fokus på. Man har fundet ud af, at det er et af parametrene. Den engagerede lærer er et parameter, men der er også det med at børnene er med i de processer som gør, at de kommer til næste trin i deres faglige udvikling. Hvad tænker du omkring, om du foretrækker en centraliseret eller decentraliseret tilgang? Jeg synes det er bedst hvis man kan lave en blanding af de to. Det her synlig læring som jeg nævnte før, det er også noget man kan læse om inde på undervisningsministeriet. Det der er evidens baseret, uanset hvad det er indenfor, men jeg synes også det er fint at man har nogle rammer til og have det decentraliseret. Altså hvordan vil man arbejde med nogle retningslinjer på den enkelte skole. Jeg tænker derfor at begge dele er vigtige. Men jeg kan godt synes, at det er en udfordring og det er en tænkning som kræver ekstra forberedelse. Vi har fået betydeligt flere undervisningstimer nu. Det gør jo, at vi er ramt på forberedelses. Man kan sige, at når man får det ind under huden, så på sigt kommer det til at køre, så man i sidste ende nok sparer noget tid. Vi føler ikke altid, at vi har tiden til at prioritere de redskaber vi skal måles på, herunder PISAundersøgelserne. Men vi er jo lige nu i nogle forsøgs år med nogle forskellige ting. Der er sket rigtig meget omkring folkeskolen. Omkring den strategiske planlægning på skolen, har PISA-undersøgelserne nogen indflydelse på denne? Jeg tænker, at PISA indirekte har en form for indflydelse. Det tror jeg ud fra, at kommunen arbejder med synlig læring, det kommer jo fra Undervisningsministeriet. Så jeg tror at indirekte har de to ting noget med hinanden at gøre. Hvad der er dokumenteret hvad der har en effekt for børns læring. Det som er dokumenteret er det som vi skal sætte ind på fra central side. Det er vel Side 102 af 107

104 så pointen, at vi om nogle år vil kunne klare os godt og bedre end i dag uanset om det er i udkants Danmark eller i en større by sammenlignet i international regi. Så I føler, at kommunen har fokus på PISA-undersøgelserne som et kvalitetsmål? Det er jeg overbevist om, da vi følger de ting som Undervisningsministeriet arbejder med. Det er, at vi hele tiden bliver optaget af hvad der har en effekt på læring, og hvornår det er, at børn de udvikler sig og hvordan. Hvordan bliver I bedømt på det fra kommunes og fra Undervisningsministeriets side? I forhold til trivsel er vi forpligtet på, at vi laver en trivselsundersøgelse hvert år. Her skal alle børn svare på nogle spørgsmål. Det tænker jeg er er sat fra centralt hold. Det har været de sidste år hvor de så bliver evalueret. Børnene sidder f.eks. to og to sammen også er der en del spørgsmål de skal svare på. Er det en ekstern der står for det eller læreren? Skolelederen sagde at hvis læreren ikke havde tid kunne de sidde hos hende, men ellers er det normalt læreren der sidder med eleverne når undersøgelserne bliver lavet. Det kan også være hvis der er en pædagog som er med i klassen, det kan jo være nogle har lidt problemer med at få læst lidt spørgsmål op afhængig af deres alder og kunnen. Så det er mest trivsel I har fokus på? Nej det synes jeg bestemt ikke. Vi har også stor fokus på f.eks. læse resultater. Her bliver der lavet en kæmpe indsats i kommunen, hvor jeg synes at de har været vildt ambitiøse og resultaterne er forbedret en del. Så jeg synes ikke man kan sige, at vi bare er en skole som sætter mest fokus på trivsel. De skal blive dygtigst muligt fagligt og udvikle sig optimalt personligt og socialt. Så må man i samarbejde med forældrene aftale hvordan man gør det. Det er et tæt samarbejde med PPR, pædagogisk psykologisk rådgivning, men det er først og fremmest et tæt samarbejde med forældrene. Der er flere børn integreret i klasserne nu og der sætter vi meget ind for at lave individuelle handle planer, samarbejde med forældre og skemaer til udvikling. Så tager vi selvfølgelig nogle nye mål når de har fået indlært de andre. Bruger mange ressourcer på de mål som i opstiller for eleverne? Jeg synes, at vi bruger mange på at undervisningen kører så godt som muligt. Det der er mest fokus på må så være børnene faglige udvikling. Hvis der så er nogle børn som forstyrrer i klassen eller er gået i stå fagligt, så tager vi selvfølgelig nogle ekstra samtaler med disse børn og deres forældre og laver planer i fællesskab. Så er det nogle gange vi bruger ekstra ressourcer ved at have et tæt lærer-pædagog samarbejde. Her kan man så differentiere undervisningen, hvilket vi arbejder meget med. Hvor de så arbejder i mindre grupper eller i par. Underviserne har meget fokus på den faglige udvikling. Hvad så med skolens og lærernes forhold? Hvordan bliver lærerne og deres undervisning evalueret? De bliver kaldt til samtaler hvor de skal fortælle hvad de er i gang med i forhold til børnene og hvordan de synes det generelt går. Derudover hvordan man arbejder med feedforward og fordybelsesfasen. Hvilket ting man er optaget af i den faglige udvikling for børnene. Derudover så kommer distriktschefen nogle gange på besøg. Hun stod med en Ipad i femkvarter sidst og tog Side 103 af 107

105 notater. Hun gav så en evaluering af undervisningen efter timen. Derudover er der kommet mange opgaver vi skal tage stilling til og andre små problemer, samtidig med at vi skal forbedre børnenes faglige kunnen. Så man kan sige, at svaret på spørgsmål er, at der er folk som er blevet bedt om at komme ud i klasserne. Ligesom lederen på skolen også skal være opmærksom på det. Er det uanmeldt besøg eller er lærerne klar over besøgene? Det kan være begge dele. Et hvor det er planlagt og et hvor det var uanmeldt. Så man kan sige, at det er pakket ind i det med at børnene bliver dygtigst muligt. Men det er også godt det er begge dele tænker jeg, for så kan man ligesom sammenligne de to. Jeg tænker at det er nogle gange om året at der kommer de her anmeldte besøg, måske fire gange om året kan lærerne regne med. Der er der nogle som lige kigger forbi. Hvad gør ledelsen for at motivere lærerne til hele tiden at yde en bedre indsats? Vi har f.eks. en intern læse konsulent og der kom også en ekstern konsulent fra kommunen, som så også kom på besøg. De skulle se hvordan vi arbejder med alle de her ting. De interviewede både børn og lærere. Ledelsen går på den måde ind og sikre at lærerene er skarpe på de ting de laver. Bliver skolen belønnet hvis de klarer sig godt eller mindre godt? Nej det kan vi ikke. I forhold til lærerne er der heller ikke noget. Men derfor bliver lærerne stadig holdt op på om de skaber en positiv udvikling i deres klasser. Så næste skridt er jo at få alle lærere med på samme plan og få det til at skinne igennem hele vejen rundt. Så vi er altså forpligtet til at udfylde en del ting som så skal sendes videre i systemet. Så evaluerer de på det vi har sendt også kommer de igen, men umiddelbart er der ikke nogen konsekvens, men mere en dialog. Så hvis en lærer laver noget ekstra godt, så kan vedkommende ikke bliver belønnet på en måde? Nej det har jeg ikke været vant til, men nu har jeg en kollega som er kanon dygtig. Hun søgte så nogle midler hjem til et sundhedsprojekt. Så kom der så en diætist ud til en første klasse hvor de så lærte alt om morgenmad, sukker osv. hele dagen. Fantastisk dag, både for eleverne og forældrene. Men det var min kollega som havde chef kasketten på, og selvom man havde en konsulent udefra, så var det hende som havde tjek på det. Så der sagde jeg lidt humoristisk videre, at skal hun ikke have lidt for at gøre den her ekstra indsats. Og det tror jeg rent faktisk at hun endte med at få, selvom det ikke er officielt bekræftet. Så får man nogle midler hjem, så er det også muligt at få en belønning. Men det er selvfølgelig ikke noget som sker særlig tit, faktisk ret sjældent. Man kan ikke sige, at der er et skema for det. Rent overordnet synes du så, at PISA-undersøgelserne skaber kvalitet eller ej? Er de relevante? Jeg synes, at der er interessant. For mig er det i virkeligheden interessent at se hvordan børn arbejder. Det sætter nogle tanker i gang om hvordan det er internationalt. Så jeg tænker det er spændende i forhold til hvordan vi kan få børnene til at udvikle sig. Men det skal selvfølgelig også samtidig være i overensstemmelse med børnene trivsel. Jeg tænker ikke, at det er værdiløst. Jeg kan være i tvivl om vi har god nok tid til at fordybe os i det. Med min erfaring synes jeg, at det kræver så meget feedforward for at kunne give et reelt billede af det, hvilket ikke nødvendigvis er et bedre resultat. Side 104 af 107

106 Så mener du de har relevans eller ej? Ja lige præcis. Men der skal være noget mere informationsdeling omkring undersøgelsen både før og efter. Så tænker jeg egentligt også, at man skal arbejde lidt med områderne. Dermed ikke sagt, at jeg går ind for teaching-to-test, men jeg går ind for at børnene skal have arbejdet med områderne for at kunne give det bedst mulige billede. Men jeg tænker, at jeg har hørt kineserne fokuserer for meget på teaching-to-test, hvilket har gjort at vi f.eks. på skolen er begyndt at have nogle flere kreative indspark i skoledagen. Så dermed kan man sige, at testen er relevant. Så der er helt sikkert nogle som sidder centralt og reflekterer over undersøgelserne i forhold til hvilke fag vi skal have i skolerne. Dermed sikre vi, at børnene blive mere innovative. Men også ud fra hvordan børnene skal begynde at have hvilke fag. Jeg tror at det helt sikkert har en effekt på den måde Bilag 5 K2 s målsætning og værdigrundlag - ansvar 12.6 Bilag 6 K2 s målsætning og værdigrundlag fagligt miljø Side 105 af 107

107 12.7 Bilag 7 P1 s Vi vil, vi kan, vi skal 12.8 Bilag 8 K2 s Udviklingsplan 2014 reflekteret praksis 12.9 Bilag 9 K2 s udviklingsplan 2014 Oversigt over målsætninger Side 106 af 107

108 12.10 Bilag 10 Data til karaktergennemsnit Bilag 11 data til karaktergennemsnit Side 107 af 107