Taxametersystemet. det måske egnede. Kritik af Undervisningsministeriets styringsanalyse af taxametersystemet. Handelsskolernes Lærerforening

Relaterede dokumenter
BibDok. Guide til BibDok. En metode til at dokumentere effekt af bibliotekets indsatser

Kort og godt. om udviklingen af ungdomsuddannelsernes institutionsstruktur INSTITUTIONSSTRUKTUR

EVALUERING AF BOLIGSOCIALE AKTIVITETER

Vedr. National baggrundsrapport til OECD studiet Improving School Leadership.

Metaevaluering af interne projektevalueringer fra Kunststyrelsen. Popkomm 2007 MIDEM 2008 Storbritannien 2007

Høringssvar over udkast til vejledning om institutionsakkreditering af videregående uddannelsesinstitutioner

Samarbejde om elevernes læring og trivsel En guide til at styrke samarbejdet mellem forvaltning og skoleledelse

Evaluering af familierådslagning i Børne- og Ungerådgivningen

Fokusgruppeinterview. Gruppe 1

Samarbejdet mellem forvaltning og skoleledelse

Dansk Clearinghouse for Uddannelsesforskning

Kvalitetssystem 2019 TÅRNBY GYMNASIUM & HF. [Dokumentets undertitel]

TG S KVALITETSSYSTEM

Skriftlig genre i dansk: Kronikken

Forslag. Lov om ændring af lov om ændring af lov om institutioner for erhvervsrettet

FORKORTET SAMMENFATNING AF DE PÆDAGOGISKE DAGE HØJSKOLEPÆDAGOGISK UDVIKLINGSPAPIR

DIO. Faglige mål for Studieområdet DIO (Det internationale område)

Engelsk på langs. Spørgeskemaundersøgelse blandt lærere på gymnasiale uddannelser Gennemført af RAMBØLL Management fra februar til april 2005

Teknisk gennemgang af taxametersystemet

Selvevaluering 2016: Den pædagogiske strategi

Akademisk tænkning en introduktion

Sammenfatning af udvalgets konklusioner

SAMMENFATNING RESUME AF UDREDNINGEN ARBEJDSLIVSKVALITET OG MODERNE ARBEJDSLIV

Lær jeres kunder - bedre - at kende

Aftagerpanelundersøgelser på. Læreruddannelsen UCC BAGGRUNDSNOTAT

d e t o e g d k e spør e? m s a g

Forberedelse. Forberedelse. Forberedelse

Inspiration til arbejdet med børnefaglige undersøgelser og handleplaner INSPIRATIONSKATALOG

AT 2016 M E T O D E R I B I O L O G I

Rapport fra Udvalget. - analyse af uddannelsesområdets. styringssystem. Styringsanalysen

Tips og vejledning vedrørende den tredelte prøve i AT, Nakskov Gymnasium og HF

Metoder og struktur ved skriftligt arbejde i idræt.

Notat til Statsrevisorerne om beretning om undervisningen på universiteterne. Februar 2013

Om den skriftlige prøve i teoretisk pædagogikum, 2012

Sammenfatning af erfaringer med forenklede Fælles Mål i dansk og matematik

Det fremgår af kommunestrategien, at en af forudsætningerne for at nå denne vision, er en velfungerende kommune i økonomisk balance.

Engelsk på langs. Spørgeskemaundersøgelse blandt elever på gymnasiale uddannelser Gennemført af NIRAS Konsulenterne fra februar til april 2005

Fremstillingsformer i historie

Projektbeskrivelse. Organisering af udskolingen i linjer og hold

Metoder til undersøgelse af læringsmålstyret undervisning

Akkreditering af nye uddannelser og udbud Eksperternes vurdering. Eksperternes vurdering af akkrediteringsprocessen og samarbejdet

Formål & Mål. Ingeniør- og naturvidenskabelig. Metodelære. Kursusgang 1 Målsætning. Kursusindhold. Introduktion til Metodelære. Indhold Kursusgang 1

R E T S P O L I T I S K F O R E N I N G HØRINGSSVAR. fra Retspolitisk Forening. (Ændringer i lyset af lov om offentlighed i forvaltningen)

Den demokratiske samtale: utilstrækkelig opdragelse til demokrati

Studieordning for akademisk diplomuddannelse - første år ved Institut for Læring

AT og Synopsisprøve Nørre Gymnasium

Notat. Revideret notat om vurdering af institutionernes kvalitetssikringssystemer

Ledelsesstrukturer på dagtilbudsområdet. En kortlægning blandt dagtilbudschefer

TALEPAPIR DET TALTE ORD GÆLDER

Aftalebeskrivelse. Evaluering af studieområdet på htx

Evaluering af studieområdet på htx. Tabelrapport

Artikler

Socialtilsyn Afrapportering af auditforløb

Evaluering af skolestruktur i Helsingør Kommune

Notat til Statsrevisorerne om eksterne faglige evalueringer af Rigsrevisionens beretninger fra Marts 2013

Guide: Få indsigt i elevernes perspektiver

Resultatdokumentation og evaluering Håndbog for sociale tilbud. Temadag om resultatdokumentation Socialtilsyn Øst, 16. januar 2016

Evaluering af almen studieforberedelse. Tabelrapport

Forandringsprocesser i demokratiske organisationer

Institutionernes kvalitetssystem - i forbindelse med de uddannelsespolitiske mål

Læsepolitikken omfatter alle elever også elever i specialklasserækkerne. Bilaget gøres tydeligere De nationale test skal indføres i skemaet, bilag 1.

Almen studieforberedelse. 3.g

Workshop: Anvendelse af samfundsøkonomisk metode i transportsektoren. Tidspunkt: Tirsdag den 27. august 2002, kl

K A V L I T T KVALITET PÅ DANMARKS MEDIE- OG JOURNALIST HØJSKOLE

POLITIK FOR BRUGERINDDRAGELSE

Tilbagemeldingsetik: Hvordan sikrer jeg, at respondenten har tillid til processen?

Et oplæg til dokumentation og evaluering

KONFLIKTER. i byggeriet

Kommissorium. Dato Ref pmj. Jnr Side 1/5

RIGSREVISIONEN København, den 5. maj 2003 RN B105/03

Formålet med forvaltningsrevisionen er således at verificere, at ledelsen har taget skyldige økonomiske hensyn ved forvaltningen.

Sta Stem! ga! - hvordan far vi et bedre la eringmiljo? O M

Koncept for brugerundersøgelse 2018

Kvalitetssikringssystem. Kvalitetssikringssystem. Sønderborg Statsskole. Aug. 2013

Strategi for forsøg og udvikling i Undervisningsministeriet

Nina Nielsen STANDARD RAPPORT. Adaptive General Reasoning Test

Projektbeskrivelse: 2. undersøge de mest brugte undervisningsprogrammer mht. læsefaglige elementer og metoder samt bagvedliggende læsesyn.

Antal inviterede: 2557

Tjørring Skole gode overgange

Rettevejledning til skriveøvelser

Erhvervslivet imod tvungen adskillelse af revision og rådgivning

Ledelsesevaluering. Formål med afsæt i ledelsespolitik og ledelsesværdier. Inspiration til forberedelse og gennemførelse

Sta Stem! ga! - diskuter unges valgret O M

Tips og vejledning vedrørende den tredelte prøve i AT, Nakskov Gymnasium og HF

Kort gennemgang af Samfundsfaglig-, Naturvidenskabeligog

Vidensbegreber vidensproduktion dokumentation, der er målrettet mod at frembringer viden

Skolebestyrelsens rolle i den nye skole. Tabelrapport

Anvendelse af interviews som instrument i trafikplanlægning

Der skal være en hensigt med teksten - om tilrettelæggelse og evaluering af elevers skriveproces

Sammenhæng for børn og unge. Videndeling og koordination i overgangen mellem dagtilbud og grundskole

Baggrund. Sekretariat Nord Borgergade Gandrup

Mange veje. mod en stærk evalueringskultur i folkeskolen

Bedre dialog i udvalg om Borgerrådgiverens arbejde mv.

Sammenhæng for børn og unge. Videndeling og koordination i overgangen mellem grundskole og ungdomsuddannelse

Procesvejledning. - til arbejdet med den styrkede pædagogiske læreplan

Gymnasieskolens musikundervisning på obligatorisk niveau

Forudsætningerne for Offentlighedskommissionens mindretals støtte til ministerbetjeningsreglen

AKADEMISK IDÉGENERERING JULIE SCHMØKEL

Velkommen til WEBINAR PÅ ORGANISATIONSUDVIKLING I ET HR PERSPEKTIV EKSAMEN & SYNOPSIS

Udenrigsministeriet Ligestillingsafdelingen Asiatisk plads København K. Att.: og

Transkript:

Taxametersystemet det måske egnede 8 4 1 5 2 kr Kritik af Undervisningsministeriets styringsanalyse af taxametersystemet Handelsskolernes Lærerforening

Taxametersystemet det måske egnede Momentum Nordsjællands Idéhus Ved Leon Lerborg

Taxametersystemet det måske egnede Handelsskolernes Lærerforening og Leon Lerborg, Momentum. Eftertryk forbudt uden kildeangivelse. Rapporten eller dele heraf må ikke bruges i kommercielt øjemed uden samtykke. Udarbejdet af direktør Leon Lerborg, Momentum Nordsjællands Idéhus Udgivet af Handelsskolernes Lærerforening. Kan bestilles hos: Handelsskolernes Lærerforening Godthåbsvej 206, 2000 Frederiksberg Telefon 3810 8800 hl@hl.dk Grafisk tilrettelæggelse: Momentum Tryk og omslag: Datagraf Oplag: 250 Pris: 100 kr. incl. moms for trykt eksemplar. Rapporten kan frit downloades fra HL s hjemmeside www.hl.dk. ISBN: 87-991195-0-1 Januar 2006

Vi bliver nødt til at træde på nogle af de mange ømme ligtorne, hvad enten de hidrører fra vanetænkning, organisationstænkning eller sædvanlig dansk selvovervurdering. Bertel Haarder, Berlingske Tidende 14.06.1997

Indhold 1. INDLEDNING... 1 1.1 BAGGRUND OG FORMÅL... 1 1.2 METODISKE BEMÆRKNINGER... 2 2. STYRINGSANALYSENS TILBLIVELSESHISTORIE.... 4 2.1 RAPPORTENS BAGGRUND, FORMÅL OG AMBITIONSNIVEAU... 4 2.2 ORGANISERING... 5 3. KRITISK DISKUSSION AF STYRINGSANALYSENS METODE... 7 3.1 PERSPEKTIVER... 7 3.1.1 Evalueringskriterier/Mål... 7 3.1.2 Situationsanalyse... 8 3.1.3 Kendt kritik... 9 3.1.4 Forsvar... 10 3.2 GRUNDLAG... 10 3.2.1 Interesser og reliabilitet... 10 3.2.2 Styringsanalysens datamæssige grundlag... 13 3.2.3 Sikkerhed... 17 3.2.4 Konklusioner... 18 3.3 ANALYSENS GENSTAND... 18 3.3.1 Helhedsorienteret... 18 3.3.2 Systemanalyse... 19 3.3.3 Ingen analyse af takster... 20 3.3.4 Analyse af alternativer... 21 4. TAXAMETERSYSTEMET OG DETS FORMÅL... 23 4.1 FILOSOFIEN FOR TAXAMETRE OG OM SYSTEMETS FORDELE... 23 4.2 TAXAMETERSYSTEMETS UDVIKLING... 28 5. KRITIKKEN AF TAXAMETERSYSTEMET... 30 5.1 TAKSTERNE... 30

5.1.1 Taksterne principperne bag... 30 5.1.2 Kritikken af taksterne... 31 5.1.2.1 Politisk ubestemte... 31 5.1.2.2 Arvesynden ubegrundede forskelle... 33 5.1.2.3 Beslutningsprocedure for takster... 35 5.1.2.4 Overensstemmelse mellem omkostninger og takst... 42 5.1.2.5 Differentierede takster... 43 5.2 TAXAMETRE OG INCITAMENTER... 45 5.2.1 Er taxametersystemet et incitamentsystem?... 45 5.2.2 Integreret eller opdelt styring?... 46 5.2.3 Incitament til effektivitet... 49 5.2.4 Udvikling... 50 5.3 TAXAMETER OG KVALITET... 51 5.3.1 Hvad er kvalitet?... 52 5.3.2 Hvordan står det til med kvaliteten?... 57 5.3.3 Generelt om kvalitet og taxametersystem... 59 5.3.4 Negative incitamenter til kvalitetsfald... 66 5.3.4.1 Svækkede adgangsbetingelser... 66 5.3.4.2 Fagligt niveau... 69 5.3.4.3 Eksamenskrav... 75 5.3.5 Metodisk vurdering... 76 5.3.5.1 Simpelt design til komplekse sammenhænge... 76 5.3.5.2 Svag empiri... 79 5.3.5.3 Reliabilitet... 80 5.3.5.4 Forskønnende forsvar... 81 5.3.5.5 Forenklende... 82 5.3.6 Andre kvalitetspåvirkende faktorer... 87 5.4 MARKEDSMEKANISMER... 88 5.4.1 Omverdenstilpasning... 88 5.4.2 Frit valg og konkurrence?... 89 5.4.3 Konkurrence og samarbejde... 90 5.4.4 Markedsføring... 91 5.5 OVERORDNET STYRING... 92 5.5.1 Understyring overstyring... 92 5.5.2 Enkelhed... 93 6. KONKLUSION... 96 7. LITTERATUR... 103 Anvendte forkortelser EVA: Danmarks Evalueringsinstitut HBF: Handelskolernes Bestyrelsesforening HL: Handelsskolernes Lærerforening Ministeriet: Hvor intet andet er anført svarer det til Undervisningsministeriet Perspektivgruppen Idé- og perspektivgruppen STÅ: Studenterårsværk UVM: Undervisningsministeriet 1998-analysen UVM 1998

1. Indledning 1.1 Baggrund og formål Baggrund og formål Denne analyse er udarbejdet efter anmodning fra Handelsskolernes Lærerforening (HL), som har bedt om en kritisk analyse af den rapport, som Undervisningsministeriet har udarbejdet og offentliggjort i 2005 under titlen Analyse af uddannelsesområdets styringssystem. Analysen har dog kun haft et enkelt element af styringsanalysen som genstand: Taxametersystemet. Denne analyse har haft til formål at levere en uafhængig vurdering af ministeriets analyse af taxametersystemet. Centrale spørgsmål har været: Er ministeriets analyse af taxametersystemet holdbar? Er den empirisk og argumentatorisk velunderbygget? Tager den højde for den kritik, der gennem årene er fremført af systemet? Er ministeriets konklusioner holdbare? Er eventuelle anbefalinger tilstrækkelige og velbegrundede? Uafhængighed Omdiskuteret HL har som nævnt bedt om at få denne analyse gennemført, og har i den forbindelse defineret analysegenstanden og de ressourcemæssige rammer. Men analysen er uafhængig af HL i den væsentlige forstand, at den ikke skal indtage bestemte holdninger eller drage bestemte konklusioner, som er i tråd med HL s ditto vedr. taxameterstyring. Analysen indtager derimod en så vidt mulig neutral, ekstern position ift. styringsanalysen og taxametersystemet, og forsøger at anvende alment anerkendte, faglige og videnskabelige standarder i vurderingen. Analysen har dog et erklæret kritisk sigte, idet det vigtigste formål er at finde eventuelle svagheder i styringsanalysens behandling af taxametersystemet; men der er tale om en videnskabelig kritisk tilgang. Det har ikke skortet på kritik af taxametersystemet i den tid, det har eksisteret. Det har været stærkt omdiskuteret på uddannelsesinstitutioner og i medierne, og mange har meget stærke og faste meninger om systemet, hvad enten det er for eller imod. Meningerne har været polariserede i tilhængere og modstandere, og taxametersystemet har været anklaget og forsvaret for en mængde forskellige ting. I skærende kontrast hertil står manglen på egentlige, omfattende, empirisk baserede, uafhængige undersøgelser af systemet. I fraværet heraf er de mest gennemførte diskussioner af systemet dem, som Undervisningsministeriet selv har gennemført af systemet gennem årene. Ingen kan klandre ministeriet for, at der ikke her er blevet anlagt specielt kritiske vinkler på systemet eller gjort meget for at skabe et kritisk empirisk grundlag. Ministeriet er helt legitimt hverken en neutral eller videnskabelig instans ift. taxametersystemet, men netop dets skaber, opretholder og forsvarer. Denne analyse hverken kan eller skal være den uafhængige, omfattende og empirisk baserede analyse af taxametersystemet, som der er behov for. Men den kan være en analyse, der forholder sig til, i hvilket omfang sty- 1

ringsanalysen lever op til standarderne for en sådan analyse. I den forbindelse har det også været nødvendigt at forholde sig til tidligere analyser fra ministeriet. Disposition Efter dette indledende afsnit vil afsnit 2 se på styringsanalysens baggrund og formål samt på hvordan arbejdet bag blev organiseret. Afsnit tre er en analyse af metodiske aspekter ved styringsanalysen. Det er placeret først i analysen, da metodiske forhold så at sige ligger bag (eller forud for) selve analysens udsagn, og derfor udgør fundamentet for analyser, konklusioner og anbefalinger. Afsnittet er relativt langt, idet det rummer forholdsvis mange kritiske kommentarer til styringsanalysen, som begrænser selve analysens udsagnskraft. Afsnit fire ser på taxametersystemet, dets formål opståen og udvikling gennem tid. Det er et baggrundsafsnit, der beskriver systemets baggrund og overordnede udvikling. Afsnit frem er analysens hovedafsnit og det ser på den kritik, der gennem tiden er rejst af taxametersystemet. Formålet er ikke at tage stilling endsige levere endelige konklusioner, men blot at minde om forskellige kritiske spørgsmål, herunder deres behandling gennem diverse ministerielle rapporter. En stor del af afsnittet vil behandle koblingen mellem taxametersystem og kvalitet. Terminologi Igennem rapporten vil der ikke altid blive skrevet elever og studerende, men af nemhedshensyn ofte kun det ene. Når der kun er tale om den ene af kategorierne vil det fremgå af sammenhængen. Ministeriet er identisk med Undervisningsministeriet. Styringsanalysen betegner ministeriets rapport Analyse af uddannelsesområdets styringssystem, og med nye institutionsområder menes der de områder, der med kommunalreformen overgår til statsligt regi. Når der tales om ministeriets rapporter vil der være tale om rapporterne fra 1998 og 2001, taksteftersynet fra 2000 og EVAs rapporter og notater fra 1995, 1998 og 2005. 1.2 Metodiske bemærkninger Denne analyse er udarbejdet under både tids- og ressourcemæssige snævre rammer. Det har haft konsekvenser for både analysens omfang, dybde, empiriske og kildemæssige grundlag. Kritisk læsning Analysen har ikke noget selvstændigt empirisk grundlag, men baserer sig på en kritisk læsning af især styringsanalysen, men også ministeriets tidligere rapporter om taxametersystemet 1. Hertil kommer læsning af et ud- 1 I kronologisk rækkefølge: Kvalitets og taxameterstyring, responsum fra Evalueringscentret (EVA 1995). Rapport om taxameterstyring, af Undervisningsministeriet, Arbejdsministeriet og Finansministeriet (Finansministeriet havde formandskabet), (UVM 1998), Om økonomistyring på universitetssektoren, notat fra Evalueringscentret, (EVA 1998), Taksteftersyn (UVM 2000), Perspektiv-rapporten Undersøgelse vedr. taxametersystemet på de videregående uddannelser, (UVM 2001), Taxameterudvalgsrapporten Forenkling af bevillings- 2

snit af den litteratur, der er udgivet om taxameterstyring, hvad der især er mindre artikler. Kritikparametre Styringsanalysen vil især blive målt på følgende parametre: Er der det fornødne empirisk belæg for konklusionerne? Er argumentationen konsistent, af den fornødne dybde og lødighed? Tages der højde for den kendte kritik af systemet? Er der analyseret alternative styringssystemer, herunder tidligere styringssystemer, andre landes styringssystemer, mulige varianter af taxametersystemet m.v.? Hvordan er argumentation og konklusioner i styringsanalysen ift. ministeriets egne tidligere rapporter på området? Er styringsanalysens konklusioner og anbefalinger underbyggede og tilstrækkelige? Kompleksitet Åbenhed Det ideelle udgangspunkt Der er som sagt mange forskellige meninger om taxametersystemet, og som den offentlige debat til stadighed demonstrerer, trives de vel. Det skyldes ikke mindst, at det er yderst vanskeligt at finde uigendrivelige og endegyldige argumenter og empiri på feltet, hvad der igen grunder sig i sagens kompleksitet: Taxametersystemet har løbende ændret karakter, eksisteret i mange forskellige situationer, i mange forskellige institutionsmiljøer, og det sameksisterer med en mængde andre styringssystemer, der påvirker de samme forhold som taxametersystemet og ikke mindst det komplekse, næsten metafysiske uhyre, som det hele drejer sig om at få styr på: Kvaliteten! I den situation kan man ikke forvente entydige, generelle og håndfaste sammenhænge og konklusioner. Man må snarere operere under den omvende forudsætning: Det handler om at få låst op for de fastlåste meninger og prøvet argumenternes og empiriens styrke af. Denne analyse forsøger at anlægge en neutral-videnskabelig vinkel til grund - vel vidende at der ej heller er nogle entydige, indiskutable standarder for videnskabelighed. Endelig skal det bemærkes, at denne analyse på mange måder stiller sig på det ideelles standpunkt, og at det dérfra er let at være kritisk: At kræve mere empiri, flere og længere analyser, bedre systemer m.m. Kritikken tager således ikke hensyn til de mange begrænsninger, styringsanalysen har været underlagt mht. til tid, ressourcer, interessenter, politiske målsætninger m.v., og i det hele taget er det også nemmere at sidde i baghånd, dvs. at have til opgave at finde hullerne i osten. systemet på universitetsområdet. Ministeriet for Videnskab, Teknologi og Udvikling (2004) 2005: EVA-rapporten 2005 (EVA 2005) 3

2. Styringsanalysens tilblivelseshistorie. 1.3 Rapportens baggrund, formål og ambitionsniveau Formål og baggrund Styringsanalysen har til formål at analysere styringssystemet på uddannelsesområdet mhp. at foreslå eventuelle forbedringer af systemet. Baggrunden er den politiske aftale om kommunalreformen fra juni 2004, som samler ungdomsuddannelserne i staten. Det medfører, at amtslige institutioner overgår til staten (gymnasierne, HF, VUC, sygepleje-, radiograf samt social- og sundhedsuddannelserne). Ved samme lejlighed overgår institutionerne til selveje 1.1.07 og taxameterfinansiering 1.1.08. I den forbindelse skal styringsanalysen levere forslag til forbedringer af styringssystemet på undervisningsministeriets ressortområde generelt. Det fremgår ikke direkte af styringsanalysen, men det har været klart i offentlige debat, at der har været en del betænkeligheder og modstand mod indførelse af taxametersystemet på de nye institutionsområder. Det gælder politisk, fra fagforeninger, lederforeninger m.v. Styringsanalysen må derfor også ses som en imødegåelse af den kritik, der er fremkommet mod taxametersystemet og som en beroligelse i forhold til de fremsatte bekymringer. Delanalyser Økonomiske analyser De fire evalueringsområder Udfordringer Som basis for styringsanalysen er der gennemført delanalyser af forskellige forhold via eksterne aktører. Heraf er to gennemført af Danmarks Evalueringsinstitut, som dog afrapporteres samlet. Den ene er specielt interessant for denne analyse, idet der er tale om et responsum om den mulige sammenhæng mellem taxametersystemet og uddannelsernes kvalitet (EVA 2005). Styringsanalysen vil desuden blive suppleret af konkrete økonomiske analyser inden for de enkelte nye uddannelsesområder. Disse analyser vil se på vilkårene for de nye institutionsområders overgang til taxameterstyring, herunder takststrukturen og taktstørrelser. Disse analyser foreligger dog endnu ikke. Styringsanalysen skal især vurdere fire områder: Selveje, taxameterfinansiering, uddannelsesregler og tilsyn, herunder vurdere deres samspil, herunder i lyset af de uddannelsespolitiske målsætninger. Det må på mange måder have været vanskeligt at gennemføre styringsanalysen. Det gælder især af følgende grunde: Mange interessenter. Der er mange og meget delte holdninger til de forhold, der analyseres i styringsanalysen. Det gælder ikke mindst taxametersystemet. At komme med analyser, konklusioner og anbefalinger i et så konfliktfyldt felt er meget vanskeligt, og der er mange hensyn og hårfine balancer, der skal tilgodeses. 4

Kompleksitet. Det er første gang, der gennemføres en samlet styringsanalyse på ministeriets område. I lyset af, at der er ganske mange forskellige styringssystemer, der hver især er tilpasset en mængde forskellige uddannelsestyper, er det er uhyre kompleks opgave, ministeriet har taget på sig. Tid og ressourcer. Denne meget komplekse analyseopgave har ydermere skulle gennemføres på forholdsvis kort tid og der er også grænser for, hvor mange ressourcer man overhovedet kan lægge i en sådan analyse inden for den givne tid. Justeringsbehov. Styringsanalysen er desuden prisværdig ærlig, når det vedstås, at de eksisterende styringssystemer er resultat af et langt forløb med diverse knopskydninger, så man i dag står med lidt af et inkrementelt kludetæppe, der trænger til et overordnet eftersyn, justering og integration 2. Adskillelse af system og takster På den foreliggende baggrund er det forståeligt, at ministeriet først analyserer hele styringssystemet og efterfølgende tager fat på, hvordan de nye institutionsområder præcist skal indpasses i systemet. Det har også den effekt intenderet eller ej at eventuel kritik fra omverdenen deles op i to faser: Først en samlet, generel debat om systemet, som formentlig munder ud i en art accept, og dernæst en afgrænset debat med spredte enkeltaktører om taksstørrelser, grundtilskud m.v., som er den form for debat og kritik, der allerede er kendt inden for systemets rammer. Derved undgår man, at debat om taksstørrelser forplumrer debatten om selve systemet; og man må desuden forudse, at den største modstand opstår, når de konkrete takster skal fastsættes. Man kan dog stille spørgsmål ved, om systemet og dets takster kan og bør adskilles så klart et emne, der uddybes senere. 1.4 Organisering Inddragelse af interessenter Styringsanalysen er blevet til i et tværministerielt embedsmandsudvalg, hvor Undervisningsministeriet har haft formandsposten og fungeret som sekretariat. Udvalget har haft en række referencegrupper knyttet til sig, hvor sektorens interessenter har været repræsenteret: Bestyrelsesforeninger, skolelederforeninger, elevorganisationer og lærerorganisationer. Der er afholdt to møder med hver af referencegrupperne samt to fællesmøder, og der har været mulighed for skriftlige bidrag og mulighed for at mødes om de skriftlige oplæg. 2 Det nuværende decentrale styringssystem. er resultatet af en gradvis udvikling og implementering af redskaber over en lang periode. udviklet på grundlag af en lang række mere eller mindre bevidste valg. Det samlede styringssystem er derfor resultat af mange forskellige beslutningsprocesser, der er gennemført i en langvarig proces med mange involverede aktører og interessenter (UVM 2005:43) 5

Udgrænset i separate afsnit Metodisk kritik er udeladt Denne måde at organisere et udvalgsarbejde på er helt traditionel, og under hensyn til emnets kompleksitet, de mange forskellige og uforenelige synspunkter samt de skrappe tidsfrister forekommer det også at være en nødvendig organiseringsform. Forskellige interessenter har forventeligt nok kritiseret processen for ikke at levne tilstrækkelig mulighed for indflydelse. Det afgørende punkt er dog, om synspunkterne fra referencegrupperne er indarbejdet i den afsluttende analyse. For en umiddelbar betragtning synes det at være tilfældet, idet gruppernes betragtninger refereres forholdsvist detaljeret i separate afsnit i rapporten (afsnit 7.2). Men hermed indikeres også problemet: Nemlig at synspunkterne refereres i separate afsnit, men ikke er integreret i hele den omfangsrige rapport. Det er i al fald ikke tydeligt, hvor det er tilfældet. Endvidere har man kun medtaget den indholdsmæssige kritik fra referencegrupperne, dvs. bemærkninger der angår selve styringssystemerne, mens den ganske omfattende metodiske kritik af styringsanalysen ikke er medtaget (UVM 2005:122). Det er kritisabelt for så vidt, at den metodiske kritik af, hvordan man når frem til enkelte konklusioner og anbefalinger, ofte er den mest centrale. 6

3. Kritisk diskussion af styringsanalysens metode I dette afsnit behandles de overordnede metodiske spørgsmål. Specifikke spørgsmål vedr. kvalitetsanalysens metode behandles i afsnit 5. Tre områder Der diskuteres tre metodiske hovedområder vedr. styringsanalysen: 1. Grundlag. Hvad er analysens grundlag? Hvilke data baserer den sig på? Hvem er blevet spurgt? Er datagrundlaget reliabelt? Hvad kan man konkludere på det foreliggende grundlag? 2. Perspektiver. Hvilke perspektiver bliver der anlagt? Styringsanalysen evaluerer eksisterende styringsredskaber, men hvad er evalueringskriterierne? Hvilke spørgsmål diskuteres og hvilke ikke? 3. Genstand. Hvilke emneområder analyseres? Er der vigtige aspekter, der er udeladt? 1.5 Perspektiver 1.5.1 Evalueringskriterier/Mål Evalueringskriterier Uddannelsespolitiske målsætninger Styringsanalysen er en art evaluering, idet den har til formål at foreslå forbedringer af ministeriets styringsportefølje på basis af erfaringer med de eksisterende styringsredskaber. Ved evalueringer er det hensigtsmæssigt at klargøre de kriterier eller mål efter hvilke, der evalueres. Styringsanalysen anvender her de overordnede uddannelsespolitiske målsætninger (UVM 2005:130): 1. Uddannelseskvalitet og høj gennemførelse 2. Evne til at realisere særlig politisk prioriterede målsætninger kombineret med decentral frihed 3. Effektiv institutionsdrift 4. Geografisk tilgængelighed og udbud af høj kvalitet Disse målsætninger er naturligvis essentielle ved vurderingen af styringsredskaberne. Styringsanalysen ville have vundet i skarphed, hvis målsætningerne havde stået mere centralt i analysen, især med hensyn til følgende punkter: Konkretisering. Målsætningerne er yderst abstrakte, og de havde i højere grad kunnet tjene som målestokke, hvis de var blevet konkretiserede. Det gælder det helt centrale begreb uddannelseskvalitet 7

(hvad vi vender tilbage til), men også effektiv institutionsdrift, tilgængelighed og udbud af høj kvalitet. Der vil under alle omstændigheder ikke kunne være entydige, deduktive koblinger mellem abstrakte målsætninger og styringsredskaber, men koblingerne forringes desto vagere de overordnede målsætninger formuleres, og styringsredskaberne risikerer ikke at opfylde de opstillede mål. Empirisk grundlag. I vurderingen af, i hvilken grad de eksisterende styringsredskaber opfylder målsætningerne, og dermed med hvilken nødvendighed de skal justeres og suppleres, havde det været hensigtsmæssigt med empiriske data vedr. målsætningerne: Hvordan er uddannelseskvaliteten i dag? Gennemførselsprocenterne? Effektiviteten? Taxametersystemets formål m.v. Hvad specifikt taxametersystemet angår, havde det været rimeligt at evaluere systemet mht. de formål, systemet oprindelig eller i løbet af dets historie har haft til formål at fremme. Vi vender tilbage til emnet senere, men bemærker her, at man i givet fald ville have afsløret både uklare meget varierende mål. 1.5.2 Situationsanalyse Problembaggrund Taxametersystemets baggrund Evalueringer kan med fordel tage afsæt i analyser af den eksisterende situation, gerne i form af en egentlig problemanalyse, eller i en analyse af, hvilke handle- og styringsmuligheder der er til stede i situationen. Det samme gør sig gældende mht. styringsredskaberne: Hvornår opstod de? På hvilken baggrund? Hvilke problemer skulle de løse? Hvilke mål skulle de realisere? Taxametersystemet opstod i slutningen af 1980 erne, i en bestemt situation med egne problemer og mode-strømninger. På det tidspunkt var problemerne især behov for omfordeling mellem institutionsområder, behov for budgetreduktioner og behov for fornyelse. På samme tid var markedslignende styringsredskaber i høj kurs her til lands og i andre vesteuropæiske lande. Taxametersystemet beskrives for første gang i Undervisningsministeriets rapport fra 1988: Økonomistyring af uddannelsesinstitutioner - rammestyring og selvforvaltning. Det er en relativt lille, skarp og klar sag, hvor principperne for fremtidens økonomistyring beskrives på basis af tidens udfordringer. Det giver rapporten drive, mening og retning. Styringsanalysen er langt længere og behandler også flere styringsdimensioner end 1988-rapporten. Men der er ikke blevet plads til en analyse af den aktuelle situation: Er der nogle problemer i det eksisterende uddannelsessystem? Hvilke? Hvor? Er de store eller små? For hvem er det et problem? Man hører praktisk talt kun om de få afgrænsede problemer, det er blevet legitimt at omtale: Gennemførselshastighed og frafald. Hvorfor? Grunden til den manglende situationsanalyse kan man kun gisne om. Muligvis skyldes det, at det i stigende grad er vanskeligt at tale om proble- 8

mer, idet det øjeblikkelig udløser større eftersøgninger af skyldige personer. Måske det også spiller ind, at Undervisningsministeriet har været igennem en årrække med massiv kritik på folkeskoleområdet, især affødt ad PISA-undersøgelserne, og at man derfor er blevet ømskindet og ikke har lyst til flere blottelser Under alle forhold mangler styringsanalysen lidt mål og med, fordi den ikke klart har villet formulere de udfordringer, styringssystemet står overfor. Derfor får rapporten en lidt defensiv karakter og der mangler klare perspektiver. 1.5.3 Kendt kritik Taxametersystemet er ihærdigt kritiseret gennem årene. Den meste kritik er formuleret i dagspressen og fagblade, men der har også været kritik i tidsskriftsartikler og enkelte rapporter. Når taxametersystemet står over for en justering/udbygning havde det været naturligt at forholde sig til den fremførte kritik. Det sker kun i et vist omfang: Referencegrupper. Udvalget har haft en række referencegrupper, og de har i deres respons på udkast til styringsanalysen kunnet fremkomme med kritik, som også er refereret i rapporten. Her er den traditionelle kritik af taxametersystemet formuleret, men forholdsvist kort og uden den kritik-dybde, som andre aktører og kontekster havde givet mulighed for. Således kan kritikken også refereres temmelig kort i selve styringsanalysen; men man savner især integration af kritikken i styringsanalysens analyser, konklusioner og anbefalinger. EVA. Evalueringsinstituttet refererer den kritik, der er fremført mod taxametersystemet vedr. mulige negative effekter på kvaliteten af undervisningssystemerne. Vi vender tilbage til dette i afsnittet om kvalitet, men her kan det kort anføres, at evalueringsinstituttets referat af den kendte kritik er meget kort og overfladisk, den fylder kun et par sider, og den indgår ikke i en bare nogenlunde åben og fyldig dialog om emnet. Tidligere rapporter. I styringsanalysen refereres kritikken fra referencegrupperne og Evalueringsinstituttet, men der inddrages ikke anden kendt kritik fra dagspressen, fagpressen, tidsskriftsartikler, rapporter m.v. Når kritikken af taxametersystemet gennem tiden ikke er bedre afspejlet i rapporten, så har det flere konsekvenser. For det første afspejles meningsdiversiteten om systemet ikke adækvat, hvorfor der formentlig også foregives en større konsensus om systemet end der er dækning for. For det andet bliver den analytiske pløjedybde for lav; herunder overvejes der ikke alternative styringssystemer, som kritikken mere eller mindre direkte implicerer. Generelt savner man en uafhængig, grundig, forskningsbaseret kritik af taxametersystemet. 9

1.5.4 Forsvar Taxametersystemet er Undervisningsministeriets opfindelse; det er et helt centralt styringsredskab for ministeriet; det er heftigt kritiseret gennem årene og det har været ministeriets opfattelse, at systemet skal overføres til de nye institutionsområder. Ministeriet er kort sagt tilhænger af systemet, og det har gennem årene holdt fast i det, analyseret det, tilrettet det og forsvaret det. På den baggrund er det ikke mærkeligt, at styringsanalysen er et forsvar for taxametersystemet. Det betyder også, at den fx har svært ved at løfte sin egen intention om at belyse positive og negative incitamenter i taxametersystemet i et kritisk perspektiv (UVM 2005:15). Analysen er i det hele taget konsekvent i forsvarsposition ift. taxametersystemet. Det giver sig som sagt også udslag i, at den kendte kritik kun behandles stedmoderligt, men analysen er i det hele taget den, der er mindst diskuterende og problematiserende ift. taxametersystemet i rækken af ministeriets egne rapporter herom gennem tiderne og her tænkes der især på rapporterne fra 1998 og 2001. 1.6 Grundlag 1.6.1 Interesser og reliabilitet Svært diskuterbare emner: Interesser og reliabilitet Der er flere forhold, som vi alle kan anerkende på et alment niveau, men som det kan være svært at diskutere åbent i konkrete sammenhænge. To af dem er følgende: Interesser. Personer, organisationer, stater m.v. har bestemte interesser qua dem, de er, deres behov, situation, baggrund m.v. Interesser er noget, man prøver at få sat igennem, og man anvender de midler, der står til ens disposition (ofte kalder man disse midler magt ). Ens interesser bestemmer også, hvordan man ser på verden, sig selv, andre personer, organisationer m.v. Interesser lægger altså op til et givent perspektiv, og på den basis er der forhold, man let kan få øje på, mens der er andre ting, der er omfattet af blinde pletter. Der er også ting, man kan sige, og ting det vil være uklogt (ikke i ens interesse) at sige. Adfærd er også bestemt af andet end interesser. Der er ofte regler, faglighed, traditioner, hensyn til sandheden, offentligheden m.v., der begrænser aktørers spillerum. I hvilken grad, synspunkter, analyser m.v. påvirkes af de nævnte faktorer, afhænger meget af, hvor stærke interesserne er, hvor let det er at verificere eller falsificere standpunkter empirisk, hvor klare regler er m.v. Reliabilitet. Inden for videnskabelig, empirisk metode er der et centralt begreb: Reliabilitet (pålidelighed). Det retter opmærksomheden mod, om man kan stole på de oplysninger, man har indsamlet, hvad enten det er via interview, spørgeskemaer eller forskellige former for dokumenter. Der kan være tale om direkte fordrejning af sandheden (usandhed), men også om en lang række andre fordrejningsformer: 10

Fortielser af visse aspekter (sortering af virkeligheden), ensidige fortolkninger og vurderinger, blinde pletter m.v. Der er derfor ofte sådan, at respondenter ikke selv er klar over, at de er ureliable kilder. Reliabiliteten er ofte påvirket af respondentens interesser. Nogle gange er ens interesser ikke truet af at afgive informationer, der er negative, som afslører fejl m.v., andre gange kan kravene om sandhed og interesser stride stærkt mod hinanden. De to emner hænger ofte sammen, idet givne interesser kan medføre problemer med at tænke, afgive, indsamle eller diskutere reliable data. Det er bl.a. nævnte to forhold, der gør, at (1) evalueringer helst bør foretages af en evaluator (personer og organisationer), der er uafhængige ift. den genstand, der evalueres, og (2) evaluator skal så vidt mulig evaluere på basis af data, der er så reliable som muligt. Disse forudsætninger er kun delvist opfyldt vedr. styringsanalysens behandling af taxametersystemet. Lad os først se på det med interesserne. Interesser Taxametersystemet er omgærdet med mange aktører med forskellige interesser. Ministerier, institutioner, foreninger, ledere, lærere, elever etc. Som nævnt har ministeriet en generel interesse i at forsvare systemet og modgå kritikken heraf, hvortil kommer en masse specifikke interesser: At undgå evig offentlig negativ debat om systemet, herunder dets takster, at undgå koblinger mellem taxametersystem og kvalitet m.v. Heroverfor står en mængde andre, der har interesser i højere takster, større styringsfrihed, særhensyn m.v. Styringsanalysen har været ledet af Undervisningsministeriet. Det har naturligvis skullet tage en masse hensyn undervejs: Til politiske udmeldinger, til andre væsentlige interessenter (fagforeninger, lederorganisationer m.v.), men også til faktuelle forhold, eksisterende regler m.v. Men inden for alle disse rammer har ministeriet naturligvis optimeret sine egne interesser. EVA s interesser Ministeriet har bl.a. besluttet, at analysen af sammenhængen mellem taxametersystemet og kvalitet skulle analyseres af Danmarks Evalueringsinstitut (EVA), der blev oprettet i 1992 under navnet Evalueringscentret. EVA er en relativ autonom institution under ministeriet, på såkaldt armslængde med egen bestyrelse, repræsentantskab, vedtægter m.v. Det kan dog næppe betegnes som en fuldstændig neutral, uafhængig aktør ift. ministeriet og taxametersystemet især af to grunde: For det første har EVA tidligere gennemført to undersøgelser for ministeriet om taxametersystemet (EVA 1995, EVA 1998), og for det andet er EVA selv part i sagen ved netop at være en af de centrale instanser, der skal kvalitetssikre det danske uddannelsessystem 3. Det giver en unik indsigt og faglig ballast på 3 I den aktuelle analyse beskriver EVA det selv således: I de senere år har der været et sigende fokus på kvalitetssikring hvilket afspejles i fastlæggelse af kvalitetsbekendtgørelser, institutioners fokus på intern kvalitetssikring og iværksættelse af systematisk ekstern evaluering af områderne blandt andet i form af Dansk 11

området og det er for så vidt et valg, der kan forsvares sagligt; men det ville også være meget overraskende, hvis EVA satte spørgsmålstegn ved sine egne tidligere analyser, hvis EVA kritiserede kvaliteten og kvalitetssikringssystemer ud over det, som instituttet allerede har kritiseret i konkrete kontekster. Man kan altså abstrakt kritisere styringsanalysen for, at der vedr. taxameteranalysen ikke har været uafhængige aktører til at analysere forholdet mellem taxameterstyring og kvalitet. Det er specielt kritisabelt, fordi det drejer sig om et meget kontroversielt emne, hvor der er mange interessenter, og hvor udfaldet kan have en vis betydning for mange interessenter. Denne kritik er overordnet og principiel. Den skal ikke tjene til en generel mistænkeliggørelse af styringsrapportens konklusioner, men er kun en abstrakt indikation af, at der muligvis kan forventes såkaldt bias i konkrete argumenter, metodiske valg m.v. Det er i disse konkrete kontekster, at kritikken skal stå sin prøve. Reliabilitet Der vil endvidere flere gange i denne analyse blive stillet spørgsmålstegn ved reliabiliteten af de data, der anvendes i styringsanalysen ifm. taxameterstyring og kvalitet. Indledningsvist kan analysen fra 1998 (UVM 1998) inddrages, hvor der er den indtil dato mest omfattende empiriske analyse af taxameterstyring. Den bestod i at stille institutionsledere (erhvervsskoleledere og seminarierektorer) almene spørgsmål om taxametersystemet, herunder om systemets evt. negative effekter på uddannelsernes kvalitet (UVM 1998 m.fl. kap. 1 p.6) 4. Man kunne konkludere, at der ikke var nævneværdige negative effekter. Reliabiliteten af denne konklusion kan stærkt betvivles. Institutionsledere kan være på relativ stor afstand af en institutions konkrete virke, men det er især sådan, at det er overordentlig vanskeligt for en institutionsleder at vedstå - endsige tænke - at institutionen ikke generelt leverer den kvalitet, som der forventes ifølge regler, ministeriet, politikere, aftagere m.v. At indikere en kvalitet under det acceptable (hvad dét end er) vil fx (1) give intern uro på institutionen, (2) kunne medføre færre elever og ansøgninger, og (3) true lederens egen stilling. Således er det meget forudsigeligt, at institutionsledere vil nægte sammenhæng mellem et de facto eksisterende system (taxametersystemet) og negative kvalitetsincitamenter 5. Ud Evalueringsinstituts evalueringer, professionsbachelorakkrediteringer, University Collegeakkredeteringer og kvalitetsauditeringer (EVA 2005:36). 4 De relativt få og abstrakte spørgsmål i undersøgelsen stiller i streng forstand spørgsmålstegn ved analysens validitet, dvs. om man måler det, man foregiver at måle. Spørgsmålene går fx på taxametersystemets almene konsekvenser: institutionen lægger mere vægt på langsigtet planlægning og aktivitetsprognoser, institutionen foretager bedre prioritering af ressourcer i forhold til behov etc. (Ibid.) 5 Den tidligere chef for Institutionsstyrelsen, Berrit Hansen, bemærker i et interview om taxametersystemet, at ingen med administrativt ansvar har meldt sig i koret af kritikere (Inf. 14.01.05) og anvender det som et argument for uholdbarheden i den fremførte kritik. Af den her fremførte argumentation er det dog fuldt 12

fra kravene til reliabilitet vil institutionsledere ikke være egnede respondenter af flere grunde: (1) Deres position og interesser gør det svært at tale om for lav kvalitet, (2) deres viden om kvaliteten på deres institution er ofte generel, og derfor (3) kan man ikke forestille sig en leder fx af et universitet udtale: generelt er kvaliteten af vores uddannelser for lav 6. Havde man spurgt andre interessenter og mere konkret havde man fået andre svar. Fx havde elever, lærere, aftagere eller interesseorganisationer formentlig afgivet andre svar. Det kan fx være meget svært for en fagforening at kritisere kvaliteten af deres egne medlemmers arbejde. 1.6.2 Styringsanalysens datamæssige grundlag Ifølge kommissoriet skal styringsanalysen inddrage de (1) hidtidige erfaringer med styringen, (2) og basere sig på foreliggende kilder og tidligere analyser (UVM 2005:8). I begge tilfælde kan man spørge, hvad der egentlig menes, og i hvilken forstand styringsanalysen lever op til disse angivelser. Foreliggende kilder og analyser Hvad angår foreliggende kilder og tidligere analyser anføres der vedr. taxameterområdet tre ministerielle rapporter (1998-analysen, 2001- analysen, 2004-analysen vedr. universiteter). Disse tre kilder er naturligvis centrale, men er det tilstrækkeligt? For det første kunne man få indtryk af, at man med formuleringen foreliggende kilder og tidligere analyser og angivelse af de tre rapporter egentlig mener: det her har vi allerede analyseret til bunds før. Der er kun behov for et sammendrag. For det andet undrer man sig over, at det åbenbart ikke er nævnt andre mulige kilder: Artikler, rapporter, fagblade m.v., idet man kan formoder at der derved kunne drages andre og alternative synspunkter ind i debatten. Med den valgte tilgang bliver kvaliteten af de anførte rapporter helt central. Hvad 1998-rapporten angår, er den empiriske del allerede problematiseret ovenfor. Rapporten er desuden præget af, at Finansministeriet sad for bordenden, og den er derfor meget fokuseret på mulighederne for overordnet økonomisk styring fra ministeriel side snarere end hensigtsmæssig styring på institutionsniveau. Men det centrale her er, at dens datamæssige grundlag var meget spinkelt. Perspektivgruppens rapport fra 2001 er den til dato mest omfattende, dybdeborende, analyserende og åbne rapport, der er lavet om taxametersystemet, og i den forstand lever den op til navnet på gruppen bag rapporten, forventeligt, at institutionsledere ikke kritiserer taxametersystemet for at underminere kvaliteten. 6 Derimod vil ledere gerne tale om en hypotetisk fremtid: Hvis man reducerer taksterne yderligere, så vil kvaliteten falde, være truet eller lignende (Fx HBR 2004:13). I sådanne sammenhænge præciseres kvalitetsbegrebet ikke, hvorfor det er uklart, hvad der er truet, hvad det eksisterende kvalitetsniveau er m.m. 13

idet der vitterlig blev diskuteret mange forskellige perspektiver. Den havde dog også en række begrænsninger. Den omfattede kun videregående uddannelser og måtte ikke stille forslag, der bryder med taxametermodellens logiske principper (UVM 2001:14). Den var endvidere af teoretisk karakter og koncentreret om selve taxametermodellens ahistoriske egenskaber og funktionalitet (UVM 2001:16) herunder i modsætning til tidligere analyser, der angiveligt har et historisk perspektiv og baseret på empiriske observationer. Denne rapport har med andre ord heller ikke et selvstændigt empirisk grundlag. Blandt kilderne nævnes ikke EVA s notater fra henholdsvis 1995 og 1998 (EVA 1995, EVA 1998). De kan da ej heller tælle som havende etableret et egentligt empirisk grundlag for en analyse af taxametersystemet. 1995- notatet baserer sig kun i vag forstand på EVA s hidtidige erfaringer via evalueringer, hvor taxametersystemet ikke havde været en systematisk del af evalueringer. I 1998 var instituttet begyndt at have taxametersystemet med som fast del af evalueringerne; men kun på et overordnet niveau, og ikke som egentlige taxameteranalyser. Taxameterudvalgets arbejde baserede sig ej heller på ny empiri men på tidligere analyser (Taxameterudvalget 2004), og er i det hele taget en rapport, der er meget begrænset i sit analytiske sigte og som især beskæftiger sig med tekniske detaljer og justeringer af taxametersystemet. Det vil gennem resten af rapporten fremgå adskillige steder, at ministeriets rapporter gennem tiden har indtaget forskellige positioner vedr. forskellige forhold, og at der så er foretaget større eller mindre positionsskift. Disse skift kommer ikke til udtryk styringsanalysen, og i det hele taget er det sjældent til at se, hvordan tidligere analyser er inddraget. Erfaringer Når hidtidige erfaringer skal inddrages, så er det mest nærliggende at tro, at der i en eller anden forstand skal være tale om empiriske data. Men det er uklart hvilken slags empiri, der skal være tale om; og da erfaringer altid er nogens erfaringer må man spørge: Hvis erfaringer er der tale om? Elevernes? Lærernes? Ledernes? Embedsmændenes? Forskernes? Aftagerne? Politikernes? Vigtigheden af at forholde sig systematisk til den slags metodespørgsmål, og hvordan man gør det, er der skrevet uendelig mange bøger om, og alle med en længerevarende uddannelse er undervist grundigt i det. Dette er ikke stedet at repetere bare en brøkdel af denne børnelærdom, det skal blot nævnes, at der klassisk skelnes mellem forskellige datatyper: Der er for det første kvalitative data, der gerne indsamles via mere eller mindre strukturerede former for interview. Her er det muligt at komme i dybden om emnet, men det er ressourcekrævende at dække et større felt og kan være svært at opnå systematisk sammenlignelige data. Det går meget nemmere med kvantitative undersøgelser, gerne udformet som spørgeskemaundersøgelser. Her vil det dog ofte være svært at komme i dybden eller tolke svarene. For det tredje kan man anvende observation, dvs. at man iagttager personers adfærd, og endelig kan man indsamle diverse former for dokumenter. De to første former for data især er kendetegnet ved, at der er tale om meninger om virkeligheden og ikke virkeligheden 14

selv, der afdækkes. I det hele taget har alle metoder fordele og ulemper, og derfor foretages der ofte såkaldt metodetriangulering, dvs. at flere metoder kombineres i samme undersøgelse for at indfange virkeligheden. Referencegrupper EVA s analyse Ingen metodeovervejelser Fokusgruppeinterviews Utilstrækkeligt grundlag Bag styringsanalysens taxameteranalyse ligger der især to datakilder: Referencegruppernes feedback og EVAs undersøgelse. Referencegruppernes kommentarer har afgjort bidraget til at brede synspunkterne ud og har baseret sig på erfaring hos mange forskellige aktører. Men der er ikke tale om systematisk indsamlet og dokumenteret erfaring, men den subjektive erfaring, der har aflejret sig hos en række enkeltpersoner, og som formentlig også er godt blandet op med holdninger, meninger og interesser. Det udgør med andre ord ikke et forsvarligt erfaringsgrundlag for analysen, og referencegruppernes bidrag har velsagtens også nok så meget haft til formål at bidrage med synspunkter som egentlige erfaringer. EVA s analyse udgør det egentlige empiriske grundlag for taxameterstyringssystemets vedkommende. Man betoner, at formålet er at belyse positive og negative kvalitetsincitamenter i taxametersystemet i et kildekritisk perspektiv (EVA 2005:3), men der indgår også primærdata i analysen. Analysen af taxametersystemet er alt i alt temmelig kort, ca. 20 sider. Alene dette faktum indikerer, at der ikke er tale om en meget dybdeborende analyse med et tilhørende stort datagrundlag.. EVA s analyse rummer ingen metodeovervejelser vedr. hvad det er, man skal finde ud af, hvilke informationer, man har brug for og hvilke dataindsamlingsmetoder, der er behov for. EVA har gennemført 6 gruppeinterview med ledere og eksamensansvarlige fra KVU og MVU, censorformænd fra samme samt medarbejdere fra Undervisningsministeriet med ansvar for samme. Fra ungdomsuddannelsesområdet har man talt med: Ledere og eksamensansvarlige, censorer og fagkonsulenter. Der har været mellem tre til fem deltagere i hvert interview; det vil sige at der i alt har været mellem 20 og 30 deltagere i alt. Interviewene er gennemført af konsulentfirma på basis af en spørgeguide fra EVA. Hertil kommer 4 enkeltinterviews plus et ikke nærmere angivet antal telefoninterviews (EVA 2005:3). Det står ikke klart, hvordan konsulentfirmaet har afrapporteret til EVA. Det er udelukket, at dette kan udgøre et validt og reliabelt grundlag for en bare nogenlunde grundig drøftelse af kobling mellem taxametersystem og kvalitet. Hovedgrundene er følgende: Kompleksitet. Forholdet mellem taxameterstyring og kvalitet er meget kompliceret. Kvalitetsbegrebet selv er meget sammensat, taxametersystemet har ændret sig over tid, har forskellige udformninger, og det fungerer også i vidt forskellige institutionelle sammenhænge. Hertil kommer de mange forskellige synspunkter om systemet. Man kan roligt betegne problemstillingerne i forbindelse med taxametersystemet som hyperkomplekse. Til komplekse problemstillinger skal der vælges et komplekst metodisk design, ikke et meget enkelt. Man burde som minimum foretage en form for metodetriangulering, men der er også behov for mange respondenter i forskellige dele af systemet med forskellige funktioner. 15

Tid. Fokusgruppeinterviewene har også skulle behandle censorinstitutionen. Alt i alt har der været uhyre lidt tid til at drøfte taxameterstyring og kvalitet i interviewene. Antagelig mellem 10 og 20 timers interview i alt. Det ville selv i en simpel undersøgelse være meget lidt. Fokusgruppeinterview. Fokusgruppeinterview er næppe det mest velegnede dataindsamlingsinstrument vedr. forholdet mellem taxameterstyring og kvalitet. o o o Tid. Den enkelte person får samlet set ikke megen tid at tale i og kan derfor ikke komme i dybden med sine synspunkter, hvad et så komplekst emne fordrer. Anonymitet. Emnet taxameterstyring og kvalitet fordrer anonyme datakilder. Det vil være særdeles kontroversielt at betone eventuelle negative incitamentsstrukturer, og man kan dårligt forestille sig, at de udvalgte personer vil komme med udtalelser i den retning i en åben kreds. Gruppe-dynamik. En af de kendte fordele ved fokusgrupper er, at deltagernes synspunkter kan befrugte hinanden. Det har de muligvis også gjort i dette tilfælde, men der er også indlysende mekanismer, der bevirker, at der er ting, man ikke kan tale om, fordi det er for kontroversielt. Personvalg. Deltagerne har i høj grad været ledere og på anden vis ansvarlige personer. Dette valg har befordret overblik og erfaring, men også aktualiseret de reliabilitetsbetænkeligheder, der er drøftet ovenfor, og som er specielt akutte i et åbent forum. Analyseniveau. Hvis man vil analysere forholdet mellem taxameterstyring og kvalitet, så skal det ikke være på et abstrakt niveau, hvor alle katte bliver grå. På dét analyseniveau er det de færreste, der mener, at der er entydige sammenhænge det er i det hele taget vanskeligt at finde ud af, hvad man taler om. I stedet skal en kvalificeret diskussion handle om forholdet mellem taxameterstyring og kvalitetsaspekt a, b, c m.v. på institution x, y og z. Der ville i så fald have afsløret sig en mængde konkrete sammenhænge. Det havde fordret interview med en lang række personer på enkeltinstitutioner. Vurderinger. Fokusgruppeinterviewene har muliggjort fremsættelse af en lang række abstrakte vurderinger af koblingen mellem abstrakte størrelser. Der har kun i minimalt omfang været plads til fremsættelse og indsamling af kendsgerninger. Der kan konkluderes, at EVA s analyse ikke baserer sig på et tilfredsstillende empirisk grundlag, og at konklusionerne i rapporten derfor har en yderst svag basis. Det står ikke bedre til med tidligere ministerielle analyser af taxametersystemet, og man kan derfor drage den bredere konklusion, at der aldrig er 16

lavet en egentlig, videnskabelig, empirisk funderet analyse af taxametersystemet. Der er i stedet indsamlet en række vurderinger og meninger hos centrale aktører om forskellige emner, men det kan på ingen måde siges at udgøre et solidt, dokumenteret empirisk grundlag. 1.6.3 Sikkerhed Kompleksitet Der hersker fuldstændig enighed om, at det er kompliceret at analysere taxametersystemet og dets effekter, og især når der er tale om koblingen til kvalitet. Ministeriet har åbent erkendt dette i tidligere analyser. Dette burde have ført til, at der bag styringsanalysen ligger en endnu bedre og større analyse end hvad der hidtil er set, som kan håndtere kompleksiteten. Man burde kort sagt været boret dybere analytisk og empirisk end tidligere. Det omvendte er sket. Behov for forsigtighed Overdreven sikkerhed Selvforstærkende referencer Det kan være svært at konkludere entydigt i komplicerede spørgsmål. Især når der mangler fyldestgørende empiri og dybdeborende analyser. Ministeriets (og EVA s) tidligere rapporter har da også haft mange formuleringer, hvor der kun er draget meget forsigtige konklusioner, eller hvor man har indrømmet, at der ikke har kunnet fastslås entydige sammenhænge 7. Det har været en prisværdig åbenhed. Styringsanalysen har haft mange andre ting at analysere end taxametersystemet, og EVA s analyse er også meget kort. Det burde have givet anledning til endnu mere forsigtige konklusioner end tidligere; i al fald ikke mindre forsigtige. Derfor er det overraskende, at styringsanalysen er den mindst problematiserende analyse vedr. taxametersystemet fra ministeriets hånd hidtil. Generelt set giver analysen indtryk af at have et større sikkerhedsniveau end berettiget er, og man har ikke længere fornemmelsen af de mange modstridende meninger, usikkerhed om sammenhænge m.v. Dette vil blive uddybet i afsnittet om kvalitet. I ministeriets og EVA s serie af rapporter og notater om taxameterstyring kan der desuden spores en tendens til, at der via krydshenvisninger mellem dem opstår en stigende fornemmelse af dokumentation og sikkerhed, dvs. at referencerne bliver selvforstærkende. Ved de mange referencer opbygges der en illusion af, at der er et empirisk eller andet grundlag, der bygges videre på og kontinuerligt forstærkes. I forlængelse heraf kan man også se både styringsanalysens og perspektivgruppens metodiske intention om at være kildekritisk, dvs. i høj grad at basere sig på tidligere rapporter. Men summen af en række mindre usikre konklusioner er ikke en overordnet øget sikkerhed. 7 Vi vil vende tilbage hertil i afsnittet om kvalitet nedenfor. 17

1.6.4 Konklusioner Ej dækning for hovedkonklusionen Kun konsensus Anbefalinger Styringsanalysen konkluderer, at taxametersystemet som bevillingssystem er velfungerende (UVM 2005:197). Dén konklusion er der ikke belæg for. Den er muligvis sand, men ikke dokumenteret i nogen rimelig forstand af ordet. Det er formentlig tilfældet, at der er en udbredt konsensus blandt uddannelsessystemets ledende aktører om, at taxametersystemet er acceptabelt og bedre end tidligere tiders bevillingssystem. Dét er ikke meget overraskende, men gør det heller ikke til at faktum, at taxameterstyring er det optimale bevillingssystem. Herudover konkluderer styringsanalysen, at der især er behov for justeringer mht. at sikre institutioner i udkantsområderne, og man anbefaler følgende: 1. Man bør undgå overstyring via særtakster, særtilskud m.v. Hermed imødekommer man en udbredt kritik af det eksisterende bevillingssystem især fra ledelsesside. Det er en kritik, der ikke så meget angår taxametersystemet, og det er yderligere en meget abstrakt anbefaling. 2. Der skal ske en tilpasning af grundtilskudsmodellen. Denne anbefaling skal især ses i lyset af de geografiske hensyn, der skal tages ifm. de nye institutioner, og den har så vidt ikke så meget med taxametersystemet at gøre, især da selve grundtilskudsprincippet er en art modprincip til taxameterfilosofien om, at der kun udbetales midler ifm. studieaktivitet. Underkonkluderet? Det ses, at der er draget utrolig få konklusioner og fremkommet meget sparsomme anbefalinger i forlængelse af analysen af taxametersystemet. Man kan derfor ikke konkludere, at styringsanalysen har medført en mængde ubegrundede konklusioner og anbefalinger. Det er tvært om meget få, meget abstrakte og sparsomme justeringer, der er foreslået af taxametersystemet. I det store og hele har man konkluderet, at taxametersystemet er ok, og at det også kan tilpasses de nye institutionsområder. Heri ligger der ikke de store overraskelser; men det var måske heller ikke meningen? 1.7 Analysens genstand 1.7.1 Helhedsorienteret Styringsanalysen har til formål at se på hele ministeriets styringssystem. Det omfatter at vurdere de enkelte styringssystemer, men især at se på helheden, systemernes samspil og om der samlet set er en hensigtsmæssig balance mellem systemerne. For højt ambitionsniveau? Det er overordentlig prisværdigt, at ministeriet har påtaget sig den omfattende og svære opgave at analysere ministeriets samlede styringsinstru- 18