Udfordringer for evalueringspraksis - et kritisk konstruktivt perspektiv på styring og evaluering af velfærdsindsatser

Udfordringer for evalueringspraksis - et kritisk konstruktivt perspektiv på styring og evaluering af velfærdsindsatser Konference - Evaluering i praksis UCL Odense, CEPRA, KLEO., BUBL, Socialpædagogerne, EVA

Lektor i teorier om sociale forandringsprocesser i socialt arbejde Nogle temaer i undervisning og forskning Organiseringen af socialt arbejde Synet på familier, forældre og børn/unge Den samfundsmæssige og politiske konstruktion af barnet Behandlerblikket socialt arbejde som systemafhængige konstruktioner Faglig refleksion i socialt arbejde hvordan? Evidensbaseret socialt arbejde Teori om socialt arbejde

I: Kritisk perspektiv på udfordringer for evalueringspraksis styringsteorier og forskydninger i kvalitetsforståelser II: Konstruktive perspektiver på evaluering i praksis - Ledelse og faglig refleksion - Viden og refleksionsteori

Hvad er det for et samfund, hvor man konstant søger at gøre styring og kvalitet til genstand for refleksion?

Det moderne Komplekst differentieret samfund Differentierede forventningshorisonter og problemhorisonter Integrationsproblemer Inklusion / eksklusion Negation: at visse problemer udelukkes ( ignorance ) Eksklusionseffekter Samfundets iagttagelse af dets egne eksklusionseffekter (refleksion) (Nissen 2005)

Det moderne at det er muligt at træffe kollektive beslutninger der har virkninger at det er fornuftigt, solidarisk og muligt at kompensere for virkningerne af samfundets eksklusionsmekanismer fokus på øget velfærd og inklusionsbetingelser Velfærdsstat og velfærdsprogrammer

Kvalitet: Hvad er velfærd? Hvordan opnår vi velfærd? (handling) Kvalitet som knyttet til primære ydelser f.eks. Omsorg gennem pædagogisk indsats trivsel og udvikling Læring gennem undervisning uddannelse og jobmuligheder Forandring gennem hjælp velfærd og øgede handlemuligheder Forebyggelse og helbredelse gennem behandling sundhed

Integration - primære og sekundære ydelser F.eks. den pædagogiske indsats: Omsorg og Læring og Hjælp som særlige støtte og Sundhed Et differentieret kvalitetsbegreb i pædagogisk praksis

Et individualiseret kvalitetsbegreb Formålet med det vi gør, det må vi hjælpe med at holde fast i og få det konstrueret. Det handler meget om barnet og at tro på, at det har hjulpet. At barnet ikke bliver skadet, så det ikke har kunnet knytte sig. Der er virkelig klasseforskelle og uretfærdigheder. Og det offentlige kan ikke kompensere for det. Man tager ikke skade af at være på institution, men det har måske kun lidt betydning (Leder på familieinstitution citeret i Nissen 2005:117 jf. Nissen 2007:66)

Kilder til stigende uro : - Stigende differentiering og individualisering - Erkendelse af, at intet system/person kan styre alle andre systemer/personer og deres processer - Kompleksitet som uoverskuelighed (forhold/handlen, årsag/virkning) - Risikoerfaringer oplevelsen af uforventede utilsigtede konsekvenser - Fravær af naturlig, sikker endegyldig rigtig løsning - Kritik af professionel dømmekraft uigennemskuelig eller for ensidig

Hvilken styringsteori og styringsteknologi kan tilbyde en relativ entydig rationalitet, som kan rumme differentiering og individualisering? Er så simpel, at den kan kobles til de fleste processer på tværs af forskellige systemer? Skaber entydige forklaringer (forhold/handlen, årsag/virkning)? Gør risiko beregneligt?

New Public Management (Hagen 2006) En enkel teori om aktører og relationer mellem aktører Samfundet består af rationelle individer, der er i stand til at træffe fornuftige valg (økonomisk teori og rational choice) Individer vil stillet overfor frit valg forsøge at maksimere egennytte Det er mindre sandsynligt at individer vil vælge det, der er bedst for andre (kollektive formål)

Den offentlige sektor / offentlige ansatte maksimerer vækst (flere og dyrere tilbud end nødvendigt) maksimerer tryghed (frem for effektivitet) Lider af et rationalitetsunderskud kan ikke iagttage (skatte) borgerens behov Som inspirationskilde til reformer med kobling til markedet: 1. Privatisering 2. Konkurrenceudsættelse 3. Styringsteknikker, som stiller sig skeptisk overfor og/eller sigter til at ændre den offentlige sektors indre rationalitet Sprog Fokus (Hagen 2006)

Fra Hvad er velfærd? og Hvordan opnår vi velfærd? til Bliver velfærd til/leveret på den rigtige måde? Kvalitet som styringskvalitet Fra indhold til fokus på de relationer, der skal styres Styring af styring Konkret: Dokumentation og evaluering af procesforhold f.eks. organiseringen af og fordelingen af ydelser Effektivitet i levering af ydelser tæt koblet til økonomiske incitamenter

Der er jo manglende forståelse for, hvad det drejer sig om fra politikerne [ ] Revisionen, det er jo det store monster altså de der ting, som man hele tiden bliver målt og vejet på, ikke fra borgerens side, men fra den politiske side. Når revisionen har været på besøg, så er de også helt oppe at køre, politikerne, og det er ikke godt nok, det er ikke godt nok (soc. 2) Det føles, som om man ikke har tillid til os. Jeg føler ikke, at det kan være rigtigt, at man skal blive ved med at blive kontrolleret på den måde der, og at man skal blive ved med at bruge så meget tid på [ ] vi kunne udrette rigtig mange ting, hvis vi havde mere tid til borgeren (Soc. 5)

En kamp om, hvad der skal indikere kvalitet Hvad skal vi evalueres på? Hvilken viden er relevant?

(Nissen og Møller 2006) Politisk-administrativ semantik Professionel semantik Videnproblem Forklaringsmodel Programforventning Manglende viden om den effektive indsats Den individuelle klients livsforløb er afhængig af indsatsens virkninger Kontrollerbar indsats (standardisering) Manglende viden om den for den enkelte meningsfulde indsats Indsatsens virkninger er afhængige af den individuelle klients livsfoløb Fleksibel indsats (individualisering) Målgruppeperspekti v Homogenitet (generalisering) Variation (differentiering) Legitimering Sikker dokumentation (måleproblem) Begrundede handlinger (beslutningsproblem)

Thygesen og Tangkjær 2008:189, med tilføjelser i kursiv fra teksten Baggrund Menneskesyn Ideal Fokus Styringsoptimister Naturvidenskab Tro på rationalitet og objektivitet i den styring og den viden, som styringsteknologier stiller til rådighed Homo faber det handlende menneske som ser teknologi som svar på problemer Perfektionering Intention transformation effekt Beregnelige effekter Men mister blikket for sociale effekter af abstrakt ledelse f.eks. den praktiske omsorgs betydning Styringspessimister Humaniora Kritik af tro på styring og rationalitet Homo sapiens det tænkende menneske som ser teknologien som problemskabende Frigørelse Fravær af styring empowerment Sociale effekter Men mister blikket for betydningen af styringen af den praktiske variation

Dokumentationsstrategier i praksis (Nissen 2008, VERA) Strategi 1 Strategi 2 Alle pædagogiske observationer diskuteres og dokumenteres skriftligt på samme måde Alle pædagogiske observationer diskuteres og dokumenteres forskelligt afhængigt af den/de konkrete person(er) Problem: Manglende sensitivitet overfor og diskussion af variationer hos brugerne og blandt personalet Problem: For stor variation og manglende sammenhæng i pædagogiske diskussioner

Thygesen og Tangkjær 2008: - At overkomme polariseringerne - At forholde sig til de sociale effekter men se værdien af styring Moderne styringsteknologier er skabelsesmaskiner Målstyring skaber organisationen som en fremtidig ønsket tilstand, dvs. som en tilstand, der endnu ikke er fuldbyrdet; værdistyringen skaber organisationen som en moralsk enhed, der flytter fokus fra handling til holdning; og kvalitetsstyring tilbyder organisationen som et gennembeskrevet handlerum, der i samme takt tabuiserer tavs viden som en strategisk ressource (p.191)

Thygesen og Tangkjær 2008: Udfordringer til ledelse: Hvilket styringssprog tilbyder styrings- og evalueringsteknologier? Hvilke forskelle skaber styrings- og evalueringsteknologier og dermed hvilke forskellige handlerum? Fremmer kvalitetsstyringen den ønskværdige kvalitet, der skal udvises i situationen eller ej?

Men sådanne refleksioner forudsætter kendskab til organisatorisk praksis Dvs. en viden, hvor ud fra man kan tilbyde en konkret og praktisk beskrivelse af det handlerum, hvori kvalitet ønskes fremmet Dette involverer også en interesse for tavs viden

Udfordringer for evalueringspraksis At beskrive sin egen faglige styringsteori Påstand: Man kan ikke evaluere styrings- og evalueringsteknologier, hvis man ikke har en egen styringsteori Men hvordan?

Refleksion Basal selvreference Refleksivitet Refleksion kriterierne for, at vi gør, som vi gør selviagttagelse grundlagsrefleksion

Refleksionsteori Teori for praksis (sociale systemer) Synliggør grundforhold i praksis s måde at fungere på Synliggør alternativer ud fra sammenligninger Beskæftiger sig med forhold, systemet kan påvirke (Hagen 2006)

Hvordan bliver det praktisk med en teori? (Nissen 2008) Funktion Hvad er ens kerneopgave f.eks. pædagogisk indsats Ydelse Hvad er det for særlige aspekter man beskæftiger sig med f.eks. omsorg, læring, hjælp/støtte og sundhed?

Kvalitet i ydelsen Hvordan ser vi omsorg, læring, hjælp/støtte og sundhed? Hører omsorg, læring, hjælp/støtte og sundhed til samme handlerum? Hvilke sociale relationer er nødvendige for at skabe omsorg, læring, hjælp/støtte og sundhed? Hvad er de grundlæggende antagelser bag vores metoder og praksis? Hvordan praktiserer vi omsorg, læring, hjælp/støtte og sundhed? Hvad kendetegner de situationer hvor det er svært at praktisere omsorg, læring, hjælp/støtte og sundhed? Hvor vores indsatser ikke virker/vi bliver i tvivl?

Styring af kvalitet i ydelsen (refleksion) Hvad er relevant viden om vores evne til at yde omsorg og at tilvejebring læring, hjælp/støtte og sundhed? Ønsker vi viden om vores Forståelse af omsorg, læring, hjælp/støtte og sundhed? Måde at praktisere omsorg, læring, hjælp/støtte og sundhed? Hvordan bidrager eksisterende styringsteknologier til at give os den viden? Kan vi ændre styringsteknologien, så den supplerer os med den relevante viden? Eller kan vi opnå den relevante viden på anden vis?

Referencer: Hagen, R. (2006): Nyliberalisme og samfunnsvitenskapene. Oslo: Universitetsforlaget. Nissen, M. (2005): Behandlerblikket. Ph.d.-afhandling. Institut for Sociologi, Socialt Arbejde og Organisation. www.vbn.dk Nissen, M. & Møller, S. S (2006): Når virkeligheden ikke altid er evident. I Udenfor Nummer tidsskrift for forskning og praksis i socialt arbejde, nr. 12:4-21 Nissen, M., & Harder, M., Andersen, M. B (2008): Socialrådgivernes kvalifikationer og kompetencer en pilotundersøgelse, www.vbn.dk Nissen, M. (2008): Dokumentationsstrategier i pædagogisk praksis. I VERA. Tidsskrift for pædagoger, nr. 44:18-23 Nissen, M. (2008): Hvordan bliver det praktisk med en teori? Et sociologisk grundlag for refleksion i praksis i M. H. Jacobsen & K. Pringle (red.): At forstå det sociale. København: Akademisk Forlag. Thygesen, N. & Tangkjær (2008): Ledelse af styringspresset to normative nedslag. I C. Sløk & K. Villadsen (red.): Velfærdsledelse. Ledelse og styring i den selvstyrende velfærdsstat. København: Hans Reitzels Forlag.