Indikatorer og effekt i DPA- undervisningen Ved Arbejdsdansk-seminaret på Nyborg Strand blev følgende projektværktøjer præsenteret. Formålet var at bibringe sprogcentermedarbejderen og arbejdspladsen nogle ekstra værktøjer til at sætte struktur på DPA - undervisningen: m.a.o. bidrage til at tydeliggøre indhold, form, forventede resultater, aktiviteter m.m, med henblik på at sikre det optimale resultat af undervisningen. Nedenfor følger således 2 typer input: 1) En beskrivelse af LFA-logikken og et forsøg på at sætte en specifik case ind i formatet. 2) Herefter følger en opsummering af de input til indikatorer, til måling af indsatsen, som deltagerne på workshoppen har udarbejdet. Igen er de forsøgt tænkt ind i formatet/strukturen. Vi håber at materialet kan anvendes af alle der beskæftiger sig med planlægning og gennemførelse af DPA - opgaver og dermed også af de af vores kolleger der ikke deltog på seminaret: GOD ARBEJDSLYST. LFA-logikken: LFA: Logical Framework Approach - et projektstyringsværkstøj LFA er et værktøj som skal give projektparterne en fælles referenceramme og terminologi for de forventede mål og resultater for projektet under de givne forudsætninger. Der forudsættes fastlæggelse af milepæle eller benchmarks og vurdering af de risici, der kan forekomme i projektet forløb, og som på forhånd kan overskues. Endvidere bør der også opstilles indikatorer for projektets effekt altså det ikke umiddelbart målelige. Til brug for systematisering og definering af opgaven kan nedenstående skema anvendes. NB: der gøres opmærksom på at når formål er defineret, skal skemaet udfyldes nedefra. Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 1
LFA skemaet (LOGFRAME) Projekt (opgave)beskrivelse Indikatorer Informationskilder / data Antagelser og nødvendige forudsætninger Overordnet formål Det projektet vil bidrage til at løse, men som ikke (kan) opnås i projektperioden Hvordan kan opnåelse af det overordnede formål måles eller ses*?: (kvantitet, kvalitet, tid) af det overordnede formål indsamles? Ej relevant for denne kategori Projektformål Den situation der forventes ved projektets afslutning Resultater Det som projektet kan garantere at have opnået som følge af de igangsatte aktiviteter m.a.o. det der kan måles Hvordan kan opnåelse af projektformålet måles? (kvantitet, kvalitet, tid) Hvordan kan opnåelse af resultaterne måles? (kvantitet, kvalitet, tid) af projektformålet indsamles? af resultaterne indsamles? Hvis projektformålet nås, hvilke antagelser skal så være på plads / holde stik for at sikre opnåelse af det overordnede formål Hvis resultaterne nås, hvilke antagelser skal så være på plads / holde stik for at sikre opnåelse af projektformålet Aktiviteter De processer der er nødvendige for at opnå de ønskede produkter / resultater Ej relevant for denne kategori Ej relevant for denne kategori Hvis aktiviteterne gennemføres hvilke antagelser skal så være på plads / holde stik for at sikre opnåelse af resultaterne Inputs De resurser, der er nødvendige for at projektets aktiviteter kan gennemføres Ej relevant for denne kategori Ej relevant for denne kategori Hvis input /ressourcer leveres som planlagt hvilke betingelser skal så opfyldes for at sikre gennemførelse af aktiviteterne * Hvordan kan vi måle på det som er åbenbart (en synlig eller følt effekt), men som der ikke umiddelbart kan måles (kvantitativt) på? Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 2
Øget integration af andetsprogede medarbejdere på hospitalet LFA (LOGFRAME) DPA UNDERVISNING (Hospitalsmedhjælpere) Projekt (opgavebeskrivelse) Indikatorer Informationskilder Antagelser og nødvendige forudsætninger Overordnet formål Ej relevant for denne kategori Effektiv integration på arbejdspladsen Danmarks Beskæftigelsesledighedsstatistik Fagblade Socialforskningsinstituttet Projektformål Effektiv kommunikation og samarbejde med andre personalegrupper på hospitalet (formuleret som de skal kunne noget mere dansk.). Resultater målgruppen opnået de ønskede kommunikative færdigheder udviser passende adfærd / arbejdspladskultur Aktiviteter DPA- og modulundervisning Erhvervsrelevant undervisning kursus i arbejdspladskultur Inputs / ressourcer UV - faciliteter Lærere UV materialer kursister Projektformålet er opnået hvis: Medarbejderne har opnået større bevidsthed / indflydelse på egne opgaver Fremfører forslag til ændrede arbejdsgange Større brugertilfredshed (patienter, andet personale) Projektet er vellykket hvis: X % har gennemført DU 2 modul 3 Y % kan udfylde egenkontrolskema tilfredsstillende, og indenfor en periode på 6 mdr. de udviser aktiv deltagen ved personalemøder APV Faglige organisationer Personalebladet Sygefraværsstatistik Modultestresultater (lærer) referater fra personalemøder (leder) resultater fra MUS-samtaler målopfyldelse af nøgletal (statistik) Der er ledelsesmæssig opbakning til offensivt at påvirke hospitalets sociale ansvar Integration af nydanske medarbejdere indgår i hospitalets overordnede politik Medarbejderne (kursisterne) i overensstemmelse med denne politik Hospitalet er villige til at sikre videreuddannelse af medarbejderne ledelsen er i ligeværdig dialog med medarbejderen. Medarbejderen (kursisten) har en erklæret arb.identitet /modtagelig for pers. udvikl. Ej relevant for denne kategori Ej relevant for denne kategori Åbenhed for holdningsbearbejdning (kursister og mellemledere) Muligt at nedbryde kulturelle barrierer Aktiv deltagelse af ledelse Støtte /accept fra kolleger Ej relevant for denne kategori Ej relevant for denne kategori Hospitalet afsætter det nødvendige antal timer Min. 10 kursister mhp. betalingstilsagn / økonomi Ret til danskundervisning. Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 3
Indikatorer Projekt (opgave)beskrivelse Overordnet formål Det projektet vil bidrage til at løse, men som ikke (kan) opnås i projektperioden Indikatorer Hvordan måles effekten: (kvantitet, kvalitet, tid) Proces-indikatoraktivitet kunne være: Færre fejl og besparelser Effekt-indikator ( de bløde forhold ) fx: Trivsel på arbejdspladsen fx sygefraværet mindsket med X% gennemtræk af personale mindsket med x %. Informationskilder / data af det overordnede formål indsamles? Antagelser og nødvendige forudsætninger Ej relevant for denne kategori Projektformål Den situation der forventes ved projektets afslutning Proces-indikatoraktivitet : Større dialog mellem personalegrupper (møder m.m.) Effekt-indikator ( de bløde forhold ) fx: Misforståelser og fejl formindsket (mht. sprog, kultur) af projektformålet indsamles? Hvis projektformålet nås, hvilke antagelser skal så være på plads / holde stik for at sikre opnåelse af det overordnede formål Resultater Det som projektet kan garantere at have opnået som følge af de igangsatte aktiviteter m.a.o. det der kan måles: Aktiviteter De processer der er nødvendige for at opnå de ønskede produkter/resultater Proces-indikatoraktivitet : x antal dagbøger x antal modultests/ eksamen gennemført/bestået Effekt-indikator ( de bløde forhold ) fx: tilegnede kompetencer anvendes i de respektive afd. egenkontrolskemaer overholder aftalte standarder afleveres til tiden af resultaterne indsamles? Hvis resultaterne nås, hvilke antagelser skal så være på plads / holde stik for at sikre opnåelse af projektformålet Ej relevant for denne kategori Ej relevant for denne kategori Hvis aktiviteterne gennemføres hvilke antagelser skal så være på plads / holde stik for at sikre opnåelse af resultaterne Inputs De resurser, der er nødvendige for at projektets aktiviteter kan gennemføres Ej relevant for denne kategori Ej relevant for denne kategori Hvis input /ressourcer leveres som planlagt hvilke betingelser skal så opfyldes at sikre gennemførelse af aktiviteterne. Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 4
Kvalitative indikatorer INPUT TIL UDVÆLGELSE AF INDIKATORER Indikatorer er en måleenhed som indikerer, hvorvidt de forventede aktiviteter er gennemført. De defineres som: den målbare effekt (men ikke resultater) af projektet/ undervisningen, og som der kan/skal måles på ift kvantitet og kvalitet Indikatorbegrebet anvendes imidlertid i dag bredt til at beskrive en udvikling som kan kvantificeres. Hvad: En indikator bruges til at måle på projektforhold. Der skal være indikatorer på alle niveauer: dvs. for både aktiviteter, resultater, umiddelbare resultater, delmål.m.m. (Se skema) Lav ikke for mange, men udvælg de vigtigste Der tales om procesindikatorer og effektindikatorer. En proces-indikator-aktivitet defineres oftest som kvantitativ: fx dagbøger fra undervisningsaktiviteterne, udarbejdede projekter fra mindst 10 deltagere fra 2 forskellige DPA-hold, modultests eller eksamen mens en effekt-indikator ville gå mere på det kvalitative (de bløde forhold ), fx: hvorvidt de tilegnede kompetencer i undervisningen også bliver brugt i de respektive afdelinger som fx egen kontrolskemaer der overholder aftalte standarder og som afleveres til tiden. Hvordan: Indikatorer kan være både lette og svære at arbejde med. Det er forholdsvis let ar arbejde med indikatorer ift. umiddelbare resultater eller aktiviteter. Her kan man bruge tilgængelige data, fx dagbøger, modultest, m.m. Det er straks sværere at arbejde med at udvikle indikatorer for resultater der har med adfærdsændringer at gøre: fx større livskvalitet / bedre integration på arbejdspladsen o.l. Disse indikatorer kaldes adfærdsindikatorer og vil ofte være kvalitative, men ikke nødvendigvis subjektive. Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 5
CASE: Casen tager udgangspunkt i etablering af DPA for en gruppe af serviceassistenter på et hospital. Hospitalet har udliciteret rengøring /service til Firmaet, bl.a. under hensyn til at firmaet i deres tilbud har garanteret at deres medarbejdere er (eller bliver) kvalificerede (og certificerede). Firmaet / hospitalet kan ikke afse mere tid til undervisning end 2 x 3 lekt / ugtl., i forbindelse med vagtskifte ml. daghold og aftenhold kl. 13 16. Ikke alle rengøringsledere er enige i at der skal etableres undervisning. Serviceassistenternes danskkundskaber ligger indenfor området: DU 1 Modul 2 DU3 slut. Opgaven er etableret under hensyn til tidspres / akut problemløsning på hospitalet. Indholdet af undervisningen og succeskriterierne er fra start blevet formuleret i meget brede vendinger, fx: de skal kunne noget mere dansk eller et ønske om forbedret kommunikation med de andre personalegrupper. Endvidere er der et ønske om, at undervisningen også skal forberede / klæde kursisterne på mhp. at de kan gennemføre kortere opkvalificerende forløb på AMU / TEC i Hospitalshygiejne. Før påbegyndelse af opgaven : Før (afklaring af opgaven) Indikatorer: Hvad skal måles? : Interessenter: Hvem? Enkeltpersoner: Hvem / Funktion /niveau Effektmåling: Hvordan? Opgavebeskrivelse: Effektiv kommunikation og samarbejde med andre personalegrupper på hospitalet (formuleret som: de skal kunne noget mere dansk ) Problemformulering: DPA-opgaver bryder ofte med de normale ramme for og indhold af danskundervisning. Realistisk /konkret definering af vores arbejdsopgaver er derfor nødvendig.(se nedenfor) Enhver problemstilling ( De kan ikke nok dansk ) skal eksemplificeres. Virksomheden skal hjælpes med at sætte ord på. Mellemledere/ Leder/sprogcenter Det er nødvendigt at sætte ord på de ikke-målbare indikatorer, hvis man skal kunne evaluere på dem. Opgaven skal konkretiseres, så medarbejdere og ledelse kan forholde sig til projektet og dets resultater. Det tager tid og kræver en stor indsats fra virksomhedens side. Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 6
Hermed gives imidlertid et mere konkret før -udgangspunkt at evaluere ud fra. Konkrete eksempler fra medarbejdere i virksomheden sætter ord på mulige bløde indikatorer at evaluere ud fra. Der undersøges hvori problemet består før undervisning startes:. Hvilken kommunikation skal være bedre? Hvilken kommunikation ift. informationen, mellemledere, patienter, personale? Mellemledere Leder Forslag: Udarbejde et spørgeskema til virksomhedens værdier, fx en skala model hvor virksomheden angiver vigtigheden af forskellige udsagn vedr. medarbejderen. Fx det er vigtigt at alle deltager i frokosten 1 2 3 4 5 (1=helt uenig. 5=helt enig) Hvilke sociale og arbejdsplads-kulturelle kompetencer er mangelfulde, Og hvilke fungerer godt? Mellemleder / leder / kursist Forsøge at opstille delmål/ønsker ud fra observation og samtale med kursist og virksomhed. Desuden sikre at både kursist og virksomhed er indforstået med delmålene (accepteret af alle parter) Det er vigtigt at man ser et helhedsbillede: fokus på styrker og svagheder. De involverede på virksomheden skal med hjælp fra sprogcentermedarbejderen (f.eks. i form af et skema) i en uge bruge tid på at finde frem til konkrete eksempler på at kommunikationen slår fejl. Spørgeskemaer/interviews til specifikke grupper - måske alle medarbejdere, Der skal laves en omhyggelig introduktion om hvorfor man gør det, og hvad det kan være godt for - før man begynder at interviewe Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 7
Hvis ledelse og medarbejder udfylder det samme skema, og der er stor forskel på hvad de synes er væsentligt, er det en god indikator i forb. med definition af indhold, herunder delmål. Har NN lyst til at deltage i arbejdspladsens sociale aktiviteter Kursisten - deltager i sociale aktiviteter - møder til tiden - spørger når han/hun er i tvivl - kan ændre arbejdsgang på kort varsel (er fleksibel) - er med i kaffeordningen (eller forklarer hvorfor han/hun ikke ønsker det) - er villig til at overvinde/forhandle personlige barrierer (kulturelt) Kursist Men det er svært at lave et overordnet skema, der kan bruges i mange sammenhænge. Et skema skal tilpasse den konkrete undervisnings-opgave Vi måler effekten af aktiviteterne gennem interviews /spørgeskemaer/lfa-skemaet. Konstatering af de adspurgtes holdninger. Heri består dokumentationen.. I ILP en (den Individuelle Læringsplan) aftales mål mht socio-kulturelle kompetencer både sprogligt og vidensmæssigt mellem virksomhed og medarbejder Udvælgelse af fokuspunkter. Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 8
Er dette en opgave vi vil påtage os? Det er nødvendigt med en afklaring internt på sprogcenteret af, hvilke typer opgaver man siger ja til og hvilke der ligger uden for vores kompetence. Hvis JA - - kunne acceptere at arbejdsbeskrivelsen kan variere iforh.t ens oprindelige fagbeskrivelse (feks. Ingeniøren der også skal brygge kaffe eller tømme skraldespand) - kan opdage og reagere på fejl (arbejde selvstændigt) - kunne opfange ikke direkte kritik og instruktion - kunne forstå indirekte talehandlinger - tager initiativ til og falder ind i samtale (gerne small talk) - være villig til at tage grundlæggende værdier op til overvejelse, være villig til at reflektere når der er konflikt mellem egne og arbejdspladsens/samfundets værdier - kende arbejdspladsens arbejdsfordelinger / kommandoveje - johari konfliktløsning - Overholder skrevne regler fx ift. personlig hygiejne Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 9
INPUT TIL UDVÆLGELSE AF INDIKATORER Under: Under gennemførelse af opgaven / undervisningen Indikatorer: Hvad skal måles? Interessenter: Hvem? Enkeltpersoner: Hvem / Funktion /niveau Effektmåling: Hvordan? Har fokus for opgaven ændret sig? Er der stadig overensstemmelse med aftalegrundlaget fra starten af forløbet? Skal opgaven redefineres? Afdækkede problemfelter: stadig eller ikke længere relevante? Er nye (krav til) kompetencer (-udvikling )opstået? Leder Mellemledere Kursister Løbende opsamles aktuelle uløste problemer man bliver opmærksom på undervejs Løbende evalueringer og afstemninger med de implicerede parter. Evt sammenholdt med de målbare kriterier. Den sproglige målbare udvikling skal gerne påvirke den umålbare (ovenstående indikationer) positivt. Diskussion i klassen. Kursister Evt. brug af dagbog (kursisten fører dagbog) Refleksionsmodellen (evt. på eget sprog). INPUT TIL UDVÆLGELSE AF INDIKATORER Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 10
Efter: slutevaluering Slutevaluering Indikatorer: Hvad skal måles? Interessenter: Hvem? Enkeltpersoner: Hvem / Funktion /niveau Effektmåling: Hvordan Via interviews, observationer. skemaundersøgelser Evt. slutevaluering af nogle professionelle Chris Kuylenstierna - nov/07 Arbejdsseminar om Arbejdsdansk, Nyborg Strand d. 21. august 2007 11