National øvelsesvejledning Evaluering af øvelser
Indholdsfortegnelse Hvorfor evaluerer vi øvelser?... 1 Hvad er evaluering af øvelser?... 1 Introduktion til arbejder med evaluering af øvelser... 2 Udvikling af en evalueringskultur... 2 Evalueringsteori... 3 Målbaseret evaluering... 3 Evalueringens fire trin... 5 Udpeg en ansvarlig for evaluering af øvelsen... 5 Planlæg og gennemfør evaluering af øvelsen... 5 Udarbejd en handleplan for implementering af læringen... 10 Delagtiggør alle relevant modtagere i læringen... 10 Hensyntagen til øvelsestypen... 11 Gode råd... 12 Skabeloner... 13 0
1. Hvorfor evaluerer vi øvelser? Organisationer bør øve regelmæssigt for at afprøve, udvikle og træne medarbejderes evne til at håndtere krisesituationer. Evaluering er det redskab, der sikrer at erfaringer og læring opsamles og nyttiggøres i organisationen. Evaluering kan foretages på mange måder, afhængig af ressourcer og kompetencer i organisationen. National øvelsesvejledning Evaluering af øvelser er skrevet som inspiration og hjælp til arbejdet med systematisk evaluering af øvelser og indeholder: Introduktion til arbejdet med evaluering af øvelser. Trin-for-trin guide. Skabeloner (konkrete værktøjer, f.eks. en guide til gennemførelse af en debriefing). På www.øvelsesforum.dk findes råd og vejledning til øvelser, herunder også evalueringsdelen. Siden indeholder desuden kontaktoplysninger til Det centrale øvelsesforum/øvelsessekretariatet, hvor der er mulighed for yderligere bistand. Vejledningen ligger i forlængelse af National øvelsesvejledning generel øvelsesvejledning og bygger på dennes grundlæggende beskrivelser og definitioner af øvelser. 1.1. Hvad er evaluering af øvelser? Øvelser bør gennemføres med det formål at bibeholde eller øge kvaliteten af en specifik indsats. Uafhængig af om øvelsens fokus er rettet mod at afprøve kompetencer, samarbejdsrelationer eller kommunikation, kan evaluering bruges til at undersøge resultaterne af indsatsen under en øvelse. På den baggrund er evaluering: En målrettet, systematisk og transparent vurdering af indsatsen under en øvelse samt den effekt som er resultatet af indsatsen. Evalueringen bør tilvejebringe viden, der kan nyttiggøres fremadrettet i opgavevaretagelsen samt bidrage til planlægning af nye øvelsesaktiviteter. Når organisationer gennemfører evalueringer, bør fokus være på at lære frem for at beskrive. I en god evaluering reflekteres over de konkrete handlinger (hvem gjorde hvad, hvornår, hvordan og med hvilken effekt) frem for at gengive øvelsens enkelte trin. Evaluering af øvelser i fire trin: 1. Udpeg en ansvarlig for evaluering af øvelsen. 2. Planlæg og gennemfør evalueringen af øvelsen 3. Udarbejd en handleplan for implementering af læringen. 4. Delagtiggør relevante modtagere i læringen og implementeringen. Boks 1: De enkelte trin i planlægning og gennemførelse af evaluering. Disse vil enkeltvist blive uddybet i afsnit 4.2. 1
2. Introduktion til arbejdet med evaluering af øvelser Øvelsens læringspotentiale hænger bl.a. sammen med viljen/evnen til systematisk evaluering. Opgaven bør derfor beskrives i øvelsesdirektivet og tildeles selvstændige ressourcer, afhængig af type og omfang. I tilrettelæggelsen af øvelser, skal organisationen tage stilling til fire grundlæggende spørgsmål: Hvad vil organisationen øve? Hvem vil organisationen øve? Hvordan vil organisationen øve? Hvordan vil organisationen evaluere øvelsen? Evaluering kan metodisk set gøres på mange måder. Denne vejledning bygger på målbaseret evaluering, hvor fokus er rettet mod forudbestemt(e) mål for øvelsen. Herudover kan en evaluering planlægges, gennemføres og afrapporteres på mange måder. Evaluering af en øvelse forudsætter, at der sker erfaringsopsamling under øvelsen, f.eks. ved fysisk observation eller gennemgang af situationsbilleder, logs eller e-mail. Opsamlingen skal sikre, at øvelsesledelsen og øvelsestagerne efterfølgende har mulighed for at gennemgå øvelsen og drøfte de enkelte skridt og læringspunkter. Evalueringen bør munde ud i en fremadrettet handleplan for implementering af de læringspunkter. Omsætningen i konkrete initiativer er vigtige for, at erfaringerne fra øvelsen integreres i beredskabsarbejdet. 2.1. Udvikling af en evalueringskultur Øvelser er en mulighed for at træne organisationen og dens medarbejdere inden en skarp hændelse. Øvelser bør derfor sigte på at afprøve nye tiltag, der kan udvikle og forbedre beredskabet. Hvis man kun øver det, man allerede er god til, risikerer øvelsen at blive en showcase med begrænset læring. Øvelsesplanlæggerne bør sigte efter at lægge det faglige niveau så tilpas højt, at deltagerne bliver udfordret under øvelsen og opnår læring. Håndteringen af uvante situationer kan flytte kompetenceniveauet, og øvelsen kan bidrage til, at deltagerne har ændrede/bedre handlemuligheder ved næste skarpe hændelse. Håndteringen af ukendte situationer vil naturligt føre til uhensigtsmæssige handlinger og beslutninger. Det handler derfor om at opsamle erfaringer og læring, så evt. fejl kan genoprettes og forebygges. Evalueringen bør derfor fokusere ligeligt på det, som fungerede godt og det, som fungerede mindre godt. 2
3. Evalueringsteori Systematisk erfaringsopsamling kræver en teoretisk og praktisk ramme. I denne vejledning opereres med målbaseret evaluering som teoretisk ramme for alle øvelser. Modellen understøtter evaluering af øvelsens mål, den tiltænkte nytte og de opnåede resultater. Beredskabsstyrelsen afholdte en mindre intern krisestyringsøvelse. Dele af beredskabsplanen skulle afprøves for at forbedre en række interne procedurer, blandt andet vedrørende håndtering af informationer om krisen. Med udgangspunkt i øvelsens formål og mål formulerede øvelsesledelsen en række evalueringsspørgsmål, hvor svarene skulle afdække, om øvelsens mål var opfyldt, f.eks.: Hvordan sikres videndeling mellem de relevante enheder? En indikator (tegn på målopfyldelse) var, at situationsbilledet var opdateret og sendt til stabens medlemmer. Indikatorerne blev udarbejdet med udgangspunkt i retningslinjerne i den interne beredskabsplan samt i Helhedsorienteret beredskabsplanlægning. Erfaringsopsamlingen fra øvelsen var baseret på øvelsesledelsens observationer, en mundtlig debriefing efter øvelsen samt øvelsestagernes skriftlige tilbagemeldinger på konkrete evalueringsspørgsmål. Boks 2: Eksempel på målbaseret evaluering i Beredskabsstyrelsen 3.1. Målbaseret evaluering Målbaseret evaluering er den mest almindelige evalueringsmodel. Den er ikke orienteret mod at evaluere den praktiske ramme for øvelsen (øvelsesteknik), men mod det læringsmæssige udbytte. Modellen kan bruges til at vurdere de forhold, som øvelsen skal afprøve eller udvikle, f.eks. beredskabsplaner eller procedurer. Det gøres konkret ved at opstille en række evalueringsspørgsmål, der relaterer sig til øvelsens formål og mål. Formuleringen af evalueringsspørgsmål vil afhænge af den enkelte øvelse og om fokus er på beredskabsplaner, kompetencer, procedurer, materiel, teknologi eller samarbejdsrelationer. Eksempler på evalueringsspørgsmål kan være: Hvilke planer havde staben for aktivering? Blev planerne for aktivering benyttet? For at besvare evalueringsspørgsmålene skal øvelsesplanlæggerne tage stilling til, hvornår deltagerne i øvelsen har levet op til målet. Det kan f.eks. relativt nemt måles, om en person er i stand til at betjene en særlig type materiel, mens forhold som krisestyring eller samarbejdsrelationer ikke er eksakte. Svarene på evalueringsspørgsmålene og dermed vurderingen om målsætningen for øvelsen er nået - skal baseres på indikatorer (tegn på målopfyldelse). Indikatorerne kan hentes i f.eks. beredskabsplanen, forventninger til medarbejderes kompetencer, Retningslinjer for indsatsledelse eller i Helhedsorienteret beredskabsplanlægning. 3
Formål/mål Udarbejdelse af evalueringsspørgsmål Bestemmelse af indikatorer/tegn på målopfyldelse Metode for erfaringsopsamling Boks 3: Organisationens arbejde med målbaseret evaluering. Modellen illustrerer de metodiske skridt i en evaluering samt det faktum, at øvelsens formål og mål sætter rammen for de øvrige skridt. Når evalueringsspørgsmål og indikatorer er opstillet, skal øvelsesledelsen bruge erfaringerne fra øvelsen til at besvare evalueringsspørgsmålene. Der er forskellige muligheder for erfaringsopsamling, f.eks. brug af øvelsesdommere, aktivering af øvelsestagerne eller gennemgang af skriftligt materiale (f.eks. e-mails). Formål Mål Evalueringsspørgsmål Indikatorer At afprøve dele af beredskabsplanen Målet er at forbedre interne procedurer Opsamling af relevant viden mellem stabsmøder Hvorledes sikrede staben sig overblik over situationen? Enhed nedsat til at opdatere situationsbillede Logføring Hvorledes sikrede staben opdatering af mediebilledet? Medieovervågning Samarbejde etableres på tværs af sektorerne Opdatering af hjemmeside Var opdateringen relevant? Nyheden cleares med relevante samarbejdspartnere Var opdateringen effektiv? Opdateringen læses af berørte borgere Kommunikationsenheden forstærkes Budskaberne prioriteres Boks 4: Eksempel på målbaseret evaluering. 4
4. Evalueringens fire trin Systematisk evaluering af øvelser kan planlægges, gennemføres og afrapporteres i fire trin: 1. Udpeg en ansvarlig for evaluering af øvelsen. 2. Planlæg og gennemfør evalueringen af øvelsen 3. Udarbejd en handleplan for implementering af læringen. 4. Delagtiggør relevante modtagere i læringen og implementeringen. 4.1. Udpeg en ansvarlig for evaluering af øvelsen Øvelsesledelsen bør i planlægningsfasen udpege en person, der er ansvarlig for evalueringsdelen og som indgår i øvelsesledelsen. Dette skal blandt andet sikre, at evalueringen hænger sammen med øvelsens formål og mål. Evaluering af øvelser med deltagelse af flere beredskabsaktører vil typisk være et parallelt forløb, hvor de enkelte organisationer evaluerer egen indsats samtidigt med en tværgående evaluering. I de tilfælde bør de enkelte organisationer udpege hver deres evalueringsansvarlige, der referer til en overordnet ansvarlig for den tværgående evaluering. Øvelsesledelsen har mulighed for at benytte sig af en intern og/eller en ekstern evalueringsansvarlig: Intern evaluering Kendskab til organisationen. Fagligt kendskab. Sikre opfølgning på øvelsen. Ekstern evaluering Kendskab til evaluering. Fagligt kendskab ved brug af ressourcer fra lignende organisation. Mulighed for beskrive læringen fra øvelsen ud fra en anden/ny vinkel. Mulighed for objektivt at afklare organisationens behov for implementering af læring fra øvelsen. Mulighed for at bidrage med proceskonsulentstøtte ved erfaringsopsamling af øvelsen samt opfølgning på øvelsen, f.eks. ved at gennemføre debriefing. Boks 5: Fordele ved henholdsvis intern/ekstern evaluering. 4.2. Planlæg og gennemfør evalueringen af øvelsen Evalueringen bør tildeles ressourcer svarende til omfanget af øvelsen. Store fuldskalaøvelser med deltagelse af flere aktører vil naturligt kræve flere ressourcer til planlægning, gennemførelse og afrapportering end en dilemmaøvelse med få deltagere. Den evalueringsansvarlige skal planlægge ud fra følgende: Afsæt i øvelsens formål/mål. Formulering af evalueringsspørgsmål samt fastlæggelse af indikatorer. Metode for erfaringsopsamling fra øvelsen. Analyse af viden og læring fra øvelsen. Afrapportering. 5
4.2.1. Afsæt i øvelsens formål og mål Formål og mål kan være bestemt af politiske krav, lovkrav eller konkrete beredskabsfaglige udfordringer, f.eks. afprøvning af nyt materiel eller håndtering af krisestyringens kerneopgaver. Ved øvelser med flere deltagende beredskabsaktører bør der opstilles delmål for de enkelte organisationer. Øvelsens formål er en kort og præcis beskrivelse af, hvorfor øvelsen skal gennemføres. F.eks.: Formålet med øvelsen er at afprøve møde- og alarmeringsplanen samt afprøve deltagernes indsats under realistiske forhold. Målet beskriver den ønskede effekt af øvelsen. Hvad vil organisationen opnå med øvelsen og hvad skal den konkret resultere i? F.eks. Målet er at skabe klarhed over roller og ansvar i krisestyringen. Målet bør være specifikt og konkret, da det vil lette arbejdet med at evaluere øvelsen. Hertil bør målbeskrivelsen indeholde elementer af kontrol og/eller læring i målbeskrivelsen, jf. mandatet for øvelsen. Hertil kan målet deles op i en række delmål. F.eks. Målet er at skabe klarhed over roller og ansvar i krisestyringen ved at afprøve: - Aktivering og fremsendelse af udkald. - Tildeling af skadestedssæt. - Samarbejde mellem ledelsen på skadesstedet. - Etablering af KST og drift af denne. Boks 6: Øvelsens formål og mål. 4.2.2. Formulering af evalueringsspørgsmål og fastlæggelse af indikatorer Et godt evalueringsspørgsmål hænger sammen med øvelsens formål og mål, og det skal være muligt at besvare spørgsmålet på baggrund af øvelsen. Det nytter ikke at opstille evalueringsspørgsmål vedr. teknik eller faglighed, som ikke er en del af øvelsen, eller ikke tager hensyn til deltagernes faglige og uddannelsesmæssige niveau. Evalueringsspørgsmål bør være få og præcist formuleret. Hvis der er fokus på tværgående krisekommunikation bør spørgsmålene formuleres sådan, at kommunikationsindsatsen belyses. Besvarelsen af evalueringsspørgsmålene kræver, at organisationen opstiller indikatorer eller tegn på målopfyldelse. Arbejdet med at opstille indikatorer bør som udgangspunkt ske inden den konkrete øvelse, men da øvelsen kan udvikle sig anderledes end planlagt, vil der være tilfælde, hvor indikatorerne opstilles efter øvelsen. En indikator er en målbar variabel, som anvendes til at vurdere effekten af en indsats, f.eks. om de forventede aktiviteter er gennemført. Indikatorer kan hentes fra f.eks. organisationens beredskabsplan, Helhedsorienteret beredskabsplanlægning, Retningslinjer for indsatsledelse, krav til uddannelse eller andre standarder for, hvornår målet er nået. Indikatorer kan være både kvantitative og kvalitative afhængig af, hvad øvelsens mål er. Ved en alarmeringsøvelse gælder det om, at alle mødes ved samlingsstedet. En indikator er her kvantitativ, da det gælder om at tælle de fremmødte. Ved samarbejdsøvelser vil indikatorerne i højere grad være kvalitative, da det er vanskeligt at måle eller tælle samarbejde. Det er her vigtigt, at man i organisationen tager nogle drøftelser omkring, 6
hvornår samarbejde er godt og effektivt i forhold til at håndtere en ekstraordinær situation. Disse drøftelser kan tage udgangspunkt i organisationens opgave, i egne og/eller andres erfaringer samt i beredskabsplanen. Formålet med øvelsen er at afprøve organisationens eksterne kommunikation. Målet med øvelsen er at undersøge om beredskabsplanens afsnit om krisekommunikation understøtter, at organisationen kan reagere med en hurtig og præcis kommunikation ved pludseligt opstået informationsefterspørgsel. I den forbindelse opstilles en række evalueringsspørgsmål, der skal belyse, om målet nås gennem øvelsen, herunder: - Hvordan fungerede den interne organisering af kommunikationsopgaven? - Hvordan fungerede den tværgående organisering af kommunikationsopgaven? - Blev de rigtige mennesker informeret? - Var informationen relevant? Eksempler på indikatorer er blandt andet, at kommunikationsenheden forstærkes, at der udpeges talsmænd, at hjemmesiden løbendes opdateres samt at kommunikationsindsatsen koordineres med relevante aktører. Boks 7: Eksempel på evalueringsspørgsmål og indikatorer i forbindelse med dilemmaøvelse vedr. krisekommunikation. 4.2.3. Metode for erfaringsopsamling fra øvelsen Erfaringerne fra øvelsen skal bruges til at besvare evalueringsspørgsmålene, og derfor bør erfaringsopsamling planlægges i forhold til den konkrete øvelse. Der bør være adgang til den faglige ekspertise, der er nødvendig for at vurdere effekten af indsatsen under øvelsen. Hvis øvelsesledelsen ønsker at sætte fokus på forhold, hvor den ikke er til stede internt, er der mulighed for at trække på eksterne kapaciteter, f.eks. som øvelsesdommere. Ved planlægning af erfaringsopsamling er der forskellige parametre, som skal overvejes: Øvelsens type og omfang. Tidsperspektivet hvor hurtigt skal resultaterne foreligge? Fordele ved henholdsvis intern/ekstern forankring. Om der skal fokus på kontrol og/eller læring. Nedenfor er beskrevet en række muligheder for erfaringsopsamling. Der er mulighed for at kombinere forskellige metoder, afhængig af den konkrete øvelse. Observation Øvelsesdommere/kontrollanter indhenter erfaringer ved fysisk observation. Typisk vil en øvelsesdommer være beredskabsfagligt funderet og have mulighed for at nuancere de faglige aspekter af øvelsesvirket. Metoden vil ofte have et element af kontrol. Dette kan nedtones, hvis øvelsesdommerne indtager en rådgivende/støttende rolle under øvelsen. Time-out På signal fra øvelsesledelsen eller øvelsesdommere kan øvelsen afbrydes for at sætte fokus på konkrete dele af øvelsen. Her kan være fokus på både kontrol og/eller læring. Det bør på forhånd aftales, hvornår og hvordan time-out benyttes. 7
Virtuel observation/gennemgang af skriftligt materiale Skriftlige materialer, f.eks. e-mails, logs, situationsbilleder eller mødereferater, bør gemmes og indgå i evalueringen. Gennemgangen kan foregå både under og efter øvelsen. Typisk vil de evalueringsansvarlige bruge materialet i afrapporteringen, men en anden mulighed er, at øvelsestagerne selv gennemgår materialet. Det giver mulighed for at lære af handlinger, der kan være foregået under pres. Virtuel observation/gennemgang af skriftligt materiale vil ofte have et element af kontrol. Brug af videomateriale Video kan dokumentere enkelte handlinger. Det kan f.eks. være test af materiel eller gennemgang af stabsmøder og interviews til pressen. Erfaringsopsamling via video kan bidrage med læring, da de involverede får mulighed at gennemgå egne handlinger. Debriefing Efter øvelsen samles deltagerne for at drøfte helheden og/eller enkelte dele. Det giver mulighed for at tale om konkrete erfaringer, refleksioner og læringspunkter på tværs af organisationer og niveauer. Debriefing bør være forberedt og faciliteres [facilitere: at få en gruppe til at fungere, så det svære bliver let] af en proceskonsulent (se skabelon 7.1 for forslag til debriefing). Seminar/gruppedrøftelser Et par uger efter øvelsen gennemføres et sektorspecifikt eller tværgående seminar, gerne som en faciliteret proces. Øvelsen vil endnu være frisk i erindringen, samtidig med at foreløbige resultater fra evalueringen kan inddrages. Seminaret kan være en god anledning til at drøfte refleksioner på baggrund af udvalgte emner. Udsendelse af spørgeskemaer Spørgeskemaer kan have flere formål, herunder indsamling af supplerende information eller som et middel til selvevaluering. Spørgeskemaer er oftest eksakte og vil primært bidrage til kontrol. Personlige interviews Personlige interviews kan understøtte det øvrige evalueringsarbejde via individuelle informationer. Disse kan bidrage til både kontrol og læring. 4.2.4. Analyse af viden og læring fra øvelsen Erfaringerne fra øvelsen bør opsamles i en analyse, hvor formålet/målet sammenstilles med de konkrete handlinger. Der bør fokuseres ligeligt på det, som fungerede godt og/eller mindre godt under øvelsen. De evalueringsansvarlige kan f.eks. tage udgangspunkt i følgende diskussionspunkter: Hvad er det overordnede indtryk af øvelsen? Nåede deltagerne det overordnede mål med øvelsen? Hvordan fungerede øvelsens enkelte dele (delmål)? Vidste deltagerne, hvad de skulle gøre under øvelsen? Var alle deltagerne i stand til at udføre deres opgaver? Kendte deltagerne til de relevante planer og procedurer? Understøttede planer og procedurer øvelsen? Hvordan forløb det tværgående samarbejde (f.eks. niveauer, organisationer, sektorer)? Hvad er de overordnede læringspunkter fra øvelsen? Hvilke styrker blev identificeret under øvelsen? Hvilke forbedringsmuligheder blev identificeret under øvelsen? 8
Analysen kan inddrage både kontrol og læring. Ved kontrol kan der f.eks. være fokus på deltagernes viden om en bestemt type materiel. Hertil kan øvelsen bruges til at opnå læring; det vil sige nye handlemuligheder og/eller nye kompetencer hos øvelsestagerne. Ændrede handlemuligheder kan dreje sig om forbedring af manuelle færdigheder samt ny viden og ændrede holdninger. En fødevaregion ønskede at styrke samarbejdet mellem myndigheder og erhvervet ved udbrud af en smitsom husdyrsygdom. Derfor blev en fælles krisestyringsøvelse, der havde til formål at øge kendskabet til organisationerne og deres kommunikations- og kommandoveje, iværksat. Målet med øvelsen var i fællesskab at klarlægge og forbedre en række procedurer og kommunikationsveje. Under øvelsen prøvede deltagerne kræfter med en række nye opgaver, der stillede ændrede og/eller nye krav til kompetencerne. På grund af de nye udfordringer agerede deltagerne ikke optimalt i alle situationer. Efter øvelsen gennemførte de øvelsesansvarlige en debriefing med det formål at evaluere øvelsen og opsamle viden og læring. Den systematiske gennemgang af deltagernes handlinger skærpede bevidstheden om konsekvenserne af krisestyringen, og øgede dermed muligheden for at agere mere hensigtsmæssigt ved næste skarpe hændelse. Boks 8: Eksempel på læring i forbindelse med en øvelse. Som en del af evalueringskulturen, bør der være en positiv tilgang til opsamling af viden og læring fra øvelsen. Organisationerne skal fokusere på løbende udvikling med mulighed for, at deltagerne kan lære af deres erfaringer. Hertil kræver læring parathed af deltagerne: Ikke-accept: Det vedrører ikke mig Forsvar: Det er vist ikke rigtigt Forklar: Jo, men.. Forstå: Lytte og bearbejde Forandring: Et personligt valg Boks 9: Feed-back-modellen. 4.2.5. Afrapportering Forandringsprocessen hos de involverede personer og organisationer afhænger af, hvordan øvelsen afrapporteres og formidles til deltagerne. Der er forskellige muligheder i forhold til øvelsens formål, type og omfang. Debriefing Ved mindre øvelser, eller ved korte tidsfrister, kan der gennemføres en debriefing for at få erfaringerne synliggjort umiddelbart efter øvelsen. Denne model kræver, at debriefing betragtes som en refleksions-proces, der planlægges på forhånd evt. med ekstern proceskonsulentstøtte. Debriefingen bør afsluttes med afrapportering (se skabelon 7.1 for forslag til gennemførelse af debriefing). Seminar Seminaret er en god mulighed for at samle deltagerne og drøfte erfaringerne fra øvelsen. Seminaret kan planlægges med udgangspunkt i en foreløbig analyse, og en facilitator kan tilrettelægge en proces med udgangspunkt i diskussionspunkterne i afsnit 4.2.4. Seminaret bør afsluttes med en skriftlig afrapportering. 9
Rapport Ved større, ressourcetunge og/eller komplekse øvelser vil der oftest være krav om, at læringen fastholdes i en rapport. Ved deltagelse af flere organisationer vil der typisk blive udarbejdet rapporter på organisationsniveau samt en tværgående afrapportering. Fordelen ved rapporterne er, at et håndgribeligt produkt kan overdrages til vigtige interessenter, f.eks. beslutningstagere. Ulempen er, at udarbejdelsen af rapporterne er ressourcetungt og at de ofte vil ende ulæst i en bogreol. Derfor bør udarbejdelsen af rapporten suppleres af f.eks. mundtlige oplæg eller faktaark om øvelsen (se skabelon 7.2 for forslag til disposition for evalueringsrapport). 4.3. Udarbejd en handleplan for implementering af læringen Erfaringsopsamlingen og analysen bør munde ud i en handleplan for implementering af læring og forbedring af organisationen. Handleplanen kan præsenteres for de væsentlige interessenter i egen organisation/tværgående niveau. Ledelsen bør betragtes som en selvstændig interessent, da denne er overordnet ansvarlig for implementering og ressourcetildeling. Omsætningen i konkrete initiativer er vigtige for, at erfaringerne fra øvelsen implementeres i det fremtidige beredskabsarbejde. Læringspunkt Anbefaling (hvad) Ansvarlig Aktivitet (hvordan) Opmærksomhedspunkt Ekstern krisekommunikation ikke koordineret Skærpet fokus på ansvar for koordinering af ekstern krisekommunikation Seminar vedr. krisekommunikation Leder af den lokale beredskabsstab Afholdelse af dilemmaøvelse vedr. krisekommunikation Kommunikationsansvarlig Inddragelse af hele ledelsesniveuaet Kræver ekstern bistand Boks 9: Eksempel på implementeringsskema. 4.4. Delagtiggør alle relevante modtagere i læringen Det er vigtigt, at øvelsesledelsen identificerer alle aktører og personer, der kunne have gavn af erfaringerne fra øvelsen. Disse kan med fordel peges ud allerede i planlægningsfasen. Beredskabsaktører gennemfører jævnligt øvelser for at forbedre egen praksis. Læringen vil naturligvis have betydning for øvelsesplanlæggerne og øvelsestagerne. Hertil kan forskellige elementer af evalueringen havde betydning for andre dele af organisationen og for andre beredskabsaktører. Dette kan gøres ved formel/uformel erfaringsudveksling, ved foredrag eller ved at bruge www.øvelsesforum.dk til at formidle erfaringerne fra øvelsen. 10
5. Hensyntagen til øvelsestypen Ovenfor fremgik det, at evalueringen af forskellige øvelser langt hen af vejen kan planlægges på samme måde, og at målbaseret evaluering kan bruges, uanset hvilken øvelse organisationen gennemfører. Den praktiske tilrettelæggelse og gennemførelse af evalueringen er dog forbundet til den konkrete øvelsestype: Procedureøvelse Dilemmaøvelse Krisestyringsøvelse Fuldskalaøvelse Formål Afprøve, træne eller udvikle deltagerne i brug af procedurer Udvikle bestemte færdigheder gennem diskussion Afprøve, træne eller udvikle evnen til at håndtere praktiske forhold vedr. krisestyring Træne og udvikle kompetencer gennem fysisk indsats, f.eks. på skadessted Karakteristika Kontrol Læring, kontrol Læring, kontrol Læring, kontrol Mindre ressourcekrævende Mindre ressourcekrævende Komplekse, ressourcetunge Komplekse, ressourcetunge Metode for erfaringsopsamling Observation ved øvelsesdommere Facilitering ved proceskonsulenter Time-out Debriefing Video Observation ved øvelsesdommere Gennemgang af skriftligt materiale Inddragelse af deltagerne ved f.eks. interviews, gruppedrøftelser eller spørgeskema Observation ved øvelsesdommere Video Gennemgang af skriftligt materiale Inddragelse af deltagerne ved f.eks. interviews, gruppedrøftelser eller spørgeskema Afrapportering Debriefing Debriefing Seminar Debriefing Seminar Debriefing Seminar Rapport Rapport Boks 10: Forslag til evaluering efter øvelsestype. 11
6. Gode råd En evaluering er væsentlig for at opsamle læring fra øvelsen, og bør fra start planlægges som en del af øvelsen. Evalueringen hænger sammen med øvelsens forskellige dele, og har især relation til formålet og målet for øvelsen. Afsæt de nødvendige (særskilte) ressourcer til evalueringen i planlægningen af øvelsen. Planlæg evalueringen i forhold til øvelsens omfang og niveau. Der er forskel på kontrol og læring. Kontrol er rettet mod konkrete færdigheder, f.eks. brugen af udstyr, mens læring i højere grad drejer sig om generelle færdigheder, f.eks. et ændret kompetenceniveau og/eller nye handlemuligheder. Øvelsen bør have et klart formål og mål. Målbaseret evaluering understøtter undersøgelsen af øvelsens mål med udgangspunkt i de resultater, der er opnået under øvelsen. Hvis øvelsen ikke har et klart formål/mål, er der stor risiko for, at evalueringen bliver upræcis. Planlæggerne bør opstille klare indikatorer (tegn på målopfyldelse) for at vurdere, om deltagerne i øvelsen har opnået tilfredsstillende resultater. Indikatorer kan hentes i beredskabsplanen, forventninger til medarbejderes kompetencer, Helhedsorienteret beredskabsplanlægning eller Retningslinjer for indsatsledelse. En indikator kan være, at en medarbejder kan betjene sit udstyr som påkrævet eller at opdatering og fordeling af situationsbilledet fungerer hensigtsmæssigt for at forbedre den samlede krisestyringsorganisation. Der bør være en klar rollefordeling i evalueringen. Der er forskel på at indgå i evalueringen som leder, planlægger, observatør eller facilitator. Inddrag altid den øverste ledelse som en væsentlig samarbejdspartner. Den øverste ledelse er ansvarlig for centrale forhold som tildeling af ressourcer og forankring af læringspunkter i organisationen. De ansvarlige for øvelsen og for evalueringen bør afklare, hvem der er potentielle modtagere af øvelsens og evalueringens resultater. Det kan f.eks. dreje sig om medarbejdere inden for egen organisation eller hos andre beredskabsaktører. Forskellige modtagere kan være interesserede i forskellige dele af evalueringen. 12
7. Skabeloner 7.1. Model for struktureret debriefing Øvelse: Deltagere: Programpunkt Hvordan? Praktiske råd Introduktion (5 minutter) Debriefingens form: 1. At reflektere over øvelsen 2. At identificere personlige erfaringer 3. At drøfte erfaringer med henblik på at skabe: - personlig læring - input til organisationens håndtering af kriser Skriv målet ned Fortæl om programmet Synliggør rollerne Forklar reglerne Forklar, at der er plads til forskellige synspunkter Fokus på åbenhed og læring Fælles tilbageblik (5 minutter) Gennemgang af øvelsens faser (evt. diagram) Gør øvelsen visuel Individuelle overvejelser (10 minutter) Hvad gik mindre godt under øvelsen? Hvad gik godt under øvelsen? Bed deltagerne om at skrive ned Skriv spørgsmål op Bed om ro til øvelsen Tjek forståelsen Kontroller tiden Drøftelser i plenum (1 time) Fælles opsamling (2 minutter) Faciliteret erfaringsopsamling ud fra erfaringer Facilitatoren opsummerer de centrale punkter Nu til fælles udveksling Tag udgangspunkt i øvelsens mål, kerneopgaver, mv. Tale på skift Først negative i fokus, derefter positive Alle har samme taleret Saml op med nøgleord Brug åbne/ledende/ faciliterende spørgsmål Vær neutral Opfordr til fælles drøftelser Hold tiden Vær tro overfor drøftelser Fælles drøftelser lukkes Ingen taleret Individuelt tilbageblik (6 minutter) Hvad har jeg lært af øvelsen? Hvad ville jeg gøre anderledes næste gang? Sidste del af erfaringsopsamling Skriv de to spørgsmål op Kontroller forståelse Hold tiden Fælles drøftelse (10 minutter) Faciliteret erfaringsopsamling. Hvad har vi lært? Lyt ingen drøftelser Alle har taleret Undgå uddybning af synspunkter 13
Afslutning (2 minutter) Tak for i dag Fortæl, hvordan du vil bruge input videre Opfordr til efterfølgende videndeling Grundlæggende om debriefing: Planlægning og rollefordeling Planlægning: Formål: Deltagerne: Fortrolighed: Tid: Sted: Hjælpemidler: Hvilken del af øvelsen skal drøftes, og hvad er formålet? Hvad er deltagernes erfaring med debriefing, og hvordan vil de agere? Er deltagerne repræsentative for øvelsen? Vil der være ekstern (f.eks. ledelse) tilstedeværelse, og hvad er forventningerne til fortrolighed? Hvilken tid er der til rådighed, og hvornår skal debriefingen være gennemført? Hvor er det mest optimalt (og muligt) at gennemføre debrifingen? Hvad (f.eks. kort, foto, rapporter, mv.) bør deltagerne have adgang til før/under debriefingen? Rollefordeling: Initiativtager: Planlægger: Leder: Deltagerne: Igangsætter debriefingen og er overordnet ansvarlig. Strukturerer debriefingen ud fra centrale områder og spørgsmål. Faciliterer debriefingen. Er bevidste om formål og præmis. 14
7.2. Disposition for evalueringsrapport En evalueringsrapport kan udfærdiges på forskellige måder afhængig af behovet. På www.øvelsesforum.dk findes eksempler på færdige rapporter. Til inspiration for arbejdet med evalueringsrapporten findes nedenfor et forslag til en disposition for en rapport. Forslag til disposition for evalueringsrapport: Forside/titelblad Øvelsens navn og dato for gennemførelse Sammenfatning Konklusioner Anbefalinger Indledning med baggrund for øvelsen Opgaven og mandat Øvelsens formål og mål Organisering (ansvar for øvelse samt evaluering) Deltagere i øvelsen (aktører) Øvelsens type, scenarie og faser Ramme for evaluering af øvelsen (evalueringsspørgsmål, indikatorer, metode for erfaringsopsamling) Resultater af øvelsen Gennemgang af øvelsens faser med udgangspunkt i formål/mål, evalueringsspørgsmål og indikatorer Analyse af viden og læring fra øvelsen Gennemgang af læringspunkter (med udgangspunkt i diskussionspunkterne i afsnit 4.2.4) Konklusion Afrapportering Resultat af øvelsen, f.eks. nye kompetencer eller ændrede handlemuligheder, jf. formål/mål. Formidling af konklusioner og læringspunkter Handleplan Plan for implementering af læring (hvem kan have nytte af den nye viden og hvordan?) Bilag F.eks.: Skitse over markeringer F.eks.: Oversigt over anvendte forkortelser 15