JULI 2019 BLUEKOLDING OG KOLDING KOMMUNE SMART SPILDEVAND SLUTEVALUERING

Transkript

1 JULI 2019 BLUEKOLDING OG KOLDING KOMMUNE SMART SPILDEVAND SLUTEVALUERING

2

3 ADRESSE COWI A/S Parallelvej Kongens Lyngby TLF FAX WWW cowi.dk JULI 2019 BLUEKOLDING OG KOLDING KOMMUNE SMART SPILDEVAND SLUTEVALUERING PROJEKTNR. A DOKUMENTNR. 4 VERSION 1.0 UDGIVELSESDATO UDARBEJDET MOBR KONTROLLERET KATK GODKENDT MOBR

4

5 SMART SPILDEVAND 5 INDHOLD 1 Resumé: Smart Spildevand 1 2 Fakta om indsatsen Effektkæde for indsatsen 3 3 Overordnet status 4 4 Implementering af indsatsen 5 5 Fremdrift og målopnåelse Fremdrift ift. aktiviteter og milepæle Målopnåelse i forhold til output 10 6 Effektvurdering 11 7 Anbefalinger og læring 12

6

7 SMART SPILDEVAND 1 1 Resumé: Smart Spildevand Indsatsens implementering Gennemsnitlig score for implementering (skala: 0-5) 4,0 Organisering og samarbejde Sammenhæng ml. aktiviteter og mål Forankring af output Målgruppens oplevelse af kvalitet Monitorering og opfølgning Målgruppens oplevelse af relevans Projektet har cirka halvvejs i projektperioden justeret sin organisering, hvilket har givet et stærkere tværfagligt samarbejde og en mere tydelig ansvars- og opgavefordeling. Foruden det programfastsatte mål om CO₂-reduktion, bidrager projektet til at indfri ambitionerne i Kolding kommunes klimastrategi. Hertil har projektet formået at adressere de centrale barriere for effektskabelse, og der er på evalueringstidspunktet sikret finansiering og opbakning fra beboerne i de berørte boligområder til at realisere de to løsninger. Sammen med andre parallelle initiativer er det lykkedes projektet at gøre klimatilpasning vedkommende og relevant for borgerne. Dette er sket ved en kontinuerlig og i nogle aspekter innovativ tilgang til borgerdialog. Særligt i anden halvdel af projektperioden er der allokeret flere ressourcer til at styrke den interne læring. Det har været fremmende for en læringskultur, der har understøttet systematisk videndeling. På den baggrund har projektet samlet en stor mængde viden, der vil kunne styrke lignende indsatser i fremtiden. Målopnåelse Fremdrift (aktiviteter) Målopnåelse ift. output Budgetforbrug Tidsforbrug 94% 100% 97% 100% 0% 20% 40% 60% 80% 100% På evalueringstidspunktet har projektet planmæssigt gennemført sine hovedaktiviteter. Dog udestår udarbejdelsen af den afsluttende rapport og tre af de otte målsatte formidlingsaktiviteter. Aktiviteterne forventes dog gennemført planmæssigt i foråret Vores konklusion er dog, at projektet i alt væsentlighed er gennemført som planlagt. Projektet har på evalueringstidspunktet udregnet et effektpotentiale, der svarer til det ønskede niveau og opnår derfor en målopnåelse på 100 % på disse to outputindikatorer. Ved sin afslutning har projektet et marginalt underforbug, hvilket skyldes at omkostningerne til eksterne ydelser har været mindre end ventet. Dette er dog uden betydning for projektets gennemførelse. Effektvurdering Forventet effekt, efter projektperioden Årlig fald i energiforbrug (Gigajoule) 180 Der er endnu ikke skabt konkrete effekter som følge af projektet, hvilket skyldes, at de udviklede løsninger først skal realiseres som anlægsprojekter. Vi finder det dog sandsynligt, at man vil kunne opnå den ønskede effekt efter projektets afslutning. Dette skyldes, at der både er opbakning hos borgerne og finansiering til de udviklede løsninger. Projektet har ligeledes en væsentlig samfundsmæssig værdi, idet det bidrager til Kolding kommunes klimastrategi, og derved til en bæredygtig håndtering af store mængder regnvand. Det afspejles dog ikke i projektets effektmål.

8 2 SMART SPILDEVAND 2 Fakta om indsatsen Dette afsnit indeholder en kort beskrivelse af indsatsens formål og baggrund samt en gengivelse af de vigtigste baggrundsoplysninger for bevillingen (tekstboks). Afsnittet afsluttes med en illustration af rationalet bag indsatsen (effektkæde). Overordnet beskrivelse af indsatsen Projektet Smart Spildevand består i at kombinere smarte alternative løsninger for vandafstrømning med byudvikling og rekreative tiltag. Projektet er et samarbejde mellem Kolding Kommune og BlueKolding. Projektet arbejder med en høj grad af borgerinddragelse af klimasikring i bymæssige områder. Dette ønsker projektet at gøre på en ny måde inden for rammen af byudviklingsstrategien. Projektet forventer at skabe smarte løsninger som kombinerer anlæg for terrænbaseret afstrømning af overfladevand med rekreative formål, der samtidig indeholder formidling af klimasikring og formidling af energibesparelse ved at undgå traditionel pumpning af overfladevandet. Projektet omfatter tre indsatser: Kolding Slotsø-området: Indsatsen for Kolding Slotsø-området har som mål at aflaste kloaksystemet og dermed pumpestationen for så meget overfladevand som muligt. Herudover er målet at mindske påvirkning af vandmiljøet og skabe en højere sikkerhed mod oversvømmelsesrisiko. Overfladevandet i den indre by, Kolding Slotsø/Vifdam skal styres uden om det traditionelle afløbssystem og afledes via terrænbaserede løsninger. Herved opnås en klimasikring, da oversvømmelsesrisikoen fra kloaksystemet vil mindskes. Overfladevandet skal ledes fra ved hjælp af to automatiske spjældsystemer, som kobles op på BlueKoldings overordnede styringssystem. Brændkærområdet: Indsatsen for Brændkærområdet har som mål at etablere et grøftesystem, sådan at overfladevandet ledes fra et bebygget område og ned til naturområdet, der har afløb til Kolding Fjord. Dette vil aflaste den centrale pumpestation, der leder vandet videre til centralrenseanlægget. Overfladevandet skal adskilles fra det øvrige spildevand. Projektet vil teste denne idé ved hjælp af en opstillet EDB-model, inden grøftesystemet realiseres. Projektet forventer, at det vil være en samfundsøkonomisk gevinst at tænke i alternative og billige terrænbaserede løsninger i forbindelse med klimasikring og energibesparelser i forhold til at skulle udføre traditionel separering af kloaksystemet. Integreret formidlingsindsats: Den integrerede formidlingsindsats indeholder årlige arrangementer, der skal forbinde bæredygtighedsaktiviteter. Arrangementerne er primært målrettet borgere og andre kommuner. Formålet er at synliggøre for andre kommuner, hvordan de kan involvere borgerne i at gøre deres by mere bæredygtig.

9 SMART SPILDEVAND 3 Figur 1 Kort info om indsatsen FAKTA-BOKS > Tilskudsmodtager: Kolding Kommune > Finansieringskilde: Regionalfonden (ERDF) > Indsatsområde: Bæredygtige byer (ERDF-4.2b) > Samlet budget: DKK 10 mio. > Bevillingsperiode: Effektkæde for indsatsen I dette afsnit beskrives hvilke effekter, det er hensigten at skabe med de bevilgede midler, samt hvordan disse effekter skal tilvejebringes. Effektkæden er udarbejdet på baggrund af ansøgning og bevilling og efterfølgende tilrettet på baggrund af interviews med projektleder. Figuren nedenfor giver således et overblik over de primære aktiviteter, der gennemføres ifm. indsatsen, de umiddelbare output, der skal skabes gennem disse aktiviteter, samt hvilke effekter, disse output på længere sigt forventes at medføre. Figur 2 Rationalet bag indsatsen illustreret via en effektkæde Hovedaktiviteter Output Effekter Udarbejdelse af modeller for håndtering af regnvand* Udarbejdelse af tillæg ifm. plangrundlag Dialogmøder og fora med borgere og interessenter i områderne* Udarbejdelse af projektmateriale til projektering og senere etablering Formidling af erfaringer og viden fra projektet* Test af metoder og styring Gennemførelse af evaluering og udarbejdelse af 'Final Report' Anslået potentiale for årligt fald i drivhusgasemissioner er omregnet Anslået potentiale for årligt fald i energiforbrug er omregnet Beboerne i områderne oplever øget værdi af omdannet bymiljø med fokus på klimasikring Fald i energiforbrug (efter projektperioden) Generisk model for samarbejde og borgerinddragelse Beregning af energiforbrug, herunder inddrages simulation og data fra DMI NB: Hovedaktiviteter markeret med en * betragtes af evaluator som indsatsens primære 'virkemiddel'/virkemidler.

10 4 SMART SPILDEVAND 3 Overordnet status På tidspunktet for slutevalueringen er alle hovedaktiviteter gennemført som planlagt, og det er sandsynligt, at projektet vil nå de ønskede effekter. I løbet af projektperioden har den oprindelige projektchef fået nyt job uden for organisationen. I stedet for at erstatte projektchefen, har man valgt at reducere antallet af ledelseslag i projektet. Det har vist sig at give en mere klar arbejdsog ansvarsdeling (Se 'organisering og samarbejde'). Projektet har i løbet af projektperioden ændret karakter. Oprindeligt var projektet tilrettelagt som en ligeligt delt indsats mellem en udregning og udvikling af de tekniske løsninger på den ene side, og en indsats for borgerinddragelse og - dialog på den anden side. Relativt tidligt i projektperioden blev der skabt sikkerhed for resultaterne af den førstnævnte indsats, og ressourcerne er derfor løbende blevet allokeret mod den sidstnævnte del. Vi ser dette som en rettidig tilpasning af projektet baseret på de løbende erfaringer.

11 SMART SPILDEVAND 5 4 Implementering af indsatsen I dette afsnit præsenterer vi vores vurdering af indsatsens implementering ud fra seks faste evalueringsparametre. Figuren nedenfor giver et overblik over evalueringens konklusioner i forhold til de seks parametre. Figur 3 Evaluators vurdering af indsatsen på seks faste evalueringsparametre Organisering og samarbejde Forankring af output Monitorering og opfølgning Sammenhæng ml. aktiviteter og mål Målgruppens oplevelse af relevans Målgruppens oplevelse af kvalitet Organisering og samarbejde Samarbejdet på projektholdet er styrket siden midtvejsevalueringen, og samspillet mellem holdets forskellige fagligheder er styrket. I midtvejsevalueringen udpegede vi det interne samarbejde som et opmærksomhedspunkt for projektledelsen. Vi anbefalede, at man i anden halvdel af projektperioden prioriterede en øget integration af samarbejdet på tværs af forskellige kompetencer, og fortsat var opmærksom på snitfladerne i samarbejdet (midtvejsevalueringens anbefaling 1). Siden midtvejsevalueringen har BlueKoldings projektchef, der havde overordnet ansvar for projektledelsen, fået nyt job. Dette har givet anledning til en naturlig justering af projektets organisering, hvor antallet af ledelseslag i projektet er reduceret, og hvor de to delprojekter er samlet til et. De medarbejdere, vi har interviewet ifm. begge evalueringer, har i anden halvdel af projektperioden oplevet organisationen som mere 'flad' og opgave- og ansvarsfordelingen tydeligere end tidligere. Vi anerkender fuldt ud kompetencerne hos den tidligere projektchef, men kan samtidig konstatere, at det er lykkedes at reducere en del af kompleksiteten i projektets organisering. Hertil kommer, at projektet har fortsat indsatsen for at styrke samarbejdsmodellen for medarbejderne i projektet. Et af de centrale redskaber i den proces har været at anvende GARUDA-modellen til at udarbejde arbejdsadfærdsprofiler for projektets medarbejdere. Det er vores vurdering, at man er nået langt på dette punkt, og resultatet har ifølge de involverede medarbejdere været større indsigt i hinandens kompetencer og bedre indblik i de forskellige fagligheders styrker og begrænsninger. Vores samlede konklusion er derfor, at projektet har udviklet sig

12 6 SMART SPILDEVAND positivt på dette evalueringsparametre., og vi hæver derfor vores scorer fra tre til fire. Sammenhæng mellem aktiviteter og mål De to udarbejdede løsninger vil med stor sikkerhed reducere CO₂udledning, men det er først, når projektet ses som udmøntning af Kolding Kommunes klimastrategi, at projektets fulde værdi bliver tydelig. I midtvejsevalueringen konkluderede vi, at der er en stærk sammenhæng mellem de to løsninger, projektet har udviklet, og målet om at reducere CO₂-udledning. På den tekniske side har der derfor været stor sikkerhed for, at de to løsninger vil kunne indfri effektmålene. En væsentlig usikkerhedsfaktor har dog været de to områders beboere og deres opbakning til de udarbejdede løsninger. Navnlig i Brændkær har det været usikkert, om beboerne ville tilslutte sig eller forkaste den udarbejde løsning. Et negativt udfald kunne have ledt til et senere påbud om separatkloakering og fraværet af en sammenhængende klimatilpasningsløsning. Usikkerheden er i høj grad ansporet af eksterne faktorer, hvilket vil sige, at projektet har haft relativt begrænset mulighed for at påvirke den. I midtvejsevalueringen udpegede vi derfor dette som den største barriere for, at effektpotentialet kunne realiseres. I slutevalueringen kan vi konkludere, at projektet har formået at tilpasse sig beboernes holdninger og syn på de udarbejde løsninger, hvilket i sidste ende har skabt den ønskede tilslutning. I den forbindelse noterer vi os, at projektet overordnet har ændret sin prioritering mod de aktiviteter, der omfatter borgerinddragelse. Dette har efter vores vurdering været en fornuftigt disposition, når man tager i betragtning, at der relativt tidligt blev skabt sikkerhed for resultaterne af den tekniske side af projektet. Hertil kommer, at projektet foruden en vedholdende formidlingsindsats også har været åben for, at borgerne kunne få direkte indflydelse på de udarbejde løsninger. Dette er blandt andet sket via fysiske møder med borgerne og afprøvning af prototyper for løsningerne. Her har anvendelsen af designredskaber til at rammesætte processen været et centralt redskab for at sikre en nødvendig systematik og styring. Den forventede CO₂-reduktion er per definition positiv, men vi er i slutevalueringen blevet bestyrket i vores opfattelse af, at projektets værdiskabelse først er tydelig, når den ses i sammenhæng med Kolding Kommunes klimastrategi. Her vil de to projekter bidrage til håndtering af store regnmængder, og derigennem bidrage til at løse et væsentligt problem for kommunen og dens borgere. Samtidig bidrager projektet til udmøntningen af strategien ved at skabe en positiv fortælling om, hvordan klimaudfordringerne skal håndteres. Det sker effektivt i projektet ved at koble de funktionelle dele af projektet der skal håndtere regnvand til nye rekreative områder for beboerne. Det har været en strategisk målsætning at vende retorikken således, at man ser mulighederne i klimaforandringerne i stedet for begrænsningerne. Kvalitet, målgruppens oplevelse Projektet har været platform for udvikling af en række nye løsninger til håndtering af regnvand i kombination med rekreative områder, samtidig har risikovillighed i valg af kommunikations- og dialogredskaber løbende bidraget til høj kvalitet i indsatsen over for borgerne. Siden midtvejsevalueringen har der ikke været anledning til at ændre i vores vurdering af

13 SMART SPILDEVAND 7 projektets kvalitet. Det er fortsat væsentligt at fremhæve, at projektet har været platform for løsninger, som det ellers ville være vanskeligt realisere. Som sådan har projektet på fornuftig vis synliggjort, hvordan håndtering af regnvand kan kombineres med rekreative områder der matcher borgernes behov og ønsker. Projektet har haft en prøvende tilgang til forskellige kommunikations- og dialogredskaber. Det har efter vores vurdering haft en positiv påvirkning på kvaliteten i projektet, fordi man har været villig til at afprøve nye redskaber og droppe dem igen, hvis ikke de har virket efter hensigten. Vi vurderer derfor, at der samlet set har været en god kvalitet i de redskaber og metoder, der er anvendt i projektet, hvilket afspejles i borgernes vurdering af de udviklede løsninger. Relevans, målgruppens oplevelse Med et vanskeligt udgangspunkt er det lykkedes at synliggøre værdien i klimatilpasning for borgerne. Udgangspunktet for projektet var, at det var vanskeligt at skabe engagement for klimatilpasning blandt de borgere, der vil blive berørt af de to delprojekter. Særligt i Brændkærområdet har det krævet en lang og vedholdende indsats at skabe den opbakning, der resulterede i et positivt udfald af beboerafstemning der skulle afgøre spørgsmålet om tilslutning. I Brændkærområdet var det en særlig udfordring, at beboerne frygtede huslejestigninger, og det har langt hen i projektet været usikkert, om de ville tilslutte sig den udarbejde løsning. Som nævnt tidligere har Kolding kommunes tilgang været at skabe en positiv fortælling om klimatilpasning. Under overskriften 'Nyt vejr nye muligheder', har man derfor sideløbende med projektet afholdt en såkaldt 'regnvejrsfest' under kulturnatten i Kolding og kåret 'årets klimahelt'. Det er netop også med denne overordnede tilgang, at man er lykkedes at skabe en positiv fortælling om klimatilpasning af Brændkærområdet. Her har arbejdet i Brændkær givet mulighed for at afprøve forskellige metoder, og samtidig fungeret som en del af klimastrategiens udmøntning. Delprojektet ved Slotsøen har været mere komplekst, fordi beboersammensætning og boligtyper har haft en større variation. Projektet har udnyttet erfaringerne fra Brændkærområdet ved eksempelvis at segmentere målgruppen, og det har vist sigt, at det overordnet set er de samme metoder, der er virksomme. Herudover har dannelsen af beboerråd i dele af det berørte område vist sig at være en effektiv brobygger mellem projektet og borgerne. Derudover har projektet med succes taget utraditionelle metoder i brug. Blandt andet har man gennemført havebesøg i Søgade og Vifdam, hvor man via samarbejde med en landskabsarkitekt har synliggjort, hvordan havearkitekter og klimatilpasning kan forenes. Forankring af output Der er sikret beboeropbakning og finansiering til at realisere de to delprojekter, men det ville styrke den metodiske forankring, hvis projektholder mere systematik arbejder for at anvende de forskellige redskaber i nye indsatser. I midtvejsevalueringen udpegede vi spørgsmålet om finansiering af anlægsudgifterne til de to projekter som en central risiko for effektpotentialet ikke i sidste ende ville blive indfriet. På tidspunktet for slutevalueringen er den nødvendige finansiering sikret, hvilket motiverer, at vi hæver scoren på dette evalueringsparameter fra tre til fire. Herudover understøtter det tidligere nævnte revitaliserede beboerengagement, der kan omdannes til formaliserede

14 8 SMART SPILDEVAND lokalråd, et fremtidigt ejerskab. Her er der dog en risiko for, at arbejdet vil blive båret frem af ildsjæle, og derfor i kritisk omfang bliver personafhængigt. På organisatorisk niveau overgår projektet fra projektorganisationen til en ny medarbejdergruppe, der er ansvarlig for anlægsprojekterne. Overgangen er nødvendig, men vi vurderer, at dette også er forbundet med en vis risiko for de resultater, projektet har skabt. Særligt er det vigtigt at kommunikationsindsatsen mellem kommune og borgere bliver kontinuerlig. På et metodisk niveau har projektet dokumenteret sine metoder og resultater i 'Borgerinddragelse Overblik og metoder', og det er hensigten, at publikationen skal inspirere fremtidige indsatser. På styregruppeniveau ønsker man også, at viden og erfaringer fra projektet bliver anvendt i fremtidige indsatser. Man oplever, at dette allerede sker uformelt, men vi er af den opfattelse, at man fra ledelsesniveau kan understøtte en mere systematisk udbredelse. Monitorering og opfølgning Intern læring har fra begyndelsen af projektet været en prioritet, men det er først i anden halvdel af projektperioden, at ambitionen er indfriet, blandt andet ved ansættelsen af en internlæringskonsulent. Det er vores overordnet vurdering, at man i projektorganisationen har formået at skabe en lærende organisation. Dette er særligt tydeligt i perioden mellem midtvejs- og slutevalueringen, hvor man har suppleret projektholdet med en læringskonsulent og lavet en egentlig systematik for intern videndeling. For læringskonsulenten har det været et centralt punkt at skabe en 'brændende platform' for læring, så han på baggrund af et tydeligt værditilbud til ledelsen har kunne skabe en egentlig systematik for læring i projektet. Dette har adresseret en generel udfordring; at medarbejderne ikke oplever, at der er tid nok til videndeling. Dette har været særligt vigtigt i projektet, hvor der i alt har været forskellige personer involveret, hvoraf hovedparten har bidraget med en mindre andel af et årsværk. Herudover er det en integreret del af projektet at arbejde med input fra målgruppen. Vi har løbende i dette kapitel beskrevet en række af projektets metoder for borgerinddragelse- og dialog. I forlængelse heraf kan vi konstatere, at man har formået at omsætte disse input til handlinger, og dermed skabe reel læring. Dette understreges yderligere af, at projektholder har fulgt op på de anbefalinger, vi afgav i midtvejsevalueringen, og med afsæt heri iværksat konkret tiltag for at justere projektets aktiviteter.

15 SMART SPILDEVAND 9 5 Fremdrift og målopnåelse Afsnittet indeholder en kort fremstilling af status for fremdrift for indsatsen i forhold til henholdsvis aktiviteter/milepæle og outputmål på evalueringstidspunktet. Nedenstående figur præsenterer den overordnede status på fremdrift via fire overordnede indikatorer: fremdrift ift. aktiviteter, tid og budgetforbrug (afsnit 5.1), samt målopnåelse ift. outputmål (afsnit 5.2). Figur 4 Overordnet overblik over fremdrift Fremdrift (aktiviteter) Målopnåelse ift. output Budgetforbrug Tidsforbrug 94% 100% 97% 100% 0% 20% 40% 60% 80% 100% 5.1 Fremdrift ift. aktiviteter og milepæle Afsnittet beskriver kort den overordnede fremdrift i forhold til de aktiviteter og/eller milepæle, som er opsat for indsatsen. Status på evalueringstidspunktet er, at 94 % af de opstillede aktivitetsmål er nået, beregnet som et simpelt gennemsnit. Status på opnåelsen af aktivitetsmålene fremgår af tabellen nedenfor. Figur 5 Status ift. de opstillede aktivitetsmål på evalueringstidspunktet Aktivitetsmål Mål i projektperioden Status Målopnåelse i procent Undersøge muligheder for håndtering af regnvand % Sikre plangrundlag % Dialogmøder og fora med borgere og interessenter i områderne Projektmateriale af opgave til projektering og senere etablering Evaluering og formidling roadshows til andre kommuner % % % Tests af metoder og styring % Evaluering og Final Report % Måling af effekter %

16 10 SMART SPILDEVAND På evalueringstidspunktet har projektet planmæssigt gennemført sine hovedaktiviteter. Dog udestår udarbejdelsen af den afsluttende rapport og tre af de otte målsatte formidlingsaktiviteter, hvilket trækker den gennemsnitlige fremdrift ned. På evalueringstidspunktet er alle aktiviteter dog planlagt og forventes gennemført i foråret Vores konklusion er derfor, at projektet i alt væsentlighed er gennemført som planlagt. Budget- og tidsforbrug Nedenfor præsenteres budget- og tidsforbruget på evalueringstidspunktet. Figur 6 Budget- og tidsforbrug på evalueringstidspunktet Total Forbrug d.d. Procentvist forbrug Budgetforbrug (mio. DKK) 10 9,7 97 % Tidsforbrug (måneder) % Projektet har ved sin afslutning et marginalt underforbug, hvilket skyldes, at omkostningerne til eksterne ydelser har været mindre end ventet. Dette er dog uden betydning for projektets gennemførelse. 5.2 Målopnåelse i forhold til output Afsnittet beskriver kort status i forhold til de outputmål, som er opsat for indsatsen. På evalueringstidspunktet er 100 % af de opstillede outputmål nået, beregnet som et simpelt gennemsnit. Status for de enkelte målsætninger er gengivet i tabellen nedenfor. Figur 7 Status ift. de opstillede outputmål på evalueringstidspunktet Målopnåelse for programindikatorer Målsætning Status på evalueringstidspunktet Procentvis målopnåelse Anslået årligt fald i drivhusgasemissioner (tons CO2-ækvivalenter) Anslået årligt fald i energiforbrug (gigajoule) Antal nye metoder og teknologier for bæredygtig grøn byudvikling % % % Projektet har på evalueringstidspunktet udregnet et effektpotentiale, der svarer til det ønskede niveau og opnår derfor en målopnåelse på 100 % på disse to parametre.

17 SMART SPILDEVAND 11 6 Effektvurdering I dette afsnit præsenterer vi evaluators samlede vurdering af mulighederne for, at indsatsen vil skabe de ønskede effekter eller for at nå specifikke effektmål. Tabellen nedenfor viser fremdriften mod effektmålene for indsatsen. Figur 8 Status ift. de opstillede effektmål på evalueringstidspunktet Målsætning i projektperioden efter projektperioden Status Målopnåelse Årlig fald i energiforbrug (Gigajoule) % Note: - angiver, at projektholdet endnu ikke er begyndt at samle data ind på denne indikator. Der er endnu ikke skabt konkrete effekter af indsatserne i projektet, hvilket skyldes, at de udviklede løsninger først skal realiseres som anlægsprojekter. Vi finder det dog sandsynligt, at man vil kunne skabe den ønskede effekt. Dette skyldes som vi løbende har redegjort for i rapporten at der både er opbakning og finansiering til de udviklede løsninger. Som vi ligeledes har redegjort for, har projektet en væsentlig samfundsmæssig værdi, idet den bidrager til Kolding kommunes klimastrategi, og derved til en bæredygtig håndtering af store mængder regnvand. Det afspejles ikke i projektets effektmål. Vi vurderer, at man lettere ville kunne have synliggjort denne værdi ved at opstille projektspecifikke indikatorer for denne del af indsatsen.

18 12 SMART SPILDEVAND 7 Anbefalinger og læring Her præsenterer vi de vigtigste anbefalinger 1 og læringspunkter, som evaluator vil pege på med baggrund i evalueringen. Punkterne er ikke i prioriteret rækkefølge. Læringspunkt 1 Nærhed til borgerne er afgørende for kommunikation og konstruktivt samarbejde. De to delprojekter, Kolding Slotsø og Brændkær, har på hver deres måde illustreret, at nærhed til borgerne er afgørende for, at der kan skabes ejerskab og engagement. Derfor er Smart Spildevand en god læringscase for, hvordan man i fremtiden kan tilgå processen. Den centrale erkendelse er, at projektet og dets mål som udgangspunkt kan se meget forskelligt ud, når det betragtes fra henholdsvis projektets perspektiv og fra borgernes perspektiv. De mål, der er ønskværdige for projektet, opleves derfor ikke nødvendigvis som ønskværdige for de borgere, der berøres. For borgerne kan et projekt eksempelvis skabe usikkerhed om deres privatøkonomi og det sociale og fysiske miljø omkring deres hjem. Derfor er det en central opgave for projektholder at adressere eventuelle usikkerheder og synliggøre, hvordan projektet skaber værdi for borgerne. Som en af kommunens ledende medarbejdere udtrykker det i et af de gennemførte interview "rejsen fra fagland til borgerland har været projektets vigtigste erkendelse". I den proces har vi identificeret nærhed til borgerne som et afgørende virkemiddel. Dette omfatter først og fremmet en fysisk nærhed, hvor projektets medarbejdere har deltaget på borgermøder, været tilstede i de berørte områder i byen og lavet pop-op-events. Herudover har nærheden til borgerne bestået i at tilrettelægge projektets kommunikation, så den i form og indhold målrettes de relevante borgergrupper. Særligt i Slotsø-området har projektet også arbejdet med beboerambassadører, der aktivt har taget del i dialogen og har fungeret som bindeled mellem projektet og borgerne. Responsen på tiltagene har gennemgående været positivt, og borgerne har oplevet stor grad af tilgængelighed og åbenhed fra projektets side, hvilket har en stærk positiv signalværdi. Projektet har lavet en grundig opsamling på de anvendte metoder i publikationen Borgerinvolvering - Overblik over metoder. Vi anbefaler, at kommende projektledere læser publikationen og anvender hovedgrebene i fremtidige indsatser. Som opmærksomhedspunkter peger vi dog på, at de 83 siders læsning kan være i overkanten for læsere, der ønsker at bruge metoderne i andre sammenhænge. Det kunne derfor være en god ide at udarbejde en pixi-udgave af publikationen, der i overskrifter dokumenterer de centrale metodiske værktøjer. Herudover ved vi erfaringsmæssigt, at en publikation i sig selv ikke skaber læring, 1 Anbefalinger formidles kun i forbindelse med midtvejsevalueringer.

19 SMART SPILDEVAND 13 hvilket gør koblingen til de videnspredningsaktiviteter, der ligger i forlængelse af projektet, afgørende vigtigt for den fremtidige anvendelse af projektets erfaringer. Læringspunkt 2 Set fra et borgerperspektiv er processen kun lige begyndt. På evalueringstidspunktet er den strukturfondsfinansierede del af projektet slut, og projektet har demonstreret, at de forventede effekter vil kunne nås. Det er nu planen at realisere de to planlagte projekter, og set fra borgernes perspektiv er processen derfor kun lige begyndt. Den kommende tid vil anlægsarbejdet få praktisk betydning for borgerne i de to områder, og det er sandsynligt, at de i den forbindelse vil opleve en række gener, der kan fjerne opmærksomheden fra det færdige resultat. Det er efter vores opfattelse afgørende vigtigt, at projektholder fastholder tilstedeværelse og dialog med borgerne, således at borgernes bevidsthed om et værdiskabende resultat af processen fastholdes. Foruden tilstedeværelsen er det efter vores opfattelse vigtigt, at der sker en god overdragelse af projektet fra projektholdet, der indtil nu har være en del af processen, til de medarbejdere, der nu overtager ansvar og opgaver. Læringspunkt 3 Prioriter intern læring og dynamik mellem aktiviteter. Særligt i anden halvdel af projektperioden har projektet styrket sin prioritering af intern læring, hvilket blandt andet er kommet til udtryk ved ansættelse af en læringskonsulent og indførelse af en række systematiske feedbackmekanismer i projektet. Forandringen er interessant, fordi det har styrket præmisserne for at udnytte erfaringerne fra Brændkær til Slotsøen. De to processer var oprindeligt planlagt til at forløbe parallelt, men det var nødvendigt at udskyde projektet ved Slotsøen. Efter vores opfattelse har dette dog været hensigtsmæssigt, da præmisserne for at udnytte erfaringerne fra Brændkærområdet i det mere komplekse Slotsøområde derved er styrket. Efter vores opfattelse giver projektet anledning til tre opmærksomhedspunkter i forbindelse med fremtidige indsatser: Prioriter ressourcer til intern læring, så man systematisk kan justere projektet efter virkeligheden, der uundgåeligt vil udvikle sig uforudsigeligt i løbet af en treårig projektperiode. Dette kan eksempelvis gøres ved at udvikle et egentligt læringsdesign for projektet. Tilrettelæg aktiviteterne med en kronologi, så det er muligt at skabe læring på tværs. Dette kan eksempelvis ske ved at lave en mindre tidsmæssig forskydning mellem aktiviteterne. I mange tilfælde vil det kun være muligt at lave en marginal forskydning, hvilket understreger vigtigheden af at udvælge læringsmål, så der fra start er tydelighed om, hvilke erfaringer man ønsker at udnytte. Projekter af denne type må nødvendigvis ses i et større perspektiv, hvor de unikke muligheder der findes inden for rammerne af projektet eksempelvis til at ansætte en læringskonsulent udnyttes til at opbygge kapacitet i projektholderorganisationen. Derfor er det vigtigt at have et strategisk sigte for, hvordan man ønsker at udnytte viden fra projektet i fremtiden. Erfaringsmæssigt kan vi konstatere, at denne opgave ikke alene løftes ved at dokumentere projektets metoder, men mere aktivt arbejde for at sikre en forankring.

20 14 SMART SPILDEVAND Bilag A Sådan scorer vi OVERORDNET Alle scorer er udtryk for evaluators helhedsvurdering. Vurderingen er baseret på alle indsamlede data, herunder interviews med projekthold, sagsbehandler, partnere og deltagere samt evt. spørgeskemadata og statusrapporter m.v. I tilfælde med større usikkerhed i datagrundlaget foretager vi typisk et konservativt skøn. Projektets implementering vurderes på seks vurderingsparametre med en score fra 1-5, hvilket er præsenteret grafisk i et 'spiderweb' i rapportens afsnit 4.1. Den samlede implementeringsscore er baseret på gennemsnittet af de individuelle scorer for de seks parametre. 1. Implementering (afsnit 4) Samlet Tildeling af scorer for hvert af de seks vurderingsparametre implementeringsscore Score Betydning Gennemsnit Trafiklys 5 Implementeringen er nyskabende og en inspiration for andre. 4 Implementeringen er meget tilfredsstillende. Få forbedringspotentialer. 3,5-5,0 [GRØN] 3 Implementeringen er tilfredsstillende. Visse forbedringspotentialer. 2,6-3,4 [GUL] 2 Implementeringen er utilfredsstillende. Store forbedringspotentialer. 1 Implementeringen er meget kritisabel. 1,0-2,5 [RØD] 2. Målopnåelse (afsnit 5) Vurderingen af projektets målopnåelse er primært baseret på fremdrift ift. outputmål og sekundært fremdrift ift. aktivitetsmål. Scoren tildeles på baggrund af en helhedsvurdering af projektets målopnåelse, men med udgangspunkt i projektets kvantitative målopnåelse på evalueringstidspunktet. Nedenstående tabel over sammenhæng mellem målopnåelse og trafiklysscore er vejledende. Trafiklys Betydning Slutevaluering Midtvejseval. [GRØN] Målopnåelsen er som ønsket eller bedre 95 % + 45 % + [GRØN] Målopnåelsen er lidt under det ønskede niveau % % [GUL] Målopnåelsen er noget under det ønskede niveau % % [RØD] Målopnåelsen er meget under det ønskede niveau % % [RØD] Målopnåelsen er ikkeeksisterende eller tæt på 0 19 % 0 14 % På baggrund af dataindsamlingen (interviews og spørgeskema) fastlægger evaluator en samlet vurdering af muligheden for at realisere det forventede effektpotentiale. 3. Effektvurdering (afsnit 6) Trafiklys [GRØN] [GUL] [RØD] Betydning Det er tilstrækkeligt sandsynliggjort, at projektet vil kunne realisere de forventede effekter. Det er ikke i tilstrækkelig grad sandsynliggjort, at projektet når sine effektmål. Evaluator vurderer dog, at projektet vil realisere mindst halvdelen af de forventede effekter Projektet vurderes ikke at realisere en tilfredsstillende andel af de forventede effekter Effektvurderingen bygger på a) en vurdering af effektfokus i projektets implementering; b) survey-baseret data om projektets succes med at skabe forudsætningerne for effekter; og c) deltagernes kvantitative effektforventninger indsamlet via survey. Deltagernes forventninger omregner vi til et estimeret interval for effektskabelse, som sammenholdes med eventuelle effektmål.