4.3 Erfaringer fra it-projekter

Transkript

1 Risk Management Forlaget Andersen 4.3 Erfaringer fra it-projekter Af Professor Bent Flyvbjerg og Direktør Bjørn Rothaus, Taktika Introduktion Et ud af seks store it-projekter går helt galt. Det er et af resultaterne fra en af de største internationale undersøgelser på området foretaget af forskere fra Oxford Universitet med danske Bent Flyvbjerg i spidsen. Med budget-overskridelser på de værste projekter på i gennemsnit 200% er it-projekter mere tilbøjelige til at køre af sporet end tilsvarende store byggeprojekter. Hvorfor er it-projekter så sårbare? Hvad gør man galt? Denne artikel bringes i samarbejde med Bent Flyvbjerg og ser nærmere på undersøgelsens resultater og konklusioner. Slutteligt giver artiklen en række anbefalinger til, hvordan man kan styre sit it-projekt sikkert i havn. Anbefalinger, som Taktika har udarbejdet i samarbejde med Økonomistyrelsen. Undersøgelsen Undersøgelsen omfatter internationale it-projekter, opstartet i perioden til en samlet værdi af musd. Projekterne har dermed en gennemsnitlig størrelse på 167 musd. Men dette store tal er drevet af nogle få mega-projekter. Således har 50% af projekterne en størrelse på under 5,8 musd. Hovedparten af projekterne er fra den offentlige sektor (92%) og fra USA (83%). Men der er ikke tegn på, at der er væsentlige forskelle i konklusionerne på tværs af sektorer eller geografi. Over halvdelen af projekterne har handlet om ERP systemer og ledelsesinformationssystemer, og 72% er bespoke software (skræddersyet). Undersøgelsen sammenligner oplysninger om projekternes forventede omkostninger og tidsplan samt de realiserede omkostninger og færdiggørelsestidspunkter. Kapitel 4,3. Side 1/7. Januar 2012

2 Resultater Undersøgelsen viser, at den gennemsnitlige budget-overskridelse i de projekter er på 27%. Men dette tal dækker over en særdeles stor spredning i resultaterne. I ét af seks projekter er der nemlig en gennemsnitlig budget-overskridelse på 200% samt en forsinkelse på 70%. Undersøgelsen viser også, at de projekter, der klarer sig bedre end forventet, ikke gør det pga. overraskende positiv udvikling men fordi budgettet bliver skåret undervejs. I denne gruppe projekter er det altså ikke stokastik (tilfældigheder/usikkerhed = risiko), der er afgørende men derimod politik. I den næste gruppe projekter ér det risiko, der har betydning. Det er projekter, der går over budget, men ikke løber fuldstændig ud af kontrol. Disse projekter har 3,6% gennemsnitlig overskridelse og en maksimum overskridelse på 48%. I den sidste gruppe går det helt galt. I 17% af projekterne er budgetoverskridelsen i gennemsnit 200% og forsinkelsen 70%. Undersøgelsen fremhæver Black Swans, som årsagen til disse projekters problemer. Black Swans er hændelser, som er umulige at forudsige og har stor betydning. Konklusionen på disse resultater er, at it-projekter bliver straffet af usikkerhed, når det går skidt, men ikke har glæde af det, når det går godt. Resultatet er drevet af, at it-projekter generelt bygger på en systematisk undervurdering af både omkostninger og tid men også af den usikkerhed, der er knyttet til budgettet. Earned Value Management Den markante skævhed i resultaterne mod store tab har konsekvens for projektstyringen. En af de fremmeste metoder i projektstyring i dag er nemlig Earned Value Management, hvor man lineært fremskriver den hidtidige udvikling. Men denne undersøgelse viser, at hvis man halvvejs inde i projektet har brugt 20% for meget, er det mest rimelige forecast for det endelige ressourceforbrug hverken 20 eller 40% - men derimod en eksponentiel stigning i omkostningerne op til 540%. Effekten er illustreret i figur 1 på næste side. Kapitel 4,3. Side 2/7. Januar 2012

3 Figur 1: Små budgetoverskridelser i starten er et dårligt tegn Eksempler En række eksempler på it-projekter, der gik galt, kan findes i Harvard Business Review september I 2003 ville den verdensomspændende tøj-producent Levi Strauss udskifte en række it-systemer af ældre dato med en SAP-pakke. Levi Strauss hyrede Deloitte til at gennemføre projektet, der var budgetteret til at koste 5 musd. Men hurtigt viste budgettet sig at være utilstrækkeligt. Levi Strauss store kunde, Walmart, krævede, at systemet kunne tale sammen med supply chain management systemet, hvilket gav store udfordringer. Og da man skulle migrere over på det nye system, var man ude af stand til at tage imod ordrer, og man var nødsaget til at lukke tre store distributionscentre i en uge. Projektet endte med at koste i alt 192,5 musd og den ansvarlige it-direktør, David Bergen, måtte trække sig. I Hong Kong var måneders it-problemer i lufthavnen skyld i tabt cargotrafik for 600 musd og hos Hershey s chokoladeproducent medførte et nyt og fejlslagen produktions-system, at man ikke kunne levere guf i tide før Halloween, og man gik glip af 100 musd. Kmart ville i 2000 modernisere sine it-systemer for musd. Men året efter erkendte man, at de medfølgende vedligeholdelsesomkostninger ville blive uforholdsmæssigt dyre. I stedet besluttede man at opdatere de gamle systemer for 600 musd. Det gik så galt i 2002, og de to projekter bidrog til at Kmart gik konkurs og senere blev opslugt af Sears. Skrækeksemplerne er således talrige. Også Airbus i Frankrig og Toll- Kapitel 4,3. Side 3/7. Januar 2012

4 Collect i Tyskland har høstet erfaringer i at tabe milliarder af dollars på it-projekter, hvor integrationer og migreringer går galt. Anbefalinger Hvad kan man så gøre for at undgå i samme suppedas? Bent Flyvbjerg fremhæver fem overvejelser: 1. Benchmarks Hvis man fra start af har de rette forventninger, er der mindre risiko for at blive overrasket. Benchmarking af ens eget projekt imod andre tilsvarende projekter giver en sund forståelse for, hvad man kan forvente og styre efter. 2. Undgå jubeloptimisme 3. Reducer kompleksitet Undersøgelsen viser, at de fleste it-projekters business cases undervurderer omkostninger og tidsplaner mens udbyttet overvurderes. For at reducere dette problem mest muligt, må man i videst mulige omfang bruge objektive inputs. Fx i form af førnævnte benchmarks eller anvende kvantitative teknikker, der kan afsløre, når der er væsentlige negative slagsider til de indmeldte forventninger. To simple tiltag reducerer risiko: Køb standardsystemer off-the-shelf og bryd projektet ned i overskuelige enheder. 4. Reducer størrelse Undersøgelsen viser, at varigheden af projektet har væsentlig større betydning for risikoen end budgettet. Projekter på varighed længere end 2,5 år eksponerer således organisationen for en større grad af uforudsigelighed. Teknologi, organisation og forretningsmæssige vilkår ændrer sig hurtigt og kan gøre forudsætningen for at gennemføre projektet en anden. 5. Projektleder Find en god projektleder! Uerfarne projektledere introducerer en alvorlig risiko i et it-projekt. Det er derfor afgørende at finde en person, der har prøvet det før og som ved, hvordan man benchmarker, undgår jubeloptimisme og reducerer kompleksitet og størrelse. Risk managements rolle Mens projektets kompleksitet, størrelse og projektleder er en ledelsesopgave, kan Risk Management spille en central rolle i forhold at sikre de rette forventninger og undgå jubeloptimisme. Bent Flyvbjerg nævner, at kvantitative teknikker kan være med til at sikre negativ slagside i forventningerne. Disse teknikker kan eksempelvis være successiv kalkulation eller Monte Carlo simulering. Her beror man bl.a. på trepunktsestimater, som ofte giver anledning til, at man opdager, når man har budgetteret med et scenarie, der ligger tæt op ad best case forventningen. Risiko i risikoanalysen Risikoanalyserne vil dog altid være afhængig af de subjektive vurderinger, der foretages. Der er derfor risiko for, at risikoanalysen ikke giver et Kapitel 4,3. Side 4/7. Januar 2012

5 rimeligt billede af projektets usikkerhed. Taktika har derfor i samarbejde med Økonomistyrelsen udviklet en række tips til, hvordan man objektivt kan teste om der er risiko i risikoanalysen. Det er vigtigt at pointere, at testen ikke reflekterer projektets risiko. Det skal projektets business case gerne i sig selv gøre. Testen har derimod til formål at indikere, om business casen giver anledning til usikkerhed om projektets evne til leve op til business casen. Der kan således godt blive tale om et solidt og værdifuldt projekt med en dårlig test. Dette reflekterer, at der er usikkerhed om projektets kan eksekveres så effektivt som muligt ikke nødvendigvis om projektet er en god ide eller ej. Testen er som udgangspunkt et dialogværktøj. Den kan bruges af ledelser til at identificere mulige problemstillinger i business cases og som redskab i dialogen med projektledelsen. Samlet udfaldsrum for udgifterne Det første indtryk af business casens evne til at reflektere projektets risiko er bredden på udfaldsrummet for udgifterne. Der er selvfølgelig ikke en korrekt bredde, da den underliggende risikoanalyse i givet fald havde været overflødig. Et meget smalt udfaldsrum for de samlede udgifter kan således godt være et rimeligt resultat af, at projektets risiko faktisk er lille. Men smalle udfaldsrum kan også indikere, at den underliggende risikoanalyse undervurderer projektets risiko. Bent Flyvbjergs undersøgelse viser dog, at problematiske projekter godt kan ende med udgifter, der er mindst to til tre gange større end oprindeligt budgetteret. Som udgangspunkt bør en risikojusteret business case derfor tillade, at projektet i de sjældne tilfælde (worst case scenariet) ender med udgifter, der er mindst tre gange større end de budgetterede ikke-risikojusterede udgifter. Risikoanalyser, hvor worst case scenariet vurderes til at mindre end 25% større end det forventede, bør derimod give anledning til et kritisk blik. Vægten af største post Vægten af enkeltstående antagelser Store enkeltstående poster på både udgifts- og gevinstsiden kan være et tegn på to ting. For det første indikerer det, at business casen ikke er tilstrækkeligt detaljeret og måske derfor, at projektledelsen ikke har tilstrækkeligt indblik i projektets kritiske udgifter og gevinster. For det andet kan store enkeltstående poster indikere, at der er lav grad af risikoudjævning i projektet. Et eksempel på en stor post kunne være, når den udgør mere end 25% af de samlede udgifter eller gevinster. Mens hvis den største post udgør mindre end 5% er der større tryghed for, at business er tilstrækkeligt specificeret. I mange tilfælde er der ikke enkeltstående poster, der vejer tungt i den samlede business case. Til gengæld kan mange mindre poster være dre- Kapitel 4,3. Side 5/7. Januar 2012

6 vet af én central antagelse. Eksempelvis kan driftsomkostningen pr. år være relativ lille. Men alle årenes driftsomkostning er drevet af den samme antagelse om størrelsen på driftsomkostningen. Ender driftsomkostningen derfor med at være større i et år, vil der derfor også være tendens til, at driftsomkostningen er større i andre år. Dette reducerer risikospredningen i projektet og bør give anledning til opmærksomhed. Baggrund og kilder for estimater Grundlaget for estimaterne er en indikator for usikkerheden i business casen. De mest solide estimater er baseret på faste og dokumenterbare størrelser. På udgiftssiden kan det eksempelvis være indhentede fastpristilbud, mens det på gevinstsiden kan være total-eliminering af processer, hvis omkostning kan dokumenteres ved regnskabsførte historiske udgifter. Risikovurderingerne kan i sagens natur ikke være lige så konkrete som de ikke-risikojusterede estimater. Solide risikovurderinger er typisk bygget på et datadrevet historisk grundlag. Eksempelvis kan man henvise til de historiske udsving i inflation, timelønninger eller ressourceforbrug på tilsvarende projekter. I mange tilfælde findes der dog ikke historiske data, der er repræsentative for de inkludere risici. Her bruger man ekspertbaserede vurderinger af de potentielle udfaldsrum og man bør se en klar systematik i de antagelser, som risikovurderingerne hviler på. Risikovurderinger uden forklaringer og kilder skaber usikkerhed om den samlede business case. Sammenhæng mellem risikoanalyse og business case Interne afhængigheder Sandsynlighedsvurderinger Det er ønsket, at business casen skal reflektere den samlede viden om projektet og planen for effektiv gennemførsel af projektet. Herunder bør der også være en sammenhæng mellem de risici man har identificeret i den kvalitative risikoanalyse og risikojusteringen i business casen. Har man eksempelvis identificeret en risiko for, at en teknologisk løsning ikke virker, kan man reflektere dette i business casen ved at indarbejde usikkerhed om ressourceforbruget i den tilhørende fase. Dette punkt er også en indikator for, om der er tilstrækkeligt samarbejde mellem institutionens projektfolk (som typisk varetager den kvalitative risikoanalyse) og institutionens økonomiafdeling (som ofte er tovholder på business casen). I forlængelse af ovenstående punkt bør business casen også reflektere projektets interne afhængigheder. Hvis enkelte faser i projektet er afhængige af hinanden bør dette fremgå af risikovurderingerne. Hvis sandsynlighedsvurderingerne er meget generelle og uspecifikke er det tegn på stor usikkerhed om risikoen. Det kan være fuldt forståeligt, da risikovurderinger ikke er en eksakt videnskab. Men det skaber en naturligt øget usikkerhed for den samlede business case. Eksempelvis vil en mekanisk +/- 20% risikovurdering indikere usikkerhed knyttet til estima- Kapitel 4,3. Side 6/7. Januar 2012

7 tet, mens mere præcise og eventuelt asymmetriske vurderinger specielt hvis det er underbygget med forklaringer giver indtryk af større indsigt i risikovurderingen. Det skal dog her sikres, at der ikke skabes incitament til at give indtryk af større sikkerhed i risikovurderingerne end hvad tilfældet er. Tidsplan Aggressiviteten i tidsplanen kan være en god indikator for usikkerheden i business casen. Er der eksempelvis indsat milepæle kort tid efter det aktuelle tidspunkt eller hvis gevinster indregnes kort tid efter afslutning på faser, kan det være tegn på stor optimisme i business casen. Du kan læse mere om Taktikas og Økonomistyrelsens anbefalinger til risikojusteringer af business cases på Konklusion Offentlig og private organisationer står i de kommende år overfor massive investeringer i it, der skal sikre effektiviseringer og konkurrenceevne. Det er afgørende, at disse investeringer bliver succesfuldt udvalgt og gennemført. Men undersøgelsen fra Oxford University kan godt vække til bekymring. Der skal i hvert fald andre boller på suppen, hvis de hidtidige præstationer skal ændres. Heldigvis er der konkrete bud på, hvordan præstationer og resultater kan forbedres. Forbedret risikoanalyse og risikostyring er et af dem, hvilket dermed danner et vægtigt argument for, at risikostyringskompetencer skal være en integreret del af alle projekter. It-projekterne var i fokus i undersøgelsen fra Oxford. Den samme konklusion kan gøres om anlægsprojekter, virksomhedsopkøb, udviklingsprojekter og andre kritiske organisatoriske forandringsprojekter. Kapitel 4,3. Side 7/7. Januar 2012