Evalueringsmodeller Vejledning

Transkript

1 Evalueringsmodeller Vejledning

2 SIDE 2 KAPITEL 1 INDLEDNING Evalueringsmodeller Vejledning Konkurrence- og Forbrugerstyrelsen Carl Jacobsens Vej Valby Tlf [email protected] On-line ISBN Vejledningen er udarbejdet af Konkurrence og Forbrugerstyrelsen

3 SIDE 3 EVALUERINGSMODELLER Indhold Kapitel 1 Indledning Gode evalueringsmodeller er godt købmandskab Anbefalede evalueringsmodeller... 6 Kapitel 2 Krav og principper for brug af evalueringsmodeller Krav til kriterier og vægtning i udbud og licitationer Overordnede principper for brug af evalueringsmodeller Offentliggørelse af evalueringsmodellen Kapitel 3 Pointmodeller Pointgivning for kvalitative kriterier Omregning af priser til point Vurdering af pointgivningen Samlet vægtning af point for pris og kvalitet mv Kapitel 4 Prismodeller Point for kvalitative kriterier Omregning af point til priser Prismodel med fast beløb for omregning af kvalitative point Prismodel med fast procentvis vægtning af kriterierne Kapitel 5 Supplerende oplysninger om evalueringsmodeller Forskellige regler om tildelingskriterier Vægtning Brug af model til evalueringen Offentliggørelse af evalueringsmodellen Muligheden for at ændre en offentliggjort evalueringsmodel Indretning af pointskalaer Relative eller separate vurderinger Modeller, som delvist baseres på indhold i tilbud... 42

4 SIDE 4 KAPITEL 1 INDLEDNING Kapitel 1 Indledning 1.1 Gode evalueringsmodeller er godt købmandskab En evalueringsmodel skal understøtte, at konkurrencen om de offentlige opgaver er lige og samtidig bidrage til at sikre, at markedet kommer med skarpe tilbud, som matcher ordregiverens ønsker. Blandt ordregivere kan der være i tvivl om, hvordan evalueringsmodeller kan udformes og anvendes. Konkurrence- og Forbrugerstyrelsen har derfor lavet denne vejledning, som blandt andet forklarer, hvad man som ordregiver skal overveje, når man laver en evalueringsmodel. Formålet med vejledningen er at styrke ordregiveres brug af evalueringsmodeller, så de sikrer en skarp konkurrence, når de udbyder opgaver. En evalueringsmodel bruges til at systematisere vurderingen af de enkelte tilbud og til at lave en samlet vurdering af kvalitet og pris i tilbuddene. Denne vejledning fokuserer på situationen, hvor en ordregiver i et udbud bruger tildelingskriteriet det økonomisk mest fordelagtige tilbud. Vejledningen er derfor relevant for ordregivere, som ønsker at evaluere både pris og kvalitet i deres udbud. I praksis handler evalueringsmodeller mere om ordregiverens sans for godt købmandskab end om ordregiverens udbudsjuridiske indsigt. Vejledningen er derfor bygget op omkring en række eksempler og gode råd. Det vigtigste budskab er, at en evalueringsmodel skal være konkret egnet til det konkrete udbud. Der findes ikke én model, som kan bruges i alle situationer. Fokus i vejledningen er derfor på de generelle principper og metoder, som ordregivere bør anvende i evalueringsmodeller. Kernen i vejledningen er således ikke at gennemgå de forskellige evalueringsmodeller, der tidligere har været brugt eller har været vurderet af Klagenævnet for Udbud. Den grundige juridiske udredning på området, herunder gennemgang af udvalgte klagenævnskendelser, findes derfor i vejledningens afsluttende kapitel. I boks 1.1 er vejledningens væsentligste indhold opsummeret. Vejledning kan bruges til evaluering af udbud både over og under udbudsdirektivernes tærskelværdi, idet den praktiske håndtering af evalueringsprocessen er ens. Vejledningen baserer sig på udbudsreglernes overordnede principper og den praksis, der følger af kendelser fra Klagenævnet for Udbud. Målgruppen for vejledningen er offentlige indkøbere og udbudskonsulenter i alle typer af offentlige myndigheder og offentligretlige organer.

5 SIDE 5 EVALUERINGSMODELLER Boks 1.1 Evalueringsmodeller i praksis» En evalueringsmodel skal være egnet til brug i det konkrete udbud. Der findes ikke én model, som er egnet i alle situationer.» I udbudsmaterialet skal ordregiveren oplyse, hvilke kriterier der bruges til at udpege det økonomisk mest fordelagtige tilbud, og hvordan ordregiveren relativt vil vægte kriterierne. Det fremgår af udbudsdirektivet og tilbudslovens afsnit (jf. kapitel 2, afsnit 1).» Ordregivere kan vægte kriterierne på forskellige måder (jf. kapitel 2, afsnit 1): - Ved procentvise vægtning af kriterierne i den samlede evaluering. - Ved en metode, hvor vægtprocenter bruges som faktorer, der i beregningerne ganges med point. - Ved andre metode, hvor det oplyses, hvordan kriterierne relativt bliver vægtet.» En evalueringsmodel skal helt overordnet (jf. kapitel 2, afsnit 3) - være egnet til at identificere det økonomisk mest fordelagtige tilbud, - være gennemsigtig, og - sikre en ligebehandling af tilbudsgiverne.» Ordregivere bør overveje, om evalueringsmodellen skal offentliggøres samtidig med udbudsmaterialet. Offentliggørelse giver som hovedregel bedre konkurrence og skarpere tilbud, men reducerer også ordregivers fleksibilitet i evalueringen (jf. kapitel 2, afsnit 4).» Ved evalueringen af tilbuddene skal man som ordregiver overholde det, man har oplyst i udbudsmaterialet, om kriterier, vægtning og evalueringsmodellen. Det betyder fx, at man bør bruge samme skalaer til evaluering af priser og kvalitative kriterier (jf. kapitel 3, afsnit 1).» I vurderingen af kvalitative forhold bør ordregivere anvende en skala, der indeholder et passende antal trin, hvor der er lige store spring mellem trinnene (jf. kapitel 3, afsnit 1).» Der findes mange forskellige typer af evalueringsmodeller. De to væsentligste typer er pointmodeller og prismodeller.» Når der bruges pointmodeller, skal der (jf. kapitel 3) laves - en vurdering af, hvilke point hvert tilbud skal have for opfyldelse af kvalitative kriterier, - en omregning af priser i tilbuddene til point, - et tjek af, om point er givet på nogenlunde samme måde for de forskellige kriterier, og - en sammenvægtning af point for kvalitative kriterier og point for priser.» Når der bruges prismodeller, skal der (jf. kapitel 4) laves - en vurdering af, hvilke point hvert tilbud skal have for opfyldelse af kvalitative kriterier, - en model for omregningen af point for kvalitative kriterier til priser i overensstemmelse med det oplyste om vægtningen af kriterierne, og - en opgørelse af en samlet evalueringspris.

6 SIDE 6 KAPITEL 1 INDLEDNING 1.2 Anbefalede evalueringsmodeller I vejledningen anbefales fire forskellige evalueringsmodeller: To pointmodeller og to prismodeller. I pointmodeller omregnes priserne i tilbuddene til point, som i den samlede vurdering vægtes sammen med point for de kvalitative kriterier. I prismodeller sker det omvendte. Her omregnes point for kvalitative kriterier til priser, som kan lægges sammen med tilbudspriserne i den samlede vurdering. I kapitel 3 anbefales to lineære pointmodeller. I begge modeller skal ordregiveren fastsætte et spænd mellem minimumpoint og maksimumpoint, så modellen kan rumme den forventede spredning i tilbudspriserne. I den ene pointmodel gives maksimumpoint til laveste pris, mens minimumpoint gives til laveste pris plus X procent. I den anden pointmodel tages der udgangspunkt i en målpris, som gives middelpoint. Minimum- og maksimumpoint fastsættes til målprisen plus/minus X %.

7 SIDE 7 EVALUERINGSMODELLER De to prismodeller, der anbefales i kapitel 4, kan ikke på samme måde illustreres i figurer. I den ene prismodel sker omregningen af point for kvalitative kriterier til priser ved brug af et fast omregningsbeløb. Det kunne fx være et beløb på kr. pr. point lavere end maksimumpoint. Hvis et tilbud fx får 5 point på en skala med maksimum på 8 point, er tilbuddet 3 point lavere end maksimumpoint, og omregningsbeløbet bliver derfor på kr. for dette tilbud. Omregningsbeløbet lægges sammen med tilbudsprisen til en samlet evalueringspris. Vinderen er tilbuddet med laveste samlede evalueringspris, jf. følgende eksempel: A B C D E Priser (kr.) Kvalitet (point) Omregningsbeløb for kvalitet (kr.) Samlet evalueringspris I den anden prismodel fastsættes en fast procentvis vægtning af kriterierne. Det kunne fx være, at priser vægter 60 pct. og kvalitet 40 pct. Beregningen af et omregningsbeløb for de kvalitative point sker herefter i modellen på følgende måde:» Først udregnes, hvor meget de samlede omregningsbeløb skal udgøre for alle tilbuddene. Hvis der fx er afgivet tilbud med samlede tilbudspriser på 6 mio. kr. (som skal svare til 60 pct.), skal de samlede omregningsbeløb for de kvalitative kriterier være på 4 mio. kr. (svarende til 40 pct.).» Dernæst opgøres, hvor mange point hvert tilbud er lavere end maksimumpoint i vurderingen af kvalitet. Hvis der som i eksemplet nedenfor på en skala med 8 som maksimumpoint er givet hhv. 1, 2, 4, 5 og 8 point, er disse fem tilbud hhv. 7, 6, 4, 3, og 0 point lavere end maksimum. Samlet har de fem tilbud fået 20 point lavere end maksimumpoint.» Omregningsbeløbet kan herefter opgøres til kr. pr. point (svarende til 4 mio. kr. divideret med 20).» Til sidst lægges omregningsbeløbet for hvert tilbud sammen med tilbudsprisen, og tilbuddet med laveste samlede evalueringspris udpeges som det økonomisk mest fordelagtige. A B C D E I alt Priser (kr.) % Kvalitet (point) Omregningsbeløb for kvalitet (kr.) % Faktisk vægt Samlet evalueringspris %

8 SIDE 8 KAPITEL 2 KRAV OG PRINCIPPER FOR BRUG AF EVALUERINGSMODELLER Kapitel 2 Krav og principper for brug af evalueringsmodeller I kapitel 2 gennemgås de overordnede krav og principper, som gælder for modeller til evalueringer af, hvilket tilbud der er det økonomisk mest fordelagtige. Formålet er at give et kortfattet overblik over de vigtigste forhold, som ordregivere skal være opmærksom på, når de laver evalueringsmodeller. 2.1 Krav til kriterier og vægtning i udbud og licitationer Der gælder stort set samme regler om tildelingskriterier efter udbudsdirektivet og tilbudslovens afsnit I. Udbyderen kan vælge mellem to tildelingskriterier: Laveste pris eller det økonomisk mest fordelagtige tilbud. Når tildelingskriteriet er laveste pris, er det kun prisen, der må tages i betragtning, og der er normalt ikke brug for en model til evaluering af tilbuddene. Tildelingskriteriet laveste pris er derfor ikke omtalt yderligere i denne vejledning. Er tildelingskriteriet det økonomisk mest fordelagtige tilbud, fastsætter ordregiveren normalt flere kriterier, 1 som anvendes i en samlet evaluering af tilbuddene. I denne vejledning er der især fokus på, hvordan man som ordregiver kan lave en samlet model, hvor tilbuddene bliver bedømt efter flere forskellige kriterier. Ordregivere skal ved EU-udbud og udbud efter tilbudslovens afsnit I oplyse, 2» hvilke kriterier, der vil blive brugt til at udpege det økonomisk mest fordelagtige tilbud, og» hvordan ordregiveren relativt vil vægte kriterierne. Et af kriterierne vedrører normalt 3 den økonomiske del af tilbuddet. Det kan fx være en samlet tilbudspris, en totaløkonomisk opgørelse af de samlede omkostninger, en samling af en række forskellige priser for forskellige produkter osv. I denne vejledning anvendes den samlede tilbudspris som det økonomiske kriterium. 1 Disse kriterier til identificering af det økonomisk mest fordelagtige tilbud betegnes ofte som underkriterier. I denne vejledning omtales de dog som kriterier, kvalitative kriterier eller økonomiske kriterier. 2 Ved annonceringer efter tilbudslovens afsnit II og køb af tjenesteydelser omfattet af udbudsdirektivets bilag II B, der har grænseoverskridende interesse, er der dog alene pligt til at oplyse, hvilket tildelingskriterium der vil blive anvendt. For køb af B-ydelser uden grænseoverskridende interesse er det klare udgangspunkt også, at tildelingskriteriet skal offentliggøres på forhånd. Ordregivere er efter disse regler som udgangspunkt frit stillet mht. tildelingskriterium og eventuelle underkriterier, men de valgte kriterier skal være saglige, objektive og ikke-diskriminerende og dermed egnede til at identificere det bedste tilbud. For at sikre en skarp konkurrence om opgaven bør ordregiver dog lige som efter de generelle regler i udbudsdirektivet og tilbudslovens afsnit I oplyse, hvilke kriterier der anvendes til evalueringen, og hvordan de bliver vægtet mv. 3 Ordregiveren kan også vælge at låse prisen fast, så der alene konkurreres på de kvalitative kriterier. Denne mulighed er dog ikke yderligere omtalt i denne vejledning, hvor der er fokus på netop de evalueringsmodeller, som kan bruges til at sammenvægte tilbudspriser og point for kvalitative kriterier.

9 SIDE 9 EVALUERINGSMODELLER Når det økonomisk mest fordelagtige tilbud skal udpeges, skal der også indgå et eller flere kriterier, som omhandler andre forhold end de økonomiske. Disse kriterier kaldes for kvalitative kriterier og kan fx omhandle kvalitet, teknisk værdi, æstetisk og funktionsmæssig karakter, miljøegenskaber, kundeservice, teknisk bistand, leveringstid osv. Det er evalueringen af tilbuddene på både økonomiske og kvalitative kriterier, der tilsammen er afgørende for, hvilket tilbud der er det økonomisk mest fordelagtige. Ud over at oplyse, hvilke kriterier der bruges i evalueringen, skal man som ordregiver også oplyse, hvordan man relativt vil vægte kriterierne. 4 Det kan gøres på tre forskellige måder, hvor man som ordregiver oplyser:» Den procentvise vægtning af kriterierne, der vil blive anvendt i den samlede evaluering.» En metode, hvor procentvise vægte bruges som beregningsfaktorer ved, at vægtprocenter ganges med point.» Andre metoder for, hvordan man relativt vil vægte kriterierne. De tre muligheder er forklaret i eksempler i boks Boks 2.1 Eksempler på, hvad man kan oplyse om vægtning Procentvis vægtning af kriterier i den samlede vurdering Et eksempel kunne her være, at en ordregiver i et udbudsmateriale oplyser, at pris indgår med 60 pct. og kvalitet med 40 pct. i den samlede evaluering af, hvilket tilbud der er det økonomisk mest fordelagtige Når vægtningen for den samlede vurdering er oplyst, skal evalueringsmodellen indrettes, så vægtningen bliver overholdt i evalueringen. Procentvis vægtning som beregningsfaktorer Ordregiveren oplyser i dette eksempel, at de point, som tilbuddene tildeles for pris og kvalitet, vil i den samlede evaluering blive ganget med følgende faktorer: Point for pris ganges med 60 pct. og point for kvalitet ganges med 40 pct. I dette eksempel er der oplyst en metode for, hvordan ordregiveren relativt vil vægte kriterierne. Den faktiske procentvise vægtning af kriterierne afhænger i denne model af indholdet i de modtagne tilbud. 6 Andre metoder for vægtning Et eksempel kunne her være, at en ordregiver oplyser følgende om metoden for, hvordan ordregiveren relativt vil vægte kriterierne i evalueringen: Den samlede evaluering sker ved, at point for kvalitet omregnes til et omregningsbeløb, som lægges sammen med tilbudsprisen i en opgørelse af en samlet evalueringspris. Vinderen er tilbuddet 4 Hvis ordregiveren ikke kan foretage en vægtning, og kan påvise det, kan ordregiveren dog undtagelsesvist nøjes med en prioritering af kriterierne, jf. udbudsdirektivets artikel 53, stk. 2, 3. afsnit, og tilbudslovens 8, stk De forskellige muligheder for vægtning er yderligere forklaret i afsnit Se et eksempel herom i boks 5.1. Hvis der gives nogenlunde lige mange point for de forskellige kriterier, vil beregningsfaktorer og faktisk vægtning være nogenlunde ens. Men hvis der derimod er stor forskel på, hvor mange point der gives i evalueringen af forskellige kriterier, vil det også føre til stor forskel mellem de vægte, der bruges som beregningsfaktorer, og den faktiske vægtning.

10 SIDE 10 KAPITEL 2 KRAV OG PRINCIPPER FOR BRUG AF EVALUERINGSMODELLER med laveste samlede evalueringspris. Kvalitet vurderes på en pointskala fra 0-8 point. Omregningen af point for kvalitet til et omregningsbeløb sker med et fast beløb på kr. for hvert point lavere end maksimumpoint, jf. følgende tabel: Point for kvalitet Maks. point minus point Omregningsbeløb I dette eksempel har ordregiver oplyst den samlede metode for evalueringen og dermed også, hvordan ordregiveren relativt vil vægte kriterierne. Også i denne model afhænger den faktiske procentvise vægtning af indholdet i de modtagne tilbud. Man kan således som ordregiver vælge, om vægtprocenter alene skal anvendes som faktorer i beregningerne, eller om de skal overholdes i den samlede evaluering af kriterierne til identificering af, hvilke tilbud der er det økonomisk mest fordelagtige. Det anbefales, at ordregiveren sikrer, at det fremgår klart af udbudsbetingelserne, om vægtprocenter alene vil blive anvendt som faktorer, der ganges med point i beregningen, eller om vægtprocenter vil omhandle kriteriernes vægt i den samlede vurdering. Ud over disse muligheder for at oplyse vægtning i procent kan der også anvendes andre metoder for, hvordan man som ordregiver relativt vil vægte kriterierne. Tilbudsgiverne skal således på forhånd have oplyst, hvilke kriterier deres tilbud bliver vurderet på, og hvordan kriterierne bliver vægtet i den samlede vurdering. 2.2 Overordnede principper for brug af evalueringsmodeller Når en ordregiver skal lave en samlet vurdering af økonomiske og kvalitative kriterier, er det oftest hensigtsmæssigt at bruge en evalueringsmodel. 7 I en evalueringsmodel sker der en systematisk vurdering af de enkelte tilbud. Desuden bruges modellen til at sammenvægte økonomiske kriterier opgjort i kroner med vurderinger af kvalitative kriterier opgjort i point. Denne vejledning har netop fokus på, hvordan man kan lave systematiske vurderinger og sammenvægtninger af pris og kvalitet. En evalueringsmodel 8 skal» være egnet til at identificere det økonomisk mest fordelagtige tilbud,» være gennemsigtig, og» sikre en lige behandling af tilbudsgiverne. 7 Det er dog ikke et krav, at der anvendes en model til evalueringen, og ordregivere kan derfor også anvende sproglige evalueringer, jf. omtalen i afsnit Disse principper gælder, uanset om udbuddet er over eller under udbudsdirektivets kontraktværdi.

11 SIDE 11 EVALUERINGSMODELLER Det vigtigste for en evalueringsmodel er, at den er egnet til at identificere det økonomisk mest fordelagtige tilbud. Modellens egnethed skal ses i forhold til den konkrete situation og den spredning, der kan forventes i priser og på de kvalitative kriterier i de konkrete tilbud. Modellen skal således være egnet til at identificere det konkret mest fordelagtige tilbud. Det er illustreret i et eksempel i boks 2.2. Boks 2.2 Modellen skal være egnet i forhold til det, der kan forventes i den konkrete situation Eksemplet i figuren nedenfor er lavet for at illustrere, hvad der menes med en models egnethed til at afspejle forventede forskelle i tilbuddene. For at kunne lave et godt udbud og en egnet evalueringsmodel, skal ordregiveren have et vist kendskab til markedet. Kendskabet til markedet er blandt andet grundlag for ordregiverens forventninger til tilbuddene. Hvis ordregiveren forventer, at tilbuddene vil fordele sig nogenlunde som skitseret ved punkterne i figuren, bør ordregiveren lave en model, som er egnet til af afspejle denne forventede spredning i tilbuddene. Det kan fx gøres ved at indrette minimum og maksimum på skalaer for kvalitet og priser som skitseret i figuren. I eksemplet laves evalueringen ud fra to kriterier kvalitet og pris. Når man laver en pointskala til vurderingen af kvaliteten, skal man sørge for, at den kvalitet, man forventer i tilbuddene, kan rummes inden for skalaen. Men man skal også sørge for, at forskelle i kvalitet, som ikke er ubetydelige, også vil blive afspejlet i pointforskelle. Pointskalaen skal derfor indrettes, så den kan afspejle den forventede spredning i kvaliteten. I figuren er minimumpoint og maksimumpoint sat lidt uden for det forventede, således at skalaen også vil kunne anvendes, hvis der kommer tilbud med lidt dårligere eller lidt bedre kvalitet end forventet. Det samme gælder for den model, som skal bruges til at evaluere priserne. I eksemplet i figuren sker evalueringen af priserne i en pointmodel, hvor priser omregnes til point. De forventede tilbudspriser skal kunne rummes inden for modellen. Beløbet for maksimumpoint bør sættes, så det svarer til den laveste forventede pris eller et beløb lidt lavere end det. Tilsvarende bør beløbet for minimumpoint sættes, så det svarer til den højest forventede pris eller et beløb lidt højere end det. Ved at sætte beløbene for minimum- og maksimumpoint lidt uden for det forventede sikres, at modellen også kan anvendes ved lavere eller højere priser end forventet.

12 SIDE 12 KAPITEL 2 KRAV OG PRINCIPPER FOR BRUG AF EVALUERINGSMODELLER Der kan ikke laves præcise retningslinjer for, hvor langt minimum- og maksimumpoint kan sættes uden for det forventede. Men skalaerne skal være egnede til at identificere det økonomisk mest fordelagtige tilbud. Skalaerne må derfor ikke kunne rumme kvalitet eller beløb, som det er usandsynligt, at tilbuddene vil indeholde. De bør heller ikke kunne rumme kvalitet eller beløb, der er meget højere eller meget lavere end det forventede. Hvis en skala går langt ud over det forventede, vil der kun blive brugt en mindre del af skalaen, når tilbuddene er som forventet. Det vil kunne indebære, at modellen ikke er egnet til at identificere det økonomisk mest fordelagtige tilbud. Som det fremgår af eksemplet, kan man som ordregiver ikke bruge den samme evalueringsmodel, hver gang man sender en opgave i udbud. Man skal lave en ny vurdering af, hvad man kan forvente i tilbuddene i den konkrete situation. Og ud fra denne vurdering skal man vælge en evalueringsmodel, som er egnet til at identificere det økonomisk mest fordelagtige tilbud i den konkrete situation. Ud over, at modellen skal være egnet, skal de overordnede principper om gennemsigtighed og ligebehandling af tilbudsgivere respekteres. Der skal være gennemsigtighed i, hvad tilbuddene bliver vurderet på, og at det oplyste om vægtning af kriterierne bliver overholdt. Det skal også sikres, at tilbudsgiverne behandles lige. Klagenævnet for Udbud har i en række forskellige kendelser truffet afgørelser, som vedrører evalueringsmodeller. Nævnet har i kendelserne netop set på, om modellerne har været egnet i den konkrete situation, og om principperne om gennemsigtighed og ligebehandling har været overholdt. Den praksis, der følger af nævnets kendelser, er omtalt i kapitel 5. I det følgende omtales kort nogle få af de principper, som følger af denne praksis. Det, man som ordregiver har oplyst om vægtning af kriterierne i udbudsmaterialet, skal overholdes i den konkrete evaluering af tilbuddene. Det har en række virkninger for, hvordan skalaer for pointgivningen kan indrettes. Fx bør man som ordregiver ikke tildele point efter en rangordning af tilbuddene, og man bør heller ikke anvende forskellige skalaer for forskellige kriterier. Man skal også være meget opmærksom på, hvilke virkninger det vil have for vægtningen i den samlede vurdering, hvis man fx kun bruger mindre dele af skalaer eller forskellige dele af skalaer for forskellige kriterier. Klagenævnet har også i flere kendelser taget stilling til, om tilbuddene kan vurderes i forhold til hinanden, eller om de skal vurderes efter, i hvilket omfang de opfylder kriterierne. Det følger her af nævnets praksis, at tilbuddene på de kvalitative kriterier skal vurderes i forhold til opfyldelsen af kriteriet og altså ikke relativt i forhold til hinanden. Det vil typisk ske ved, at ordregiver laver en pointskala for det kvalitative kriterium og herefter laver en separat vurdering af, hvor mange point hvert tilbud skal have for opfyldelsen af kriteriet. Tilbudspriserne kan i modsætning hertil normalt vurderes i sammenligninger. Det skyldes, at priser er fastsat i kroner, som er en entydig enhed. Det er derfor muligt i en sammenligning præcist at udregne, hvor meget de forskellige priser adskiller sig fra hinanden. 2.3 Offentliggørelse af evalueringsmodellen I udbudsmaterialet skal ordregiveren som nævnt oplyse, hvilke kriterier evalueringen bliver baseret på, og hvordan ordregiveren vil vægte kriterierne. Der er ikke krav om, at der skal oplyses yderligere om evalueringsmodellen i udbudsmaterialet.

13 SIDE 13 EVALUERINGSMODELLER Hvis man som ordregiver har lavet en god markedsundersøgelse eller har et godt kendskab til markedet, vil man være godt rustet til at kunne lave en egnet evalueringsmodel, som der ikke bliver behov for at justere. I det tilfælde vil det være en fordel at offentliggøre evalueringsmodellen sammen med udbudsmaterialet. Ved at offentligøre modellen skabes der fuld gennemsigtighed omkring, hvordan ordregiveren vil lave evalueringen. Det giver de bedste rammer for konkurrencen og gør det nemmere for tilbudsgivere at lave skarpe tilbud, som matcher ordregiverens ønsker med hensyn til pris og kvalitet. Og hvis ordregiveren gennemfører evalueringen præcist som oplyst, kan tilbudsgivere ikke komme med berettigede klager over evalueringen. 9 Når en ordregiver derimod ikke har et godt kendskab til markedet, kan det være vanskeligt på forhånd at lave en egnet evalueringsmodel. Det kan også være tilfældet, hvis ordregiveren har specificeret opgaven ved brug af funktionskrav, hvor det overlades til tilbudsgiverne at komme med fx innovative måder at løse opgaven på. Der kan i disse situationer blive behov for at justere modellen. Hvis modellen er offentliggjort i udbudsmaterialet, må ordregiveren ikke lave justeringer i modellen efter modtagelsen af tilbuddene. Når der kan være behov for efterfølgende justeringer, kan det derfor være hensigtsmæssigt, at evalueringsmodellen ikke er offentliggjort på forhånd. Selvom man vælger ikke at offentliggøre sin evalueringsmodel, anbefaler Konkurrence- og Forbrugerstyrelsen, at ordregivere allerede i forbindelse med offentliggørelsen af udbudsmaterialet lægger sig fast på og beskriver en foretrukken model. Med en foretrukken model forstås den model, der vil blive anvendt, med mindre modellen viser sig at være konkret uegnet til evalueringen af de indkomne tilbud. Man skal således som ordregiver efterfølgende kunne dokumentere overvejelserne bag den foretrukne model og behovet for en eventuel justering af modellen. 9 Det er her en forudsætning, at modellen er egnet til at kunne identificere det økonomisk mest fordelagtige tilbud, sådan som det i øvrigt gennemgås i vejledningen. Når der er tale om en egnet model, som er offentliggjort, og som anvendes som oplyst, burde der således ikke kunne forekomme berettigede klager over evalueringen.

14 SIDE 14 KAPITEL 3 POINTMODELLER Kapitel 3 Pointmodeller I en pointmodel omregnes priser til point, så de kan sammenvægtes med point for kvalitative kriterier i en samlet vurdering. Et alternativ til pointmodeller er prismodeller. I prismodeller omregnes point for kvalitative kriterier til priser, som kan lægges sammen med tilbudspriserne. To forskellige eksempler på prismodeller gennemgås i kapitel 4. Der findes også andre muligheder. I kapitel 5 omtales muligheden for at lave en ren sproglig evaluering, som kan være et alternativ, når det kan være vanskeligt at lave en egnet evalueringsmodel. I mange udbud benyttes pointmodeller til evalueringen af, hvilket tilbud der er det økonomisk mest fordelagtige. I pointmodeller skal der laves» en vurdering af, hvilke point hvert tilbud skal have for opfyldelse af kvalitative kriterier,» en omregning af priserne i tilbuddene til point,» et tjek af, om point er givet på nogenlunde samme måde for de forskellige kriterier, og» en sammenvægtning af point for kvalitative kriterier og point for priser. I dette kapitel ses der nærmere på, hvordan man kan udforme pointmodeller, og hvad man skal være opmærksom på, når man anvender pointmodeller. 3.1 Pointgivning for kvalitative kriterier Kvalitative kriterier kan omhandle mange forskellige vilkår og egenskaber, som fx kvalitet, miljøegenskaber, leveringsvilkår etc. De kvalitative kriterier kan ikke opgøres præcist på en objektiv og entydig skala (kvantitativt). I stedet skal det vurderes, i hvilket omfang tilbuddene opfylder de opstillede kriterier (kvalitativt). Vurderingen må ikke laves som en sammenligning, hvor tilbuddene gives point i forhold hinanden. For hvert enkelt tilbud skal der laves en separat vurdering af, hvor mange point tilbuddet skal have. I vurderingen bruges en pointskala, hvor det fremgår, hvad der skal til for at opnå de forskellige point på skalaen. Ved udformningen af pointskalaen skal det sikres, at skalaen er egnet til bedømmelse af kriteriet. Skalaen skal derfor dække over» et spænd, som ikke er for lille til at sikre en tilstrækkelig nuancering, så relevante forskelle i tilbuddene kan afspejles i pointgivningen, og» et spænd, som ikke er for stort til at kunne gøre det let at konstatere præcist, hvilket pointtal et tilbud skal have. I praksis bør skalaen derfor som hovedregel have et spænd på mindst 5 point og højst point. Hvis skalaen har færre point, vil det være vanskeligt i tilstrækkelig grad at få pointgiv-

15 SIDE 15 EVALUERINGSMODELLER ningen til at afspejle relevante forskelle. Modsat vil det på en skala med fx 20 point være svært præcist at vurdere, hvorvidt et tilbud skal have 13 eller 14 point. Et eksempel på en pointskala fremgår af tabel 3.1. Tabel 3.1 Eksempel på pointskala til bedømmelse af kvalitative kriterier Point Gives for 8 Bedst mulige opfyldelse af kriteriet 7 Glimrende/fortrinlig opfyldelse af kriteriet 6 God/meget tilfredsstillende opfyldelses af kriteriet 5 Over middel i opfyldelse af kriteriet 4 Middel/tilfredsstillende opfyldelse af kriteriet 3 Under middel i opfyldelse af kriteriet 2 Mindre tilfredsstillende opfyldelse af kriteriet 1 Utilstrækkelig opfyldelse af kriteriet 0 Dårlig opfyldelse af kriteriet (fx konditionsmæssigt tilbud, der alene opfylder ufravigelige krav) Skalaen skal være egnet til at kunne afspejle den spredning, der kan forventes at være i tilbuddene. Det kan fx sikres ved, at minimumpoint gives til det, der i tilbuddene forventes at være den dårligste opfyldelse af kriteriet. Tilsvarende kan maksimumpoint gives til det, der i tilbuddene forventes at være den bedste opfyldelse af kriteriet. Eventuelt kan minimumpoint og maksimumpoint sættes lidt uden for det forventede, så skalaen også kan anvendes, hvis der kommer tilbud med lidt dårligere eller lidt bedre kvalitet end forventet, jf. boks 2.2. Når man efterfølgende modtager tilbuddene, kan det vise sig, at der kun bliver anvendt en mindre del af skalaen, fordi der er en mindre spredning mellem tilbuddene end forventet. Det er der ikke noget i vejen for. Når der er større spredning i tilbuddenes opfyldelse af kvalitative kriterier, bør der anvendes en større del af eller hele pointskalaen. 10 Det kan anbefales at bruge en skala, hvor der er lige store spring mellem hvert point. 11 Det indebærer fx, at en middel opfyldelse af kriteriet gives middelpoint. Det er illustreret i eksemplet i tabel 3.1. En middel opfyldelse af kriteriet gives 4 point, som svarer til middelværdien på skalaen fra 0-8 point. En skala med lige store spring mellem pointene har en lineær karakter. Det er en stor fordel, da der i mange tilfælde også anvendes en lineær model for omregningen af priser til point, jf. nedenfor. Når der er brugt samme lineære skala for forskellige kriterier, bliver det nemmere 10 Se eventuelt også forklaringen herom i boks 2.2 i kapitel Klagenævnet her i kendelsen af 8. oktober 2013, Ansaldo STS S.p.a. mod Banedanmark, anført, at der ikke må være vilkårlige spring mellem trinene på skalaen.

16 SIDE 16 KAPITEL 3 POINTMODELLER af sammenvægte point i den samlede evaluering. Det kan generelt anbefales, at ordregivere bruger samme skala for alle kriterier. 3.2 Omregning af priser til point Pointene for de kvalitative kriterier skal i den samlede vurdering vægtes sammen med priserne for at finde det økonomisk mest fordelagtige tilbud. For at kunne gøre det laves der i pointmodeller en omregning af priserne til point. Da priser er fastsat i kroner, som er en entydig enhed, kan omregningen ske i en sammenligning, hvor det opgøres, hvor meget de forskellige priser adskiller sig relativt fra hinanden. Det kan gøres på flere forskellige måder. I de oftest anvendte modeller gives den laveste pris maksimumpoint, mens de øvrige priser gives point i forhold til, hvor meget de adskiller sig fra laveste pris. En anden mulighed kan være at give point ud fra afvigelser i forhold til en målpris/targetpris. Modeller, hvor laveste pris gives maksimumpoint I mange udbud anvendes pointmodeller, hvor den laveste pris gives maksimumpoint, og hvor der herefter udregnes point for priser i de øvrige tilbud i forhold til den laveste pris. Sådanne modeller kan udformes på forskellige måder, afhængigt af» hvordan den pris, der udløser minimumpoint, fastsættes (fx som laveste pris plus X % eller som en maksimumpris for, hvad ordregiveren højst kan betale), og» hvordan point fastsættes mellem laveste pris og den pris, der udløser minimumpoint (fx ved en lineær model). Ved de konkrete valg herom skal man sikre, at modellen er egnet til at identificere det økonomisk mest fordelagtige tilbud. Modellen skal således være egnet til at afspejle de forskelle og spredninger i priser, som der kan forventes at være i de konkrete tilbud. I de fleste situationer vil det kunne afspejles fint i en lineær model, hvor laveste pris gives maksimumpoint, og hvor minimumpoint udløses ved laveste pris plus X %:

17 SIDE 17 EVALUERINGSMODELLER Figur 3.1 Lineær model, hvor laveste pris plus X % gives minimumpoint Hvis der kun er meget få tilbud, fx blot to eller tre tilbud, bør man være påpasselig, hvis man anvende en model som denne, der er meget afhængig af indholdet 12 i et af tilbuddene (fx prisen i lavest tilbud). Man bør i givet være omhyggelig med at sikre sig, at modellen i den konkrete situation er både egnet, gennemsigtig og sikrer ligebehandling af tilbudsgiverne. I de fleste situationer vil modellen dog kunne anvendes. Modellen er desuden nem at anvende til at omregne priser til point, og den er også nem at forklare i udbudsmaterialet. Det vanskelige ved modellen er at få fastsat den procentsats X, som skal udløse minimumpoint, så modellen bliver egnet til at afspejle de forventede spredninger i priserne i det konkrete udbud. Ud over, at procentsatsen X skal fastsættes, så den forventede spredning 13 i tilbudspriserne afspejles i modellen, kan der ikke opstilles faste retningslinjer for fastsættelsen af X. Man vil dog have en god fornemmelse for, hvilken spredning der kan forventes i tilbudspriserne, hvis man har et godt kendskab til markedet, eller hvis man har lavet en god markedsundersøgelse forud for udbuddet. Det er illustreret i følgende eksempel. 12 Se den mere udførlige omtale af problemstillingen i afsnit Den forventede spredning i tilbudspriserne vil ofte også være meget afhængig af, hvordan udbuddet er specificeret, herunder om der fx er stillet mange eller få mindstekrav, om der efterspørges en standardvare eller en innovativ opgaveløsning specificeret ved funktionskrav osv.

18 SIDE 18 KAPITEL 3 POINTMODELLER Boks 3.1 Eksempel på lineær model, hvor skalaen slutter ved laveste pris plus X % 14 Ordregiveren forventer på baggrund af en grundig markedsundersøgelse, at priserne i tilbuddene vil ligge mellem laveste pris og en pris, der er omkring 30 procent højere end laveste pris. Der kan dog komme tilbud med lavere priser end forventet, som vil føre til en større prisspredning end forventet. Skalaen bør derfor ikke være for snæver, da den i så fald ikke vil være egnet til at afspejle relevante spredninger i priser (den vil eksempelvis ikke afspejle relevant spredning, hvis priser på fx 35 % og 50 % over laveste pris begge tildeles minimumpoint). Ordregiveren vælger på denne baggrund en lineær model, hvor minimumpoint udløses ved laveste pris plus 50 %. 15 Modellen er illustreret i følgende eksempel, hvor point udregnes på en skala fra 0-8 point: Tilbud A B C D E Pris Prisforskel Laveste pris + 6,25 pct pct. + 23,2 pct pct. Omregning til point 8 7 5,6 4,29 0 Som det fremgår, indebærer modellen i dette eksempel, at hvert point svarer til en prisforskel på 6,25 procentpoint. Et alternativ til at anvende laveste pris plus X % kan fx være at lade pointskalaen slutte ved en maksimumpris, 16 som ordregiver kan eller vil betale. I givet fald vil der være behov for på forhånd at tage stilling til, om tilbud, som indeholder højere priser end denne maksimumpris, skal» tildeles minimumpoint (det vil kunne indebære, at pointskalaen bliver for snæver til at afspejle relevante spredninger i priserne), eller» opfattes som ikke konditionsmæssige (det skal i givet fald klart fremgå af udbudsmaterialet og vil eventuelt også kunne have andre virkninger). 17 Point udregnes i forhold til målpris/targetpris Hvis man som ordregiver vil undgå at bruge en model med udgangspunkt i laveste pris, kan et alternativ være at tage udgangspunkt i en på forhånd fastlagt pris, som ofte betegnes som en målpris eller en targetpris. Modellen bygges op omkring denne målpris, og priserne i tilbuddene gives point ud fra, hvor meget de afviger fra målprisen. 14 Matematisk kan pointene i denne type af model udregnes efter følgende formel: Point = maksimumpoint (maksimumpoint/x pct.) * (pris laveste pris)/laveste pris. 15 Hvis ordregiveren er bekymret for, at X procenten kan vise sig at være fastsat for lavt (dvs. så der vil være tilbudspriser højere end laveste pris plus X pct.), kan der evt. tilføjes følgende i beskrivelsen af modellen: Hvis der fremkommer tilbud med priser, der er højere end laveste pris plus X pct., vil minimumpoint i stedet blive givet til højeste pris eller lignende. I givet fald bør man også overveje, om modellen bliver for afhængig af indholdet i tilbuddene, jf. afsnit En variant heraf kunne være at fastsætte slutningen på skalaen ved brug af en målpris plus X pct., sådan som Metroselskabet I/S gjorde iht. det oplyste i klagenævnets kendelse af 8. januar 2013, MET 4JV Cityringen mod Metroselskabet I/S. 17 Det vil evt. kunne have virkninger for, hvilke kvalitets- og prisniveauer tilbudsgiverne vil byde ind med mv.

19 SIDE 19 EVALUERINGSMODELLER En sådan model kan fx udformes således:» Målprisen gives et pointantal svarende til middel på pointskalaen.» Øvrige priser gives point i forhold til afvigelser fra målprisen (lineært).» Minimum- og maksimumpoint fastsættes til målprisen plus/minus X %. Modellen er grafisk illustreret i følgende figur. Figur 3.2 Lineær model med udgangspunkt i målpris Modellen har nogle af de samme fordele som den lineære model, hvor laveste pris plus X % gives minimumpoint, jf. ovenfor. Modellen er således også både nem at anvende og at forklare. Modellen indeholder dog to udfordringer, som kan være vanskelige at håndtere. Den første er at få fastsat en målpris, som kommer til at ligge nogenlunde midt i spændet af tilbudspriserne. Det kan være vanskeligt på forhånd at ramme rigtigt, medmindre man har et godt kendskab til markedet. Den anden udfordring er at få fastsat den procentsats X, som skal udløse maksimum- og minimumpoint, så modellen bliver egnet til at afspejle forventede spredninger i tilbudspriserne. Det er også her nemmere at ramme rigtigt, hvis man har et godt kendskab til markedet, eller har lavet en god markedsundersøgelse. Samlet kan det være vanskeligt forud for et udbud at fastsætte målpris og procentsatsen X, så modellen bliver egnet til at afspejle de forventede prisspredninger i det konkrete udbud. En mulighed kan derfor være ikke at offentliggøre målprisen i udbudsmaterialet, så der er mulighed for efterfølgende af justere målprisen, hvis tilbuddene viser sig at have en anden spredning end forventet.

20 SIDE 20 KAPITEL 3 POINTMODELLER 3.3 Vurdering af pointgivningen Hvis man som ordregiver har oplyst en procentvis vægtning af kriterierne, som skal overholdes i den samlede evaluering, 18 jf. boks 2.1, er næste skridt at tjekke, om pointene for de kvalitative kriterier og for priserne er fastsat på nogenlunde samme måde, så de umiddelbart kan vægtes sammen. Der foreligger ikke præcise retningslinjer for, hvordan man skal tjekke, om pointene er fastsat på nogenlunde samme måde. Men hvis pointgivningen fx opfylder følgende tjekliste, kan man i langt de fleste situationer gå ud fra, at man har givet point for de kvalitative kriterier og priserne på nogenlunde samme måde. Figur 3.3 Tjekliste af, om point er givet på nogenlunde samme måde 1. Der er anvendt samme pointskala for kvalitative kriterier og omregningen af priser. 2. Der er lige store spring mellem pointene på pointskalaen, dvs. den har en lineær karakter. 3. Den anvendte pointskala har for hvert kriterium været egnet til at kunne afspejle den forventede spredning i tilbuddene. 4. Hvis der har været stor spredning i tilbuddene indenfor et kriterium, har der været anvendt en stor del af eller hele pointskalaen. 5. Der er ikke anvendt forskellige dele af skalaen for forskellige kriterier. Tjeklisten indeholder anbefalinger, som gør det nemmere at sammenvægte pointene for kvalitative kriterier og priser således, at den oplyste vægtning af kriterierne kan overholdes i den samlede vurdering. De to første tjekpunkter handler om, at det er meget nemmere at lave en god evalueringsmodel, hvis der bruges samme lineære skala for alle kriterierne. Det tredje og fjerde tjekpunkt omhandler, at pointgivningen skal ske efter modeller, som er egnede til at identificere det økonomisk mest fordelagtige tilbud, sådan som det er gennemgået ovenfor. For hvert enkelt kriterium skal skalaen være egnet til at kunne afspejle den forventede spredning, så den samlede model også kommer til at afspejle den sammenhæng mellem kvalitet og pris, der kan forventes at være i tilbuddene. Det femte og sidste tjekpunkt om ikke at anvende forskellige dele af skalaen for forskellige kriterier bør man altid tjekke op på, når man har oplyst en procentvis vægtning af kriterierne, som skal overholdes i den samlede evaluering. Hvis man har anvendt forskellige dele af 18 Hvis man i stedet har oplyst en anden metode for, hvordan man som ordregiver relativt vil vægte kriterierne, jf. boks. 2.1, er der ikke på samme måde behov for at sikre, at bestemte procentvise vægte overholdes i den samlede vurdering. Der er derfor heller ikke nødvendigvis behov for at foretage en tilsvarende vurdering af pointgivningen. Men uanset dette vil det dog også i disse tilfælde være hensigtsmæssigt at overholde i hvert fald de første fire tjekpunkter, da det vil kunne medvirke til at sikre, at den samlede model er egnet til at identificere det økonomisk mest fordelagtige tilbud i det konkrete tilfælde.

21 SIDE 21 EVALUERINGSMODELLER skalaen for forskellige kriterier, og man herefter går direkte videre med at sammenvægte point, kan man ikke overholde vægtningen. Resultatet er, at den faktiske vægtning bliver forrykket i forhold til den oplyste vægtning. Når der er anvendt forskellige dele af skalaen for forskellige kriterier, er der derfor behov for at lave en korrektion, før man kan gange pointene med de oplyste vægtprocenter i den samlede vurdering. Et eksempel på en sådan korrektion, er forklaret i eksemplet i boks 3.2. Boks 3.2 Eksempel, hvor der er anvendt forskellige dele af skalaen for forskellige kriterier I et udbud blev det oplyst, at kvalitet ville indgå med 50 % og priserne med 50 % i den samlede evaluering af, hvilket tilbud der er det økonomisk mest fordelagtige. Der blev anvendt skalaer fra 0-8 point for både kvalitet og priserne. Ordregiveren forventede, at der ville blive budt ind med ret forskellige kombinationer af kvalitet og pris, dvs. både dyre tilbud med høj kvalitet og billige tilbud med lavere kvalitet. Disse forventninger om stor spredning i tilbuddene var afspejlet i skalaerne for både kvalitet og priser. Tilbuddene viste sig ikke at indeholde en så stor spredning som forventet. Der blev således ikke afgivet tilbud med god kvalitet og høje priser. Kvalitetsmæssigt var indholdet i tilbuddene på fra lidt over middel og nedefter i forhold til det forventede. Det var tilsvarende afspejlet i lave priser, der lå i den nederste halvdel af spændet for de forventede prisers størrelse. Tilbud A B C D E Point i alt Point for kvalitet Point for priser 4,67 6,23 6,41 7, I eksemplet er der anvendt forskellige dele af skalaen for kvalitet og priser. Det er afspejlet i, at der samlet kun er givet 18 point for kvalitet, mens der er giver 33 point for priser. Hvis man herefter ganger pointene med den oplyste vægtprocent (50/50), uden at foretage korrektion, vil det give følgende resultat. Vægt x point for A B C D E Point i alt Faktisk vægt Kvalitet 2,50 2,00 2,00 1,50 1,00 9,00 35 % Priser 2,34 3,12 3,21 3,85 4,00 16,50 65 % I alt 4,84 5,12 5,21 5,35 5,00 25, % Når pointene i dette eksempel ganges direkte sammen med den oplyste vægtprocent, bliver resultatet en markant anderledes faktisk vægtning (35/65) end den oplyste vægtning i udbudsbetingelserne (50/50). For at kunne overholde den oplyste vægtning bliver man nødt til at lave en korrektion, hvor fx pointene for de kvalitative kriterier korrigeres, så de kommer til at svare til en anvendelse af samme del af skalaen, som er brugt for priserne. Korrektionen af point for kvalitet kan fx foretages vha. følgende formel: tallet i formlen svarer til den opnåede maksimumscore i pointgivningen for priser. Hvis den højest opnåede pointscore for priser har en anden værdi, skal denne anden værdi benyttes i formlen. Bemærk i øvrigt, at den anførte formel alene er et eksempel, og at korrektionen derfor også kan laves vha. andre formler eller på andre måder. Ved valg af korrektionsformel skal man sikre sig, at den samlede model inkl. korrektionsformel i den konkrete situation er egnet til at identificere det økonomisk mest fordelagtige tilbud.

22 SIDE 22 KAPITEL 3 POINTMODELLER Korrigeret point = 8 * (tilbuddets point/højeste point) I eksemplet vil det give følgende resultat: A B C D E Point i alt Point for kvalitet Omregnet til korrigerede point 8 6,4 6,4 4,8 3,2 28,8 Når de korrigerede point ganges sammen med den oplyste vægtning, giver det følgende resultat. Vægt x point for A B C D E Point i alt Faktisk vægt Kvalitet 4,00 3,20 3,20 2,40 1,60 14,40 47 % Priser 2,34 3,12 3,21 3,85 4,00 16,50 53 % I alt 6,34 6,32 6,41 6,25 5,60 30, % Den faktiske vægtning (47/53) er nu tættere på den oplyste vægtning i udbudsbetingelserne (50/50). Som det fremgår af eksemplet, kan testen af, at der ikke er anvendt forskellige dele af skalaen for forskellige kriterier, fx foretages ved at se på, om der er givet nogenlunde samme samlede pointantal for hvert kriterium. Der vil i praksis kun sjældent være givet helt præcist samme samlede pointantal for hvert af de forskellige kriterier, som indgår i den samlede vurdering, og der er heller ikke noget krav om dette. Men der gælder et krav om, at tilbudsevaluering sker i overensstemmelse med den vægtning, som er oplyst i udbudsbetingelserne. Det kan fx være opfyldt, når de samlede point for hvert kriterium har nogenlunde samme niveau. Mindre forskelle i de samlede pointantal for de forskellige kriterier vil her afspejle, at der har været forskellige spredninger i tilbuddene på de forskellige kriterier. Eksemplet i boks 3.2 illustrerer i øvrigt også, at der vil kunne være risiko for at udpege en forkert vinder af udbuddet, hvis der ikke foretages en korrektion for at sikre overholdelsen af den oplyste vægtning, når der er anvendt forskellige dele af skalaen i pointgivningen for forskellige kriterier. 3.4 Samlet vægtning af point for pris og kvalitet mv. Den sidste og nemmeste del af tilbudsevalueringen er at sammenvægte pointene i overensstemmelse med det, der er oplyst i udbudsbetingelserne. Det kan ske,» når der er givet point for hvert tilbuds opfyldelse af de kvalitative kriterier,» når priserne er omregnet til point, og» når den oplyste procentvise vægtning - skal anvendes som beregningsfaktorer, eller - skal overholdes i den samlede vurdering, og at det samtidig er sikret, at point for forskellige kriterier er fastsat på nogenlunde samme måder, jf. afsnit 3.3. Når det er opfyldt, kan vægtningen laves ved at gange point med vægtprocent, sådan som det er forklaret i eksemplet i boks 3.3.

23 SIDE 23 EVALUERINGSMODELLER Boks 3.3 Eksempel på samlet vægtning af point for forskellige kriterier I et udbud er der givet point på en skala fra 0-8 point for både to kvalitative kriterier (kvalitet og leveringsvilkår) og for priserne: A B C D E Kvalitet Leveringsvilkår Pris 4,65 8,00 6,43 1,62 2,41 Hvis pris fx skal vægte 55 %, kvalitet 30 % og leveringsvilkår 15 %, kan vægtningen ske ved at gange pointene med vægtprocenten: Vægt A B C D E Kvalitet 30 % 1,50 0,00 1,20 2,40 1,80 Leveringsvilkår 15 % 0,60 0,45 0,15 1,05 1,20 Pris 55 % 2,56 4,40 3,54 0,89 1,33 I alt 100 % 4,66 4,85 4,89 4,34 4,33 I dette eksempel er tilbud C således det økonomisk mest fordelagtige tilbud.

24 SIDE 24 KAPITEL 4 PRISMODELLER Kapitel 4 Prismodeller I pointmodellerne i kapitel 3 omregnes priserne til point, så de kan sammenvægtes med point for de kvalitative kriterier. En anden mulighed er at omregne pointene for de kvalitative kriterier til priser, som kan lægges sammen med tilbudsprisen i den samlede evaluering. Det gøres i de prismodeller, der omtales i dette kapitel. En fordel ved prismodeller er, at omregningen af point til priser sker efter en objektiv og automatisk model, hvor det oplyste om vægtningen af kriterierne altid vil blive overholdt. Hvis man som ordregiver offentliggør modellen på forhånd, vil der desuden være en gennemsigtighed i evalueringen, som normalt også vil sikre en ligebehandling af tilbudsgiverne. En anden fordel ved prismodeller er, at det kun er det kvalitative indhold i tilbuddene, som skal omregnes i evalueringen. I pointmodeller omregnes både det økonomiske og det kvalitative indhold i tilbuddene til point, som kan sammenvægtes i den samlede vurdering. I prismodeller indgår tilbudspriserne uden omregning i vurderingen. Der er derfor ikke risiko for, at den økonomiske del af tilbudsevalueringen kan være i strid med reglerne, når der anvendes prismodeller. Det skal understreges, at da de fleste evalueringer er foretaget ved brug af pointmodeller, foreligger der ikke nogen praksis fra klagenævnet eller lignende vedrørende prismodeller. Eksemplerne på prismodeller nedenfor er derfor ikke funderet på et afprøvet juridisk grundlag. Det bør man være opmærksom på, hvis man overvejer at anvende en prismodel. Der foreligger heller ikke evalueringer af praktiske erfaringer med brug af prismodeller eller lignende. De første gange man som ordregiver bruger en prismodel, bør man derfor være ekstra omhyggelig med at sikre sig, at modellen i den konkrete situation er både egnet, gennemsigtig og sikrer ligebehandling af tilbudsgiverne. Det gælder ikke mindst, når der er afgivet meget få tilbud. 20 Når der bruges prismodeller, skal der laves» en vurdering af, hvilke point hvert tilbud skal have for opfyldelse af kvalitative kriterier,» en model for, hvordan point for kvalitative kriterier omregnes til priser i overensstemmelse med det oplyste om, hvordan man vil vægte kriterierne, og» en opgørelse af en samlet evalueringspris til identificering af det økonomisk mest fordelagtige tilbud. I dette kapitel gives to eksempler på, hvordan prismodeller kan udformes. 20 Denne problemstilling er mere udførligt omtalt i afsnit 5.8.

25 SIDE 25 EVALUERINGSMODELLER 4.1 Point for kvalitative kriterier I prismodeller er første skridt en pointgivning for tilbuddenes opfyldelse af de kvalitative kriterier. Der skal her laves pointskalaer for de kvalitative kriterier, som kan afspejle de forventede forskelle i tilbuddene, og der skal foretages separate vurderinger af hvert enkelt tilbuds opfyldelse af kriterierne. Det skal også her understreges, at man som ordregiver meget nøje skal sikre sig, at pointskalaen er egnet til at afspejle den spredning, der kan forventes at være i de konkrete tilbud. Og når der i praksis viser sig at være den forventede spredning i tilbuddene, bør det meste af eller hele skalaen også anvendes i pointgivningen. Problemstillingerne herom er således helt de samme, som er gennemgået i afsnit 3.1. Hvis man som ordregiver vælger at anvende mere end ét kvalitativt kriterium, bør man efterfølgende lave en vurdering af pointgivningen. Det kan ske ved brug af en tjekliste, som er næsten den samme som i kapitel 3. Figur 4.1 Tjekliste for pointgivningen, når der anvendes flere kvalitative kriterier 1. Der er anvendt samme pointskala for de forskellige kvalitative kriterier. 2. Der er lige store spring mellem pointene på pointskalaen, dvs. den har en lineær karakter. 3. Den anvendte pointskala har for hvert kriterium været egnet til at kunne afspejle den forventede spredning i tilbuddene. 4. Hvis der har været stor spredning i tilbuddene indenfor et kriterium, har der været anvendt en stor del af eller hele pointskalaen. 5. Der er ikke anvendt forskellige dele af skalaen for forskellige kriterier. Hvis der er et eller flere punkter i tjeklisten, som ikke er opfyldt, bør man som ordregiver nøje overveje, 21 om evalueringsmodellen opfylder de overordnede betingelser om at være egnet til at identificere det økonomisk mest fordelagtige tilbud, at være gennemsigtig og at sikre en lige behandling af tilbudsgiverne. 4.2 Omregning af point til priser Næste skridt er at lave en prismodel, hvor pointene for de kvalitative kriterier omregnes til priser. Denne omregning skal foretages i overensstemmelse med det, man som ordregiver har oplyst i udbudsmaterialet om, hvordan man vil vægte kriterierne. 21 Da der ikke foreligger praksis fra klagenævnet eller lignende vedrørende prismodeller, kan det være vanskeligt at give præcis vejledning i, hvordan eventuelle problemer i forhold til tjeklisten kan håndteres. Det vil fx være vanskeligt på forhånd at kunne pege på, hvordan det kan sikres, at prismodeller, hvor der anvendes forskellige dele af skalaerne for forskellige kvalitative kriterier, samlet set er egnede til identificering af det økonomisk mest fordelagtige tilbud.

26 SIDE 26 KAPITEL 4 PRISMODELLER Det kan nemmest gøres på en af følgende to måder:» Der fastsættes et fast beløb for omregningen af kvalitative point til priser. Det kunne fx være et beløb på kr. pr. point lavere end maksimumpoint. Hvis et tilbud så får 5 point på en skala med maksimum på 8 point, er tilbuddet 3 point lavere end maksimumpoint, og omregningsbeløbet bliver derfor på kr. for dette tilbud. Omregningsbeløbet lægges sammen med tilbudsprisen til en samlet evalueringspris. Vinderen er tilbuddet med laveste samlede evalueringspris. I denne model kommer den faktiske procentvise vægtning af kriterierne derfor til at afhænge af de modtagne tilbud.» Der fastsættes en fast procentvis vægtning af kriterierne. Det kunne fx være, at priser vægter 60 pct. og kvalitet 40 pct. Herefter udregnes først, hvor meget de samlede omregningsbeløb skal udgøre for alle tilbuddene. Hvis der fx er afgivet tilbud med samlede tilbudspriser på 6 mio. kr. (svarende til 60 pct.), skal de samlede omregningsbeløb for de kvalitative kriterier være på 4 mio. kr. (svarende til 40 pct.). Dernæst opgøres, hvor mange point hvert tilbud er lavere end maksimumpoint i vurderingen af kvalitet, og disse lægges sammen for alle tilbuddene. Hvis de fx i alt er 20 point lavere end maksimumpoint, bliver omregningsprisen kr. pr. point (svarende til 4 mio. kr. divideret med 20). Herefter lægges omregningsbeløbet sammen med tilbudsprisen, når tilbuddet med laveste samlede evalueringspris skal udpeges. I denne model afhænger beløbet for omregning af kvalitative point til priser således af de modtagne tilbud. De to modeller er mere udførligt forklaret i eksempler nedenfor i boks 4.1 og 4.2. Når man som ordregiver skal vælge, hvilke af de to modeller man vil anvende, skal man således tage stilling til, om man på forhånd vil fastsætte enten omregningsbeløbet eller vægtprocenten. Hvis man fastsætter omregningsbeløbet, vil den faktiske vægtning i procent blive bestemt i modellen, afhængigt af de faktiske priser og kvalitet i tilbuddene. Hvis man derimod vælger at fastlægge vægtprocenten, vil omregningsbeløbet blive fastlagt i modellen på baggrund af de modtagne tilbud. 4.3 Prismodel med fast beløb for omregning af kvalitative point Den første model, hvor der fastsættes et fast beløb for omregningen af kvalitative point til priser, er forklaret i følgende eksempel. Boks 4.1 Eksempel på prismodel med fast beløb for omregning af kvalitative point En ordregiver har et godt kendskab til markedet og ved derfor præcist, hvor meget ekstra han vil betale for bedre kvalitet. I udbudsbetingelserne oplyser ordregiveren, at følgende model vil blive anvendt i evalueringen af de indkomne tilbud:» Den samlede evaluering vil ske ved, at point for kvalitet omregnes til et omregningsbeløb, som lægges sammen med tilbudsprisen i en opgørelse af en samlet evalueringspris. Vinderen er tilbuddet med laveste samlede evalueringspris.» Kvalitet vurderes på en pointskala fra 0-8 point.» Omregningen af point for kvalitet til et omregningsbeløb sker med et fast beløb på kr. for hvert point lavere end maksimumpoint, jf. følgende tabel: Point for kvalitet Maks. point minus point Omregningsbeløb

27 SIDE 27 EVALUERINGSMODELLER Ordregiveren modtog fem tilbud, som i overensstemmelse med det oplyste i udbudsbetingelserne evalueres på følgende måde: A B C D E I alt Priser (kr.) % Kvalitet (point) Omregningsbeløb for kvalitet (kr.) % Faktisk vægt Samlet evalueringspris % Tilbud B er det økonomisk mest fordelagtige tilbud, da det har den lavest samlede evalueringspris. Evalueringsprisen på kr. anvendes kun i evalueringen. Kontrakten med tilbudsgiver B indgås til tilbudsprisen på kr. I eksemplet har ordregiveren fremlagt hele den samlede evalueringsmodel og dermed også, hvordan den relative vægtning af kriterierne vil foregå. Ordregiveren har ikke oplyst vægtprocenter for kriterierne. De faktiske vægtprocenter afhænger i denne model af priser og kvaliteten i de modtagne tilbud. I eksemplet resulterede modellen i, at priserne kom til at vægte 87 pct. og kvalitet med 13 pct. Når den samlede evalueringsmodel er oplyst på forhånd i udbudsbetingelserne, har tilbudsgiverne fuld gennemsigtighed i, hvordan tilbudsevalueringen vil foregå, og dermed hvordan den relative vægtning af pris og kvalitative kriterier vil foregå i evalueringen. Ordregiveren må derfor antages at have opfyldt udbudsreglers krav om at oplyse den relative vægtning af kriterierne. 22 Ordregiver, som overvejer at anvende en model som denne, bør samtidig være opmærksomme på, at når den samlede evalueringsmodel er offentliggjort i udbudsbetingelserne, kan den ikke ændres efter modtagelsen af tilbuddene, jf. afsnit Prismodel med fast procentvis vægtning af kriterierne I boksen nedenfor er den anden model, hvor der i stedet fastsættes en fast procentvis vægtning af kriterierne, forklaret. Det skal understreges, at en model som denne ikke umiddelbart er en almindeligt anvendt og forventet model for tilbudsgiverne. Det anbefales derfor, at modellen offentliggøres i udbudsbetingelserne, så tilbudsgiverne har fuld indsigt i, hvordan deres tilbud vil blive bedømt Det bemærkes, at der ikke foreligger afgørelser fra Klagenævnet for Udbud vedr. sådanne prismodeller. Det anførte her (og i kapitel 4 i øvrigt) er derfor alene udtryk for Konkurrence- og Forbrugerstyrelsens opfattelse af reglerne. 23 Denne anbefaling skal ses i lyset af, at klagenævnet på s. 182 i kendelsen af 8. oktober 2013, Ansaldo STS S.p.a. mod Banedanmark, har anført: Hvis der anvendes en helt usædvanlig og for tilbudsgiverne upåregnelig metode, skal denne oplyses på forhånd i udbudsbetingelserne. Selv om modellen efter Konkurrence- og Forbrugerstyrelsens opfattelse ikke kan betegnes som helt usædvanlig eller upåregnelig, vil det dog efter styrelsens opfattelse af flere forskellige grunde være hensigtsmæssigt at offentliggøre modellen på forhånd.

28 SIDE 28 KAPITEL 4 PRISMODELLER Boks 4.2 Eksempel på prismodel med fast procentvis vægtning af kriterierne En ordregiver oplyser i udbudsbetingelserne, at priser indgår med 75 pct. og kvalitet med 25 procent i vurderingen af det økonomisk mest fordelagtige tilbud. Kvalitet vurderes først på en pointskala fra 0-8 point og herefter opgøres et omregningsbeløb i overensstemmelsen med vægtningen på 75/25. Den samlede evaluering sker ved, at omregningsbeløbet for kvalitet lægges sammen med tilbudsprisen i en opgørelse af en samlet evalueringspris. Vinderen er tilbuddet med laveste samlede evalueringspris. Ordregiveren modtager fem tilbud (samme tilbud som i eksemplet ovenfor): A B C D E I alt Priser (kr.) Kvalitet (point) Kvalitet (maks.point - point) Næste skridt er at udregne, hvilke beløb omregningen af point for kvalitet skal ske med. Det gøres ud fra oplysninger om de samlede tilbudspriser og de oplyste vægtprocenter. Priserne er samlet for alle 5 tilbud på i alt kr., og de skal indgå med en vægt på 75 pct. Ud fra det kan man beregne, at de 25 pct., som kvalitet skal indgå med, skal udgøre samlede omregningsbeløb på kr. Da der i de 5 tilbud tilsammen er givet i alt 17 point lavere end maksimumpoint, kan omregningsbeløb udregnes som / 17 = kr. pr. point for kvalitet lavere end maksimumpoint. Den samlede evalueringspris kan herefter opgøres således: A B C D E I alt Priser (kr.) % Kvalitet (maks.point - point) Omregningsbeløb for kvalitet (kr.) % Faktisk vægt Samlet evalueringspris % Når vægtningen er fastsat 75/25, er det således tilbud E, der har den lavest samlede evalueringspris og dermed er det økonomisk mest fordelagtige tilbud. I dette eksempel er tilbudsprisen og evalueringsprisen den samme, da tilbud E s omregningsbeløb for kvalitet er på 0 kr. Kontrakten indgås til tilbudsprisen. Som det fremgår af eksemplet, opgøres omregningsbeløbet ud fra oplysninger om indholdet i alle de modtagne tilbud. Hvis der kun er få tilbud, fx kun to eller tre tilbud, kan der være en risiko for, at modellen bliver for afhængig af indholdet i et enkelt tilbud. Man bør derfor som

29 SIDE 29 EVALUERINGSMODELLER ordregiver enten være ekstra påpasselig eller helt undlade at anvende denne model, når der kun er meget få tilbud. 24 Ud over disse eksempler på prismodeller kan der også laves prismodeller, som er mere komplicerede. Det vil være tilfældet, hvis omregningen af point til priser sker med udgangspunkt i målpriser/targetpriser eller lignende. I sådanne modeller vil det være mere kompliceret at sikre, at omregningen af point til priser sker i overensstemmelse med både det oplyste om vægtningen af kriterierne og gennemsigtighedsprincippet. 24 Se også den mere udførlige omtale af denne problemstilling i afsnit 5.8.

30 SIDE 30 KAPITEL 5 SUPPLERENDE OPLYSNINGER OM EVALUERINGSMODELLER Kapitel 5 Supplerende oplysninger om evalueringsmodeller I de foregående kapitler er der gennemgået en række af de overordnede principper, hensyn og valg, man som ordregiver skal igennem, når man rent praktisk skal vælge evalueringsmodel. Kapitel 5 indeholder en række supplerende oplysninger om især de juridiske grundlag, som gælder for anvendelsen af evalueringsmodeller. 5.1 Forskellige regler om tildelingskriterier Der gælder i hovedsagen samme regler om tildelingskriterier i henhold til udbudsdirektivet og tilbudslovens afsnit I, der vedrører licitationer om bygge- og anlægsarbejder under udbudsdirektivets tærskelværdi. Ved udbud efter disse to regelsæt kan ordregiveren vælge mellem to tildelingskriterier: Laveste pris eller det økonomisk mest fordelagtige tilbud. Når tildelingskriteriet er det økonomisk mest fordelagtige tilbud, skal ordregiveren desuden i udbudsmaterialet oplyse, hvilke kriterier der vil blive brugt i evalueringen, og hvordan ordregiveren relativt vil vægte kriterierne. Ved annonceringer efter tilbudslovens afsnit II og køb af tjenesteydelser med grænseoverskridende interesse efter udbudsdirektivets bilag II B, er der alene pligt til at oplyse, hvilket tildelingskriterium der vil blive anvendt. For køb af B-ydelser uden grænseoverskridende interesse, er det klare udgangspunkt også, at tildelingskriteriet skal offentliggøres på forhånd. 25 Ordregivere er efter disse regler som udgangspunkt frit stillet mht. tildelingskriterium og eventuelle underkriterier. Ordregivere kan således vælge at benytte tildelingskriterierne laveste pris eller det økonomisk mest fordelagtige tilbud, men er ikke forpligtet til det. Ordregivere er efter disse regler heller ikke forpligtet til at angive underkriterier til tildelingskriteriet. Men uanset dette skal det eller de valgte kriterier dog være saglige, objektive og ikkediskriminerende og dermed egnede til at identificere det bedste tilbud. For at sikre en skarp konkurrence om opgaven anbefales ordregivere omfattet af disse regler dog også i udbudsmaterialet at oplyse, hvilke kriterier der anvendes til evalueringen, og hvordan de bliver vægtet mv. Det gælder ikke mindst, når udbuddet omhandler større kontrakter om B-ydelser. Det giver betydeligt bedre rammer for en god konkurrence med skarpe tilbud, når der er gennemsigtighed for tilbudsgiverne i, hvad deres tilbud bliver evalueret på. 25 Se også Konkurrence- og Forbrugerstyrelsens vejledning Køb af B-tjenesteydelser (2013).

31 SIDE 31 EVALUERINGSMODELLER 5.2 Vægtning Det fremgår af udbudsdirektivets artikel 53, stk. 2, at den ordregivende myndighed skal oplyse, hvordan den relativt vil vægte de kriterier, der er valgt med henblik på at afgøre, hvilket tilbud der er det økonomisk mest fordelagtige. I mange udbud oplyser ordregivere at ville anvende en bestemt procentvis vægtning af kriterierne. Ofte gøres det uden en nærmere præcisering af,» om den oplyste vægtning alene vil udgøre beregningsfaktorer, som anvendes, når vægtprocenter ganges med point, eller» om den oplyste vægtning skal overholdes i den samlede vurdering, så den faktiske vægtning af kriterierne i den samlede vurdering svarer til de oplyste vægtprocenter. Boks 5.1 indeholder et eksempel, som illustrerer, at der kan være stor forskel på den procentvise vægtning, der bruges som beregningsfaktorer, og den faktiske vægtning af kriterierne i den samlede vurdering. Boks 5.1 Vægte som beregningsparameter og faktisk vægtning af kriterier Hvis der i et udbud er stor forskel på, hvor mange point der gives i evalueringen af forskellige kriterier, vil det føre til, at der også bliver stor forskel mellem de vægte, der bruges som beregningsfaktorer og den faktiske vægtning. Det er illustreret i følgende eksempel, hvor der er givet 18 point for kvalitet og 33 point for priser: A B C D E Point i alt Point for kvalitet Point for priser 4,67 6,23 6,41 7, Hvis kvalitet og priser indgår med hver 50 % som beregningsfaktorer, giver det følgende samlede vurdering: Beregningsfaktorer A B C D E Point i alt Faktisk Vægt Kvalitet 50 % 2,50 2,00 2,00 1,50 1,00 9,00 35 % Priser 50 % 2,34 3,12 3,21 3,85 4,00 16,50 65 % I alt 100 % 4,84 5,12 5,21 5,35 5,00 25, % Selv om de to kriterier indgår med hver 50 % som beregningsfaktorer, resulterer eksemplet i, at 35 % af pointene i den samlede vurdering stammer fra kvalitetsvurderingerne og 65 % fra priserne. Klagenævnet for Udbud har behandlet en række forskellige sager, som har handlet om overholdelse af den oplyste procentvise vægtning. Ud fra det oplyste i disse kendelser, har ordregiveren typisk ikke eksplicit præciseret, hvordan den procentvise vægtning af kriterierne vil blive anvendt i evalueringen. I de fleste af sagerne synes klagenævnet at have lagt til grund, at de oplyste vægtprocenter skal overholdes i den samlede vurdering. En række kendelser omhandler således spørgsmålet om, hvorvidt den oplyste vægtning af kriterierne er respekteret i den samlede vurdering. Men klagenævnet har også i mindst et tilfælde foretaget en vurdering af, om den anvendte metode har forrykket de vægtprocenter, der anvendes som beregningsfaktorer, jf. boks 5.2.

32 SIDE 32 KAPITEL 5 SUPPLERENDE OPLYSNINGER OM EVALUERINGSMODELLER Boks 5.2 Praksis om anvendelsen af vægtprocenter I flere sager er klagenævnets kendelser efter Konkurrence- og Forbrugerstyrelsens opfattelse baseret på, at de oplyste vægtprocenter skal overholdes i den samlede vurdering:» Kendelsen af 29. juli 2011, Social-Medicinsk Tolkeservice mod Region Hovedstaden, omhandlede sammenhængen mellem vægte i beregningsparameter og vægt i den samlede vurdering. Nævnet anførte følgende: For at en sådan fremgangsmåde, hvor den relative vægtning af underkriterierne alene søges sikret ved at gange pointantallet for hvert underkriterium med den procentuelle vægtning af det respektive underkriterium, er i overensstemmelse med den fastsatte relative vægtning af hvert underkriterium, er det en forudsætning, at de pointskalaer, som anvendes ved evaluering af underkriterierne, er identiske, således at der er lige mange point til rådighed ved vurderingen af hvert underkriterium. Da de to pointskalaer ikke var identiske i den konkrete sag, konkluderede nævnet, at der var der en risiko for, at underkriteriet»pris«i den samlede vurdering af de enkelte tilbud forholdsmæssigt ville komme til at vægte mere end de 50 %, der var angivet i udbudsbetingelsernes pkt. 6.» I en række andre kendelser har klagenævnet konkluderet, at den anvendte evalueringsmodel har haft den virkning, at kriterierne ikke blev vægtet med de vægtprocenter, som fremgik af udbudsbetingelserne. Det gælder fx kendelsen af 21. december 2009, Ergolet A/S mod Københavns Kommune, kendelsen af 9. januar 2012, RenoNorden A/S med Skive Kommune, og kendelsen af 18. juli 2013, Caludan Høreteknik ApS mod Gentofte Kommune m.fl. I modsætning til ovenstående har klagenævnet efter Konkurrence- og Forbrugerstyrelsens opfattelse i følgende kendelse lagt til grund, at de oplyste vægtprocenter omhandler beregningsfaktorer, som ikke må forrykkes i den samlede vurdering:» I kendelsen af 19. november 2012, Mediq Danmark A/S mod Jysk Fællesindkøb, foretog ordregiveren først en pointgivning af kvaliteten i forhold til kravspecifikation. Dernæst foretog ordregiveren en kalibrering af pointene for at undgå en skævvridning af vægtene i den samlede vurdering. Klagenævnet anførte, at kaliberingen førte til point, som efter nævnets opfattelse var helt vilkårlige, og at ordregiverens fremgangsmåde er derfor egnet til at forrykke den fastsatte vægtning mellem de to underkriterier. Ordregiveren havde oplyst, at kvalitet skulle vægte med 40 %. Det fremgår af det oplyste i sagen, at pointene uden kalibrering ville indgå i den samlede vurdering med 36,7 %, mens de ville indgå med 39,6 % efter kaliberingen. Da kalibreringen således indebar en bedre overholdelse af de oplyste vægtprocenter i den samlede vurdering, er det Konkurrence- og Forbrugerstyrelsens opfattelse, at klagenævnets bemærkning om at forrykke den fastsatte vægtning i denne sag derfor må omhandle vægtprocenter i betydningen beregningsfaktorer. 26 Man kan som ordregiver vælge, om vægtprocenter alene skal anvendes som faktorer i beregningerne, eller om de skal overholdes i den samlede evaluering af kriterierne til identificering af, hvilke tilbud der er det økonomisk mest fordelagtige, jf. boks Klagenævnet har en kendelse af 7. november 2007, SJ AB mod Trafikstyrelsen for jernbane og færger, accepteret en helt tilsvarende matematisk kalibrering, der blev foretaget ved brug af helt samme formel. I denne sag synes klagenævnets kendelser efter Konkurrence- og Forbrugerstyrelsens opfattelse at være baseret på, at de oplyste vægtprocenter skal overholdes i den samlede vurdering. Klagenævnet anførte følgende om kalibreringen: Heller ikke det forhold, at der efter udbudsbetingelserne efterfølgende foretages en ren matematisk opregning med henblik på at gøre vurderingerne af tilbuddene sammenlignelige indebærer en overtrædelse af de anførte fællesskabsretlige regler.

33 SIDE 33 EVALUERINGSMODELLER Det bør derfor fremgå klart over for tilbudsgiverne i udbudsmaterialet, hvilke af de to muligheder der anvendes. Det anbefales, at ordregiveren oplyser, om vægtprocenter alene vil blive anvendt som faktorer, der ganges med point i beregningen, eller om vægtprocenter vil omhandle kriteriernes vægt i den samlede vurdering. Hvis man oplyser, at man alene vil anvende vægtprocenter som faktorer, der ganges med point i beregningen, har man oplyst en metode for, hvordan man relativt vil vægte kriterierne i overensstemmelse med ordlyden af bestemmelsen i udbudsdirektivets artikel 53, stk. 2. Ud over denne metode, kan der også anvendes andre metoder for, hvordan man som ordregiver relativt vil vægte kriterierne. EU-Kommissionen har fx anvendt evalueringsmodeller, hvor der ikke kan oplyses en procentvis vægtning af kriterierne. I disse modeller findes det økonomisk mest fordelagtige tilbud ved at dividere tilbudspriser med point for kvalitative kriterier, og det kan derfor ikke opgøres, hvor stor procentvis vægtning kriterierne indgår med. I boks 4.1 er der desuden angivet et eksempel på en prismodel, hvor der heller ikke på forhånd kan oplyses en procentvis vægtning af kriterierne. I denne model omregnes point for kvalitative kriterier med på forhånd oplyste faste omregningsbeløb, som lægges sammen med priserne i den samlede evaluering. Den faktiske procentvise vægtning, som kriterierne kommer til at indgå med, afhænger derfor af, hvilke kombinationer af pris og kvalitet der bydes ind med. Tilbudsgiverne skal således på forhånd enten have oplyst, hvilken metode kriterierne relativt bliver vægtet med i beregningerne, eller have oplyst, hvilke vægte kriterierne indgår med i den samlede vurdering. 5.3 Brug af model til evalueringen Når der skal laves en samlet vurdering af, hvilket tilbud der er det økonomisk mest fordelagtige, indgår der som nævnt i de fleste tilfælde både et økonomisk kriterium og et eller flere kvalitative kriterier. I en sådan samlet vurdering er det hensigtsmæssigt at bruge en model. En evalueringsmodel bruges til at systematisere vurderingen af de enkelte tilbud og til at lave en sammenvægtning af point for de kvalitative kriterier og priserne. Det er dog ikke et krav, at der anvendes en model til evalueringen. Også sproglige evalueringer såkaldte prosaevalueringer kan anvendes. Prosaevalueringer skal også baseres på økonomiske og kvalitative kriterier, og man skal også her oplyse, hvordan man vil vægte disse. Ved prosaevalueringer skal forskellen på tilbuddene og vægtningen af kriterierne afspejles i tilbudsbedømmelsen. Desuden skal prosaevalueringer ligesom vurderinger baseret på evalueringsmodeller også ske i overensstemmelse med gennemsigtigheds- og ligebehandlingsprincipperne, og man skal som ordregiver kunne dokumentere dette. Der gælder således samme krav for prosavurderinger som for andre typer af vurderinger om, at vurderingerne skal være systematiske, afspejle forventede spredninger i tilbuddene, overholde vægtningen, være gennemsigtige, behandle tilbudsgiverne lige og kunne dokumenteres mv. Det vil formentlig i nogle situationer kunne være vanskeligt at opfylde disse krav på en god måde ved prosaevalueringer. I andre situationer kan prosaevalueringer dog være hensigtsmæssige, fx når det kan være vanskeligt at lave en egnet evalueringsmodel. Efter Konkurrence- og Forbrugerstyrelsens opfattelse er det dog oftest hensigtsmæssigt at anvende en model til evalueringen af tilbuddene. Det skyldes, at brug af en egnet evaluerings-

34 SIDE 34 KAPITEL 5 SUPPLERENDE OPLYSNINGER OM EVALUERINGSMODELLER model ofte er den bedste måde at sikre og dokumentere, at evalueringen er foretaget på en gennemsigtig måde, hvor tilbudsgiverne er blevet behandlet lige, og at det er sket i overensstemmelse med de oplyste kriterier og vægtningen af disse. 5.4 Offentliggørelse af evalueringsmodellen Det er ikke et krav efter hverken udbudsdirektivet eller tilbudsloven, at man oplyser evalueringsmodellen i udbudsbekendtgørelsen eller udbudsbetingelserne. Der er heller ikke krav om oplysning af modellen, selv om man allerede har lavet modellen på tidspunktet for fremsendelse af udbudsbetingelser til tilbudsgiverne. 27 Det er således helt op til ordregiveren, om evalueringsmodellen skal offentliggøres sammen med udbudsmaterialet eller ej. Der kan imidlertid være flere fordele ved at offentliggøre evalueringsmodellen sammen med udbudsmaterialet. Ved at offentligøre modellen skabes der fuld gennemsigtighed i tilbudsevalueringen. Det giver de bydende det bedste grundlag for at målrette og optimere deres tilbud. Offentliggørelse af evalueringsmodellen øger derfor sandsynligheden for, at tilbudsgivernes tilbud rammer ordregiverens behov, og at der kan være den bedst mulige konkurrence mellem tilbudsgiverne om opgaven. Offentliggørelsen af evalueringsmodellen kan desuden understøtte lovligheden af modellen. Hvis man foretager evalueringen præcist som oplyst, burde der ikke kunne forekomme berettigede klager over evalueringen. Når evalueringsmodellen er lagt åbent frem for de bydende forud for tilbudsafgivelsen, kan tilbudsgivere ikke efter tilbudsvurderingen indgive berettigede klager over manglende gennemsigtighed mv. Det skal nævnes, at ordregivere i helt særlige tilfælde kan være forpligtet til at offentliggøre evalueringsmodellen på forhånd. Det gælder dog kun, hvis ordregiveren anvender en meget usædvanlig evalueringsmodel, som tilbudsgiverne ikke vil kunne forvente. 28 Hvis man ikke har en god fornemmelse af, hvilke spredning man kan forvente i tilbuddenes priser og kvalitet, kan det være vanskeligt på forhånd at lave en egnet evalueringsmodel. Der kan her være behov for at justere modellen efter modtagelsen af tilbuddene, så den bliver egnet til vurdering af de indkomne bud. Fastlæggelsen af den endelige model må dog ikke afvente tilbudsåbningen blot med det formål at favorisere en bestemt tilbudsgiver. Det vil være i strid med ligebehandlingsprincippet. Man bør derfor altid som ordregiver for at sikre ligebehandling og gennemsigtighed allerede på tidspunktet for offentliggørelsen af udbudsmaterialet have lagt sig fast på en foretrukken model. Med foretrukken model forstås den model, der vil blive anvendt, med mindre modellen viser sig at ikke at være egnet til evalueringen af de konkrete tilbud. Man bør som ordregiver være i stand til efterfølgende at kunne dokumentere overvejelserne bag valg af den foretrukne model og behovet for en efterfølgende korrektion heraf. 27 Jf. kendelse af 4. august 2009, Mølnlycke Health Care mod Region Hovedstaden. 28 Klagenævnet anfører på s. 182 i kendelsen af 8. oktober 2013, Ansaldo STS S.p.a. mod Banadanmark: Hvis der anvendes en helt usædvanlig og for tilbudsgiverne upåregnelig metode, skal denne oplyses på forhånd i udbudsbetingelserne.

35 SIDE 35 EVALUERINGSMODELLER 5.5 Muligheden for at ændre en offentliggjort evalueringsmodel Muligheden for at ændre en offentliggjort evalueringsmodel afhænger af tidspunktet for ændringen. 29 Hvis tilbudsfristen er udløbet, kan man ikke ændre en offentliggjort model. Bliver man først på dette tidspunkt opmærksom på, at evalueringsmodellen er uegnet eller ulovlig, har man som ordregiver kun en mulighed: At annullere udbuddet og genudbyde opgaven med en ny evalueringsmodel. 30 Det vil dog ikke være nødvendigt at annullere udbuddet, hvis man i god tid inden tilbudsfristens udløb ændrer den offentliggjorte evalueringsmodel ved fx at udsende et rettelsesblad til udbudsbetingelserne. Boks 5.3 Praksis om ændring af evalueringsmodeller Klagenævnets holdning til mulighederne for at ændre evalueringsmodeller er afspejlet i kendelse af 12. november 2010, Icopal Entreprise A/S mod Næstved Kommune, og kendelse af 22. november 2012, Berendsen Textil Service A/S mod Herlev Kommune. I den første kendelse indeholdt udbudsbetingelserne en fejlagtig formel for pointtildeling i relation til blandt andet priskriteriet. Da ordregiveren blev opmærksom på det, blev der udsendt et rettelsesblad 13 dage før tilbudsfristens udløb, hvor formlen blev angivet korrekt. Denne ændring fandtes lovlig, da der ikke var sket en forrykkelse af forholdet mellem tilbuddene ved anvendelsen af den korrigerede formel. Den anden kendelse omhandlede et udbud, hvor det i udbudsbetingelserne var oplyst, at point for de kvalitative kriterier ville blive givet efter en skala fra Ved tilbudsvurderingen gav ordregiveren imidlertid point efter en skala fra for de kvalitative kriterier som følge af en korrektion af skalaen svarende til spredningen mellem tilbudspriserne. Formålet med korrektionen var ifølge ordregiveren at sikre kriteriernes vægtning. Klagenævnet konstaterede, at det var i strid med gennemsigtighedsprincippet, at ordregiveren havde anvendt en anden pointtildeling end oplyst i udbudsbetingelserne uden på forhånd betids inden tilbudsfristen at give meddelelse herom til aktuelle og potentielle tilbudsgivere. 5.6 Indretning af pointskalaer Det vigtigste krav til en evalueringsmodel er, at den er egnet til at identificere det økonomisk mest fordelagtige tilbud. Derudover skal evalueringsmodeller overholde de grundlæggende traktatretlige principper om ligebehandling og gennemsigtighed. Det stiller krav til især metoden i evalueringen. 29 En ordregiver kan dog oplyse i udbudsmaterialet, under hvilke forudsætninger en evalueringsmodel vil blive justeret. I givet fald er der ikke problemer i at foretage de oplyste justeringer under de oplyste omstændigheder. Dette afsnit vedrører alene en situation, at hvor sådanne beskrivelser ikke er angivet. 30 Jf. klagenævnets kendelse af 13. januar 2004, E. Phil og Søn A/S mod Hadsund Kommune, hvor klagenævnet udtalte følgende: "Beslutter en udbyder, som ønsker at fastsætte beregningsmodeller, derimod tillige, at beregningsmodellerne skal indgå i udbudsbetingelserne, er udbyderen bundet af beregningsmodellerne og kan hverken undlade at anvende dem eller udarbejde nye eller ændrede beregningsmodeller." Herudover udtalte nævnet: "Da det imidlertid efter det oplyste for indklagede stod klart, at beregningsmodellerne vedrørende underkriterium C og underkriterium D var uanvendelige, hvis vurderingen af tilbuddene skulle være sagligt forsvarlig, havde indklagede i den aktuelle situation kun den mulighed at annullere udbuddet."

36 SIDE 36 KAPITEL 5 SUPPLERENDE OPLYSNINGER OM EVALUERINGSMODELLER Klagenævnet har i en række forskellige kendelser baseret vurderingerne på, om modellerne har været egnet i den konkrete situation, og om principperne om gennemsigtighed og ligebehandling har været overholdt. Et af de væsentligste principper, som følger af klagenævnets praksis, er, at det oplyste om vægtning af kriterierne skal overholdes i den konkrete evaluering af tilbuddene. Det har en række virkninger for, hvordan man kan indrette fx pointskalaer. Det gennemgås i det følgende. Brug samme skala for forskellige kriterier Når man skal sammenvægte point for forskellige kriterier, kan det nemmest gøres, når der er anvendt samme pointskalaer for de forskellige kriterier. Det anbefales derfor, at man som ordregivere bruger samme point- eller karaktersystem for alle kriterier. Et eksempel på forskellige skalaer kunne være, at der gives point for priskriteriet på en skala fra 0-10 point, mens der gives 0-5 point for de kvalitative kriterier. Et andet eksempel kunne være, at der er mulighed for at få negative point på priskriteriet, således at der fx bliver givet point for priser i spændet fra -3 point til 10 point. Hvis der er brugt forskellige pointskalaer, kan sammenvægtningen af point i den endelige vurdering ikke bare foretages ved at gange point med vægtprocenter. Det vil give en skævvridning af kriteriernes vægtning. Boks 5.4 Praksis om negative point for pris I klagenævnets kendelse af 29. juli 2011, Social-Medicinsk Tolkeservice A/S mod Region Hovedstaden, havde ordregiveren givet karakterer på en skala fra 0-10 point for det kvalitative kriterium. Ved evalueringen af pris blev der også anvendt en skala med topkarakteren 10, men her kunne der også gives negative point. Klagenævnet udtalte følgende: For at en sådan fremgangsmåde, hvor den relative vægtning af underkriterierne alene søges sikret ved at gange pointantallet for hvert underkriterium med den procentuelle vægtning af det respektive underkriterium, er i overensstemmelse med den fastsatte relative vægtning af hvert underkriterium, er det en forudsætning, at de pointskalaer, som anvendes ved evaluering af underkriterierne, er identiske, således at der er lige mange point til rådighed ved vurderingen af hvert underkriterium. Det skal være muligt at anvende hele skalaen Evalueringsmodellen skal være egnet til at identificere det økonomisk mest fordelagtige tilbud i den konkrete situation, dvs. i forhold til den konkrete spredning, der kan forventes i priser og på de kvalitative kriterier. Skalaen skal således være egnet til at kunne afspejle de relevante forskelle, der kan forventes i de modtagne tilbud. Det indebærer, at det kan være relevant kun at anvende en mindre del af skalaen i de situationer, hvor der er meget lille spredning mellem tilbuddenes opfyldelse af et kriterium. 31 Men når der er større spredning i tilbuddenes opfyldelse af et kriterium, bør der anvendes en større del af eller hele pointskalaen. 31 Hvis der i et udbud fx kun bliver afgivet tre tilbud, som indeholder nøjagtigt samme pris, vil der selvsagt ikke kunne anvendes hele spændet fra pointskalaen for priserne. Tilsvarende kan man forestille sig en situation, hvor prisforskellene mellem tilbuddene er meget små, mens kvalitetsforskelle er større. I givet fald bør modellen i pointgivningen også kun afspejle små forskelle på priskriteriet, mens der bør være større forskelle i pointgivningen på kvalitetskriteriet, hvor det meste eller hele skalaen bør benyttes.

37 SIDE 37 EVALUERINGSMODELLER Når evalueringsmodellen er indrettet således, at skalaerne er egnede til at afspejle de konkret forventede spredninger i tilbuddene, og at det også i praksis er muligt at anvende hele skalaen, er der et godt grundlag for at overholde det oplyste om vægtning af kriterierne. I modsætning hertil har klagenævnet ved flere lejligheder underkendt pointmodeller, der er opbygget på en sådan måde, at kun en begrænset del af pointskalaen udnyttes. Dette har eksempelvis været tilfældet, hvor anvendelsen af en formel for tildeling af point på priskriteriet indebar, at det kun var muligt at anvende den midterste del af en karakterskala. 32 Det følger også af nævnets kendelse af 9. januar 2012, RenoNorden A/S mod Skive Kommune. Klagenævnet underkendte her en pointmodel, hvor der i det konkrete tilfælde kun ville kunne blive anvendt den øverste del af pointskalaen. Boks 5.5 Pointmodellen omtalt i kendelsen af 9. januar 2012, RenoNorden A/S mod Skive Kommune Skive Kommune anvendte følgende model for omregning af priser til point: Point = Maksimumpoint * laveste pris/pris. Grafisk kan modellen illustreres således: Points ,5 1 0 Laveste pris 2 x laveste pris 4 x laveste pris 10 x laveste pris Priser Som det fremgår af figuren, er modellen opbygget sådan, at kun en begrænset del af skalaen vil blive udnyttet i praksis. Fx anvendes kun halvdelen af skalaen, hvis det højeste bud er dobbelt så højt som det laveste bud. I det konkrete udbud blev kun pct. af skalaen udnyttet. Klagenævnet fandt derfor, at modellen i den konkrete sag ikke var egnet til at afspejle den forventede spredning i priserne. I den 32 Jf. klagenævnets kendelse af 21. december 2009, Ergolet A/S mod Københavns Kommune. Klagenævnet fandt, at den matematiske model for vurderingen af priskriteriet i realiteten kun anvendte den midterste del af karakterskalaen. I modsætning hertil blev hele karakterskalaen fra 1-10 anvendt i vurderingen af kriteriet kvalitet og service. På den baggrund fandt nævnet, at de to kriterier reelt ikke blev vægtet med 50 % til hver, da der ikke anvendtes samme spredning på karakterskalaen for de to kriterier.

38 SIDE 38 KAPITEL 5 SUPPLERENDE OPLYSNINGER OM EVALUERINGSMODELLER konkrete sag indebar den begrænsede spredning i pointene for priser også, at priserne kom til at vægte langt mindre end den vægtning, der var oplyst i udbudsbetingelserne. Som det fremgår af boksen ovenfor, udgør en model, hvor der forventeligt kun vil blive anvendt den øverste del af pointskalaen, ikke en egnet model til identificering af det økonomisk mest fordelagtige tilbud. Det gælder ikke kun for en model, som den beskrevne i boksen, men også for lineære modeller. Det har klagenævnet fastslået i en anden kendelse, hvor nævnet underkendte anvendelsen af en skala, der dækkede over en stor prisdifference, selvom denne prisdifference slet ikke var til stede på det marked, udbuddet vedrørte. 33 Modsat må modellen dog heller ikke være udformet således, at en meget lille spredning i prisforskelle afspejles i store forskelle i point. Det følger derfor af nævnets kendelser, at det spænd, der anvendes i modeller for omregning af priser til point, skal afspejle den spredning, der kan forventes i priserne i de indkomne tilbud. Point for priser må ikke tildeles efter rangordning af tilbud Udgangspunktet om, at evalueringsmodellen skal være egnet til at kunne afspejle de relevante forskelle, der er i de modtagne tilbud, indebærer fx også, at omregningen af priser til point ikke bør ske efter en trappemodel for rangordningen af tilbudspriserne. Ved en trappemodel forstås en model, hvor laveste pris gives maksimumpoint, næstlaveste pris 1 point lavere end maksimumpoint osv. En ujævn spredning i tilbudspriserne vil i en sådan model kunne indebære, at trappetrinene får meget forskellig størrelse, og at tilbudsgiverne derfor ikke ligebehandles, jf. følgende eksempel. 33 Jf. klagenævnets kendelse af 18. juli 2013, Calundan ApS mod Gentofte Kommune mfl.

39 SIDE 39 EVALUERINGSMODELLER Figur 5.1 Eksempel på, at tilbudsgiverne ikke ligebehandles i trappemodel Som det fremgår af figur 5.1, indebærer en trappemodel tvungne spring i karaktergivningen, hvor der ikke tages hensyn til, om der er store eller små forskelle i priserne blandt de forskellige tilbud. Det betyder, at store prisforskelle ikke afspejles i tilstrækkelig grad, og at meget små prisforskelle bliver straffet for hårdt i pointgivningen. Boks 5.6 Praksis om trappemodel for rangordning af tilbud I kendelse af 12. februar 2010, Nøhr & Sigsgaard Arkitektfirma A/S mod Direktoratet for Kriminalforsorgen, fandt klagenævnet det i strid med ligebehandlings- og gennemsigtighedsprincippet, at ordregiver havde opstillet en evalueringsmodel, der indebar, at tilbuddet med laveste pris fik 5 point, tilbuddet med næstlaveste pris fik 4 point osv., fordi denne pointfordeling ikke viste forskellen mellem de forskellige tilbud, men kun hvilket tilbud der var billigst, næstbilligst osv. Pointskalaen bør have lige store spring mellem pointene Det anbefales at bruge en pointskala, hvor der er lige store spring mellem hvert point. Det indebærer fx, at en middel opfyldelse af et kriterium bør gives middelpoint. 34 Ved pointskalaer med lige store spring mellem pointene vil lige store forskelle mellem tilbuddene blive belønnet på helt samme måde, uanset hvor på skalaen forskellene optræder. Det må samtidig frarådes at anvende pointskalaer, hvor små forskelle mellem tilbuddene et sted på skalaen kan give større pointforskelle end tilsvarende forskelle et andet sted på skala- 34 Se afsnit 3.1 for et eksempel på en sådan skala.

40 SIDE 40 KAPITEL 5 SUPPLERENDE OPLYSNINGER OM EVALUERINGSMODELLER en. Og det må også frarådes at anvende pointskalaer, hvor der gives samme pointantal til tilbud, som fx har priser over eller under et bestemt beløb, jf. følgende eksempel. Boks 5.7 Praksis om anvendelse af asymmetrisk skala Klagenævnets kendelse af 19. maj 2009, Anker Hansen & Co. A/S mod Rudersdal Kommune, omhandler en skala for omregning af priser til point, hvor alle tilbud med pris på under 100 mio. kr. ville få tildelt 8 point, mens tilbud med priser over 100 mio. kr. ville få point fra 0-8 point efter nærmere angivne principper. Kurven for pointtildelingen på priskriteriet var altså flad indtil en tilbudspris på 100 mio. kr. Der indkom tilbud på ca. 89 mio. kr., ca. 105 mio. og ca. 108 mio. kr. Klagenævnet fandt, at modellen var ulovlig, idet priskriteriet (som følge af den flade kurve ind til prisen på 100 mio. kr.) ikke kom tilstrækkeligt til udtryk ved vægtningen. Pointmodellen var derfor ikke egnet til at adskille tilbuddene fra hinanden. Evalueringsmodeller skal således kunne afspejle relevante forskelle i tilbuddene. Og det gælder både for priskriteriet og for kvalitative kriterier. 5.7 Relative eller separate vurderinger Et spørgsmål, som klagenævnet har berørt i flere kendelser, er, om man kan vurdere tilbuddene i forhold til hinanden, eller om de skal vurderes i forhold til opfyldelsen af kriterierne. Det følger her af nævnets praksis, at tilbuddene» på de kvalitative kriterier skal vurderes separat i forhold til hvert tilbuds opfyldelse af kriterierne (ikke relativt), og» på de økonomiske kriterier normalt kan vurderes i sammenligninger (relativt). Evaluering af de kvalitative kriterier Klagenævnet har for de kvalitative kriterier klart tilkendegivet, at der ikke må ske en relativ vurdering. 35 Evalueringen skal derfor på de kvalitative kriterier foretages således, at der for hvert enkelt tilbud tildeles point ud fra en vurdering om tilbuddets opfyldelse af kriteriet. Ordregivere har her et betydeligt skøn ved tilrettelæggelse og gennemførelse af den kvalitative vurdering af tilbud. 36 Skønnet skal dog være sagligt og udøves i overensstemmelse med 35 Jf. klagenævnets kendelse af 12. februar 2007, Dansk Høreteknik A/S mod Københavns Kommune, hvor ordregiveren i henhold til hvert enkelt kriterium havde tildelt det bedste tilbud 10 point og de øvrige tilbud i forhold hertil. Det næstbedste tilbud kunne således få 9 point osv. Klagenævnet udtalte i sagen, at tildeling af point for tilbuddenes opfyldelse af i hvert fald de kvalitative underkriterier skal således ske ud fra tilbuddenes forhold til de pågældende underkriterier og ikke ud fra tilbuddenes forhold til hinanden. Jf. ligeledes klagenævnets kendelse af 14. februar 2008, Jysk Erhvervsbeklædning ApS mod Hjørring Kommune, hvor klagenævnet også anså det for at være i strid med ligebehandlingsprincippet, at tilbud var vurderet i forhold til hinanden. Klagenævnet udtalte, at det fremgår af indklagedes tildeling af point til de enkelte beklædningsdele, at indklagede for så vidt angår de opstillede kvalitative underkriterier har vurderet tilbuddene i forhold til hinanden og ikke vurderet de enkelte tilbud i forhold til de opstillede kvalitative underkriterier. Herved har indklagede handlet i strid med det EU-retlige ligebehandlingsprincip. Efter klagenævnets praksis gælder forbuddet mod at evaluere tilbuddene i forhold til hinanden også ved udbud, der ikke er omfattet af udbudsdirektivets procedureregler, jf. kendelse af 4. marts 2010, Dansk Flygtningehjælp mod Hvidovre Kommune, som angik et udbud omfattet af udbudsdirektivets bilag II B. 36 Jf. eksempelvis klagenævnets kendelse af 18. januar 2012, Software Innovation A/S mod Patientombuddet, hvor klagenævnet udtalte følgende: I den foreliggende sag er klageren ikke enig i indklagedes skønsmæssige vurdering af klagerens tilbud i forhold

41 SIDE 41 EVALUERINGSMODELLER principperne om gennemsigtighed og ligebehandling. Desuden skal skønnet ske i overensstemmelse med udbudsbetingelserne, og skønnet skal kunne dokumenteres. Klagenævnet kan tilsidesætte ordregiverens skøn, hvis der er klare tegn på, at skønnet ikke er udøvet i overensstemmelse med dette, eller hvis ordregiver har skønnet åbenbart forkert. Boks 5.8 Praksis om ordregivers skøn i forhold til kvalitative kriterier I kendelse af 15. marts 2013, Cowi mod SKI, fandt klagenævnet, at ordregiveren havde overtrådt udbudsreglerne ved at foretage vurderingen af et kvalitativt kriterium anderledes end angivet i udbudsbetingelserne, ved at benytte en fremgangsmåde ved tilbudsvurderingen, der ikke sikrede tilstrækkelig kompetence- og kvalitetskontrol, og ved at foretage en åbenbart urigtig tilbudsvurdering i relation til kriteriet. Evaluering af priskriteriet Det fremgår klart af flere kendelser fra klagenævnet, at evalueringen af priserne kan ske relativt ved, at tilbudspriserne fx omregnes til point i forhold til hinanden.det skyldes, at priser er objektivt fastsat i kroner, som er en entydig enhed, der kan omregnes til point i en relativ sammenligning af tilbuddene. Relative omregninger af priser til point kan gøres på flere forskellige måder. Ved det konkrete valg af model skal det sikres, at modellen er egnet til identificering af det økonomisk mest fordelagtige tilbud. Modellen skal således være egnet til at afspejle de relevante forskelle og spredninger i priser, som tilbuddene kan forventes at indeholde i det konkrete udbud. I mange udbud anvendes pointmodeller, hvor den laveste pris gives maksimumpoint, og hvor der herefter udregnes point for priser i de øvrige tilbud i forhold til den laveste pris. Sådanne modeller kan udformes på forskellige måder, afhængigt af» hvordan den pris, der udløser minimumpoint, fastsættes fx som - laveste pris plus X %, - maksimumpris, som ordregiver kan betale, - højeste pris blandt de modtagne tilbud, - ingen øvre grænse.» hvordan point fastsættes mellem laveste pris og den pris, der udløser minimumpoint fx - lineært, - vha. andre matematiske formler. I kapitel 3 er de mest anvendelige af disse muligheder forklaret. Det er netop disse muligheder dvs. de lineære modeller, hvor minimumpoint fastsættes som enten laveste pris plus X % eller som den maksimumpris, ordregiveren højst kan betale som det kan anbefales at anvende. Et eksempel på en model med en anden matematisk formel og uden en øvre grænse fremgår af eksemplet i boks 5.5 ovenfor, hvor pointmodellen i kendelsen af 9. januar 2012, RenoNorden A/S mod Skive Kommune, er omtalt. Denne model kan det generelt ikke anbefales at anvende, da den normalt ikke vil være egnet til at afspejle den forventede spredning i priserne. Endeligt kan det heller ikke anbefales at anvende en model, hvor laveste pris gives maksimumpoint og højeste pris gives minimumpoint, da denne model vil kunne være uhensigtstil de kvalitative underkriterier Funktionalitet og Vedligeholdelse, videreudvikling og servicemål. Efter klagenævnets praksis har ordregivere en vid skønsmargin i forbindelse med den kvalitative, skønsmæssige evaluering af de enkelte tilbud i et udbud.

42 SIDE 42 KAPITEL 5 SUPPLERENDE OPLYSNINGER OM EVALUERINGSMODELLER mæssig i en række forskellige situationer, fx når der kun er få tilbud og ikke særlig stor spredning i priserne. 37 Ud over modeller, hvor laveste pris gives maksimumpoint, kan en anden mulighed være at give point ud fra afvigelser i forhold til en målpris/targetpris. Denne mulighed er også udførligt omtalt i kapitel 3. Endeligt kan man i stedet for at omregne priser til point vælge at anvende en prismodel, hvor pointene for de kvalitative kriterier omregnes til omregningsbeløb, som lægges sammen med tilbudspriserne i opgørelsen af en samlet evalueringspris. Vinderen er i sådanne modeller tilbuddet med laveste samlede evalueringspris. Disse muligheder er beskrevet i kapitel Modeller, som delvist baseres på indhold i tilbud I nogle evalueringsmodeller er modelparametre eller omregningsmetoden delvist afhængig af indholdet i et eller flere af de modtagne tilbud. Det gælder for to af de fire anbefalede modeller i denne vejledning:» I den lineære pointmodel med udgangspunkt i laveste pris er omregningen af priser til points afhængig af indholdet i et af tilbuddene (tilbuddet med laveste pris).» I prismodellen med fast procentvis vægtning er omregningen af point for kvalitative kriterier til priser afhængig af indholdet i alle de modtagne tilbud. Der kan være både fordele og ulemper ved modeller, som er delvist afhængige af indholdet i de modtagne tilbud. Blandt fordelene kan nævnes, at tilbudsevalueringen bliver gjort mere objektiv og automatisk. Hvis man fx anvender en model som prismodellen med fast procentvis vægtning, og man har offentliggjort modellen på forhånd, vil tilbudsevalueringen komme til at foregå på en automatisk måde, som er i overensstemmelse med både gennemsigtigheds- og ligebehandlingsprincippet. En anden fordel er, at ordregiveres behov for kunne ramme rigtigt i forventninger til indholdet i tilbuddene bliver mindre, når modellen netop er delvis afhængig af indholdet i et eller flere af tilbuddene. Når en ordregiver fx anvender en model, hvor omregningen af priser til point sker med udgangspunkt i laveste pris, har ordregiveren ikke behov for at kunne ramme rigtigt i forventningerne til niveauet for laveste tilbudspris. Hvis man anvender modeller, som er delvist afhængige af indholdet i tilbud, kan det ofte være hensigtsmæssigt at offentliggøre modellen på forhånd. Det giver gennemsigtighed i evalueringen, som normalt også vil sikre en ligebehandling af tilbudsgiverne. Ulemperne ved anvende modeller, som er delvist afhængige af indholdet i de modtagne tilbud, vil især kunne være, at modellerne bliver for afhængige af indholdet i bestemte tilbud. Det vil især kunne være et problem, når der er meget få tilbud, fx kun to eller tre tilbud, eller når 37 I klagenævnets kendelse af 15. marts 2013, Cowi A/S mod SKI, betegnede klagenævnet en sådan model som usædvanlig, og nævnet anførte videre i en generel betragtning, at en sådan model ville kunne være uegnet til at identificere det økonomisk mest fordelagtige tilbud.

43 SIDE 43 EVALUERINGSMODELLER modellen er afhængig af indholdet i et enkelt tilbud, som adskiller sig meget fra de øvrige tilbud. I disse situationer bør man som ordregiver være påpasselig med at anvende modeller, som er delvist afhængige af indholdet i de modtagne tilbud. Man bør i givet være ekstra omhyggelig med at sikre sig, at modellen i den konkrete situation er både egnet, gennemsigtig og sikrer ligebehandling af tilbudsgiverne. Klagenævnet har om en model med udgangspunkt i laveste pris anført, 38 at det under ekstreme forudsætninger kan føre til resultater, som er uhensigtsmæssige, men under mere normale forhold og oftest i praksis ikke giver problemer med hensyn til at identificere det økonomisk mest fordelagtige tilbud. Der kan peges på én situation, hvor en model med udgangspunkt i laveste pris eventuelt kan være uhensigtsmæssig. Det kan være tilfældet, når størrelsen på det laveste bud er afgørende for, hvilket af to andre bud der bliver det økonomisk mest fordelagtige, jf. forklaringen i boks 5.9. Boks 5.9 Eksempel, 39 hvor laveste pris er afgørende for, hvilke af to andre tilbud der vinder udbuddet En ordregiver modtager tre tilbud, et kvalitetsmæssigt dårligt tilbud (A) og to kvalitetsmæssigt gode tilbud (B og C). Evalueringsmodellen er udformet således:» Kvalitet vægter 50 % og pris vægter 50 %.» Kvalitet vurderes på skala fra 0-8 point.» Priser omregnes til point i lineær model, hvor laveste pris får 8 point, og hvor laveste pris plus 50 % giver 0 point. Eksempel 1 Eksempel 2 Tilbud A B C A B C Priser (mio. kr.) 3,0 3,7 4,2 3,5 3,7 4,2 - omregnet til point 8 3, ,63 5 Kvalitet I alt (vægtet 50/50) 4,00 4,87 4,80 4,00 6,31 6,40 Den eneste forskel i eksemplerne er prisen i tilbud A. I eksempel 1 er tilbud A s pris på 3,0 mio. kr. Her fører evalueringsmodellen til, at tilbud B er det økonomisk mest fordelagtige. Når tilbud A s pris i stedet som i eksempel 2 er på 3,5 mio. kr., fører evalueringsmodellen til, at tilbud C vinder udbuddet. Eksemplet illustrerer, at prisen i det kvalitetsmæssigt dårligste tilbud (A) kan være afgørende for, hvilket af de to kvalitetsmæssigt bedste tilbud (B og C) der vinder. 38 Se fx klagenævnets kendelse af 7. november 2007, SJ AB mod Trafikstyrelsen for jernbane og færger. 39 Eksemplet er baseret på netop den argumentation fra klager i kendelsen af 7. november 2007, SJ AB mod Trafikstyrelsen for jernbane og færger, som klagenævnet henviser til i formuleringen om, at modellen under mere ekstreme forudsætninger kan føre til resultater, som er objektivt uhensigtsmæssige.

44 SIDE 44 KAPITEL 5 SUPPLERENDE OPLYSNINGER OM EVALUERINGSMODELLER Der findes ikke nogen praksis fra Klagenævnet om, i hvilke situationer problemet omtalt i boks 5.9 vil kunne være i strid med reglerne. Det er derfor langt fra givet, at anvendelsen af en model, hvor størrelsen på det laveste bud kan have været afgørende for, hvilket af to andre bud der bliver det økonomisk mest fordelagtige, vil blive vurderet at have været uegnet til identificering af det økonomisk mest fordelagtige tilbud i den konkrete situation. Men i en situation, hvor der er tale om ekstreme forudsætninger, og hvor størrelsen på det laveste bud kan have været afgørende for, hvilket af to andre bud der bliver det økonomisk mest fordelagtige, bør man derfor som ordregiver nøje overveje, om modellen er både egnet, gennemsigtig og sikrer ligebehandling af tilbudsgiverne. En variant af den problemstilling, som er beskrevet i boks 5.9, vil kunne forekomme i en model, som er indrettet sådan, at skalaen slutter ved, at højeste pris får minimumpoint. I denne situation er det størrelsen på højeste brud, som kan være afgørende for, hvilket af to andre tilbud der er det økonomisk mest fordelagtige. Det tilføjes, at en model, som afhænger af både laveste og højeste pris, ikke kan anbefales, da den af flere grunde kan være uhensigtsmæssig, ikke mindst i situationer, hvor der kun er få tilbud og ikke særlig stor spredning i priserne Se note 37.