Evalueringsmetoder. Praktisk vejledning til offentlige indkøbere

Evalueringsmetoder Praktisk vejledning til offentlige indkøbere Juli 2016

Evalueringsmetoder Praktisk vejledning til offentlige indkøbere Konkurrence- og Forbrugerstyrelsen Carl Jacobsens Vej 35 2500 Valby Tlf.: +45 41 71 50 00 E-mail: kfst@kfst.dk Online ISBN 978-87-7029-639-7 Vejledningen er udarbejdet af Konkurrence- og Forbrugerstyrelsen Juli 2016

Indhold Kapitel 1 Overblik over vejledningens indhold... 5 1.1 Evalueringsmetoden skal beskrives i udbudsmaterialet... 5 1.2 Forskellige evalueringsmodeller har forskellige egenskaber... 8 1.3 Vejledningens struktur og indhold... 10 Kapitel 2 Evalueringsmetoder skal oplyses i udbudsmaterialet... 11 2.1 Fremgangsmåde, metoder og modeller... 11 2.2 Beskrivelse af evalueringsmetoder i udbudsmaterialet... 13 2.3 Hvor meget skal offentliggøres?... 17 Kapitel 3 Kriterier og afvejning... 19 3.1 Tildelingskriterier... 19 3.2 Kvalitetsmæssige under- og delkriterier... 20 3.3 Afvejning af de valgte kriterier... 22 Kapitel 4 Prismodeller... 26 4.1 Tre trin i prismodeller: Pointgivning, omregning og opgørelse... 26 4.2 Prismodel baseret på gennemsnitspriser... 27 4.3 Prismodel baseret på beregningsbeløb... 28 4.4 Prismodellers virkninger... 29 Kapitel 5 Pointmodeller... 31 5.1 Trin ved brug af pointmodeller... 31 5.2 Lineære pointmodeller... 32 5.3 Ikke-lineære pointmodeller... 39 5.4 Pointmodellers virkninger... 40 Kapitel 6 Prosamodeller og procentmodeller... 42 6.1 Samme regler for sproglige evalueringer... 42 6.2 Model baseret på procentvise forskelle... 44 6.3 Procentmodellens virkninger... 45

Kapitel 7 Spørgsmål i tilknytning til reglerne om evalueringsmetoder... 47 7.1 Hvornår kan en evalueringsmetode tilsidesættes?... 47 7.2 Gælder klagenævnets praksis om modellers egnethed fortsat?... 48 7.3 Hvad gør man, når to tilbud vurderes helt lige?... 50 7.4 Absolut eller relativ bedømmelse af kvalitet... 50 7.5 Vægtning af delkriterier... 52 7.6 Kan man have forskellig vægtning i model og sekundærmodel?... 53 7.7 Hvordan kan lineære pointmodeller modificeres?... 53 7.8 Kan en offentliggjort evalueringsmetode ændres?... 56 7.9 Hvordan kan alternative tilbud håndteres i evalueringsmodeller?... 57 7.10 Tidsmæssigt separate vurderinger af kvalitet og pris... 58 Bilag Praktiske eksempler på beskrivelser af evalueringsmetoder... 59 Bilag 1: Laveste pris... 60 Bilag 2: Laveste totalomkostninger... 61 Bilag 3: Omvendt licitation... 62 Bilag 4: Prismodel gennemsnitspris/højeste tal på pointskalaen... 63 Bilag 5: Prismodel beregningsbeløb/højeste tal på pointskalaen... 65 Bilag 6: Lineær pointmodel laveste pris plus X pct.... 67 Bilag 7: Lineær pointmodel gennemsnitspris plus/minus X pct.... 69 Bilag 8: Ikke-lineær pointmodel maksimumpoint * laveste pris/pris... 71 Bilag 9: Model baseret på procentforskelle... 73

SIDE 5 1426BEVALUERINGSMETODER Kapitel 1 Overblik over vejledningens indhold 1.1 Evalueringsmetoden skal beskrives i udbudsmaterialet Udbudsloven, som trådte i kraft den 1. januar 2016, sætter rammerne for, hvordan offentlige ordregivere køber ind. Loven skal sikre den bedst mulige udnyttelse af de offentlige midler gennem en effektiv konkurrence om opgaverne. I denne vejledning er fokus er rettet på et enkelt emne i den nye udbudslov reglerne om, at ordregivere skal oplyse evalueringsmetoder i udbudsmaterialet. Reglerne indebærer, at tilbudsgiverne skal have forudgående gennemsigtighed i, hvordan ordregivere vil foretage evalueringer. Hovedelementerne i udbudslovens regler om forudgående gennemsigtighed fremgår af boks 1.1. I 2. udgave af vejledningen Evalueringsmetoder Praktisk vejledning til offentlige indkøbere, Juli 2016, er der foretaget ændringer i kapitel 5, der vedrører pointmodeller. Formlerne, der i den forrige udgave blev anvendt ved omregning af priser til point, tog udgangspunkt i, at der blev anvendt en pointskala, der startede ved 0 point. Det vil sige en skala med en minimumsværdi på 0. Formlerne gav derfor kun det korrekte antal point, når pointskalaen startede ved 0 point. Fejlen er nu rettet således, at formlerne, der anvendes til omregning af priser til point, tager højde for andre minimumsværdier end 0 i de lineære pointmodeller. Der er således tale om en ændring af formlerne i afsnit 5.2 på side 33 og 37, og i afsnit 5.3 på side 39 er tilføjet en note 48. Boks 1.1 Udbudslovens regler om forudgående gennemsigtighed i evalueringer Det fremgår af udbudslovens 160 og lovbemærkningerne til bestemmelsen, at ordregivere skal oplyse følgende om evalueringen i udbudsmaterialet:» Tildelingskriterie, underkriterier og delkriterier» Hvad der tillægges betydning ved bedømmelse af under- og delkriterier» Hvordan ordregiver vil vægte underkriterierne» Evalueringsmetoden, dvs. de systematikker der bruges ved evalueringen til fx» bedømmelse af de enkelte kriterier» eventuel omregning af bedømmelser til andre enheder» at sammenstille bedømmelser af pris og kvalitet. Det fremgår også af lovbemærkningerne, at ordregiver har et meget vidt skøn ved fastsættelsen af disse kriterier, forhold, vægte og metoder. Det betyder, at ordregivere kan vælge det, som de ønsker, hvis det er i overensstemmelse med lovens generelle principper om gennemsigtighed, ligebehandling og proportionalitet. Det fremgår desuden, at evalueringsmetoden skal beskrives på en måde,» hvor ordregiveren ikke har et ubetinget frit valg ved evalueringen» hvor det er klart for tilbudsgivere, hvilken metode der anvendes, hvordan den anvendes, og hvordan de kan optimere deres tilbud, samt at de efterfølgende kan kontrollere, om metoden

SIDE 6 KAPITEL 1 OVERBLIK OVER VEJLEDNINGENS INDHOLD er anvendt som oplyst Ved evalueringen har ordregiver et vidt skøn ved bedømmelsen af kvalitetskriterier. Det følger således af udbudsloven, at ordregiver i udbudsmaterialet skal oplyse de kriterier, forhold, vægte og metoder, som vil blive anvendt ved evalueringen. Evalueringen skal herefter gennemføres i overensstemmelse med det oplyste. Ordregivers skøn ved selve evalueringen er ved bedømmelse af tilbud på kvalitetskriterier. Med udbudsloven indføres der dermed et stærkere krav til forudgående gennemsigtighed i evalueringsmetoder, end der tidligere har været i dansk praksis. Under den tidligere praksis skulle tilbudsgiverne ikke have gennemsigtighed i evalueringsmetoderne forud for tilbudsafgivelsen. Det gjorde det vanskeligt for tilbudsgivere at optimere deres tilbud, og det kunne indebære, at konkurrencen ikke var så skarp, som den kunne være. Desuden kunne det føre til klager, hvis tilbudsgivere fx efterfølgende konstaterede, at de kunne have vundet et udbud, såfremt de på forhånd havde vidst, hvordan evalueringen ville blive foretaget og derfor kunne have indrettet deres tilbud anderledes. Hensigten med at styrke den forudgående gennemsigtighed er således at sikre bedre konkurrence om de offentlige opgaver, idet tilbudsgiverne får bedre mulighed for at optimere og indrette deres tilbud efter ordregiverens ønsker. Den øgede gennemsigtighed giver tilbudsgiverne større sikkerhed for, hvordan evalueringen gennemføres, og kan derfor medvirke til, at der fremover bliver færre juridiske tvister om evalueringer. Samlet set ventes de nye principper at reducere tilbudsgivernes omkostninger ved udbud. For mange ordregivere betyder det, at man fremover skal gennemføre evalueringer på en anden måde, end man er vant til. Man skal forberede evalueringen tidligere, når man allerede i udbudsmaterialet skal beskrive, hvordan evalueringen vil blive gennemført. Ligesom hidtil skal man tidligt i processen vælge kriterier og vægte. Men fremover skal man også tidligt forklare, hvad man vil tillægge betydning ved bedømmelsen, og hvilken metode man vil anvende ved evalueringen af tilbuddene, så dette fremgår af udbudsmaterialet. Når ordregiveren på forhånd skal oplyse, hvordan evalueringen vil blive gennemført, gives tilbudsgiverne viden om, hvad ordregiverens præferencer er, og hvordan ordregiveren vil afveje pris og kvalitet ved evalueringen. Det giver bedre resultater for ordregiver, når der er god konkurrence om de offentlige opgaver. Ud over ordregiverens tilrettelæggelse af udbuddet kan fx outliere blandt tilbuddene også afhængigt af evalueringsmetode have betydning for, om der er brug for sekundære modeller, eller for hvem der vinder udbuddet. Det er derfor også behov for præcision i, hvilke metoder og vægte der kan give den ønskede afvejning ved evalueringen. Udbudslovens regler om, at evalueringsmetoden skal oplyses i udbudsmaterialet, forstærker derfor behovet for, at ordregiveren laver en grundig forberedelse af udbuddet. Blandt andet er det vigtigt at få tilrettelagt udbuddet, så der bliver god konkurrence om opgaven. Det er vigtigt, at man som ordregiver får valgt rammer og metoder, som kan understøtte den ønskede afvejning ved evalueringen. Det er væsentligt at have godt kendskab til både det konkrete leverandørmarked og til de forskellige metoder, der kan bruges ved udbud og evalueringer.

SIDE 7 1426BEVALUERINGSMETODER Konkurrence- og Forbrugerstyrelsen ønsker med denne vejledning at understøtte, at udbudspraktikere får kendskab til forskellige metoder og modeller, som kan bruges ved evalueringer. Vejledningen indeholder nogle eksempler på evalueringsmodeller, som har fordele og ulemper. Der kan selvsagt også anvendes andre modeller, som er mere komplekse. Styrelsen vil arbejde videre med at analysere forskellige evalueringsmodeller og fx overveje muligheder for uddybende vejledning om både andre evalueringsmodeller og om, hvordan udbud kan tilrettelægges, så der bliver god konkurrence om opgaven. Et væsentligt element i ordregiveres forberedelse af udbuddet kan ofte være en grundig forudgående markedsdialog før udbuddet, jf. boks 1.2. Boks 1.2 Dialog før udbuddet Ved forberedelse af udbuddet kan det være hensigtsmæssigt at undersøge, hvilke muligheder der findes, og hvordan konkurrencen er på markedet for det, som udbuddet skal omhandle. Det kan undersøges på forskellige måder, fx i dialog med leverandører i den pågældende branche og ved at kontakte andre ordregivere, som har udbudt lignende anskaffelser. Udbudsloven giver meget vid adgang til dialog og markedsundersøgelser før udbuddet, når det blot ikke ender med en væsentlig konkurrencefordel for en bestemt tilbudsgiver ved udbuddet. Dialog før et udbud er ofte med til at give ordregivere et indtryk af, om der er udviklet nye produkter eller nye måder at løse opgaven på, og hvilke mulige løsninger der kan være relevante i det konkrete udbud. Det er også med til at give ordregiver oplysninger om leverandører, produkter, priser og konkurrencen på markedet. Denne viden kan bruges på mange måder ved tilrettelæggelsen af udbuddet. Oplysningerne kan fx bruges, når opgaven skal specificeres, og når det skal overvejes, hvordan der kan skabes god konkurrence ved udbuddet. Oplysningerne kan også bruges, når ordregiveren skal vælge, hvilke kriterier tilbuddene skal evalueres på, hvad der skal tillægges betydning ved bedømmelsen, og hvordan kriterierne skal vægtes. Og det kan give ordregiveren bedre grundlag for at kunne vurdere forventet prisspredning og risiko for outliere 1 blandt tilbuddene, som kan anvendes, når der skal vælges evalueringsmodel, jf. nedenfor i afsnit 1.2. Udbudsloven indfører også visse ændringer i retsgrundlaget for den eksisterende praksis fra Klagenævnet for Udbud og nævnets muligheder for at behandle klager over evalueringsmetoder. Betydelige dele af den hidtidige praksis fra Klagenævnet for Udbud med krav om blandt andet evalueringsmodellers egnethed 2 vil efter Konkurrence- og Forbrugerstyrelsens vurdering ikke være relevant fremadrettet, når evalueringsmetoderne skal fremgå af udbudsmaterialet. Desuden indeholder udbudsloven en bestemmelse om, at en evalueringsmetode, der er beskrevet i udbudsmaterialet i overensstemmelse med reglerne, ikke kan tilsidesættes af klage- og retsinstanser, hvis den er gennemsigtig og overholder ligebehandlingsprincippet. 3 Boks 1.3 Nye begreber og andre nyskabelser i reglerne om evalueringer Blandt de væsentligste nyheder i udbudslovens regler om evalueringer er, at det økonomisk mest fordelagtige tilbud nu anvendes som et overordnet begreb, hvor ordregivere kan vælge mellem tre tildelingskriterier pris, omkostninger eller bedste forhold mellem pris og kvalitet. Et andet nyt begreb er evalueringsmetoder, der bruges som en overordnet betegnelse for alle 1 Ved outliere forstås tilbud, som ligger langt fra hovedfeltet af tilbud mht. pris og kvalitet. 2 Se afsnit 7.2. 3 Jf. udbudslovens 160, stk. 2. Se også afsnit 7.1.

SIDE 8 KAPITEL 1 OVERBLIK OVER VEJLEDNINGENS INDHOLD de systematikker og ordninger, som bruges i evalueringer uanset tildelingskriterie. Evalueringsmodeller er en delmængde af evalueringsmetoderne. Modellerne beskriver, hvordan man vil sammenstille priser og bedømmelser af kvalitetskriterier i evalueringer, hvor tildelingskriteriet er bedste forhold mellem pris og kvalitet. En af nyskabelserne i reglerne er, at det nu fremgår eksplicit, at ordregivere kan oplyse en sekundær evalueringsmetode, som fx kan anvendes, hvis tilbuddene ikke kan rummes indenfor den primære evalueringsmetode. Denne mulighed kan være relevant at benytte, når den primære evalueringsmodel er en lineær pointmodel. En anden nyskabelse er, at ordregivere kan evaluere kvalitet ved at sammenligne indholdet i tilbuddene, dvs. i en relativ bedømmelse. 1.2 Forskellige evalueringsmodeller har forskellige egenskaber Udgangspunktet for en evaluering er at vælge rammerne for evalueringen. Rammerne består af de kriterier, man vælger at evaluere tilbuddene på, det man vælger at tillægge betydning ved bedømmelsen, og den måde man vælger at vægte bedømmelserne på. Disse valg kan medvirke til, at der kan blive en god konkurrence om opgaven, og at tilbudsgiverne kan indrette deres tilbud på at opfylde ordregiverens ønsker. 4 Når man som ordregiver har foretaget disse valg om rammerne for evalueringen, er de øvrige elementer i evalueringen teknik og værktøjer, der skal understøtte valgene. Med teknik og værktøjer menes den konkrete metode og herunder en eventuel model, som man vælger at bruge for at opnå den ønskede afvejning mellem pris og kvalitet. Man skal her være opmærksom på, at forskellige værktøjer virker forskelligt. De metoder og modeller, man vælger at bruge, kan derfor også have afgørende betydning for, hvem der vinder udbuddet. I udbudsloven nævnes tre eksempler på evalueringsmodeller:» Prismodeller, hvor point fra bedømmelser af kvalitet omregnes til priser, som vægtes sammen med tilbudspriser til en evalueringspris. Tilbuddet med laveste evalueringspris vinder udbuddet.» Pointmodeller, hvor tilbudspriser omregnes til point, som sammenvægtes med point for kvalitet. Tilbuddet med højeste samlede pointscore vinder udbuddet.» Prosamodeller, hvor der i sproglige evalueringer sker sammenstilling af tilbudspriser og bedømmelser af kvalitet på andre måder end ved at omregne priser til point eller point til priser. I vejledningen beskrives i alt seks konkrete eksempler på evalueringsmodeller, to prismodeller, tre pointmodeller og en procentmodel. Disse modeller er alene eksempler, og der kan også anvendes andre modeller til evaluering af tilbud. Der kan anvendes andre former for fx priseller pointmodeller, og der kan også anvendes helt andre typer af modeller end pris-, pointeller prosamodeller. Det er en god idé både grundigt at overveje og at afprøve, hvilke model der kan give den ønskede afvejning ved evalueringen. De seks eksempler på modeller, som forklares i vejledningen, er illustreret ved brug af det samme standardeksempel, så man kan se, hvordan modellerne virker i forhold til hinanden. I 4 Se kapitel 3.

SIDE 9 1426BEVALUERINGSMETODER boks 1.4 er der sammenfattet nogle overordnede forskelle mellem de forskellige modeller, som er gennemgået i vejledningen. Evalueringsmodeller er som nævnt det sammenstillingsværktøj, som skal understøtte ordregivers valg og ønsker ved evalueringen. Forskellige evalueringsmodeller udgør derfor også forskellige værktøjer, som fungerer på forskellige måder. Boks 1.4 De forskellige modellers egenskaber Nogle af de væsentligste egenskaber ved de forskellige modeller, som det kan være en god idé at være opmærksom på, når man vælger evalueringsmodel i konkrete udbud, fremgår af følgende oversigt. Prismodeller Pointmodeller Procentmodel Gennemsnitspris /højeste point Beregningsbeløb /højeste point Laveste pris plus X pct. Gennemsnitspris Maksimumpoint * plus/minus X pct. laveste pris/pris Laveste pris og bedste kvalitet 1 Er der behov for sekundærmodel? Nej Nej Ja Ja Nej Nej 2 3 4 Har outliere indflydelse på modellens resultater? Favoriserer modellen kvalitet frem for pris? Signalerer modellen, hvad ordregiver vil betale for kvalitet? Ja Nej Ja Ja Ja Ja Nej Nej Nej Nej Ja Nej (Ja) Ja Nej Nej Nej Nej De to øverste rækker i tabellen omhandler de forskellige modellers egenskaber i forhold til at kunne håndtere indhold i tilbud, som ordregiveren ikke umiddelbart forventede. Som det fremgår af den første række i tabellen, har to af pointmodellerne en egenskab, som adskiller sig fra de øvrige modeller. Det skyldes, at der kan vise sig at være større spredning i tilbudspriserne, end disse modeller kan rumme. Når man bruger disse modeller, kan man også oplyse sekundære modeller, så man ikke bliver nødt til at aflyse udbuddet ved større prisspredning end forventet. Denne virkning om stor spredning i tilbudspriserne fremgår også af de egenskaber, som der ses på i række 2 i tabellen. Den omhandler såkaldte outliere, dvs. tilbud som ligger langt fra hovedfeltet af tilbud mht. pris og kvalitet. Ud over at give behov for sekundærmodeller kan outliere også i forskelligt omfang have indflydelse på modellernes resultater i de modeller, hvor modellens beregninger tager udgangspunkt i indholdet i et eller flere af tilbuddene laveste pris, gennemsnitspriser eller bedste kvalitet. Desuden kan en outlier med meget lave priser have afgørende betydning for, hvilket af fx to andre tilbud der vinder udbuddet i de modeller, som tager udgangspunkt i laveste pris. Tilsvarende kan et tilbud med meget høj kvalitet have afgørende betydning for, hvilket af to andre tilbud der vinder udbuddet i procentmodellen. Som det fremgår af række 3 i tabellen, er der en af pointmodellerne, som har en tendens til at favorisere tilbud med højere priser og bedre kvalitet, set i forhold til hvordan de øvrige modeller fungerer. Endeligt adskiller de to prismodeller sig fra de øvrige modeller ved at sætte beløb på, hvad ordregiver vil betale for bedre kvalitet, sådan som det fremgår af række 4 i tabellen. Det gælder især for modellen med udgangspunkt i et beregningsbeløb, hvor det på forhånd oplyses for tilbudsgiverne, hvilken værdi hvert point for kvalitet tillægges ved evalueringen. Konkurrence- og Forbrugerstyrelsen anbefaler ikke bestemte evalueringsmodeller frem for andre. Efter styrelsens opfattelse er det hensigtsmæssigt for ordregivere at være opmærksom

SIDE 10 KAPITEL 1 OVERBLIK OVER VEJLEDNINGENS INDHOLD på egenskaberne ved forskellige modeller, når der skal vælges evalueringsmodeller i konkrete udbud. Og det er også en god idé grundigt at teste, hvilken evalueringsmodel der bedst kan medvirke til at sikre den ønskede afvejning mellem pris og kvalitet ved udbuddet. For de modeller, der er omtalt i denne vejledning, kan det testes ved brug af et beregningsværktøj, som kan findes på bedreudbud.dk og www.kfst.dk/offentlig-konkurrence. 1.3 Vejledningens struktur og indhold Hovedparten af vejledningen er skrevet til udbudspraktikere, som skal have et overblik over reglerne om offentliggørelse af evalueringsmetoder, og som skal overveje, hvordan de kan lave evalueringer, som giver den ønskede afvejning mellem pris og kvalitet. Kapitel 2 giver et overblik over hovedpunkterne i reglerne om beskrivelse af fremgangsmåder for evalueringer og herunder evalueringsmetoder i udbudsmaterialet. Der ses blandt andet på, hvad der generelt skal oplyses om evalueringsmetoder, og hvad der skal oplyses, når der også indgår kvalitetskriterier og bruges modeller ved evalueringen. Kapitel 3 omhandler de grundlæggende valg af de rammer, som er fundamentet i evalueringer. Med rammerne forstås valg af tildelingskriterie, eventuelle under- og delkriterier, hvad der tillægges betydning ved bedømmelsen, og hvordan underkriterierne vil blive vægtet. I kapitlet gennemgås mulighederne, når der alene skal evalueres på priser eller omkostninger, og når tilbuddene også evalueres på kvalitetskriterier. Desuden ses der på, hvad ordregivere kan overveje, når flere forskellige kriterier skal afvejes i evalueringen. Kapitel 4 omhandler prismodeller. I prismodeller omregnes point for kvalitet til beløb, som vægtes sammen med tilbudspriserne i evalueringen af, hvilket tilbud der har det bedste forhold mellem pris om kvalitet. I kapitel 5 er emnet pointmodeller. I pointmodeller omregnes priser til point, som vægtes sammen med point for kvalitet i evalueringen. Der ses også på, hvordan og hvornår der kan anvendes sekundære evalueringsmodeller. Kapitel 6 omhandler sproglige evalueringer, der typisk omtales som prosamodeller. I prosamodeller sker sammenstillingen af tilbudspriser og bedømmelse af kvalitet på andre måder, end ved at omregne priser til point eller point til priser. Kapitel 7 er et opslagskapitel, hvor der uddybes forskellige emner i tilknytning til reglerne om offentliggørelse af fremgangsmåder for evalueringer og herunder evalueringsmetoderne. De fleste af emnerne har en lidt mere juridisk karakter, og kapitlet henvender sig derfor i højere grad end de foregående kapitler også til udbudsjuristerne. Sidst i vejledningen er der bilag med en række eksempler på, hvordan evalueringer baseret på forskellige tildelingskriterier og forskellige evalueringsmodeller kan beskrives i udbudsmaterialet.

SIDE 11 1426BEVALUERINGSMETODER Kapitel 2 Evalueringsmetoder skal oplyses i udbudsmaterialet 2.1 Fremgangsmåde, metoder og modeller Udbudsloven 5 fastsætter, at ordregivere skal beskrive fremgangsmåden for evalueringen i udbudsmaterialet. En del af fremgangsmåden er evalueringsmetoder, og en del af evalueringsmetoderne kan være evalueringsmodeller, sådan som det er illustreret i følgende figur. Ordregiveres beskrivelser i udbudsmaterialerne skal omfatte de fremgangsmåder, rammer, metoder og modeller, som anvendes i udbuddene. Figur 2.1 Overblik over, hvad der skal oplyses i udbudsmaterialet Begrebet fremgangsmåde anvendes i lovbemærkningerne til udbudsloven som en samlet betegnelse for alt det, som ordregiver skal oplyse i udbudsmaterialet om, hvordan evalueringen vil blive foretaget. Fremgangsmåden udgøres af» de tre punkter i den øverste del af figuren, som samlet kan betegnes som rammerne for evalueringen, 6» evalueringsmetoderne i den nederste del af figuren. 7 5 Vejledningen baserer sig primært på reglerne i udbudslovens 160, som finder anvendelse ved EU-udbud efter udbudslovens afsnit 2. 6 Denne kategorisering af de tre øverste punkter i opstillingen som rammer for evalueringen fremgår ikke af lovbemærkningerne. Begrebet rammer er en samlebetegnelse for de pågældende tre punkter, som Konkurrence- og Forbrugerstyrelsen har valgt at anvende i denne vejledning.

SIDE 12 KAPITEL 2 EVALUERINGSMETODER SKAL OPLYSES I UDBUDSMATERIALET Rammerne for evalueringen udgøres af de samlede valg 8 om, hvilke kriterier man som ordregiver vil anvende i evalueringen, hvad man vil tillægge betydning ved bedømmelsen, og hvordan man vil vægte kriterierne ved evalueringen. Det første valg omhandler tildelingskriterie, hvor der kan vælges mellem pris, omkostninger eller bedste forhold mellem pris og kvalitet. Når man vælger tildelingskriteriet bedste forhold mellem pris og kvalitet, indgår der også underkriterier og evt. delkriterier, og man skal derfor også vælge, hvad man vil tillægge betydning ved bedømmelsen af disse, samt hvordan man vil vægte underkriterierne. Ud over disse rammer for evalueringen omtales alt det øvrige ved evalueringer med et nyt begreb i udbudsloven som evalueringsmetoder. Evalueringsmetoder er den overordnede betegnelse for alle de systematikker og ordninger, som ordregivere bruger i evalueringer. Det er med andre ord de teknikker og værktøjer, ordregiveren bruger til at understøtte de valgte rammer for evalueringen. Det omhandler de metoder, der bruges til at identificere det økonomisk mest fordelagtige tilbud, uanset om tildelingskriteriet er pris, omkostninger eller bedste forhold mellem pris og kvalitet. Metoderne kan fx omhandle, hvordan priser eller omkostninger opgøres, når der indgår flere elementer i opgørelsen, hvilke metoder og skalaer der bruges ved bedømmelsen af kvalitetskriterier, og hvordan vinderen af udbuddet findes, hvis to tilbud er helt lige. Evalueringsmodeller er en delmængde af evalueringsmetoderne. Modeller benyttes, når tildelingskriteriet er bedste forhold mellem pris og kvalitet. I modellerne beskrives, hvordan sammenstilling af priser og bedømmelser af kvalitet sker. I kapitel 4-6 gennemgås eksempler på prismodeller, pointmodeller og prosamodeller. Der kan også anvendes andre modeller til evaluering af tilbud. Dels kan der anvendes andre former for pris- eller pointmodeller end de omtalte i denne vejledning, dels kan der anvendes andre typer af modeller end pris-, point- eller prosamodeller. Fx kan der anvendes en procentmodel (se kapitel 6) eller en forholdsmodel, hvor priser divideres med point fra bedømmelser af kvalitet. 9 Som det fremgår af figur 2.1, fastsætter udbudsloven, at ordregiver skal oplyse rammerne for evalueringen og evalueringsmetoderne i udbudsmaterialet. I kapitel 3 gennemgås, hvilke valg ordregiver har, når rammerne for evalueringen skal fastlægges, mens der i den resterende del af dette kapitel især ses nærmere på udbudslovens regler om, at evalueringsmetoder skal oplyses i udbudsmaterialet. 7 Figuren er baseret på de fire punkter, som fremgår af lovbemærkningerne til udbudslovens 160 om, hvad ordregiveren skal oplyse i udbudsmaterialet om fremgangsmåderne for evaluering. Det fremgår, at ordregiveren for det første skal oplyse tildelingskriterie, eventuelle underkriterier og eventuelle delkriterier. For det andet skal det oplyses, hvordan ordregiveren vil vægte underkriterier. For det tredje skal ordregiveren beskrive evalueringsmetoderne, og for det fjerde skal det fremgå, hvad ordregiveren i forbindelse med de enkelte under- og delkriterier tillægger betydning ved tilbudsevalueringen. Der fremgår herudover yderligere en række mere konkrete bemærkninger om, hvad der skal oplyses i udbudsmaterialet det gælder især for, hvad der skal oplyses om evalueringsmetoderne, sådan som det er forklaret i afsnit 2.2. 8 I lovbemærkningerne omtales disse valg med formuleringer om, at ordregiveren har et meget vidt skøn ved fastlæggelse af kriterier, hvad der skal tillægges betydning, og hvordan man vil vægte underkriterier m.v. I denne vejledning omtales ordregiveres beslutninger herom som valg, mens det alene er de skøn, som ordregivere har ved bedømmelse af kvalitetskriterier, der omtales som skøn. 9 Denne model, som fx anvendes af EU-Kommissionen til at bedømme moderat komplekse indkøb, hvor kvalitetskriterier er af nogenlunde samme betydning, er ikke omtalt i denne vejledning. Det skyldes blandt andet, at den sammenlignet med andre modeller kan være vanskeligere at anvende mht. at sikre den ønskede afvejning og mht. bedømmelser af kvalitetskriterier, idet vægtningen i modellen afhænger af det samlede antal point i kvalitetsbedømmelserne.

SIDE 13 1426BEVALUERINGSMETODER 2.2 Beskrivelse af evalueringsmetoder i udbudsmaterialet Det fremgår af udbudsloven, at evalueringsmetoder skal være i overensstemmelse med de generelle udbudsretlige principper om ligebehandling og gennemsigtighed. Ligebehandlingsprincippet har betydning for, hvordan ordregiveren kan indrette evalueringsmetoderne. Evalueringsmetoderne skal udformes, så alle potentielle tilbudsgivere og alle de afgivne tilbud bliver behandlet lige. 10 Samme indhold i forskellige tilbud må ikke behandles forskelligt, og forskelligt indhold i forskellige tilbud må ikke behandles ens, medmindre der er saglige begrundelser for det. Gennemsigtighedsprincippet har betydning for, hvad ordregiveren skal oplyse om evalueringsmetoden, og hvornår det skal oplyses. Reglerne om offentliggørelse af evalueringsmetoden i udbudsmaterialet indebærer en forudgående gennemsigtighed, hvor tilbudsgiverne før tilbudsafgivelsen har gennemsigtighed i, hvad ordregiveren lægger vægt på ved evalueringen, og hvordan evalueringen nærmere foretages. Detaljeringsniveauet i ordregiverens beskrivelse af evalueringsmetoderne Det fremgår af udbudsloven om detaljeringsniveauet for beskrivelse af evalueringsmetoden i udbudsmaterialet, at ordregiveren» ikke må have et ubetinget frit valg mellem tilbud ved evalueringen» ikke må lægge vægt på forhold, som ikke har været oplyst i udbudsmaterialet. Det første punkt om, at evalueringsmetoden ikke må give ordregiveren et ubetinget frit valg ved evalueringen, er gentaget flere gange i lovbemærkningerne. 11 I en situation, hvor to tilbud ligger tæt mht. pris og kvalitet, må det generelt antages at betyde, at evalueringsmetoden skal være beskrevet på en måde, hvor den ikke giver ordregiveren et ubetinget frit valg mellem de to tilbud. Udbudslovens krav om, at ordregiver ikke må have et ubetinget frit valg, gælder for de elementer i evalueringsmetoden, hvor ordregiver ikke skal udøve en skønsmæssig bedømmelse. Det gælder således ikke i forhold til det vide skøn, som ordregiver har ved bedømmelsen af tilbuddene på kvalitetskriterier. 12 Ud over ordregivers skøn ved bedømmelse af kvalitetskriterier fremgår det også af lovebemærkningerne til udbudsloven, at ordregiveren har et meget vidt skøn ved fastlæggelse af, hvilke kriterier tilbuddene skal evalueres på, hvad der skal tillægges betydning, hvordan ordregiveren vil vægte underkriterier, og hvilke evalueringsmetoder der skal anvendes. I denne vejledning omtales ordregiveres beslutninger herom som valg, mens det alene er de skøn, som ordregivere har ved bedømmelse af kvalitetskriterier, der omtales som skøn. 10 Princippet om ligebehandling indebærer ikke, at ordregiverens vilkår og evalueringsmetoder skal være konkurrenceneutrale. Det er fx helt i overensstemmelse med ligebehandlingsprincippet at stille saglige mindstekrav til kvalitet, som tilbudsgivere har forskellige forudsætninger for at kunne opfylde, eller at evaluere på kriterier om fx kvalitet, hvor tilbudsgiverne vil opnå forskellige bedømmelser. 11 Jf. fx bemærkningerne til udbudslovens 160, hvor det fremgår, at ordregiveren skal beskrive evalueringsmetoden på en måde, der gør det klart for de potentielle ansøgere og tilbudsgivere, hvordan ordregiveren vil anvende metoden, således at ordregiveren ikke har et ubetinget frit valg ved evalueringen. 12 Ved bedømmelsen af kvalitetskriterier kan ordregiveren siges at have en form for betinget frit valg, idet ordregiveren sådan som det fremgår udtrykkeligt af lovbemærkningerne til udbudslovens 160 her har et vidt skøn indenfor de rammer, som gælder for skønnet. Se også den uddybende forklaring om rammerne for ordregiverens skøn i afsnit 3.2 og eksemplerne herpå i boks 3.1.

SIDE 14 KAPITEL 2 EVALUERINGSMETODER SKAL OPLYSES I UDBUDSMATERIALET Det er således op til ordregiver at vælge alle disse elemeter i, hvad der skal evalueres på, og hvordan det skal foregå, men når ordregiveren har foretaget disse valg, skal beskrivelsen heraf i udbudsmaterialet foretages på en sådan måde, at ordregiveren efterfølgende ikke har et ubetinget frit valg ved evalueringen. Det andet punkt er, at ordregiver i evalueringen ikke må lægge vægt på forhold, som ikke har været oplyst i udbudsmaterialet, og som kunne have været af betydning for tilbudsgiverne ved udformningen af deres tilbud eller ved deres stillingtagen til, om de ønskede at afgive tilbud. Det fremgår af de øvrige kapitler i denne vejledning, hvad dette konkret betyder for ordregiverens beskrivelser af forskellige evalueringsmetoder i udbudsmaterialet. Desuden er der i bilagene til denne vejledning en række eksempler på, hvordan evalueringer baseret på forskellige tildelingskriterier og ved brug af forskellige evalueringsmetoder kan beskrives i udbudsmaterialet, så de lever op til disse punkter. Boks 2.1 Gennemsigtige evalueringsmetoder, som overholder ligebehandlingsprincippet, kan ikke tilsidesættes 13 Udbudslovens krav om beskrivelse af evalueringsmetoden i udbudsmaterialet modsvares af en bestemmelse om, at en evalueringsmetode, der er beskrevet i udbudsmaterialet i overensstemmelse med reglerne, ikke kan tilsidesættes af fx Klagenævnet for Udbud, hvis den er gennemsigtig og overholder ligebehandlingsprincippet. Baggrunden for denne regel er, at når tilbudsgiverne på forhånd har gennemsigtighed i, hvordan evalueringen vil blive foretaget, og hvad de praktiske konsekvenser af metoden kan forventes at være, har de på forhånd et oplyst grundlag for at vurdere, om de ønsker at afgive tilbud eller ej. Tilbudsgivere, der vælger at afgive tilbud, vil så også være klar over, at de ikke bagefter kan påklage evalueringsmetoden, hvis evalueringen er foretaget som oplyst. 14 Beskrivelsen af evalueringsmetoden i udbudsmaterialet I følgende tabel er det sammenfattet, hvad der altid skal oplyses i udbudsmaterialet om evalueringen. Tabellen viser således, hvad der skal oplyses, når der fx anvendes tildelingskriterierne pris eller omkostninger. 13 Se også de mere udførlige forklaringer herom i afsnit 7.1 14 Forudsætningen er som nævnt ovenfor, at metoden er i overensstemmelse med principperne om ligebehandling og gennemsigtighed.

SIDE 15 1426BEVALUERINGSMETODER Tabel 2.1 Hvad skal altid oplyses om evalueringer? Ordregiver skal i udbudsmaterialet beskrive Tildelingskriterie Evalueringsmetoden, herunder fx hvordan beregninger/opgørelser af priser eller omkostninger foretages For beskrivelsen af evalueringsmetoden gælder yderligere, at ordregiveren ikke må have ubetinget frit valg mellem tilbud ved evalueringen ikke må lægge vægt på forhold, som ikke har været oplyst i udbudsmaterialet Reglerne i udbudsloven indebærer, at ordregiver skal oplyse, hvilket tildelingskriterie der anvendes i evalueringen. Desuden skal ordregiveren beskrive de evalueringsmetoder, der anvendes i evalueringerne. Hvis der indgår flere elementer i de priser eller omkostninger, som tilbuddene skal evalueres på, skal det oplyses i udbudsmaterialet, hvordan disse forskellige elementer opgøres, beregnes eller sammentælles i evalueringen. 15 Beskrivelserne i udbudsmaterialet skal som nævnt ske på en sådan måde, at ordregiver ved den efterfølgende evaluering ikke har ubetinget frit valg mellem tilbud, og så der ikke ved evalueringen lægges vægt på forhold, som ikke har været oplyst i udbudsmaterialet. Tildelingskriteriet bedste forhold mellem pris og kvalitet Når ordregiveren vælger at evaluere tilbuddene på både pris og kvalitet, skal der ud over det ovennævnte også evalueres på kvalitetskriterier, og der bruges typisk en model til at sammenstille bedømmelserne af priser og kvalitet i evalueringen. I følgende tabel er det sammenfattet, hvad der efter reglerne i udbudsloven også skal oplyses om rammer og evalueringsmetoder, når der evalueres på både pris og kvalitet. 15 Jf. de lidt mere udførlige forklaringer herom i afsnit 3.2.

SIDE 16 KAPITEL 2 EVALUERINGSMETODER SKAL OPLYSES I UDBUDSMATERIALET Tabel 2.2 Hvad skal også oplyses ved evaluering af både pris og kvalitet? Ved tildelingskriteriet bedste forhold mellem pris og kvalitet skal også oplyses underkriterier og eventuelle delkriterier, samt» hvordan hvert enkelte under- og delkriterie nærmere vil blive bedømt» hvad der tillægges betydning ved bedømmelsen hvordan ordregiveren vil vægte underkriterierne evalueringsmodellen, dvs.» hvordan bedømmelser af underkriterier evt. omregnes andre enheder» hvordan bedømmelsen af kvalitetsmæssige underkriterier sammenstilles med økonomiske underkriterier Når der også evalueres på under- og delkriterier, skal kriterierne oplyses, og det skal fremgå af udbudsmaterialet, hvordan hvert enkelt af disse kriterier vil blive bedømt, og hvad der tillægges betydning ved bedømmelsen. 16 Inden for disse rammer har ordregiveren også fremover et vidt skøn ved bedømmelsen af tilbuddene på kvalitetskriterier, så længe principperne om ligebehandling og gennemsigtighed i øvrigt overholdes. Hvis der evalueres på både kvalitetsmæssige og økonomiske underkriterier, skal det også oplyses i udbudsmaterialet, hvordan underkriterierne vil blive vægtet, og hvilken evalueringsmodel der benyttes. Evalueringsmodeller bruges typisk til først at omregne priser og bedømmelsen af kvalitet til den samme enhed og dernæst til at sammenstille bedømmelserne af underkriterierne med vægtprocenter i en samlet opgørelse. Det skal oplyses i udbudsmaterialet, hvordan dette vil blive foretaget ved evalueringen. Gennemsigtighed for tilbudsgiverne I følgende tabel er hovedpunkterne fra bemærkningerne til udbudsloven om, hvad reglerne om offentliggørelse af evalueringsmetoden i udbudsmaterialet skal indebære for tilbudsgiverne, sammenfattet. Tabel 2.3 Gennemsigtighed for tilbudsgiverne Ordregivers beskrivelse i udbudsmaterialet skal gøre det klart for tilbudsgivere Hvilken evalueringsmetode, der anvendes, og hvordan den anvendes Evalueringsmetodens praktiske konsekvenser, betydning for vægtning og for konkurrencen mellem de bydende Om de ønsker at bruge ressourcer på at afgive tilbud Hvordan de kan optimere deres tilbud Gøre det muligt efterfølgende at kontrollere, at metoden er anvendt som oplyst 16 Da der alene konkurreres på kvalitetskriterier ved en omvendt licitation, skal disse oplysninger også fremgå af udbudsmaterialet ved en omvendt licitation.

SIDE 17 1426BEVALUERINGSMETODER Som det fremgår af tabellen, skal ordregiverens beskrivelse af evalueringsmetoden give tilbudsgiverne indsigt i, hvordan evalueringen vil blive foretaget. Ordregiverens beskrivelse skal opfylde det, der fremgår af tabel 2.3. Ordregiveres beskrivelser af evalueringsmetoden skal således gøre det klart for tilbudsgivere, hvilken metode der anvendes, og hvordan den anvendes. Beskrivelsen skal også gøre det klart for tilbudsgiverne, hvad de praktiske konsekvenser af metoden kan forventes at være, og hvilken betydning det kan forventes at have for vægtningen og dermed for konkurrencen mellem de bydende. På denne baggrund skal tilbudsgiverne kunne vurdere, om de ønsker at bruge ressourcer på at ansøge om at deltage i udbuddet eller på at afgive tilbud, og hvordan de i givet fald kan optimere deres tilbud. Og på baggrund af det oplyste om evalueringsmetoden skal tilbudsgiverne efterfølgende kunne kontrollere, om evalueringsmetoden er anvendt som oplyst. 2.3 Hvor meget skal offentliggøres? Som det fremgår ovenfor, fastsætter udbudsloven, at ordregiveren i udbudsmaterialet skal oplyse, hvilke kriterier, forhold, vægte og metoder der vil blive anvendt ved evalueringen. Desuden fremgår det, at dette skal beskrives i udbudsmaterialet på en sådan måde, at ordregiver ved den efterfølgende evaluering ikke har ubetinget frit valg mellem tilbud, og så der ikke ved evalueringen lægges vægt på forhold, som ikke har været oplyst i udbudsmaterialet. I forbindelse med forberedelsen af denne vejledning har Konkurrence- og Forbrugerstyrelsen været i dialog med en række myndigheder, organisationer, rådgivere og udbudsbudspraktikere hos ordregivere og tilbudsgivere m.v. Et spørgsmål, som har været rejst af alle i dialogen, har været rækkevidden af forpligtelsen til at beskrive evalueringsmetoderne i udbudsmaterialet, dvs. hvor stor en del af de detaljerede evalueringsmetoder der er pligt til at beskrive i udbudsmaterialet. I dialogen er der fx mange, der har spurgt, om det er tilstrækkeligt at give en overordnet beskrivelse af evalueringsmetoden uden at angive de nærmere metoder, der vil blive anvendt i evalueringen. Er det fx tilstrækkeligt at skrive, at der vil blive anvendt en lineær pointmodel med en passende spredning til at kunne rumme de indkomne tilbud? Det er Konkurrence- og Forbrugerstyrelsens vurdering, at det ikke er tilstrækkeligt at give en sådan overordnet beskrivelse af evalueringsmetoden. Denne vurdering er baseret på, at en overordnet beskrivelse ikke vil give tilbudsgiverne den forudgående gennemsigtighed i evalueringsmetoder, som er forudsat i udbudsloven. En overordnet beskrivelse vil fx ikke gøre det klart for tilbudsgiverne, hvad de praktiske konsekvenser af evalueringsmetoden kan forventes at være. Med en overordnet beskrivelse, hvor de konkrete metoder ikke er oplyst, ville det være muligt for ordregiver efterfølgende at tilrettelægge evalueringen på forskellige måder, og det vil i strid med reglerne kunne give ordregiver et ubetinget frit valg mellem tilbud ved evalueringen. Det er i forlængelse heraf i øvrigt ikke et krav, at en evalueringsmodel kan beskrives ved hjælp af en matematisk formel, sådan som det også fremgår af kapitel 6 om prosamodeller. Men hvis der anvendes en evalueringsmodel, som er baseret på en matematisk formel, udgør formlen en del af den evalueringsmetode, som skal oplyses i udbudsmaterialet. Hvis formlen ikke oplyses eller på anden måde fremgår af udbudsmaterialet, vil der ikke være den forudsatte gennemsigtighed i evalueringsmetoden, ligesom det vil kunne give ordregiveren et ubetinget frit valg ved evalueringen. Et andet spørgsmål er, om forpligtelserne til at beskrive evalueringsmetoden indebærer, at ordregivere skal oplyse spænd for lineære pointmodeller i absolutte kronebeløb.

SIDE 18 KAPITEL 2 EVALUERINGSMETODER SKAL OPLYSES I UDBUDSMATERIALET Det er styrelsens vurdering, at udbudsloven som nævnt indebærer, at ordregivere skal oplyse den matematiske formel og dermed også spænd i pointmodeller. Men det indebærer ikke, at spænd skal oplyses i konkrete kronebeløb. Evalueringsmodeller kan fortsat afhænge af indholdet i tilbuddene, og der kan fortsat bruges modeller, som fx tager udgangspunkt i laveste pris eller i gennemsnitspriserne i tilbuddene. De efterfølgende kapitler i denne vejledning indeholder en række eksempler på både evalueringsmetoder og mere konkrete evalueringsmodeller, som lever op til udbudslovens regler om beskrivelse af evalueringsmetoden i udbudsmaterialet. I bilagene til vejledningen er der desuden eksempler på, hvordan de forskellige evalueringsmetoder kan beskrives i udbudsmaterialet.

SIDE 19 1426BEVALUERINGSMETODER Kapitel 3 Kriterier og afvejning 3.1 Tildelingskriterier Reglerne i udbudsloven indebærer, at det økonomisk mest fordelagtige tilbud anvendes som et overordnet begreb for kriterierne for tildeling. En ordregiver kan finde det økonomisk mest fordelagtige tilbud 17 ved at vælge et af følgende tildelingskriterier:» Pris» Omkostninger» Bedste forhold mellem pris og kvalitet. Tildelingskriteriet pris svarer til det, der efter de tidligere regler blev omtalt som laveste pris. Tilbuddene evalueres her alene på prisen eller på en samlet opgørelse af flere priselementer. Hvis der indgår flere priselementer, fx både en tilbudspris, timepriser, rabatter og priser på optioner eller lignende, skal man oplyse i beskrivelsen i udbudsmaterialet, hvordan disse forskellige priselementer opgøres, beregnes eller sammentælles i evalueringen. 18 Det gælder fx også, hvis der er tale om et sortimentsudbud, hvor der kan indgå en omfattende række priser på forskellige produktlinjer i sortimentet. Det skal her oplyses i udbudsmaterialet, hvordan priserne vil blive vægtet og sammenstillet i tilbudsevalueringen. 19 Ved tildelingskriteriet pris er det tilbuddet med den laveste pris eller den laveste opgjorte pris (når der indgår flere priselementer i opgørelsen), der udpeges som vinderen af udbuddet. Tildelingskriteriet omkostninger omhandler evalueringer, hvor det er tilbuddet med laveste omkostninger, som vinder udbuddet. Ordregiveren skal her oplyse, hvilke omkostningsposter evalueringen vil omhandle, og hvordan de vil blive opgjort. 20 Opgørelsen kan fx omhandle totalomkostningerne eller livscyklusomkostningerne. I opgørelser af totalomkostningerne kan der ud over tilbudsprisen også indgå ordregiverens omkostninger ved at råde over og anvende et produkt eller en bygning i ordregiverens brugsperiode. Desuden kan der medregnes indtægter eller omkostninger ved afhændelse af produktet eller bygningen efter brugsperioden. I opgørelser af livscyklusomkostninger kan der endvidere medregnes omkostninger, der ligger uden for ejerens brugsperiode samt indirekte omkostninger til fx klimapåvirkning eller miljøbelastning. 17 Jf. udbudslovens 162. 18 Jf. bemærkningerne til udbudslovens 165 om, at hvis der indgår flere priser eller flere omkostningsposter, kan der være en pligt til at vægte disse, eller på anden måde redegøre for, hvorledes de evalueres for at identificere det økonomisk mest fordelagtige tilbud." Ordregivere kan her i øvrigt være opmærksomme på, at der i denne forbindelse også er mulighed for at beskrive en sekundærmetode, som vil kunne anvendes i stedet for den primære metode i konkret fastlagt situationer, jf. bemærkningerne til udbudslovens 160. Se i øvrigt også forklaringerne om sekundærmodeller i afsnit 5.2. 19 Det vil fx kunne ske på baggrund af vægte, som er baseret på tal for det årlige forbrug, skønnede indkøbsvolumener eller lignende. 20 Se fodnote nr. 18.

SIDE 20 KAPITEL 3 KRITERIER OG AFVEJNING Ved tildelingskriteriet bedste forhold mellem pris og kvalitet indgår der typisk både økonomiske underkriterier (om priser eller omkostninger) og underkriterier om tilbuddenes kvalitetsmæssige indhold. Desuden bruges der typisk en evalueringsmodel til at sammenstille vurderingerne af de økonomiske og kvalitetsmæssige underkriterier. I kapitel 4-6 gennemgås de tre typer af evalueringsmodeller, der er nævnt i udbudsloven som eksempler på evalueringsmodeller:» I prismodeller (kapitel 4) omregnes point fra bedømmelser af kvalitet til priser, som vægtes sammen med tilbudspriser til en evalueringspris. Tilbuddet med laveste evalueringspris vinder udbuddet.» I pointmodeller (kapitel 5) sker det omvendte: Tilbudspriser omregnes til point, som sammenvægtes med point for kvalitet. Tilbuddet med højeste samlede pointscore vinder udbuddet.» I prosamodeller (kapitel 6) sammenstilles tilbudspriser og bedømmelser af kvalitet på andre måder, end ved at omregne priser til point eller point til priser. Ud over de nævnte muligheder kan evalueringen også omhandle en omvendt licitation, hvor der alene evalueres på kvalitetskriterier. Det sker ved, at ordregiveren ved anvendelse af tildelingskriteriet bedste forhold mellem pris og kvalitet på forhånd har fastlåst tilbudsprisen, så der alene konkurreres på kvalitetskriterier. 21 3.2 Kvalitetsmæssige under- og delkriterier Når ordregiveren har valgt at bruge tildelingskriteriet bedste forhold mellem pris og kvalitet, indgår der kvalitetsmæssige underkriterier i vurderingen. Ordregiveren har bred adgang til at vælge underkriterier, der giver mulighed for at opnå høj kvalitet, og som svarer bedst til ordregiverens behov. 22 Underkriterier er udtryk for ordregiverens ønsker 23 og kan eksempelvis omhandle kvalitetsmæssige, miljømæssige og sociale aspekter. Et andet eksempel er underkriterier om udførende medarbejderes kvalifikationer og erfaringer, som kan anvendes, når kvaliteten af leverandørens personale kan påvirke niveauet for kontraktens opfyldelse betydeligt. 24 Underkriterier kan yderligere være opdelt i delkriterier. Delkriterier er specifikke kriterier, der tilsammen udgør grundlaget for vurderingen af et underkriterie. Ligesom for underkriterierne skal man også for hvert af delkriterierne oplyse i udbudsmaterialet, hvad man vil tillægge betydning, og hvordan man vil bedømme kriteriet. Krav til kvalitetsmæssige under- og delkriterier Ved udformningen af kvalitetsmæssige under- og delkriterier skal man sikre, at kriterierne» er relevante og proportionale i forhold til det, man skal købe» vil kunne understøtte, at der bliver god konkurrence om opgaven 21 Jf. udbudslovens 162, stk. 4. 22 Jf. udbudslovens 162, stk. 3. 23 Kvalitetsmæssige underkriterier skal afspejle og signalere ordregiverens præferencer mht. kvaliteten i anskaffelsen. Kriterierne skal ikke bruges til at stille krav eller til at sortere det fra, som fx en brugergruppe ikke vil have. Det skal gøres ved mindstekrav. 24 Jf. udbudslovens 162, stk. 3, nr. 2. Betingelserne herfor er i øvrigt uddybende forklaret i lovbemærkningerne til bestemmelsen.

SIDE 21 1426BEVALUERINGSMETODER» kan beskrives, så de forstås af tilbudsgiverne, og er målbare, så de kan evalueres. Det første punkt omhandler det overordnede udgangspunkt for valget af de kriterier, som man vil evaluere tilbuddene på. Når man evaluerer, hvad der er det økonomisk mest fordelagtige, skal kriterier være relevante og proportionale i forhold til det, man skal købe. 25 Det næste punkt er at udforme kriterierne, så der bliver god konkurrence om kontrakten. Det kan gøres på mange måder. Man kan fx specificere opgaven ved brug af funktionskrav, som gør det muligt for tilbudsgiverne at byde ind med forskellige måder at løse opgaven på. De kriterier, man vil evaluere tilbuddene på, udgør rammerne for konkurrence mellem tilbuddene. 26 Det kan fx ske med kriterier, hvor bedømmelsen afhænger af den konkrete grad af opfyldelse af kriterierne. Det tredje punkt handler om udformningen og beskrivelsen af de kriterier, man vil bedømme tilbuddene på. Man skal her beskrive kriterierne på en sådan måde, at tilbudsgiverne forstår kriterierne, og så de kan indrette deres tilbud i forhold til kriterierne. Som det fremgår af kapitel 2, skal man desuden beskrive, hvordan man vil bedømme det enkelte kriterie, og hvad man vil lægge vægt på i bedømmelsen. Og samtidig skal man sørge for, at kriterierne er målbare eller på anden måde kan evalueres, uden at man får et ubetinget frit valg mellem tilbuddene. Bedømmelse af kvalitetskriterier Hidtil er kvalitetskriterier blevet bedømt ved, at der for hvert enkelt tilbud laves en separat bedømmelse af, hvor mange point tilbuddet skal have i forhold til en på forhånd fastsat pointskala dvs. i en absolut bedømmelse. Et nyt element i udbudsloven er, at kvalitetskriterier kan bedømmes i en sammenligning, hvor tilbuddene gives point i forhold hinanden dvs. i en relativ bedømmelse. I afsnit 7.4 er disse to forskellige muligheder for bedømmelse af kvalitetskriterier forklaret. Uanset hvilken metode ordregiveren vælger at anvende, skal det oplyses i udbudsmaterialet, hvordan kvalitetskriterier vil blive bedømt, og hvilken skala der benyttes. Desuden skal det oplyses i udbudsmaterialet, hvad der vil blive tillagt betydning ved bedømmelsen. Det fremgår af lovbemærkningerne, at det ikke er et krav, at ordregiveren laver en i alle henseender udførlig beskrivelse af, hvad der tillægges betydning ved vurderingen af de kvalitative under- og eventuelle delkriterier, men også at ordregiveren ved evalueringen ikke må lægge vægt på forhold, som ikke har været oplyst i udbudsmaterialet. Inden for disse rammer har ordregiveren et vidt skøn ved bedømmelsen af tilbuddene, så længe skønnet i øvrigt foretages i overensstemmelse med principperne om ligebehandling og gennemsigtighed. I følgende boks er det illustreret med nogle eksempler på, hvordan disse rammer for ordregivers vide skøn fx kan være efter Konkurrence- og Forbrugerstyrelsens vurdering. 25 Kravene herom fremgår dels direkte af udbudslovens 163 om, at underkriterier skal være forbundet med kontraktens genstand, dels af det generelle udbudsretlige proportionalitetsprincip. 26 Det er i ordregiveres interesse at opnå en god konkurrence om opgaven, som kan medvirke til et godt indkøb, og det fremgår nu også eksplicit af udbudslovens 164, at kriterierne skal sikre mulighed for effektiv konkurrence om kontrakten.

SIDE 22 KAPITEL 3 KRITERIER OG AFVEJNING Boks 3.1 Eksempler på rammer for ordregivers vide skøn ved bedømmelse af kvalitetskriterier Skridsikkert gulv I udbudsmaterialet har en ordregiver oplyst, at der ved bedømmelsen af et delkriterie om en gulvbelægnings kvalitet vil blive lagt vægt på, i hvilket omfang gulvbelægningen er skridsikker, således at de mest skridsikre belægninger vil opnå højeste point. Ordregiveren vil her have et vidt skøn ved bedømmelsen af, hvor mange point forskellige gulvbelægninger skal have. Efter Konkurrence- og Forbrugerstyrelsens vurdering er det ikke et krav, at ordregiver på forhånd laver en udførlig beskrivelse af, hvordan forskellige typer af gulvbelægninger vil blive bedømt. Men ordregiver må i dette eksempel alene bedømme gulvbelægninger mht. skridsikkerhed og ikke lægge vægt på andre egenskaber ved gulvbelægningerne. Scanningsbilleder En ordregiver oplyste følgende om, hvordan kvaliteten af testbillede ville blive vurderet i en samlet vurdering, hvor Den bedste vurdering opnås, såfremt testbilledet/testbillederne vurderes i høj grad at sætte ordregiver i stand til at vurdere, om en scannet person har skjult narkotika på eller i kroppen. Klagenævnet for Udbud anførte følgende om denne formulering: Evalueringen af kvalitative underkriterier vil til en vis grad bero på ordregivers skøn. Det forhold, at et sådan kvalitativt kriterium ikke er beskrevet ved angivelse af tekniske specifikationer som eksempelvis pixeltal o.l., fører således ikke i sig selv til, at kriteriet er i strid med principperne om ligebehandling og/eller gennemsigtighed. Ordregiveren havde ved bedømmelsen blandt andet lagt vægt på, at nogle af billederne var mørke. Klagenævnet fandt, at dette var indenfor, hvad en almindelig oplyst tilbudsgiver må forvente ud fra beskrivelsen af, hvad der ville blive lagt vægt på. Efter Konkurrence- og Forbrugerstyrelsens vurdering vil ordregivere desuden ikke have pligt til at offentliggøre fx hjælpeskemaer og instruktioner, som skal anvendes af brugergrupper ved bedømmelsen, så længe disse hjælpeskemaer og instruktioner ikke går ud over, hvad der er påregneligt inden for rammerne af det oplyste i udbudsmaterialet. Ved bedømmelsen af tilbuddene har ordregiver således fortsat vide skønsmæssige beføjelser inden for rammerne af det oplyste i udbudsmaterialet, og det må forventes, at Klagenævnet for Udbud som hidtil kun vil tilsidesætte åbenbart urigtige bedømmelser. 27 3.3 Afvejning af de valgte kriterier Når ordregiveren har valgt, at evalueringen skal baseres på mere end et underkriterie, skal det også oplyses i udbudsmaterialet, hvordan ordregiveren vil vægte de valgte underkriterier. 28 27 Det fremgår af bemærkningerne til udbudslovens 160, at Når det gælder vurderingen af, hvor godt et tilbud opfylder et bestemt under- eller delkriterium, har ordregiveren inden for rammerne af det i udbudsmaterialet oplyste et vidt skøn. Ordregiverens vide skøn kan ikke tilsidesættes, med mindre grænserne for skønnet er overskredet, eller ordregiveren har handlet i strid med ligebehandlings- eller gennemsigtighedsprincippet. 28 Jf. udbudslovens 165. Det fremgår i øvrigt af bestemmelsens stk. 3, at hvis vægtning af objektive årsager ikke er mulig, skal ordregiveren i stedet angive kriterierne i prioriteret rækkefølge. Konkurrence- og Forbrugerstyrelsen er ikke bekendt med eksempler på situationer, hvor dette har været tilfældet i praksis, og denne mulighed synes derfor umiddelbart mest at være af teoretisk karakter.

SIDE 23 1426BEVALUERINGSMETODER Valget af, hvordan ordregiveren vil vægte underkriterierne, skal sikre, at der i evalueringen bliver den afvejning mellem pris og kvalitet, som ordregiveren ønsker. Det er derfor af væsentlig betydning, at ordregiveren før udbuddet nøje overvejer, hvilke kombinationer af pris og kvalitet ordregiveren ønsker. Afvejningen mellem pris og kvalitet i evalueringen afhænger af både» hvilken evalueringsmodel der benyttes (se kapitel 4-6)» hvilke vægtprocenter der anvendes i sammenstillingen af vurderingerne om pris og kvalitet. Det er illustreret i følgende eksempel, hvor forskellige pointmodeller giver forskellige resultater for samme tilbud og samme vægtprocenter. Boks 3.2 Eksempel på forskellige virkninger af forskellige pointmodeller En ordregiver modtager i et udbud to tilbud:» Tilbud A har en pris på 2 mio. kr. og opnår 4 point i kvalitetsvurderingen.» Tilbud B har en pris på 2,5 mio. kr. og opnår 8 point i kvalitetsvurderingen. Hvis ordregiveren anvender en lineær pointmodel,» hvor laveste pris gives 8 point og laveste pris plus 50 pct. gives 0 point» hvor point for pris ganges med 60 pct. og point for kvalitet med 40 pct. giver det følgende resultat: Point for pris Point for kvalitet Prispoint 60 pct. Kvalitetspoint 40 pct. Point i alt Tilbud A 8 4 4,8 1,6 6,4 Tilbud B 4 8 2,4 3,2 5,6 Hvis ordregiveren i stedet anvender en lineær pointmodel,» hvor laveste pris gives 8 point og laveste pris plus 100 pct. gives 0 point» hvor point for pris ganges med 60 pct. og point for kvalitet med 40 pct. giver det følgende resultat: Point for pris Point for kvalitet Prispoint 60 pct. Kvalitetspoint 40 pct. Point i alt Tilbud A 8 4 4,8 1,6 6,4 Tilbud B 6 8 3,6 3,2 6,8 Resultatet er forskellige vindere i de to eksempler, selv om den eneste forskel er spændet/gearingen i pointmodellerne. Eksemplet illustrerer, at evalueringsmodellen og de parametre, som indgår i modellen, har betydning for afvejningen mellem pris og kvalitet i evalueringen. Den måde, som ordregiver bruger vægte på i sammenstillingen af bedømmelsen af de økonomiske og kvalitetsmæssige underkriterier, skal oplyses og beskrives i udbudsmaterialet. 29 I eksemplet i boks 3.2 ovenfor er det beskrevet ved, at point for priser bliver ganget med 60 pct. og point for kvalitet med 40 pct. I praksis indebærer udbudslovens regler om, at evalueringsmetoder skal oplyses i udbudsmaterialet, efter Konkurrence- og Forbrugerstyrelsens vurde- 29 Jf. afsnit 2.2.

SIDE 24 KAPITEL 3 KRITERIER OG AFVEJNING ring, at ordregivere må forventes at foretage vægtning på denne måde, når der anvendes vægtprocenter. 30 Boks 3.3 Husk altid at skrive, hvordan underkriterier vil blive vægtet Når tildelingskriteriet er bedste forhold mellem pris og kvalitet, skal det oplyses i udbudsmaterialet, hvordan ordregiveren vil vægte underkriterierne. Det er ikke tilstrækkeligt at anføre, at underkriterierne fx vil indgå med bestemte vægte i evalueringen. 31 Ordregiveren bør efter Konkurrence- og Forbrugerstyrelsens vurdering altid huske konkret at skrive, hvordan ordregiver vil foretage vægtningen af underkriterierne ved evalueringen. Ordregiver bør således oplyse den nærmere metode for vægtningen i udbudsmaterialet. Det kan fx ske ved at oplyse, at der anvendes procentvægte, som ganges sammen med fx» de priser, som er opgjort for de forskellige underkriterier i prismodeller» de point, som er opgjort for de forskellige underkriterier i pointmodeller» de procentforskelle, som er opgjort for forskellige underkriterier i procentmodeller. I bilag 4-9 til denne vejledning fremgår en række eksempler på, hvordan dette kan formuleres i udbudsmaterialet, når der bruges forskellige typer af evalueringsmodeller. Udbudsloven giver mulighed for, at ordregiveren kan fastsætte vægtningen ved et passende interval. 32 Intervallet skal i givet fald sættes, så tilbudsgiverne på forhånd kan identificere vægtningen af underkriterierne, hvad der vil blive lagt vægt på i tilbudsevalueringen, og hvordan evalueringen vil blive gennemført. Den specifikke vægtning inden for rammerne af intervallet skal fastlægges forud for tilbudsevalueringen. 33 Desuden skal evalueringsmetoden tage højde for intervallet, så tilbudsgiverne kan vurdere, hvordan evalueringen vil blive gennemført. Såfremt ordregiver ønsker at undgå enhver tvivl om, at den specifikke vægtning er fastlagt forud for evalueringen, vil ordregiveren eksempelvis kunne offentliggøre den specifikke vægtning på samme sted, som udbudsmaterialet blev offentliggjort, på tidspunktet for tilbudsfristens udløb. Ordregivere, som vælger at vægte i intervaller, kan således ikke fastlægge den specifikke vægtning i forbindelse med evalueringen. Det indebærer, at det formentlig især vil kunne 30 Efter den tidligere praksis, hvor evalueringsmetoderne ikke skulle oplyses forud for tilbudsafgivelsen, valgte mange ordregivere at oplyse de vægtprocenter, som underkriterierne ville indgå med i den samlede vurdering. Med reglerne, hvor evalueringsmetoder skal oplyses i udbudsmaterialet, er der ikke mulighed for at justere evalueringsmodeller efterfølgende, når indholdet af tilbuddene kendes, og det er derfor ikke muligt gennem efterfølgende justeringer at sikre, at vægtningen overholdes i den samlede vurdering. Ordregivere må derfor generelt oplyse, hvordan vægtprocenter vil blive ganget med de opgjorte point eller priser m.v. Lovbemærkningerne til udbudslovens 160 understreger også, at ordregiver må anvende vægtprocenter på denne måde, idet ordregiver efter evalueringen skal kunne godtgøre, at evalueringen sker i overensstemmelse med den i udbudsmaterialet angivne vægtning. 31 Sådanne formuleringer om, at underkriterierne vil indgå med bestemte vægte i evalueringen, men uden en nærmere angivelse af, hvordan vægtningen vil blive foretaget (se også forklaringen herom i fodnote 30), har været anvendt i en række af de udbud, hvor klager over evalueringen har været indbragt Klagenævnet for Udbud. I disse sager har klagenævnet typisk skulle tage stilling til, hvorvidt ordregivers konkrete evalueringsmetoder har været egnede til at overholde den angivne vægtning i den samlede vurdering. Eller formuleret anderledes har spørgsmålet i de pågældende sager været, hvorvidt de oplyste vægtprocenter har svaret til den faktiske afvejning ved evalueringen, hvilket også afhænger af de anvendte evalueringsmetoder, jf. i øvrigt forklaringerne herom i eksemplet i boks 3.2. 32 Jf. udbudslovens 165, stk. 2. 33 Jf. bemærkningerne til udbudslovens 165, stk. 2, hvor det fremgår, at ordregivers beskrivelse i udbudsmaterialet ikke indeholder den specifikke vægtning, idet denne først skal fastlægges forud for tilbudsevalueringen.

SIDE 25 1426BEVALUERINGSMETODER være relevant at bruge vægtning i intervaller ved de udbud, hvor ordregiver fx på grund af tidspres har behov for at indhente yderligere oplysninger i perioden fra udsendelsen af udbudsmaterialet og frem til før tilbudsevalueringen til brug for fastlæggelsen af den specifikke vægtning. 34 Rammerne for brug af vægtning i intervaller er yderligere beskrevet i Konkurrence- og Forbrugerstyrelsens vejledning Udbudsloven vejledning om udbudsreglerne. Når man som ordregiver har valgt, hvordan priser og kvalitet ønskes afvejet i evalueringen, er det en god idé grundigt at teste, om den valgte evalueringsmodel og de valgte procentvægte også i praksis vil kunne forventes at føre til den afvejning, som ordregiveren ønsker. 34 Det vil formentlig ikke være ret ofte, at ordregivers fordel af den ekstra tid til at fastlægge det specifikke interval vil kunne opveje de konkurrencemæssige ulemper, som der vil kunne være ved, at tilbudsgiverne, når der anvendes intervaller, vil have sværere ved at målrette deres tilbud mod netop den præcise kombination af pris og kvalitet, som ordregiver ønsker.

SIDE 26 KAPITEL 4 PRISMODELLER Kapitel 4 Prismodeller 4.1 Tre trin i prismodeller: Pointgivning, omregning og opgørelse I prismodeller omregnes point for kvalitet til kronebeløb, som vægtes sammen med tilbudspriserne i evalueringen af, hvilket tilbud der har det bedste forhold mellem pris og kvalitet. Evalueringen sker i tre trin. Figur 4.1 Evaluering i prismodeller Det første trin om bedømmelse af tilbuddene på kvalitetskriterier kan gennemføres på flere forskellige måder. 35 I prismodeller vælger man typisk at lave separate bedømmelser af, hvor mange point hvert enkelt tilbud skal have på en absolut pointskala. I bedømmelsen gives der 0 point for den bedst mulige opfyldelse af kvalitetskriteriet og det højeste tal på pointskalaen for den dårligst mulige, men dog konditionsmæssige, 36 opfyldelse af kriteriet, jf. følgende tabel. 35 Jf. afsnit 7.4. 36 Dvs. tilbud, som alene opfylder mindstekravene i udbuddet.

SIDE 27 1426BEVALUERINGSMETODER Tabel 4.1 Pointskala til bedømmelse af kvalitetskriterier i prismodel Opfyldelse af kriteriet Point Bedst mulige opfyldelse af kriteriet 0 Glimrende/fortrinlig opfyldelse af kriteriet 1 God/meget tilfredsstillende opfyldelse af kriteriet 2 Over middel i opfyldelse af kriteriet 3 Middel/tilfredsstillende opfyldelse af kriteriet 4 Under middel i opfyldelse af kriteriet 5 Mindre tilfredsstillende opfyldelse af kriteriet 6 Ringe opfyldelse af kriteriet 7 Dårlig opfyldelse af kriteriet (men konditionsmæssigt tilbud) 8 Skalaen indrettes på denne måde i prismodeller, fordi det gør opgørelsen enklere, og fordi evalueringerne bliver mere gennemsigtige, sådan som det fremgår af eksemplerne nedenfor. Det andet trin om omregningen af point for kvalitetskriterier til kronebeløb kan også foretages på forskellige måder.nedenfor gennemgås to af disse måder. I den første opgøres omregningsbeløbet ud fra gennemsnitpriserne i de modtagne tilbud. I den anden fastsættes beløbet forud for tilbudsafgivelse på baggrund af et beregningsbeløb for opgaven. De kronebeløb, som bedømmelserne af kvalitet omregnes til, er fiktive beløb, som alene bruges til at identificere vinderen af udbuddet. Det tredje og sidste trin er at opgøre, hvilket tilbud der har vundet udbuddet. Det gøres ved at gange priser og omregningsbeløb med vægtprocenter, sådan som det er illustreret i eksemplerne i de følgende afsnit. Alle de metoder, som anvendes i de tre trin i evalueringen, skal efter reglerne i udbudsloven fremgå af udbudsmaterialet. 4.2 Prismodel baseret på gennemsnitspriser I denne prismodel fastsættes omregningsbeløbet som gennemsnittet af tilbudspriserne divideret med det højeste mulige pointtal på kvalitetsskalaen: Omregningsbeløb = gennemsnitspris/højeste point Når denne model anvendes, er det eneste, som ordregiveren skal tage stilling til, hvilke vægtprocenter der skal anvendes i evalueringen. Modellen er illustreret i et standardeksempel, som anvendes til at forklare alle evalueringsmodellerne i denne vejledning. Ved at anvende samme standardeksempel for alle evalueringsmodellerne illustreres modellernes forskelle, og hvordan de virker i forhold til hinanden. Der er anvendt et eksempel, hvor alle tilbuddene ligger forholdsvis tæt i afvejningen mellem pris og kvalitet, da det netop er i sådan et eksempel, at man kan se, hvordan modellerne virker i forhold til hinanden. Desuden er det valgt at anvende et simpelt eksempel, hvor der kun er to underkriterier, pris og kvalitet, da eksemplerne skal bruges til at illustrere, hvordan modellerne fungerer og ikke hvordan man laver udregninger og sammenvægtninger, når der er mange underkriterier og delkriterier.

SIDE 28 KAPITEL 4 PRISMODELLER Boks 4.1 Prismodel, hvor omregningsbeløbet opgøres ud fra gennemsnitsprisen i tilbuddene En ordregiver har i udbudsmaterialet oplyst, at der vil blive anvendt en prismodel, hvor» omregningsbeløbet opgøres som gennemsnitprisen divideret med 8» priser ganges med 70 pct. og omregningsbeløb for kvalitet med 30 pct. Ordregiveren modtager fem tilbud, som indeholder følgende priser og kvalitet (bedømt på skala fra 0-8 point, hvor 0 point gives til bedste kvalitet): A B C D E Priser (kr.) 2.000.000 2.050.000 2.250.000 2.600.000 2.700.000 Kvalitet (point) 7 5 4 1 0 Omregningsbeløbet opgøres som gennemsnitsprisen (2.320.000 kr.) divideret med højeste tal på skalaen for kvalitetsbedømmelsen (8 point). Det giver et omregningsbeløb på 290.000 kr. pr. point. Tilbuddenes samlede evalueringsbeløb opgøres således: Vægt A B C D E Priser (kr.) 2.000.000 2.050.000 2.250.000 2.600.000 2.700.000 Kvalitet (290.000 kr. pr. point) 2.030.000 1.450.000 1.160.000 290.000 0 Priser 70 pct. 1.400.000 1.435.000 1.575.000 1.820.000 1.890.000 Kvalitet 30 pct. 609.000 435.000 348.000 87.000 0 Evalueringsbeløb 2.009.000 1.870.000 1.923.000 1.907.000 1.890.000 Tilbud B har laveste evalueringsbeløb og vinder derfor udbuddet. I eksemplet ligger alle tilbuddene forholdsvis tæt mht. forholdet mellem pris og kvalitet, da tilbud med lave priser har lav kvalitet, og da tilbud med høje priser også har høj kvalitet. Hvilket tilbud, der skal vinde udbuddet i et eksempel som dette, afhænger derfor af, hvilken afvejning mellem pris og kvalitet ordregiveren foretrækker. I eksemplet havde ordregiveren tillagt pris størst vægt, og modellen udpegede derfor et tilbud med lav pris som vinder af udbuddet. Modellen er ligesom alle andre evalueringsmodeller afhængig af, hvilke vægtprocenter ordregiveren vælger, at der skal ganges på tilbudspriser og omregningsbeløb for kvalitet. Det illustrerer, at det vil være fornuftigt grundigt at teste den valgte evalueringsmodel. I en sådan test kan ordregiveren afprøve modellen på eksempler med forskellige kombinationer af priser og kvalitet og for forskellige vægtprocenter, så der kan fastsættes de vægtprocenter, som afspejler ordregivers ønsker om afvejning af kvalitet og pris. 4.3 Prismodel baseret på beregningsbeløb I modellen ovenfor er omregningsbeløbet afhængigt af indholdet i tilbuddene, og tilbudsgiverne ved derfor ikke på forhånd, hvor stort omregningsbeløbet præcist bliver. Hvis ordregiveren ønsker, at tilbudsgiverne skal kende det præcise omregningsbeløb på forhånd, kan ordregiveren bruge en prismodel, hvor beløbet oplyses i udbudsmaterialet. En metode for ordregiver til at fastsætte et omregningsbeløb allerede i udbudsmaterialet er at tage udgangspunkt i et beregningsbeløb for opgaven divideret med det højeste mulige pointtal på kvalitetsskalaen: Omregningsbeløb = beregningsbeløb/højeste point

SIDE 29 1426BEVALUERINGSMETODER I denne model skal ordregiveren tage stilling til, hvilket fast beregningsbeløb der skal bruges til opgørelse af omregningsbeløbet, og hvilke vægtprocenter der skal anvendes i evalueringen. Modellen er illustreret i følgende eksempel. Boks 4.2 Prismodel, hvor omregningsbeløbet opgøres ud fra fast beregningsbeløb Ordregiveren fastsætter et beregningsbeløb på 2,2 mio. kr. og vil bedømme kvalitet på en skala fra 0-8 point. Omregningsbeløbet kan derfor opgøres som beregningsbeløbet (2.200.000 kr.) divideret med højeste tal på skalaen for kvalitetsbedømmelsen (8 point). Det giver et omregningsbeløb på 275.000 kr. pr. point. I udbudsmaterialet oplyser ordregiveren, at der vil blive anvendt en prismodel, hvor» omregningsbeløbet er på 275.000 kr. pr. point» priser ganges med 70 pct. og omregningsbeløb for kvalitet med 30 pct. Ordregiveren modtager de samme fem tilbud, som i eksemplet i boks 4.1. A B C D E Priser (kr.) 2.000.000 2.050.000 2.250.000 2.600.000 2.700.000 Kvalitet (point) 7 5 4 1 0 Tilbuddenes samlede evalueringsbeløb opgøres således: Vægt A B C D E Priser (kr.) 2.000.000 2.050.000 2.250.000 2.600.000 2.700.000 Kvalitet (275.000 kr. pr. point) 1.925.000 1.375.000 1.100.000 275.000 0 Priser 70 pct. 1.400.000 1.435.000 1.575.000 1.820.000 1.890.000 Kvalitet 30 pct. 577.500 412.500 330.000 82.500 0 Evalueringsbeløb 1.977.500 1.847.500 1.905.000 1.902.500 1.890.000 Også i dette eksempel vinder tilbud B udbuddet. Som det fremgår, giver eksemplerne i boks 4.1 og 4.2 næsten samme resultat. Det skyldes, at omregningsbeløbene er næsten ens. Den eneste forskel er, hvordan omregningsbeløbet fastsættes. I det første eksempel afhænger det af indholdet i tilbuddene, mens ordregiveren i det andet eksempel sætter omregningsbeløbet forud for udbuddet, så tilbudsgiverne kan optimere deres tilbud i forhold til ordregiverens ønsker. Når beregningsbeløbet skal fastsættes, er det relevant at være opmærksom på, at jo højere beløb der fastsættes, desto mere vil kvaliteten komme til at vægte. Det kan derfor også være fornuftigt at teste denne model grundigt for, hvilke beregningsbeløb og vægtprocenter der vil give den ønskede afvejning mellem pris og kvalitet ved evalueringen. 4.4 Prismodellers virkninger Prismodeller kan anvendes, uanset om indholdet i tilbuddene viser sig at være meget anderledes end forventet. Der er derfor ikke behov for at supplere prismodeller med sekundærmodel-

SIDE 30 KAPITEL 4 PRISMODELLER ler eller lignende, sådan som det er hensigtsmæssigt at gøre ved brug af lineære pointmodeller, jf. nedenfor i kapitel 5. 37 En virkning af at bruge prismodeller er, at der sættes beløb på, hvad ordregiveren vil betale for bedre kvalitet. Det er der nogle ordregivere, som ser som en ulempe, mens andre ordregivere ser dette som en fordel. Det afspejler, at nogle ordregivere ikke ønsker at sætte tal på en kapitalisering af kvalitet, mens andre ordregivere netop ønsker at give klare signaler, så tilbudsgiverne kan indrette tilbuddene efter ordregiverens præferencer. Værktøjer og skabeloner 37 I prismodellen, hvor der tages udgangspunkt i gennemsnitpriserne, vil en outliere kunne have betydning for, hvilket af to meget tætte tilbud, der vinder udbuddet. Denne mulighed vil dog typisk ikke have større praktisk betydning for ordregiveren, da det alene kan omhandle, hvilket af to nærmeste lige gode tilbud der vinder udbuddet. Det samme gælder for den pointmodel, hvor der tages udgangspunkt i gennemsnitspriserne, jf. i øvrigt boks 1.4.

SIDE 31 1426BEVALUERINGSMETODER Kapitel 5 Pointmodeller 5.1 Trin ved brug af pointmodeller I pointmodeller omregnes priserne i tilbuddene til point, som kan sammenstilles med point for kvalitet, når det skal evalueres, hvilket tilbud der har det bedste forhold mellem pris og kvalitet. Det sker i følgende trin. Figur 5.1 Evaluering i pointmodeller Det første trin er en bedømmelse af tilbuddene på kvalitetskriterier. Det kan gøres på flere forskellige måder. 38 I eksemplerne i dette kapitel er der taget udgangspunkt i, at det sker i separate bedømmelser af, hvor mange point hvert enkelt tilbud skal have på en absolut pointskala, hvor der som maksimum gives 8 point for den bedst mulige opfyldelse af kvalitetskriteriet og 0 point for den dårligst mulige, men konditionsmæssige, opfyldelse af kriteriet, jf. følgende tabel. 38 Jf. afsnit 7.4.

SIDE 32 KAPITEL 5 POINTMODELLER Tabel 5.1 Pointskala til bedømmelse af kvalitetskriterier i pointmodel Opfyldelse af kriteriet Point Bedst mulige opfyldelse af kriteriet 8 Glimrende/fortrinlig opfyldelse af kriteriet 7 God/meget tilfredsstillende opfyldelse af kriteriet 6 Over middel i opfyldelse af kriteriet 5 Middel/tilfredsstillende opfyldelse af kriteriet 4 Under middel i opfyldelse af kriteriet 3 Mindre tilfredsstillende opfyldelse af kriteriet 2 Ringe opfyldelse af kriteriet 1 Dårlig opfyldelse af kriteriet (men konditionsmæssigt tilbud) 0 Det andet trin er omregning af tilbudspriserne til point. Det kan også gøres på flere forskellige måder i pointmodeller. I dette kapitel ses der på to forskellige lineære pointmodeller og på en ikke-lineær model. Når der bruges lineære pointmodeller, fastlægges der, som det fremgår af afsnit 5.2, et prisspænd, som bruges i omregningen af tilbudspriser til point. Da der kan vise sig at være større prisspredning i tilbuddene end forventet, vil det ved lineære pointmodeller være hensigtsmæssigt for ordregiver også at lave en sekundærmodel, som skal bruges, hvis spredningen i tilbudspriserne er større end spændet i den primære evalueringsmodel. Når der bruges ikke-lineære pointmodeller, fastlægges der ikke et prisspænd, og der er derfor ikke brug for sekundærmodeller. Det tredje og sidste trin er at opgøre tilbuddenes samlede pointscore. Det gøres ved at gange point for priser og kvalitetskriterier med vægtprocenter. De metoder, der anvendes i de tre trin i evalueringen, skal efter udbudslovens regler oplyses i udbudsmaterialet. 5.2 Lineære pointmodeller I lineære pointmodeller sker omregningen af tilbudspriser til point ud fra et fastsat prisspænd. Tilbudspriser svarende til det nederste punkt i prisspændet omregnes til maksimumpoint, mens priser svarende til det øverste punkt i spændet gives minimumpoint. For priser mellem disse yderpunkter omregnes det lineært, hvor mange point tilbudsprisen svarer til. Da priserne i tilbuddene er fastsat i en entydig enhed, kroner, kan omregningen i en lineær pointmodel ske meget præcist, og der omregnes derfor normalt til et pointtal med fx 2 decimaler. Laveste pris plus X pct. Den mest anvendte lineære pointmodel i Danmark omhandler et prisspænd, hvor der gives maksimumpoint til laveste pris, og minimumpoint til laveste pris plus X pct.

SIDE 33 1426BEVALUERINGSMETODER Figur 5.2 Lineær model, hvor laveste pris plus X pct. gives minimumpoint Matematisk kan pointene i denne type af model udregnes efter følgende formel: Point = maksimumpoint ((maksimumpoint minimumpoint)/x pct.) * (pris laveste pris) / laveste pris Ordregiveren skal ved denne model vælge, hvad X-procenten skal være i det konkrete udbud. Valget herom afhænger af, hvor stor spredning i tilbudspriserne ordregiveren forventer i det konkrete udbud. X-procenten kan derfor generelt sættes, så den forventede spredning i tilbudspriserne kan rummes i modellen. 39 Når ordregiveren har fastsat X-procenten og dermed prisspændet for modellen, er næste skridt at gennemteste, hvordan det kan sikres, at der bliver den ønskede afvejning mellem pris og kvalitet i evalueringen. Som det fremgår ovenfor, 40 skal ordregiveren her være opmærksom på, at afvejningen mellem pris og kvalitet i evalueringen afhænger af» modellen for omregning af priser til point og det valgte prisspænd i denne model» de valgte vægtprocenter, der skal ganges på point for priser og kvalitetskriterier. Der er stor forskel på, hvordan denne afvejning sker i modeller, hvor X-procenten sættes til hhv. 50 pct. og 100 pct. 41 39 En variant af denne pointmodel med udgangspunkt i laveste pris kan fx være at give minimumpoint til fx gennemsnitspriserne i tilbuddene plus 30 pct. eller lignende. 40 Jf. afsnit 3.3. 41 Jf. eksemplet i boks 3.2 i kapitel 3.

SIDE 34 KAPITEL 5 POINTMODELLER Når ordregiveren har valgt den model og de procentvægte, der giver den ønskede afvejning mellem pris og kvalitet, er næste skridt at beskrive, hvordan vægte og point for underkriterierne sammenstilles. Det kan fx gøres som illustreret i følgende boks. Boks 5.1 Lineær pointmodel, hvor spændet går mellem laveste pris og X pct. En ordregiver har i udbudsmaterialet oplyst, at der anvendes en lineær pointmodel, hvor» laveste pris gives maksimum (8 point) og minimumpoint til laveste pris plus 50 pct.» point for priser ganges med 70 pct. og point for kvalitet med 30 pct. Ordregiveren modtager fem tilbud, som indeholder følgende priser og kvalitet (bedømt på skala fra 0-8 point, hvor 8 point gives til bedste kvalitet): A B C D E Priser (kr.) 2.000.000 2.050.000 2.250.000 2.600.000 2.700.000 Kvalitet (point) 1 3 4 7 8 Indholdet i disse tilbud indebærer, at der bliver tale om et spænd, som går» fra laveste pris på 2.000.000 kr. (som giver 8 point)» til laveste pris plus 50 pct. svarende til 3.000.000 kr. (som giver 0 point). Herefter kan tilbudspriserne omregnes lineært til følgende point (række 1 i tabellen), som dernæst kan ganges med de valgte vægtprocenter (række 3 og 4): Vægt A B C D E Priser (point) 8,00 7,60 6,00 3,20 2,40 Kvalitet (point) 1 3 4 7 8 Priser 70 pct. 5,6 5,32 4,20 2,24 1,68 Kvalitet 30 pct. 0,3 0,9 1,2 2,1 2,4 Samlet pointscore 5,90 6,22 5,40 4,34 4,08 Tilbud B har den højeste samlede pointscore og vinder derfor udbuddet. Eksemplet i boks 5.1 er det samme som i eksemplerne i kapitel 4 om prismodeller. Den eneste forskel er, at pointgivningen på kvalitetsskalaen er omvendt i pointmodeller i forhold til prismodeller. Det er derfor heller ikke overraskende, at modellerne udpeger den samme vinder, når der anvendes samme tilbud og samme vægtprocenter. Sekundærmodel Det sidste skridt for ordregivere, som anvender lineære pointmodeller, vil typisk være at fastlægges en sekundærmodel, som kan anvendes, hvis der viser sig at være en større spredning i tilbudspriserne end forventet. Baggrunden for det er, at der ikke må foretages ændringer i grundlæggende elementer i en offentliggjort evalueringsmetode. 42 Ordregiveren vil derfor skulle aflyse et igangværende ud- 42 Dette følger af bemærkningerne til udbudslovens 160, stk. 1, og svarer i øvrigt også til den nuværende praksis fra Klagenævnet for Udbud, jf. fx nævnets kendelse af 13. januar 2004, E. Phil og Søn A/S mod Hadsund Kommune.

SIDE 35 1426BEVALUERINGSMETODER bud, hvis det viser sig, at der er behov for at ændre grundlæggende elementer i evalueringsmetoden, herunder fx at der viser sig at være større spredning i tilbudspriserne, end den offentliggjorte evalueringsmetode kan rumme. 43 Der vil i de fleste udbud kunne vise sig at være større spredning i tilbudspriserne, end ordregiver har plads til i det spænd, der anvendes i en lineær pointmodel. Der kan både komme tilbud, som er markant lavere eller markant højere end forventet. En række af de ordregivere, som Konkurrence- og Forbrugerstyrelsen har talt med i forbindelse med forberedelsen af denne vejledning, oplever ofte tilbud med priser ( outliere ), der ligger langt fra de øvrige langt over eller langt under hovedfeltet af priser. Når der anvendes lineære pointmodeller, vil det altid være relevant at overveje, om der også skal oplyses en sekundærmodel. Hertil kommer, at hvis der ikke oplyses en sekundærmodel, vil dette eventuelt kunne få nogle af de mulige tilbudsgivere til at overveje, om de vil bruge ressourcer på at afgive tilbud. For tilbudsgiverne vil fravær af en sekundærmodel udgøre en øget risiko for, at udbuddet må aflyses. På denne måde vil et fravær af en sekundærmodel derfor også kunne resultere i en dårligere konkurrence om opgaven. Der skal ifølge lovbemærkningerne oplyses følgende i udbudsmaterialet om sekundærmodellen: 44» Hvilke objektivt konstaterbare forhold, der skal være til stede, for at sekundærmodellen vil blive anvendt (det kan fx være, når spændet i tilbudspriserne er højere end den fastsatte X- procent, jf. eksemplerne på formuleringer herom i bilag 6 og 7 til denne vejledning).» Hvilke evalueringsmetoder og vægte m.v. der anvendes i sekundærmodellen (beskrives på samme måde som den primære evalueringsmodel). Som sekundærmodel er der behov for en evalueringsmodel, som giver plads til en større spredning i tilbudspriserne end primærmodellen. Der er her mange muligheder:» Evalueringsmodeller, som ikke indeholder spænd for tilbudspriserne det kan fx være en prismodel (se kapitel 4), en ikke-lineær pointmodel (se afsnit 5.3) eller en prosamodel (se kapitel 6).» Lineære pointmodeller, som indeholder større spænd end den primære model i givet fald kan det overvejes at beskrive en yderligere model i udbudsmaterialet, som vil blive anvendt, hvis spændet i sekundærmodellen også viser sig at være mindre end spredningen i tilbudspriserne. Når ordregiveren har valgt sekundærmodel, skal det også overvejes, hvilke procentvise vægte der skal anvendes i sekundærmodellen, så ordregiveren også ved en evaluering efter sekundærmodellen opnår den ønskede afvejning mellem pris og kvalitet, jf. følgende eksempel. 45 43 Se i øvrigt også afsnit 7.7 mht. mulighederne for at modificere lineære pointmodeller. 44 Jf. bemærkningerne til udbudslovens 160, stk. 1. 45 Som det fremgår af eksemplet i boks 3.2 i kapitel 3, vil det navnlig være relevant at overveje justeringer i vægte, hvis sekundærmodellen er en lineær pointmodel med et større spænd end primærmodellen, da udvidelser af prisspændet har betydning for afvejningen mellem pris og kvalitet. Se også de uddybende forklaringer om mulighederne for at benytte forskellige vægte i primær- og sekundærmodellen i afsnit 7.6.

SIDE 36 KAPITEL 5 POINTMODELLER Boks 5.2 Eksempel på sekundærmodel med større spænd end primærmodellen En ordregiver har i udbudsmaterialet oplyst, at der» som primær model anvendes (samme model som i boks 5.1)» en lineær pointmodel med minimumpoint til laveste pris plus 50 pct.» hvor point for priser ganges med 70 pct. og point for kvalitet med 30 pct.» som sekundærmodel anvendes» en lineær pointmodel med minimumpoint til laveste pris plus 100 pct.» hvor point for priser ganges med 80 pct. og point for kvalitet med 20 pct. Ordregiveren modtager fem tilbud, som indeholder følgende priser og kvalitet (samme eksempel som i boks 5.1. bortset fra højere pris i tilbud E): A B C D E Priser (kr.) 2.000.000 2.050.000 2.250.000 2.600.000 3.400.000 Kvalitet (point) 1 3 4 7 8 Da højeste pris i dette eksempel er 70 pct. højere end laveste pris, skal ordregiver anvende sekundærmodellen, der har et spænd, som går» fra laveste pris på 2.000.000 kr. (som giver 8 point)» til laveste pris plus 100 pct. svarende til 4.000.000 kr. (som giver 0 point) Herefter kan tilbudspriserne omregnes lineært til følgende point (række 1 i tabellen), som dernæst kan ganges med de valgte vægtprocenter (række 3 og 4): Vægt A B C D E Priser (point) 8,00 7,80 7,00 5,60 2,40 Kvalitet (point) 1 3 4 7 8 Priser 80 pct. 6,4 6,24 5,6 4,48 1,92 Kvalitet 20 pct. 0,2 0,6 0,8 1,4 1,6 Samlet pointscore 6,60 6,84 6,40 5,88 3,52 Det større spænd i sekundærmodellen indebærer, at der bliver mindre forskelle i de point, som priserne for tilbud A, B, C og D opnår (række 1), end det ville have været tilfældet, hvis primærmodellen skulle anvendes (se boks 5.1). Ordregiveren har i sekundærmodellen kompenseret for dette ved at anvende en højere vægtprocent for priserne, således at sekundærmodellen giver nogenlunde samme afvejning mellem pris og kvalitet som primærmodellen. Det bliver derfor også i sekundærmodellen tilbud B, som vinder udbuddet. Gennemsnitsprisen plus/minus X pct. En svaghed ved modellen gennemgået ovenfor kan i nogle situationer være, at omregningen af priser til point sker med udgangspunkt i blot et enkelt element fra ét af tilbuddene (laveste pris). Det kan indebære, at størrelsen af prisen i laveste tilbud kan være afgørende for, hvilket af to andre tilbud der vinder. I stedet kan ordregiver anvende en pointmodel, hvor der tages udgangspunkt i gennemsnitpriserne i tilbuddene. En sådan model kan fx udformes således:» Gennemsnitsprisen i tilbuddene svarer til middel på pointskalaen.» Minimum- og maksimumpoint fastsættes til gennemsnitsprisen plus/minus X pct. Tilbudspriserne omregnes til point i forhold til afvigelser fra gennemsnitsprisen (lineært).

SIDE 37 1426BEVALUERINGSMETODER Figur 5.3 Lineær model, hvor spændet er gennemsnitsprisen plus/minus X pct. Som det fremgår af figuren, omhandler denne model et prisspænd, og prisspændet fastsættes også her ved en X-procent for afvigelse i forhold til indholdet i tilbudspriserne. Ordregiveren skal derfor så vidt muligt fastsætte X-procenten, så den forventede spredning i tilbudspriserne kan rummes i modellen. Matematisk kan omregningen af tilbudspriser i denne model ske ved brug af følgende formel: Point = Minimumpoint + (maksimumpoint minimumpoint) * (1-(pris LP)/(HP-LP)), hvor LP er den lave pris, som udløser maksimumpoint (gennemsnitpris minus X pct.) hvor HP er den høje pris, der udløser minimumpoint (gennemsnitspris plus X pct.) Næste skridt er for denne model at fastsætte de vægtprocenter, der skal ganges på point for priser og kvalitet for at finde vinderen af udbuddet. Her kan ordregiveren gennem udførlige test sikre sig, at modellen med det valgte spænd og de valgte vægtprocenter tilsammen giver den ønskede afvejning mellem pris og kvalitet i evalueringen. Et eksempel på, hvordan opgørelsen foretages i denne model, fremgår af følgende boks.

SIDE 38 KAPITEL 5 POINTMODELLER Boks 5.3 Lineær pointmodel, hvor spændet er gennemsnitsprisen plus/minus X pct. En ordregiver har i udbudsmaterialet oplyst, at der anvendes en lineær pointmodel, hvor» gennemsnitsprisen minus 20 pct. pris gives maksimum (8 point) og gennemsnitsprisen plus 20 pct. minimum (0 point)» point for priser ganges med 70 pct. og point for kvalitet med 30 pct. Ordregiveren modtager de samme fem tilbud, som også er anvendte i de foregående eksempler: A B C D E Priser (kr.) 2.000.000 2.050.000 2.250.000 2.600.000 2.700.000 Kvalitet (point) 1 3 4 7 8 Indholdet i disse tilbud indebærer, at der bliver tale om et spænd, som går» fra 1.856.000 kr. (svarende til gennemsnitsprisen på 2.320.000 minus 20 pct.), som giver 8 point» til 2.784.000 kr. (svarende til gennemsnitsprisen på 2.320.000 plus 20 pct.), som giver 0 point. Herefter kan tilbudspriserne omregnes lineært til følgende point (række 1 i tabellen), som dernæst kan ganges med de valgte vægtprocenter (række 3 og 4): Vægt A B C D E Priser (point) 6,76 6,33 4,60 1,59 0,72 Kvalitet (point) 1 3 4 7 8 Priser 70 pct. 4,73 4,43 3,22 1,11 0,51 Kvalitet 30 pct. 0,3 0,9 1,2 2,1 2,4 Samlet pointscore 5,03 5,33 4,42 3,21 2,91 Også i dette eksempel har tilbud B den højeste samlede pointscore og vinder derfor udbuddet. I eksemplet er evalueringen af kvaliteten i tilbuddene ligesom i de øvrige eksempler i denne vejledning lavet i separate bedømmelser af kvaliteten i hvert enkelt tilbud i forhold til en absolut skala. En anden mulighed kunne være at bedømme kvaliteten i en relativ sammenligning, som tager udgangspunkt i en gennemsnitskvalitet i tilbuddene, som fx gives middelpoint, og hvor bedre kvalitet gives flere point, mens dårligere kvalitet gives færre point end middelpoint. 46 Ved anvendelse af en lineær pointmodel med udgangspunkt i gennemsnitsprisen i tilbuddene kan ordregiveren ligesom ved andre lineære pointmodeller overveje at oplyse, hvilken sekundærmodel og tilhørende vægte der vil blive anvendt, hvis der viser sig at være en større spredning i tilbudspriserne, end den fastsatte X-procent giver mulighed for, jf. den mere udførlige forklaring herom i afsnittet ovenfor. 46 Jf. omtalen af denne mulighed og problemstillingerne herom i afsnit 7.4.

SIDE 39 1426BEVALUERINGSMETODER 5.3 Ikke-lineære pointmodeller Som det fremgår ovenfor, er lineære pointmodeller baseret på et prisspænd, som indebærer, at der er behov for sekundærmodeller, som fastlægger, hvad der skal ske, hvis der viser sig at være et større spænd i tilbudspriserne. En ikke-lineær pointmodel, som modellen i figur 5.4 nedenfor, indeholder ikke en øvre grænse for prisernes størrelse. Modellen er således ikke baseret på et prisspænd, og der er derfor ikke behov for at supplere den med en sekundærmodel. 47 Figur 5.4 Ikke-lineær pointmodel Matematisk kan pointene i denne model opgøres ved brug af følgende formel: Point = Maksimumpoint * laveste pris / pris 48 Den ikke-lineære model i figuren ovenfor har en indbygget tendens, som det kan være relevant at være opmærksom på, hvis man overvejer at anvende modellen. 47 Modellen svarer til den, der blev anvendt af Skive Kommune i Klagenævnet for Udbuds kendelse af 9. januar 2012, RenoNorden A/S med Skive Kommune. 48 Når denne formel bruges, er minimum 0 point, sådan som det også fremgår af figuren. Hvis der ønskes anvendt en anden minimumpointscore, kan følgende formel anvendes: Point = Minimumpoint + (maksimumpoint minimumpoint) * laveste pris / pris.

SIDE 40 KAPITEL 5 POINTMODELLER I de fleste udbud er der ikke en meget stor spredning i tilbudspriserne, og det er forholdsvis sjældent, at ordregiver vil overveje at tildele kontrakten til et tilbud, som fx er mere end 50 procent dyrere end tilbuddet med den laveste pris. Når modellen i figur 5.3 bruges i udbud, hvor der ikke er stor spredning i priserne, vil der i omregningen af priser til point derfor kun blive brugt en mindre del af pointskalaen. Den ikke-lineære model i figur 5.4 indebærer, at forskelle mellem tilbudspriserne bliver omregnet til væsentlig mindre forskelle i point, end der vil være, når der fx anvendes en af de lineære pointmodeller omtalt ovenfor. Virkningen af modellen bliver, at kvalitetskriterierne får betydelig større betydning for det samlede evalueringsresultat end i de øvrige modeller. Modellen har derfor en indbygget tendens til at udpege tilbud med højere priser (og højere kvalitet) som vindere af udbuddene. Modellens virkninger er illustreret i følgende eksempel, som omhandler samme tilbud, samme kvalitetsvurderinger og samme vægtprocenter som for de øvrige evalueringsmodeller. Boks 5.4 Ikke-lineær pointmodel (RenoNorden-modellen) En ordregiver har i udbudsmaterialet oplyst, at der anvendes en ikke-lineær pointmodel, hvor» tilbudspriserne omregnes til point ud fra formlen: Maksimumpoint * laveste pris/pris» point for priser ganges med 70 pct. og point for kvalitet med 30 pct. Ordregiveren modtager de samme fem tilbud som i de foregående eksempler: A B C D E Priser (kr.) 2.000.000 2.050.000 2.250.000 2.600.000 2.700.000 Kvalitet (point) 1 3 4 7 8 Tilbudspriserne omregnes efter formlen ovenfor til point (række 1 i tabellen), som dernæst kan ganges med de valgte vægtprocenter (række 3 og 4): Vægt A B C D E Priser (point) 8,00 7,80 7,11 6,15 5,93 Kvalitet (point) 1 3 4 7 8 Priser 70 pct. 5,60 5,46 4,98 4,31 4,15 Kvalitet 30 pct. 0,3 0,9 1,2 2,1 2,4 Samlet pointscore 5,90 6,36 6,18 6,41 6,55 I dette eksempel er det, i modsætning til resultaterne i alle de øvrige modeller, tilbud E, der har den højeste samlede pointscore, og som derfor vinder udbuddet. Eksemplet illustrerer, at det for ordregivere, som overvejer at anvende denne model, kan være relevant også at overveje, hvordan modellen og procentvise vægte kan indrettes for at opnå den ønskede afvejning mellem pris og kvalitet i tilbudsevalueringen. 5.4 Pointmodellers virkninger Lineære pointmodeller er baseret på maksimale spænd i tilbudspriserne. Det indebærer, at der er mulighed for, at der viser sig at være større spredning i tilbudspriserne, end der er plads til i spændet. Det kan derfor være hensigtsmæssigt også at oplyse en sekundærmodel, så der ikke er risiko for, at udbuddet skal aflyses af denne grund.

SIDE 41 1426BEVALUERINGSMETODER Hvis sekundærmodellen også er en lineær pointmodel, vil det større spænd indebære, at der i sekundærmodellen bliver mindre forskelle i de point, som tilbudspriser omregnes til, end der ville have været i primærmodellen. Hvis ordregiveren i dette tilfælde vil sikre sig, at primærog sekundærmodellerne giver nogenlunde samme afvejning mellem pris og kvalitet, kan ordregiveren overveje, om det kan opnås ved at gange point for priser i sekundærmodellen med en lidt højere vægtprocent end i primærmodellen. 49 Ikke-lineære pointmodeller har en indbygget tendens til at omregne priser til mindre forskelle i point, end det er tilfældet i lineære pointmodeller. Man kan evt. tage højde for denne virkning ved at gange point for priser med højere vægtprocenter end i andre modeller, så man derved kan opnå den ønskede afvejning mellem pris og kvalitet. Ligesom for andre evalueringsmodeller er det også altid en god ide at lave en grundig gennemtestning af pointmodeller og vægtprocenter, så der kan opnås den ønskede afvejning mellem pris og kvalitet. Modellerne kan fx testes ved brug af de beregningsværktøjer, som kan findes på Konkurrence- og Forbrugerstyrelsens hjemmeside. Værktøjer og skabeloner 49 Afvejningen mellem pris og kvalitet afhænger af både spændet i en lineær pointmodel og de vægtprocenter, der ganges på point for priser og kvalitet, jf. eksemplet i boks 3.2. En anvendelse af forskellige vægtprocenter i primær- og sekundærmodeller med forskellige spænd for at sikre samme afvejninger mellem priser og kvalitet vil efter Konkurrence- og Forbrugerstyrelsens vurdering være overensstemmelse med ligebehandlingsprincippet, jf. den mere udførlige forklaring herom i afsnit 7.6.

SIDE 42 KAPITEL 6 PROSAMODELLER OG PROCENTMODELLER Kapitel 6 Prosamodeller og procentmodeller 6.1 Samme regler for sproglige evalueringer Prosamodeller er en af de tre typer af evalueringsmodeller, som omtales i bemærkningerne til udbudsloven. 50 Udbudsloven giver mulighed for, at der kan laves sproglige evalueringer, hvor der ikke anvendes matematiske formler, og hvor det i stedet sprogligt beskrives, hvordan evalueringen vil blive foretaget. Det fremgår klart af lovbemærkningerne. Fordelen ved prosamodeller fremhæves ofte at være, at ordregivere i sproglige vurderinger gør mere ud af de sproglige argumentationer for evalueringsresultaterne, og at ordregiverne derfor laver bedre begrundede afslag, når der anvendes prosamodeller. I praksis har mange af de evalueringsmetoder, der bliver omtalt som prosamodeller, været baseret på støtteværktøjer, hvor priser omregnes til point, som sammenstilles med point fra vurderingen af kvalitetskriterier. Disse støtteværktøjer er således de samme som dem, der bruges i pointmodeller. Resultaterne af disse evalueringer er derfor i praksis baseret på de anvendte pointmodeller. I andre prosamodeller har ordregivere først gennemført en evaluering af tilbuddene på kvalitetskriterier og herefter konstateret, om der er et tilbud, som har både laveste pris og bedste kvalitet. En sådan metode vil også kunne anvendes efter reglerne i udbudsloven. Hvis der ikke er et tilbud med både laveste pris og bedste kvalitet, har ordregivere i disse modeller typisk set på, om der har været et tilbud, som efter ordregivers opfattelse har haft et klart bedre forhold mellem pris og kvalitet end de øvrige tilbud. Efter udbudslovens regler vil ordregiver fremover skulle oplyse evalueringsmetoden, dvs. beskrive hvordan evalueringen ved denne sammenstilling af tilbuddene konkret foretages. Dette følger af, at der gælder samme krav for prosamodeller som for andre modeller om, at evalueringsmetoder og evalueringsmodeller skal oplyses i udbudsmaterialet, jf. beskrivelsen af udbudslovens krav herom i afsnit 2.2 ovenfor. Det indebærer fx, at det også for prosamodeller gælder,» at det skal fremgå af udbudsmaterialet, hvordan underkriterier om pris og kvalitet bedømmes, hvordan ordregiveren vil vægte underkriterierne, og hvordan bedømmelserne af underkriterierne vil blive sammenstillet osv.» at evalueringsmetoden skal beskrives på en sådan måde, at ordregiver ikke har ubetinget frit valg mellem tilbud ved evalueringen (fx to tilbud, der ligger tæt mht. pris og kvalitet). 50 I bemærkningerne til udbudslovens 160 nævnes flere gange, at evalueringer, hvor der indgår både økonomiske og kvalitetsmæssige underkriterier, eksempelvis kan baseres på prismodeller, pointmodeller eller prosamodeller, men der er ikke noget til hinder for at anvende andre typer af evalueringsmodeller end disse.

SIDE 43 1426BEVALUERINGSMETODER I mange af de hidtil anvendte prosamodeller har ordregiver anvendt kategoriseringer som fx særdeles god, meget god, god, tilfredsstillende, mindre tilfredsstillende og utilfredsstillende eller lignende. Når der anvendes sådanne kategorier i bedømmelser af kvalitetskriterier, svarer det til en variant af de bedømmelser efter pointskalaer, som bruges i andre modeller. 51 Hvis man overvejer at bruge tilsvarende kategoriseringer ved evalueringen af priserne i sproglige evalueringer, så tilbudspriserne uden en præcis omregning indplaceres i kategorierne, kan det give forskellige udfordringer:» Der kan være en udfordring at beskrive, hvordan indplaceringen af priser i kategorier vil blive foretaget i overensstemmelse med udbudslovens regler om, at det skal oplyses, hvordan underkriterier vil blive evalueret.» Der kan også være en udfordring i at sikre, at modellen er i overensstemmelse med ligebehandlingsprincippet, hvis den indebærer, at forskellige priser falder i samme kategori og dermed behandles ens. 52 Prosamodeller vil primært basere sig på den enkelte ordregivers evne til sprogligt at beskrive sin model forud for evalueringen. I boks 6.1 er der angivet en skitse til, hvordan en prosamodel uden brug af matematiske formler eventuelt vil kunne udformes. 51 Jf. også afsnit 7.4 om mulighederne for relativ eller absolut bedømmelser af kvalitetskriterier. 52 Dvs. at prisforskelle fx ikke afspejles i en præcis omregning til et tal med fx to decimaler. Det fremgår af bemærkningerne til udbudslovens 2, at det følger af ligebehandlingsprincippet, at forskellige forhold ikke må behandles ensartet, medmindre en sådan forskellig behandling er objektivt begrundet og proportional. Se eventuelt også Klagenævnet for Udbuds kendelser af 19. maj 2009 (Anker Hansen & Co A/S mod Rudersdal Kommune) og 27. oktober 2011 (FICS Danmark A/S mod Patientombuddet).

SIDE 44 KAPITEL 6 PROSAMODELLER OG PROCENTMODELLER Boks 6.1 Skitse til, hvordan prosamodel uden matematisk formel kan udformes Priser For at undgå de ovenfor nævnte udfordringer om forudgående gennemsigtighed i, hvordan priser indplaceres i kategorier, uden at det kan være i strid med ligebehandlingsprincippet, kan der fx fastsætte betingelser om, at der alene kan bydes ind med fx følgende tilbudspriser: 5 mio. kr. 5,5 mio. kr. 6 mio. kr. 6,5 mio. kr. 7 mio. kr. Kvalitet Det kan her fx fastsættes, at kvalitet vil blive bedømt efter følgende absolutte skala : Særdeles tilfredsstillende Meget tilfredsstillende Tilfredsstillende Mindre tilfredsstillende Ikke tilfredsstillende. Sammenstilling af priser og kvalitet I stedet for at oplyse en matematisk formel for, hvordan sammenstillingen vil ske, kan der på forhånd laves en facitliste over, hvordan det vil ske. 53 Det er der gjort i følgende tabel, hvor alle de forskellige kombinationer af priser og kvalitetsbedømmelser er ranglistet, og hvor det tilbud, som opnår den højeste placering på listen, vinder udbuddet: 1. 5,0 & særdeles tfs. 2. 5,0 & meget tfs. 3. 5,5 & særdeles tfs. 4. 5,0 & tilfredsst. 5. 5,5 & meget tfs. 6. 6,0 & særdeles tfs. 7. 5,0 & mindre tfs. 8. 5,5 & tilfredsst. 9. 6,0 & meget tfs. 10. 6,5 & særdeles tfs. 11. 5,0 & ikke tfs. 12. 5,5 & mindre tfs. 13. 6,0 & tilfredsst. 14. 6,5 & meget tfs. 15. 7,0 & særdeles tfs. 16. 5,5 & ikke tfs. 17. 6,0 & mindre tfs. 18. 6,5 & tilfredsst. 19. 7,0 & meget tfs. 20. 6,0 & ikke tfs. 21. 6,5 & mindre tfs. 22. 7,0 & tilfredsst. 23. 6,5 & ikke tfs. 24. 7,0 & mindre tfs. 25. 7,0 & ikke tfs. I tilfælde af, at der måtte være to eller flere tilbud, som opnår samme højeste placering, vil vinderen fx kunne findes ved en lodtrækning foretaget af en uafhængig tredjepart eller lignende, jf. afsnit 7.3. Skitsen i boks 6.1 illustrerer, at der kan udarbejdes prosamodeller uden matematiske formler, som vil kunne anvendes i overensstemmelse udbudslovens regler om forudgående gennemsigtighed i evalueringsmetoderne. I Konkurrence- og Forbrugerstyrelsens dialog med ordregivere under forberedelsen af denne vejledning er der desuden blevet peget på en anden mulig model, hvor tilbudspriser og point fra bedømmelser af kvalitet sammenstilles på en anden måde, end det sker ved at omregne priser til point (som i pointmodeller) eller point til priser (som i prismodeller). Denne mulighed er ikke en prosamodel, men da der er tale om en model, som dels adskiller sige fra pris- og pointmodeller, og som muligvis vil kunne anvendes i kombination med prosaevalueringer, er den beskrevet i det følgende afsnit. 6.2 Model baseret på procentvise forskelle I den model, som forklares i følgende boks, sker sammenstillingen af bedømmelserne af pris og kvalitet ved, at procentvise forskelle i tilbudspriser sammenvægtes med procentvise forskelle i point for kvalitet. 53 Facitlisten viser, hvordan ordregiveren helt præcist vil vægte underkriterierne ved evalueringen. Selv om der i denne skitse ikke bruges procentvise vægte, vil ordregiveren således have oplyst, hvordan de fastsatte underkriterier vil blive vægtet ved evalueringen, jf. udbudslovens 165.

SIDE 45 1426BEVALUERINGSMETODER Boks 6.2 Model baseret på procentvise forskelle En ordregiver har i udbudsmaterialet oplyst, at der anvendes en evalueringsmodel, hvor» kvalitet først bedømmes på en skala fra 0-8 point (hvor 8 point gives til bedste kvalitet) og derefter omregnes til procentvise forskelle i forhold til tilbuddet med bedste kvalitet» priser omregnes til procentvise forskelle i forhold til tilbuddet med laveste pris» procentvise forskelle i priser ganges med 70 pct. og procentvise forskelle i kvalitet med 30 pct. i den samlede opgørelse af, hvilket tilbud der har det bedste forhold mellem pris og kvalitet Ordregiveren modtager de samme fem tilbud som i de foregående eksempler: A B C D E Priser (kr.) 2.000.000 2.050.000 2.250.000 2.600.000 2.700.000 Kvalitet (point) 1 3 4 7 8 Herefter omregnes tilbudspriserne til procentvise forskelle i forhold til laveste pris (række 1 i tabellen nedenfor), og kvalitetspoint omregnes til procentvise forskelle i forhold tilbuddet med bedste kvalitet (række 2). De opgjorte procentvise forskelle ganges dernæst med de valgte vægtprocenter (række 3 og 4). Vinderen af udbuddet er tilbuddet med den laveste sammenvægtede procentforskel: Vægt A B C D E Priser (point) 0 pct. 2,5 pct. 12,5 pct. 30,0 pct. 35,0 pct. Kvalitet (point) 87,5 pct. 62,5 pct. 50,0 pct. 12,5 pct. 0 pct. Priser 70 pct. 0 pct. 1,75 pct. 8,75 pct. 21,00 pct. 24,50 pct. Kvalitet 30 pct. 26,25 pct. 18,75 pct. 15,00 pct. 3,75 pct. 0 pct. Sammenvægtet pct.forskel 26,25 pct. 20,50 pct. 23,75 pct. 24,75 pct. 24,50 pct. Tilbud B har den laveste sammenvægtede procentforskel og vinder derfor udbuddet. Som det fremgår af boksen, giver modellen i eksemplet samme vinder som prismodellerne i kapitel 4 og de lineære pointmodeller i kapitel 5. Modellen er i modsætning til de lineære pointmodeller ikke baseret på et maksimalt spænd for forskellene mellem tilbudspriserne. Ved brug af denne model vil der derfor, ligesom ved prismodellerne og ikke-lineære pointmodeller, ikke være behov for at supplere modellen med sekundærmodeller. 6.3 Procentmodellens virkninger I modellen om procentvise forskelle sker omregningerne i forhold til indholdet i tilbuddene med hhv. laveste pris og bedste kvalitet. Denne models resultater er derfor meget afhængige af indholdet i netop de tilbud, der har den laveste pris og den bedste kvalitet. Hvis et af disse tilbud er en såkaldt outlier dvs. et tilbud, som på netop et af disse parametre ligger meget langt fra de øvrige tilbud vil denne outlier kunne have stor indflydelse på, hvilket af de øvrige tilbud, der udpeges til at have det bedste forhold mellem pris og kvalitet. Det vil derfor kunne være relevant at overveje, om modellen vil fungere efter ordregivers ønsker i tilfælde af sådanne outliere blandt tilbuddene. Modellen er udarbejdet til brug for denne vejledning baseret på de input, som Konkurrenceog Forbrugerstyrelsen har modtaget i dialog med myndigheder, organisationer, rådgivere og udbudsbudspraktikere under forberedelsen af denne vejledning. Der er derfor ikke tale om en

SIDE 46 KAPITEL 6 PROSAMODELLER OG PROCENTMODELLER afprøvet eller gennemtestet model, og der foreligger således ikke praktiske erfaringer med brug af modellen. Ligesom for de andre modeller i denne vejledning kan man lave en grundig gennemtestning, så det kan sikres, at modellen i praksis kommer til at sikre ordregiveren den ønskede afvejning mellem pris og kvalitet i tilbuddene. Værktøjer og skabeloner

SIDE 47 1426BEVALUERINGSMETODER Kapitel 7 Spørgsmål i tilknytning til reglerne om evalueringsmetoder 7.1 Hvornår kan en evalueringsmetode tilsidesættes? Som det fremgår af afsnit 1.1 og boks 2.1, kan en evalueringsmetode, der er beskrevet i udbudsmaterialet i overensstemmelse med reglerne, ikke tilsidesættes af Klagenævnet for Udbud eller andre retsinstanser, hvis den er gennemsigtig og overholder ligebehandlingsprincippet. Bestemmelsen er indsat i udbudsloven efter forslag fra Udbudslovsudvalget. 54 I dette afsnit uddybes, hvad bestemmelsen efter Konkurrence- og Forbrugerstyrelsens vurdering kan forventes at indebære. Baggrunden for bestemmelsen er, at når tilbudsgiverne på forhånd har fuld gennemsigtighed i en evalueringsmetode, som er i overensstemmelse med ligebehandlingsprincippet, og evalueringen efterfølgende bliver foretaget som oplyst, er der ikke behov for, at evalueringsmetoden kan påklages. Når der er forudgående gennemsigtighed i evalueringsmetoden, og tilbudsgiverne kan forudse de praktiske konsekvenser af metoden, har tilbudsgiverne på forhånd et oplyst grundlag til at vurdere, om de ønsker at afgive tilbud eller ej. Tilbudsgivere, der vælger at afgive tilbud, vil være klar over, at de ikke bagefter kan påklage evalueringen, hvis evalueringen er foretaget som oplyst. Spørgsmålet er imidlertid, hvor grænserne går for, hvad der kan tilsidesættes af Klagenævnet for Udbud, og hvad der ikke kan. Hvor langt rækker bestemmelsen om, at en gennemsigtig evalueringsmetode, der overholder ligebehandlingsprincippet, ikke kan tilsidesættes? Det er Konkurrence- og Forbrugerstyrelsens vurdering, at hvis man som ordregiver» har oplyst hele sin evalueringsmetode» har oplyst, hvordan man vil vægte underkriterierne» har oplyst en evalueringsmetode, der overholder principperne om» ligebehandling» gennemsigtighed» har oplyst en evalueringsmetode, der ikke er åbenbart uegnet til at identificere det økonomisk mest fordelagtige tilbud, 55» har beskrevet evalueringsmetoden på en sådan måde, at man ved evalueringen» ikke har ubetinget frit valg mellem tilbud» kun lægger vægt på de forhold, som man havde oplyst at ville lægt vægt på i udbudsmaterialet 54 Jf. udbudslovens 160, stk. 2. Det fremgår i øvrigt af bemærkningerne til denne bestemmelse, at det ikke er en endelighedsbestemmelse, og at klage- og retsinstanser også vil kunne tilsidesætte en evalueringsmetode med henvisning til andre bestemmelser end gennemsigtighedsprincippet eller ligebehandlingsprincippet. Det vil der dog ifølge lovbemærkningerne sjældent kunne være grundlag for. 55 Se forklaringen herom i afsnit 7.2 nedenfor.

SIDE 48 KAPITEL 7 SPØRGSMÅL I TILKNYTNING TIL REGLERNE OM EVALUERINGSMETODER» har foretaget evalueringen i overensstemmelse med det oplyste, så indebærer bestemmelsen, at Klagenævnet for Udbud og andre retsinstanser ikke vil kunne tilsidesætte evalueringsmetoden. På den anden side kan der også peges på nogle problemstillinger, som det må antages, at tilbudsgivere vil kunne påklage. På baggrund af de emner, som er gennemgået i denne vejledning, er det Konkurrence- og Forbrugerstyrelsens vurdering, at Klagenævnet for Udbud vil kunne behandle klager over evalueringer, når ordregivere» har undladt at oplyse dele af evalueringsmetoden, som har haft betydning for evalueringen» har lagt vægt på forhold, som det ikke var oplyst i udbudsmaterialet, at der ville blive lagt vægt på» har oplyst hvilke vægtprocenter, der vil blive anvendt, men ikke hvordan de vil blive anvendt 56» ikke har oplyst, hvordan kvalitetskriterier vil blive bedømt» har anvendt relativ vurdering af kvalitet, hvor det ikke har været oplyst for tilbudsgiverne, hvordan dette ville foregå, og hvor ordregiver derfor har haft ubetinget frit valg mellem tilbud ved evalueringen 57» har anvendt model for omregning af priser til point, hvor tilbudsgivere ikke ligebehandles, fx en trappemodel, 58 en model som afhænger af både højeste og laveste pris 59 eller en model, hvor tilbud med betydelige prisforskelle tildeles samme point 60» har anvendt en evalueringsmetode, der er åbenbart uegnet til at identificere det økonomisk mest fordelagtige tilbud» har foretaget en åbenbar urigtig vurdering af kvaliteten i tilbuddene. Det skal understreges, at emnerne på ovenstående liste ikke nødvendigvis vil udgøre overtrædelser af reglerne. Listen omhandler problemstillinger, som efter styrelsens opfattelse vil kunne påklages, og som Klagenævnet for Udbud vil kunne tage stilling til. Disse typer af problemstillinger og den tilhørende risiko for klagesager er det hensigtsmæssigt at være opmærksomme på ved valg af evalueringsmetoder. 7.2 Gælder klagenævnets praksis om modellers egnethed fortsat? Som anført i afsnit 1.1 er det Konkurrence- og Forbrugerstyrelsens vurdering, at udbudsloven indebærer ændringer i forhold til den tidligere praksis, herunder at betydelige dele af Klagenævnet for Udbuds praksis om blandt andet evalueringsmodellers egnethed ikke vil være relevant fremadrettet, når evalueringsmetoderne skal fremgå af udbudsmaterialet. I dette afsnit uddybes baggrunden for denne vurdering. I en række kendelser har Klagenævnet for Udbud efter de tidligere regler fastlagt en praksis om, at evalueringsmodeller skulle være egnede til at identificere det økonomisk mest fordelagtige tilbud. Denne praksis indebar blandt andet krav om, at evalueringsmodellen skulle være egnet i forhold til den konkrete situation og den spredning, der kunne forventes i priser og på kvalitetskriterier i det konkrete udbud. 56 Se boks 3.2 i kapitel 3. 57 Se forklaringen herom i afsnit 7.4 nedenfor. 58 Herved forstås fx en model, hvor tilbuddene rangordnes, så fx laveste pris får maksimumpoint, næstlaveste et point mindre end maksimum, tredje laveste to point mindre end maksimum osv. Jf. i øvrigt klagenævnets kendelse af 12. februar 2012 (Nøhr & Sigsgaard Arkitektfirma A/S mod Direktoratet for Kriminalforsorgen). 59 En sådan model vil fx kunne indebære, at to tilbud med 1 krones forskel i tilbudsprisen vil kunne få hhv. maksimumpoint og minimumpoint. 60 Jf. fx klagenævnets kendelse af 4. november 2015 (Q-Free ASA mod Øresundsbro Konsortiet).

SIDE 49 1426BEVALUERINGSMETODER Hovedparten af klagenævnets praksis om krav til evalueringsmodellers egnethed var efter Konkurrence- og Forbrugerstyrelsens vurdering knyttet til nævnets tidligere praksis om, at der ikke var pligt til at oplyse evalueringsmetoderne i udbudsmaterialet. Under denne praksis indebar principperne om ligebehandling og gennemsigtighed, at ordregivere skulle anvende en konkret egnet model, når de ikke før tilbudsafgivelsen havde oplyst tilbudsgiverne om, hvordan evalueringen ville blive foretaget. Det fremgik desuden af nævnets praksis, at hvis ordregiveren anvendte en usædvanlig eller upåregnelig evalueringsmodel, var der pligt til at skabe forudgående gennemsigtighed ved at oplyse modellen i udbudsbetingelserne. 61 Klagenævnets afgørelser har her især omhandlet, hvorvidt modeller har været konkret egnede i forhold til» at afspejle den faktiske og forventede spredning i tilbuddene, især mht. priser» at sikre en overholdelse af den angivne vægtning, fx når der kun anvendes en mindre del af bedømmelsesskalaen. På baggrund af Udbudslovsudvalget anbefalinger fremgår det af udbudsloven, at der skal være forudgående gennemsigtighed i, hvordan ordregiver vil foretage evalueringen, jf. lovbemærkningerne om, at der i direktivet er et stærkere krav, end der i dag ses i dansk klagenævnspraksis, når det gælder den forudgående gennemsigtighed i, hvad ordregiverne lægger vægt på ved evalueringen, og hvordan evalueringen nærmere foretages. 62 I forlængelse af reglerne om forudgående gennemsigtighed i evalueringer fremgår følgende af lovbemærkningerne i forhold til klagenævnets praksis om egnethed mht. at afspejle spredning i tilbuddene og anvendelse af mindre dele af pointskalaen: Når evalueringsmetoden er beskrevet i udbudsmaterialet på en klar og gennemsigtig måde, vil der heller ikke være grundlag for at tilsidesætte modellen, fordi den ikke afspejler spredningen i de indkomne bud, eller fordi ikke hele karakter- eller pointskalaen kommer i anvendelse, da der ikke er noget udbudsretligt krav om, at en model skal afspejle en bestemt spredning, eller at hele karakter- eller pointskalaen skal komme i anvendelse, så længe det blot har været klart for en rimeligt oplyst og normalt påpasselig tilbudsgiver, hvordan modellen fungerer. 63 Når man fremover skal oplyse evalueringsmetoder og herunder også evalueringsmodeller i udbudsmaterialet, er det således ikke længere et krav, at modeller skal afspejle spredningen i tilbudspriserne. Denne del af klagenævnets praksis er derfor ikke relevant fremover. Som det fremgår af afsnit 3.3 ovenfor, må reglerne om forudgående gennemsigtighed i evalueringsmetoder desuden forventes at indebære, at ordregivere fremover vil oplyse den nærmere metode for, hvordan ordregiver vil vægte underkriterier. Eller formuleret på en anden måde: Da underkriteriers faktiske vægt i den samlede vurdering afhænger af indholdet i tilbuddene, kan man ikke fremover på forhånd vide, hvordan underkriterierne kommer til at vægte i den samlede vurdering. I stedet må man fremover forklare, hvordan man vil gange fx point med vægtprocenter eller lignende. Klagenævnets praksis om, at modeller skal overholde og ikke må forrykke vægte i den samlede vurdering, vil derfor efter Konkurrence- og Forbrugerstyrelsens vurdering heller ikke være relevant fremover. 61 Jf. fx Klagenævnet for Udbuds kendelse af 8. oktober 2013 (Ansaldo STS S.p.A. mod Banedanmark), som på side 181-183 indeholder en sammenfatning af hovedlinjerne i nævnets praksis vedr. evalueringer. 62 Jf. bemærkningerne til udbudslovens 160. 63 Jf. bemærkningerne til udbudslovens 160, stk. 2.

SIDE 50 KAPITEL 7 SPØRGSMÅL I TILKNYTNING TIL REGLERNE OM EVALUERINGSMETODER Nogle af klagenævnets kendelser om modellers egnethed var ikke på samme måde knyttet til nævnets praksis om, at der ikke var pligt til at oplyse evalueringsmetoderne i udbudsmaterialet. Disse kendelser omhandler, at den anvendte metode enten har været åbenbart uegnet til at identificere det billigste eller økonomisk mest fordelagtige tilbud. 64 Evalueringsmetoder skal også fremover bruges til at identificere det tilbud, der er det økonomisk mest fordelagtige for ordregiverne, og denne del af nævnets praksis kan derfor formentlig forventes videreført. 7.3 Hvad gør man, når to tilbud vurderes helt lige? Som det fremgår af afsnit 2.1, kan et element i en evalueringsmetode være, hvordan man finder vinderen, når der er dødt løb mellem to eller flere tilbud. Uanset hvilket tildelingskriterie og evalueringsmetode, der anvendes ved en evaluering, vil der kunne være en risiko for, at to tilbud ender med at blive evalueret helt lige. Det vil fx kunne være tilfældet, når der anvendes tildelingskriteriet pris, og der er to tilbud med samme laveste pris. Det kan også være tilfældet, når tildelingskriteriet er bedste forhold mellem pris og kvalitet, og det viser sig, at den anvendte evalueringsmodel giver et resultat med dødt løb mellem to tilbud med vidt forskellige sammensætninger af kvalitet og pris. Kombinationen af kravet om offentliggørelse af evalueringsmetoder, og at ordregiver ikke må have et ubetinget frit valg, indebærer, at det på forhånd er relevant at tage stilling til, hvordan man vil finde vinderen, hvis to tilbud vurderes fuldstændigt lige i evalueringen. I beskrivelserne af evalueringsmetoderne kan ordregiver derfor altid for en sikkerheds skyld beskrive, hvordan vinderen findes i disse tilfælde. Det kan gøres ved en standardformulering om, at vinderen i givet fald findes ved fx en lodtrækning, som fx foretages af en uafhængig tredjepart. 7.4 Absolut eller relativ bedømmelse af kvalitet Det fremgår af afsnit 3.2, at kvalitetskriterier hidtil er blevet bedømt i forhold til en absolut skala, men at der efter reglerne i udbudsloven er mulighed for, at det også kan ske i relative sammenligninger. I dette afsnit forklares forskellene på disse to måder at bedømme kvalitetskriterier. Uanset hvilken metode ordregiveren vælger at anvende, skal det oplyses i udbudsmaterialet, hvordan kvalitetskriterier vil blive bedømt, om det sker i en absolut eller relativ bedømmelse, hvilken skala der benyttes, og hvad der tillægges betydning i vurderingen. Absolut bedømmelse af kvalitet I en absolut bedømmelse af kvalitetskriterier bruges en pointskala, hvor det fremgår, hvad der skal til for at opnå de forskellige point på skalaen. Skalaen kan typisk udformes, så den kan dække over et spænd, som» på den ene side ikke er for lille til at sikre en tilstrækkelig nuancering, så relevante forskelle i tilbuddene kan afspejles i pointgivningen» på den anden side heller ikke for stort til at kunne gøre det let at konstatere, hvilket pointtal et tilbud skal have. 64 Se fx Mediq Danmark A/S mod KomUdbud v/kolding Kommune (22. april 2015) og BKI Foods A/S mod Fællesudbud Sjælland v/ Odsherred Kommune (23. oktober 2015).

SIDE 51 1426BEVALUERINGSMETODER I praksis er det derfor hensigtsmæssigt, at skalaen som hovedregel har et spænd på mindst 5 point og højst 10-11 point. Hvis skalaen har færre point, vil det være vanskeligt i tilstrækkelig grad at få pointgivningen til at afspejle relevante forskelle. Modsat vil det på en skala med fx 20 point være svært præcist at vurdere, hvorvidt et tilbud skal have 13 eller 14 point. Tabel 7.1 indeholder et eksempel på en absolut pointskala. Som det fremgår af tabellen, gives der point på forskellige måder i prismodeller og pointmodeller. Dette er yderligere forklaret i kapitel 4 (prismodeller) og kapitel 5 (pointmodeller) ovenfor. Tabel 7.1 Eksempel på pointskala til bedømmelse af kvalitetskriterier Opfyldelse af kriteriet Point i prismodel Point i pointmodel Bedst mulige opfyldelse af kriteriet 0 8 Glimrende/fortrinlig opfyldelse af kriteriet 1 7 God/meget tilfredsstillende opfyldelse af kriteriet 2 6 Over middel i opfyldelse af kriteriet 3 5 Middel/tilfredsstillende opfyldelse af kriteriet 4 4 Under middel i opfyldelse af kriteriet 5 3 Mindre tilfredsstillende opfyldelse af kriteriet 6 2 Ringe opfyldelse af kriteriet 7 1 Dårlig opfyldelse af kriteriet (men konditionsmæssigt tilbud) 8 0 Relativ bedømmelse af kvalitet Bedømmelse af kvalitetskriterier kan efter reglerne i udbudsloven ske relativt ved at sammenligne tilbuddene. Da der er tale om en mulighed, som reglerne i udbudsloven åbner op for, findes der ikke erfaringer eller praksis med relative bedømmelser af kvalitet. Relative bedømmelser af kvalitet kan foretages på flere forskellige måder. En mulighed er at anvende relative bedømmelser, når underkriterier er opdelt på en lang række delkriterier, hvor hvert delkriterie alene tildeles få point. I givet fald vil der kunne beskrives retningslinjer for, hvornår et tilbud skal have hhv. 0, 1 eller 2 point. Andre muligheder kan være at lave en sammenligning af kvaliteten, som tager udgangspunkt i tilbuddet med bedste kvalitet eller i en gennemsnitskvalitet i tilbuddene. I førstnævnte tilfælde kan tilbuddet med bedste kvalitet tildeles maksimumpoint, mens tilbud med lavere kvalitet får færre point end maksimumpoint. I sidstnævnte tilfælde kan gennemsnitskvaliteten fx gives middelpoint, mens bedre kvalitet gives flere point og dårligere kvalitet færre point end middelpoint. En fordel ved sådanne metoder vil formentlig være, at de intuitivt vil være praktisk nemme at anvende for fx brugergrupper. Desuden vil en fordel ved en bedømmelse af kvalitet med udgangspunkt i gennemsnitskvaliteten eksempelvis kunne fungere godt i en model, hvor evalue-

SIDE 52 KAPITEL 7 SPØRGSMÅL I TILKNYTNING TIL REGLERNE OM EVALUERINGSMETODER ringen af økonomiske underkriterier sker med et tilsvarende udgangspunkt i gennemsnitspriserne i tilbuddene. 65 En ulempe vil dog være, at det kan være vanskeligt på forhånd at specificere, hvilke point der skal gives til tilbud med kvalitet, der er anderledes end udgangspunktet i kvaliteten i bedste tilbud eller gennemsnitskvaliteten i tilbuddene. Det kan illustreres med et eksempel for en pointgivning med udgangspunkt i gennemsnitskvaliteten: I et udbud modtager en ordregiver tre tilbud et med en gennemsnitskvalitet, et med bedre kvalitet og et med dårligere kvalitet. Hvis ordregiveren fx anvender en skala fra 0-8 point, skal tilbuddet med gennemsnitskvalitet have 4 point. Men hvordan afgøres det, om tilbuddet med dårligere kvalitet skal have 3, 2, 1 eller 0 point, og om tilbuddet med bedre kvalitet skal have 5, 6, 7 eller 8 point? Hvis det ikke er beskrevet i udbudsmaterialet, hvordan bedømmelsen herom vil foregå, vil ordregiveren have adgang til at sammenpresse eller udstrække pointgivningen. I praksis vil ordregiverne derved kunne risikere at stå med et ubetinget frit valg mellem tilbuddene i evalueringen. 66 7.5 Vægtning af delkriterier Som det fremgår af afsnit 3.3, skal man som ordregiver oplyse i udbudsmaterialet, hvordan man vil vægte underkriterier. Der er ikke et tilsvarende krav i udbudsloven om vægtning af delkriterier til underkriterier. Det fremgår dog af lovbemærkningerne, at vægtningen af delkriterier skal angives, hvis et delkriterie tillægges særlig stor eller særlig lille betydning i forhold til andre delkriterier til samme underkriterie. 67 Det følger af praksis fra Klagenævnet for Udbud, at hvis ordregiver lader delkriterier vægte forskelligt under evalueringen, uden at dette har været oplyst for tilbudsgiverne, vil en sådan vægtning være i strid med ligebehandlings- og gennemsigtighedsprincippet, hvis oplysning om vægtningen kunne have haft indflydelse på udformningen af tilbuddene (såfremt den havde været kendt på tidspunktet for forberedelsen af tilbuddene), eller hvis der ved fastlæggelsen af vægtningen er taget hensyn til forhold, som kan virke diskriminerende i forhold til en af tilbudsgiverne. Rammerne for evalueringen og evalueringsmetoden (og herunder også en efterfølgende eventuel fastlæggelse af forskellige vægte for delkriterierne) må ikke give ordregiver ubetinget frit valg mellem tilbud ved evalueringen. Hvis en ordregiver vælger at anvende en vægtning af delkriterier, som ikke er oplyst i udbudsmaterialet, er der en risiko for, at vægtningen bliver afgørende for, hvilket tilbud der vinder udbuddet. 68 65 Når vurderinger af både priser og kvalitet foretages på samme måde, vil det være lettere at opnå den ønskede afvejning mellem pris og kvalitet. 66 Jf. afsnit 2.2. 67 Jf. bemærkningerne til 162, stk. 3. 68 Jf. afsnit 2.2.

SIDE 53 1426BEVALUERINGSMETODER På denne baggrund er det efter Konkurrence- og Forbrugerstyrelsens vurdering hensigtsmæssigt, at ordregivere i udbudsmaterialet oplyser, hvilke vægte der vil blive ganget med pointene fra hvert delkriterie, hvis kriterierne ikke vægtes lige, således at dette fremstår klart for tilbudsgiverne. 7.6 Kan man have forskellig vægtning i model og sekundærmodel? Det fremgår af afsnit 5.2 ovenfor, at ordregivere kan overveje at bruge forskellige vægtprocenter i primær- og sekundærmodeller. I dette afsnit forklares baggrunden for, at dette efter Konkurrence- og Forbrugerstyrelsens vurdering vil være i overensstemmelse med ligebehandlingsprincippet. Når en ordregiver anvender en lineær pointmodel med et maksimalt prisspænd og en sekundærmodel af samme type med plads til et større prisspænd, ønsker ordregiveren, at der bliver samme afvejning mellem pris og kvalitet ved evalueringen, uanset hvilke af de to modeller der vil blive brugt. Afvejningen mellem pris og kvalitet afhænger af både» spændet (svarende til hældningen på kurven) i en lineær pointmodel» de vægtprocenter, der ganges på point for priser og kvalitet. Som det fremgår af eksemplet i boks 3.2, vil modeller med forskellige prisspænd, herunder fx en udvidelse af prisspændet i sekundærmodellen, føre til, at afvejningen mellem pris og kvalitet forrykkes, når der anvendes samme vægtprocenter. Da ordregiveren også i sekundærmodellen ønsker at have samme afvejning mellem pris og kvalitet som i primærmodellen, vil det kunne opnås ved at bruge andre procentvise vægte i sekundærmodellen. En sådan anvendelse af forskellige vægtprocenter i primær- og sekundærmodeller med forskellige spænd for at sikre samme afvejninger mellem priser og kvalitet vil efter Konkurrenceog Forbrugerstyrelsens vurdering derfor være i fuld overensstemmelse med ligebehandlingsprincippet. Der er ikke noget i reglerne, der forhindrer, at ordregiveren bruger forskellige vægte i primærmodellen og sekundærmodellen. Men det skal selvfølgelig fremgå klart af beskrivelsen i udbudsmaterialet, hvilke evalueringsmetoder og vægte der vil blive anvendt i sekundærmodellen. 7.7 Hvordan kan lineære pointmodeller modificeres? Konkurrence- og Forbrugerstyrelsen har i dialog med især offentlige ordregivere fået en række forskellige spørgsmål, som handler om, i hvilket omfang man kan modificere lineære pointmodeller på forskellige måder. Kan man fx sortere såkaldte outliere fra, fx ved at lave et loft for højest acceptable tilbudspriser? Kan der bruges modeller med knæk på kurverne? Må der fremover anvendes negative point? Baggrunden for disse spørgsmål er, at ordregivere, der anvender lineære pointmodeller, gennem sådanne modificeringer ønsker at undgå at skulle supplere primærmodellerne med sekundærmodeller. De fleste af disse spørgsmål vil først blive afklaret i en kommende praksis fra Klagenævnet for Udbud, da de omhandler, hvorvidt sådanne modeller vil være i overensstemmelse med ligebehandlingsprincippet. For ordregivere, som overvejer modificeringer af lineære pointmodeller, er det derfor relevant at være opmærksom på, at der er risiko for, at klagenævnet vil komme

SIDE 54 KAPITEL 7 SPØRGSMÅL I TILKNYTNING TIL REGLERNE OM EVALUERINGSMETODER til at tage stilling til, hvorvidt de pågældende modificeringer er i overensstemmelse med ligebehandlingsprincippet. Der er lidt forskel på, hvordan de forskellige mulige modificeringer fungerer, og hvad der vil kunne argumentres for, sådan som det fremgår af det følgende. Må man sætte absolut loft? Der er efter Konkurrence- og Forbrugerstyrelsens vurdering ikke tvivl om, at en ordregiver gerne må sætte et loft i form af et bestemt beløb for højest acceptable tilbudspriser i udbudsmaterialet, således at tilbudsgiverne er klar over, at tilbud med højere tilbudsbeløb end dette, vil blive betragtet som ukonditionsmæssige. Tilsvarende må der også sættes et minimumsbeløb for lavest acceptable tilbudspriser, som fx kan bruges, hvis ordregiver ikke ønsker at modtage tilbud med meget lave priser og kvalitet. Må man sætte endogent loft? Der foreligger ikke klare regler eller praksis om, hvorvidt ordregiver må fastsætte et såkaldt endogent loft for, hvilke tilbudspriser der vil blive betragtet som ukonditionsmæssige. Ved endogent forstås et loft, hvor beløbet i kroner ikke er sat på forhånd, men hvor det i stedet afhænger af indholdet i de modtagne tilbud. Et eksempel kunne være, at tilbudspriser, som er mere end dobbelt så høje som prisen i laveste tilbud, vil blive betragtet som ukonditionsmæssige. Der kan på den ene side argumenteres for, at det som udgangspunkt må være tilladt, hvis det klart fremgår af udbudsmaterialet, og det står klart for tilbudsgiverne, at de risikerer, at deres tilbud bliver ukonditionsmæssigt af denne grund. På den anden side kan der argumenteres for, at et sådan loft i en situation, hvor der bliver afgivet tilbud med meget lav pris, vil kunne indebære, at det ikke vil være klart for rimeligt oplyste og normalt påpasselige tilbudsgivere, hvad de praktiske konsekvenser af evalueringsmetoden kan forventes at være eller lignende. Hertil kommer, at anvendelse af et endogent loft for maksimale tilbudspriser vil kunne have uønskede konkurrencemæssige virkninger. Det vil kunne være tilfældet, hvis tilbudsgiveres usikkerhed om virkningerne af loftet vil kunne afholde de bedste tilbudsgivere fra at bruge ressourcer på at afgive tilbud eksempelvis fordi, at det er muligt at byde ind med meget lave priser og meget lav kvalitet. Et sådan endogent loft vil derfor kunne have konkurrencemæssige virkninger for, hvilke kvalitets- og prisniveauer tilbudsgiverne vælger at byde ind med. Hvis man overvejer at anvende et endogent loft for tilbudspriserne, er det relevant at være opmærksom på dette. Må man bruge knækkede kurver? Et andet spørgsmål er, om man må bruge en model med en knækket kurve, hvor hældningen på kurven for omregning af priser til point bliver mindre eller større før eller efter et bestemt punkt, jf. følgende eksempler.

SIDE 55 1426BEVALUERINGSMETODER Figur 7.1 Eksempler på modeller med knækkede kurver På den ene side kan der argumenteres for, at anvendelse af knækkede kurver er i strid med ligebehandlingsprincippet om, at samme indhold i forskellige tilbud ikke må behandles forskelligt, og forskelligt indhold i forskellige tilbud ikke må behandles ens, medmindre der er saglige begrundelser for det. 69 På den anden side kan der argumenteres for, at den forudgående gennemsigtighed i, at der vil blive anvendt sådanne modeller med knækkede kurver, vil gøre det klart for tilbudsgiverne, hvordan deres tilbud vil bliver vurderet, hvis de byder ind med priser over eller under de beløb, hvor kurverne knækker. Dette argument vil især kunne anvendes, hvis knækket sker ved et oplyst absolut kronebeløb. Tilbudsgiverne vil have mindre gennemsigtighed, hvis knækket er endogent bestemt, dvs. hvis det fx sker ved laveste pris plus 50 pct. eller lignende. Som nævnt vil spørgsmål om, hvorvidt modeller med knæk på kurverne er i overensstemmelse med ligebehandlingsprincippet, være omfattet af det, som Klagenævnet for Udbud kan tage stilling til vedrørende evalueringsmetoder. Det kan tilføjes, at den ikke-lineære model, som er omtalt i afsnit 5.3 ovenfor, i princippet er en variant af ovenstående modeller med knækkede kurver. Forskellen er, at knækket ikke sker på et punkt men i stedet gradvist. I en ikke-lineær model vil de samme prisforskelle forskellige steder på kurverne derfor ikke resultere i samme pointforskelle, ligesom det også er tilfældet for prisforskelle på forskellige sider af knækkene i modellerne ovenfor. I forhold til netop den ikke-lineære pointmodel, som er omtalt i afsnit 5.3, har klagenævnet i en kendelse tidligere anført, at den uden problemer kan anvendes i andre sammenhænge end den i kendelsen anførte sammenhæng. 70 Må man omregne priser til negative point? En anden mulighed for at undgå at supplere lineære pointmodeller med sekundærmodeller kunne eventuelt være at omregne priser, der er højere, end spændet i primærmodellen tillader, til negative point. 69 Klagenævnets kendelse af 4. november 2015 (Q-Free ASA mod Øresundsbro Konsortiet) kan eventuelt være et eksempel herpå. 70 Jf. klagenævnets kendelse af 9. januar 2012 (RenoNorden A/S mod Skive Kommune).

SIDE 56 KAPITEL 7 SPØRGSMÅL I TILKNYTNING TIL REGLERNE OM EVALUERINGSMETODER Det har som følge af praksis fra Klagenævnet for Udbud ikke hidtil været muligt. Klagenævnet lagde i en kendelse herom vægt på, at anvendelsen af negative point for pris indebar, at pointskalaerne for underkriterierne ikke var identiske, og at det gav risiko for, at underkriteriet pris i den samlede vurdering af de enkelte tilbud forholdsmæssigt ville komme til at vægte mere end angivet i udbudsbetingelserne. I den konkrete sag fandt klagenævnet, at underkriteriet pris i strid med ligebehandlingsprincippet vægtede mere end fastsat i udbudsbetingelserne. 71 Der kan af to grunde argumenteres for, at denne praksis fra Klagenævnet for Udbud ikke kan forventes videreført. Det første argument er, at klagenævnets praksis herom må antages at udgøre en del af den praksis om egnethed, som efter Konkurrence- og Forbrugerstyrelsens vurdering må forventes at bortfalde med de nye regler om forudgående gennemsigtighed i evalueringsmetoder, jf. afsnit 7.2. Det andet argument er, at klagenævnets praksis var baseret på en argumentation om, at vægtning af underkriterier skulle overholdes i den samlede vurdering. Med de nye regler, hvor evalueringsmodellen skal oplyses i udbudsmaterialet, vil det ikke være muligt for ordregivere at sikre, at vægte vil blive overholdt i den samlede vurdering. Når evalueringsmetoder er fastlagt på forhånd, vil vægtningen af underkriterierne i den samlede vurdering afhænge af indholdet i tilbuddene. 72 Der kan dog på den anden side måske også argumenteres for, at klagenævnets praksis herom kan forventes videreført. Det ovenfor citerede stammer således fra en konkret sag, hvor ordregiveren havde oplyst evalueringsmetoderne, herunder at den samlede karakter for tilbuddene beregnes herefter som produktsummen af vægte og karakterer, allerede i udbudsbetingelserne. 73 En afklaring af, hvorvidt det fremover er muligt at omregne priser i lineære pointmodeller til negative point og på den måde kunne undgå at skulle anvende sekundærmodeller må derfor afvente en eventuel kommende praksis herom. 7.8 Kan en offentliggjort evalueringsmetode ændres? Som anført i afsnit 5.2 må der ikke foretages ændringer i grundlæggende elementer i en offentliggjort evalueringsmetode. Dette afsnit indeholder en uddybning af reglerne herom. En beskrevet evalueringsmetode kan i visse konkrete situationer tilpasses ved brug af en sekundærmetode, når dette fremgår klart af ordregiverens beskrivelser i udbudsmaterialet. Det er mere udførligt forklaret i afsnittene om lineære pointmodeller i kapitel 5, hvordan der kan anvendes sekundærmodeller, når det allerede i udbudsmaterialet er anført, hvornår og hvordan det vil ske. Herudover er udgangspunktet, at der ikke efterfølgende kan ændres i de evalueringsmetoder, der er beskrevet i udbudsmaterialet. Ændring i evalueringsmetoderne vil generelt have karakter af en ændring af et grundlæggende element, som ikke kan gennemføres uden et fornyet udbud. 71 Jf. klagenævnets kendelse af 29. juli 2011 (Social-Medicinsk Tolkeservice A/S mod Region Hovedstaden). 72 Se i øvrigt også boks 3.3 og fodnote nr. 30 for yderligere forklaring af denne ændring mht. vægtning. 73 Jf. klagenævnets kendelse af 29. juli 2011 (Social-Medicinsk Tolkeservice A/S mod Region Hovedstaden).

SIDE 57 1426BEVALUERINGSMETODER Hvis der efter en konkret vurdering før tilbudsfristens udløb ikke er tale om ændring af et grundlæggende element, er der dog mulighed for at foretage en rettelse af udbudsbekendtgørelsen eller det øvrige udbudsmateriale kombineret med en forlængelse af tilbudsfristen. Desuden vil der efter tilbudsfristens udløb kunne foretages mindre justeringer og tilpasninger af en evalueringsmetode, hvis det kan godtgøres, at det hverken kan have haft betydning for kredsen af interesserede økonomiske aktører eller have forvredet konkurrencen mellem tilbudsgiverne. 74 7.9 Hvordan kan alternative tilbud håndteres i evalueringsmodeller? En ordregiver kan vælge at give adgang til, at tilbudsgivere supplerer deres tilbud med alternative tilbud, som skal opfylde anderledes formulerede krav end de ordinære tilbud. 75 Når ordregiveren giver mulighed for dette, skal det fremgå af udbudsmaterialet. Desuden skal det også fremgå, hvilke mindstekrav og specifikke krav de alternative tilbud skal opfylde. Alternative tilbud skal vurderes i samme evaluering som de ordinære tilbud. 76 Det valgte tildelingskriterie, de valgte evalueringsmetoder og evalueringsmodeller skal derfor kunne rumme en samlet vurdering af både de ordinære og de alternative tilbud. Når ordregivere vælger at give tilbudsgiverne mulighed for at supplere deres ordinære tilbud med et alternativt tilbud, skal ordregivere være opmærksomme på, at det i visse tilfælde kan have betydning for evalueringen. Hvis ordregiveren fx har valgt at anvende en lineær pointmodel med et vist prisspænd og en tilhørende sekundærmodel med et større prisspænd, vil et alternativt tilbud med meget høj eller meget lav pris kunne betyde, at der bliver så stort et prisspænd mellem tilbuddene, at sekundærmodellen skal anvendes. Ordregiveren skal i denne situation være opmærksom på, at alternative tilbud med meget høje eller lave priser kan bruges strategisk til at sikre, at evalueringen sker efter sekundærmodellen. Tilsvarende vil meget høje eller meget lave priser i alternative tilbud også kunne have stor betydning for omregningsbeløb i prismodeller, hvor omregningsbeløbet udregnes ud fra gennemsnittet af tilbudspriserne. Ordregiveren vil i denne situation kunne vælge at oplyse i udbudsmaterialet, at omregningsbeløbet vil blive udregnet ud fra priserne i de ordinære tilbud. 77 Endeligt vil især meget lave priser i alternative tilbud kunne forrykke afvejningen mellem priser og kvalitet, hvis der anvendes en evalueringsmodel baseret på procentvise forskelle i tilbudspriser opgjort i forhold til laveste pris (se boks 6.2). 74 Jf. bemærkningerne til udbudslovens 2 og 160, hvor der skelnes mellem ændringer af grundlæggende elementer, væsentlige ændringer og uvæsentlige ændringer (mindre justeringer og tilpasninger). 75 Jf. udbudslovens 50 og 51. 76 Jf. udbudslovens 51, stk. 3. 77 I givet fald kan man samtidig som ordregiver så vidt muligt sikre sig, at der som minimum fremkommer mindst et ordinært tilbud, så ordregiver ikke blive nødsaget til at aflyse udbuddet.

SIDE 58 KAPITEL 7 SPØRGSMÅL I TILKNYTNING TIL REGLERNE OM EVALUERINGSMETODER 7.10 Tidsmæssigt separate vurderinger af kvalitet og pris I afsnittene ovenfor er det forklaret, hvad ordregivers beskrivelser af evalueringsmetoderne i udbudsmaterialet som minimum skal omhandle, og hvilke muligheder ordregivere har for at foretage evalueringer på forskellige måder. Hvis en ordregiver ud over det ovenstående ønsker at gøre evalueringerne endnu mere gennemsigtige og objektive, kan en mulighed være at lave tidsmæssigt forskudte evalueringer af kvalitetskriterier og pris. Det kan fx ske ved et to-kuvert system, hvor tilbud uden priser og tilbudspriser bliver indgivet i to separate kuverter, hvor kuverterne med priserne først åbnes efter evalueringen af kvalitetskriterierne. Det skal understreges, at reglerne ikke stiller krav om sådanne tidsmæssigt separate vurderinger af kvalitet og pris, og dette derfor alene er en mulighed, der kan anvendes, hvis ordregiveren ønsker at gøre noget ekstra for at udrydde enhver tvivl, der måtte kunne være mht. gennemsigtighed og objektivitet i evalueringen.

SIDE 59 1426BEVALUERINGSMETODER Bilag Praktiske eksempler på beskrivelser af evalueringsmetoder Dette bilag indeholder eksempler på, hvordan evalueringer baseret på forskellige tildelingskriterier og forskellige evalueringsmodeller kan beskrives i udbudsmaterialet. Det skal understreges, at der alene er tale om eksempler, og at det er op til ordregivere i de konkrete udbud at vælge de evalueringsmetoder, der bedst kan understøtte ordregivernes ønsker. Ordregiveren kan således i det konkrete udbud overveje tildelingskriterie, underkriterier, hvad der skal tillægges betydning i bedømmelsen, vægtninger, skalaer, bedømmelsesmetoder, evalueringsmodeller, eventuelle sekundærmodeller osv. Det følgende er således alene eksempler på, hvordan evalueringsmetoderne kan beskrives i udbudsmaterialet, og hvad beskrivelserne kan omhandle.

SIDE 60 BILAG PRAKTISKE EKSEMPLER PÅ BESKRIVELSER AF EVALUERINGSMETODER Bilag 1: Laveste pris Tildelingskriteriet er pris. Ved evalueringen vil det blive tilbuddet med den laveste opgjorte pris, der tildeles kontrakten på opgaven. Priserne i tilbuddene vil blive opgjort således: [Her beskrives præcist, hvordan de forskellige priselementer (tilbudspris, timepriser, priser for forskellige produktlinjer/sortimenter, priser på optioner osv.), som tilbuddene skal indeholde, opgøres, beregnes eller sammentælles i evalueringen.] I tilfælde af, at der måtte være to eller flere tilbud, som har samme laveste opgjorte pris, findes vinderen ved en lodtrækning, som foretages af en uafhængig tredjepart.

SIDE 61 1426BEVALUERINGSMETODER Bilag 2: Laveste totalomkostninger Tildelingskriteriet er omkostninger. Ved evalueringen vil det blive tilbuddet med de laveste opgjorte totalomkostninger, der tildeles kontrakten på opgaven. Totalomkostningerne vil blive opgjort således: [Her beskrives præcist, hvordan de forskellige omkostningsposter (indkøbspris, omkostninger knyttet til anskaffelsen, omkostninger ved at eje eller råde over produktet, forbrugsafhængige omkostninger, omkostninger eller indtægter ved afhændelse af produktet osv.), opgøres eller beregnes. Det skal fremgå af beskrivelsen, hvordan oplysninger i tilbuddene om fx priser, energiforbrug, personaleressourcer, løbende omkostninger, levetider osv.) vil blive anvendt i opgørelsen, hvilke beregningsforudsætninger der vil blive anvendt, og hvordan fx nutidsværdier af fremtidige betalinger beregnes i opgørelsen. Endeligt skal det fremgå, hvordan de forskellige opgjorte omkostningsposter sammentælles i den samlede opgørelse af totalomkostningerne.] I tilfælde af, der måtte være to eller flere tilbud, som har samme laveste opgjorte totalomkostninger, findes vinderen ved en lodtrækning, som foretages af en uafhængig tredjepart.

SIDE 62 BILAG PRAKTISKE EKSEMPLER PÅ BESKRIVELSER AF EVALUERINGSMETODER Bilag 3: Omvendt licitation Tildelingskriteriet er bedste forhold mellem pris og kvalitet. Udbuddet gennemføres som en omvendt licitation, hvor» prisen for opgaven er fastsat til at udgøre 3.000.000 kr. eksklusive moms» tilbuddene bedømmes på opfyldelsen af følgende underkriterier:» kvalitet» bæredygtighed» Tilbuddenes grad af opfyldelse af underkriterierne om kvalitet og bæredygtighed bedømmes på en skala fra 0-8 point (sådan som det er forklaret nedenfor)» Hvert tilbuds samlede pointscore opgøres som summen af» point fra bedømmelsen af kvalitet ganget med 60 pct.» point fra bedømmelsen af bæredygtighed ganget med 40 pct.» Kontrakten tildeles til tilbuddet, som har den højeste samlede pointscore. I tilfælde af, at der måtte være to eller flere tilbud, som har samme højeste samlede pointscore, findes vinderen ved en lodtrækning, som foretages af en uafhængig tredjepart. Bedømmelse af kvalitet og bæredygtighed Ved evalueringen bedømmes, hvor mange point hvert tilbud skal have på hvert af de to underkriterier ved brug af følgende absolutte pointskala: Opfyldelse af kriteriet Point Bedst mulige opfyldelse af kriteriet 8 Glimrende/fortrinlig opfyldelse af kriteriet 7 God/meget tilfredsstillende opfyldelse af kriteriet 6 Over middel i opfyldelse af kriteriet 5 Middel/tilfredsstillende opfyldelse af kriteriet 4 Under middel i opfyldelse af kriteriet 3 Mindre tilfredsstillende opfyldelse af kriteriet 2 Utilstrækkelig opfyldelse af kriteriet 1 Dårlig opfyldelse af kriteriet (men konditionsmæssigt tilbud) 0 Ved bedømmelse af underkriteriet om kvalitet lægges vægt på følgende: [Her beskrives, hvordan underkriteriet om kvalitet nærmere vil blive bedømt, og hvad der vil blive tillagt betydning ved bedømmelsen. Det er ikke er et krav, at beskrivelsen herom er udførlig i alle henseender, men der må ikke ved bedømmelsen lægges vægt på forhold, som ikke har været oplyst i beskrivelsen.] Ved bedømmelse af underkriteriet om bæredygtighed lægges vægt på følgende: [Her beskrives, hvordan underkriteriet om bæredygtighed nærmere vil blive bedømt, og hvad der vil blive tillagt betydning ved bedømmelsen. Det er ikke er et krav, at beskrivelsen herom er udførlig i alle henseender, men der må ikke ved bedømmelsen lægges vægt på forhold, som ikke har været oplyst i beskrivelsen.]

SIDE 63 1426BEVALUERINGSMETODER Bilag 4: Prismodel gennemsnitspris/højeste tal på pointskalaen Tildelingskriteriet er bedste forhold mellem pris og kvalitet. Ved evalueringen af tilbuddene vil der blive anvendt en prismodel, hvor» tilbuddene bedømmes på følgende underkriterier:» priser» kvalitet» Priser vil blive opgjort sådan, som det er forklaret nedenfor» Tilbuddenes grad af opfyldelse af underkriteriet om kvalitet bedømmes på en skala fra 0-8 point, sådan som det er forklaret nedenfor» Et omregningsbeløb for kvalitet opgøres ved at gange point fra bedømmelsen af kvalitet med et gennemsnit af priserne i de modtagne tilbud divideret med 8» Hvert tilbuds samlede evalueringsbeløb opgøres som summen af» priser ganget med 70 pct.» omregningsbeløb for kvalitet ganget med 30 pct.» Kontrakten tildeles til tilbuddet, som har det laveste samlede evalueringsbeløb. Eksempel Her kan der evt. indsættes et fiktivt eksempel, som kan give tilbudsgiverne en illustration af, hvordan modellen fungerer. Et sådan fiktivt eksempel vil evt. kunne være baseret på det eksempel, som fremgår af boks 4.1. I tilfælde af, at der måtte være to eller flere tilbud, som har samme laveste evalueringsbeløb, findes vinderen ved en lodtrækning, som foretages af en uafhængig tredjepart. Opgørelse af priser Priserne i tilbuddene vil bliver opgjort således: [Her beskrives præcist, hvordan de forskellige priselementer (tilbudspris, timepriser, priser for forskellige produktlinjer/sortimenter, priser på optioner osv.), som tilbuddene skal indeholde, opgøres eller beregnes.] Bedømmelse af kvalitet Ved evalueringen bedømmes, hvor mange point hvert tilbud skal have på underkriteriet om kvalitet ved brug af følgende absolutte pointskala: Opfyldelse af kriteriet Point Bedst mulige opfyldelse af kriteriet 0 Glimrende/fortrinlig opfyldelse af kriteriet 1 God/meget tilfredsstillende opfyldelse af kriteriet 2 Over middel i opfyldelse af kriteriet 3 Middel/tilfredsstillende opfyldelse af kriteriet 4 Under middel i opfyldelse af kriteriet 5 Mindre tilfredsstillende opfyldelse af kriteriet 6 Utilstrækkelig opfyldelse af kriteriet 7 Dårlig opfyldelse af kriteriet (men konditionsmæssigt tilbud) 8

SIDE 64 BILAG PRAKTISKE EKSEMPLER PÅ BESKRIVELSER AF EVALUERINGSMETODER Ved bedømmelse af kvalitet lægges vægt på følgende: [Her beskrives, hvordan underkriteriet om kvalitet nærmere vil blive bedømt, og hvad der vil blive tillagt betydning ved bedømmelsen. Det er ikke er et krav, at beskrivelsen herom er udførlig i alle henseender, men der må ikke ved bedømmelsen lægges vægt på forhold, som ikke har været oplyst i beskrivelsen.]

SIDE 65 1426BEVALUERINGSMETODER Bilag 5: Prismodel beregningsbeløb/højeste tal på pointskalaen Tildelingskriteriet er bedste forhold mellem pris og kvalitet. Ved evalueringen af tilbuddene vil der blive anvendt en prismodel, hvor» tilbuddene bedømmes på følgende underkriterier:» priser» kvalitet» Priser vil blive opgjort sådan, som det er forklaret nedenfor» Tilbuddenes grad af opfyldelse af underkriteriet om kvalitet bedømmes på en skala fra 0-8 point, sådan som det er forklaret nedenfor» Et omregningsbeløb for kvalitet opgøres ved at gange point fra bedømmelsen af kvalitet med et beløb på 275.000 kr.» Hvert tilbuds samlede evalueringsbeløb opgøres som summen af» priser ganget med 70 pct.» omregningsbeløb for kvalitet ganget med 30 pct.» Kontrakten tildeles til tilbuddet, som har det laveste samlede evalueringsbeløb. Eksempel Her kan der evt. indsættes et fiktivt eksempel, som kan give tilbudsgiverne en illustration af, hvordan modellen fungerer. Et sådan fiktivt eksempel vil evt. kunne være baseret på det eksempel, som fremgår af boks 4.2. I tilfælde af, at der måtte være to eller flere tilbud, som har samme laveste evalueringsbeløb, findes vinderen ved en lodtrækning, som foretages af en uafhængig tredjepart. Opgørelse af priser Priserne i tilbuddene vil bliver opgjort således: [Her beskrives præcist, hvordan de forskellige priselementer (tilbudspris, timepriser, priser for forskellige produktlinjer/sortimenter, priser på optioner osv.), som tilbuddene skal indeholde, opgøres eller beregnes.] Bedømmelse af kvalitet Ved evalueringen bedømmes, hvor mange point hvert tilbud skal have på underkriteriet om kvalitet ved brug af følgende absolutte pointskala: Opfyldelse af kriteriet Point Bedst mulige opfyldelse af kriteriet 0 Glimrende/fortrinlig opfyldelse af kriteriet 1 God/meget tilfredsstillende opfyldelse af kriteriet 2 Over middel i opfyldelse af kriteriet 3 Middel/tilfredsstillende opfyldelse af kriteriet 4 Under middel i opfyldelse af kriteriet 5 Mindre tilfredsstillende opfyldelse af kriteriet 6 Utilstrækkelig opfyldelse af kriteriet 7 Dårlig opfyldelse af kriteriet (men konditionsmæssigt tilbud) 8

SIDE 66 BILAG PRAKTISKE EKSEMPLER PÅ BESKRIVELSER AF EVALUERINGSMETODER Ved bedømmelse af kvalitet lægges vægt på følgende: [Her beskrives, hvordan underkriteriet om kvalitet nærmere vil blive bedømt, og hvad der vil blive tillagt betydning ved bedømmelsen. Det er ikke er et krav, at beskrivelsen herom er udførlig i alle henseender, men der må ikke ved bedømmelsen lægges vægt på forhold, som ikke har været oplyst i beskrivelsen.]

SIDE 67 1426BEVALUERINGSMETODER Bilag 6: Lineær pointmodel laveste pris plus X pct. Tildelingskriteriet er bedste forhold mellem pris og kvalitet. Primær evalueringsmodel Ved evalueringen af tilbuddene vil der som udgangspunkt blive anvendt en pointmodel, hvor» tilbuddene bedømmes på følgende underkriterier:» priser» kvalitet» Priser vil blive opgjort sådan, som det er forklaret nedenfor» Priser vil blive omregnet til point i en lineær model, hvor laveste pris får 8 point, og hvor laveste pris plus 50 pct. får 0 point. Omregningen vil ske ved følgende formel: Tilbuddets point = 8 (8/50 pct.) * (tilbuddets pris laveste pris)/laveste pris» Tilbuddenes grad af opfyldelse af underkriteriet om kvalitet bedømmes på en skala fra 0-8 point, sådan som det er forklaret nedenfor» Hvert tilbuds samlede pointscore opgøres som summen af» point fra omregningen af priser ganget med 70 pct.» point fra bedømmelsen af kvalitet ganget med 30 pct.» Kontrakten tildeles til tilbuddet, som har den højeste samlede pointscore. Eksempel Her kan der evt. indsættes et fiktivt eksempel, som kan give tilbudsgiverne en illustration af, hvordan modellen fungerer. Et sådan fiktivt eksempel vil evt. kunne være baseret på det eksempel, som fremgår af boks 5.1. I tilfælde af, at der måtte være to eller flere tilbud, som har samme højeste samlede pointscore, findes vinderen ved en lodtrækning, som foretages af en uafhængig tredjepart. Sekundær evalueringsmodel Såfremt der er større spredning i priserne i de modtagne tilbud, end spændet i den primære model ovenfor tillader dvs. hvis prisen i tilbuddet med højeste pris er mere end 50 pct. højere end prisen i tilbuddet med laveste pris anvendes i stedet følgende model i evalueringen: [Her beskrives den sekundære evalueringsmodel og de tilhørende vægte, der i givet fald vil blive anvendt. Sekundærmodellen beskrives lige så udførligt som primærmodellen. Hvis sekundærmodellen også er baseret på et maksimalt spænd i priserne, kan der angives yderligere model, som vil blive anvendt ved større prisspredning, end sekundærmodellen kan rumme.] Opgørelse af priser Priserne i tilbuddene vil bliver opgjort således: [Her beskrives præcist, hvordan de forskellige priselementer (tilbudspris, timepriser, priser for forskellige produktlinjer/sortimenter, priser på optioner osv.), som tilbuddene skal indeholde, opgøres eller beregnes.] Bedømmelse af kvalitet Ved evalueringen bedømmes, hvor mange point hvert tilbud skal have på underkriteriet om kvalitet ved brug af følgende absolutte pointskala:

SIDE 68 BILAG PRAKTISKE EKSEMPLER PÅ BESKRIVELSER AF EVALUERINGSMETODER Opfyldelse af kriteriet Point Bedst mulige opfyldelse af kriteriet 8 Glimrende/fortrinlig opfyldelse af kriteriet 7 God/meget tilfredsstillende opfyldelse af kriteriet 6 Over middel i opfyldelse af kriteriet 5 Middel/tilfredsstillende opfyldelse af kriteriet 4 Under middel i opfyldelse af kriteriet 3 Mindre tilfredsstillende opfyldelse af kriteriet 2 Utilstrækkelig opfyldelse af kriteriet 1 Dårlig opfyldelse af kriteriet (men konditionsmæssigt tilbud) 0 Ved bedømmelse af kvalitet lægges vægt på følgende: [Her beskrives, hvordan underkriteriet om kvalitet nærmere vil blive bedømt, og hvad der vil blive tillagt betydning ved bedømmelsen. Det er ikke er et krav, at beskrivelsen herom er udførlig i alle henseender, men der må ikke ved bedømmelsen lægges vægt på forhold, som ikke har været oplyst i beskrivelsen.]

SIDE 69 1426BEVALUERINGSMETODER Bilag 7: Lineær pointmodel gennemsnitspris plus/minus X pct. Tildelingskriteriet er bedste forhold mellem pris og kvalitet. Primær evalueringsmodel Ved evalueringen af tilbuddene vil der som udgangspunkt blive anvendt en pointmodel, hvor» tilbuddene bedømmes på følgende underkriterier:» priser» kvalitet» Priser vil blive opgjort sådan, som det er forklaret nedenfor» Priser vil blive omregnet til point i en lineær model, hvor gennemsnitsprisen minus 20 pct. får 8 point, og hvor gennemsnitprisen plus 20 pct. får 0 point. Omregningen vil ske ved følgende formel: Point = 8 * (1-(tilbuddets pris LP)/(HP-LP)), hvor LP er den lave pris, der svarer til gennemsnitspris minus 20 pct., og hvor HP er den høje pris, der svarer til gennemsnitspris plus 20 pct.» Tilbuddenes grad af opfyldelse af underkriteriet om kvalitet bedømmes på en skala fra 0-8 point, sådan som det er forklaret nedenfor» Hvert tilbuds samlede pointscore opgøres som summen af» point fra omregningen af priser ganget med 70 pct.» point fra bedømmelsen af kvalitet ganget med 30 pct.» Kontrakten tildeles til tilbuddet, som har den højeste samlede pointscore. Eksempel Her kan der evt. indsættes et fiktivt eksempel, som kan give tilbudsgiverne en illustration af, hvordan modellen fungerer. Et sådan fiktivt eksempel vil evt. kunne være baseret på det eksempel, som fremgår af boks 5.3. I tilfælde af, at der måtte være to eller flere tilbud, som har samme højeste samlede pointscore, findes vinderen ved en lodtrækning, som foretages af en uafhængig tredjepart. Sekundær evalueringsmodel Såfremt der er større spredning i priserne i de modtagne tilbud, end spændet i den primære model ovenfor tillader dvs. hvis prisen i tilbuddet med laveste pris er mere end 20 pct. lavere end gennemsnittet af priserne i tilbuddene, og/eller hvis prisen i tilbuddet med højeste pris er mere end 20 pct. højere end gennemsnittet af priserne i tilbuddene anvendes i stedet følgende model i evalueringen: [Her beskrives den sekundære evalueringsmodel og de tilhørende vægte, der i givet fald vil blive anvendt. Sekundærmodellen beskrives lige så udførligt som primærmodellen. Hvis sekundærmodellen også er baseret på et maksimalt spænd i priserne, kan der angives yderligere model, som vil blive anvendt ved større prisspredning, end sekundærmodellen kan rumme.] Opgørelse af priser Priserne i tilbuddene vil bliver opgjort således: [Her beskrives præcist, hvordan de forskellige priselementer (tilbudspris, timepriser, priser for forskellige produktlinjer/sortimenter, priser på optioner osv.), som tilbuddene skal indeholde, opgøres eller beregnes.] Bedømmelse af kvalitet Ved evalueringen bedømmes, hvor mange point hvert tilbud skal have på underkriteriet om kvalitet ved brug af følgende absolutte pointskala:

SIDE 70 BILAG PRAKTISKE EKSEMPLER PÅ BESKRIVELSER AF EVALUERINGSMETODER Opfyldelse af kriteriet Point Bedst mulige opfyldelse af kriteriet 8 Glimrende/fortrinlig opfyldelse af kriteriet 7 God/meget tilfredsstillende opfyldelse af kriteriet 6 Over middel i opfyldelse af kriteriet 5 Middel/tilfredsstillende opfyldelse af kriteriet 4 Under middel i opfyldelse af kriteriet 3 Mindre tilfredsstillende opfyldelse af kriteriet 2 Utilstrækkelig opfyldelse af kriteriet 1 Dårlig opfyldelse af kriteriet (men konditionsmæssigt tilbud) 0 Ved bedømmelse af kvalitet lægges vægt på følgende: [Her beskrives, hvordan underkriteriet om kvalitet nærmere vil blive bedømt, og hvad der vil blive tillagt betydning ved bedømmelsen. Det er ikke er et krav, at beskrivelsen herom er udførlig i alle henseender, men der må ikke ved bedømmelsen lægges vægt på forhold, som ikke har været oplyst i beskrivelsen.]

SIDE 71 1426BEVALUERINGSMETODER Bilag 8: Ikke-lineær pointmodel maksimumpoint * laveste pris/pris Tildelingskriteriet er bedste forhold mellem pris og kvalitet. Ved evalueringen af tilbuddene vil der blive anvendt en pointmodel, hvor» tilbuddene bedømmes på følgende underkriterier:» priser» kvalitet» Priser vil blive opgjort sådan, som det er forklaret nedenfor» Priser vil blive omregnet til point i en ikke-lineær model, hvor laveste pris får 8 point, og de øvrige tilbudspriser omregnes til point ved brug af følgende formel: Tilbuddets point = 8 * laveste pris/tilbuddets pris» Tilbuddenes grad af opfyldelse af underkriteriet om kvalitet bedømmes på en skala fra 0-8 point, sådan som det er forklaret nedenfor» Hvert tilbuds samlede pointscore opgøres som summen af» point fra omregningen af priser ganget med 70 pct.» point fra bedømmelsen af kvalitet ganget med 30 pct.» Kontrakten tildeles til tilbuddet, som har den højeste samlede pointscore. Eksempel Her kan der evt. indsættes et fiktivt eksempel, som kan give tilbudsgiverne en illustration af, hvordan modellen fungerer. Et sådan fiktivt eksempel vil evt. kunne være baseret på det eksempel, som fremgår af boks 5.4. I tilfælde af, at der måtte være to eller flere tilbud, som har samme højeste samlede pointscore, findes vinderen ved en lodtrækning, som foretages af en uafhængig tredjepart. Opgørelse af priser Priserne i tilbuddene vil bliver opgjort således: [Her beskrives præcist, hvordan de forskellige priselementer (tilbudspris, timepriser, priser for forskellige produktlinjer/sortimenter, priser på optioner osv.), som tilbuddene skal indeholde, opgøres eller beregnes.] Bedømmelse af kvalitet Ved evalueringen bedømmes, hvor mange point hvert tilbud skal have på underkriteriet om kvalitet ved brug af følgende absolutte pointskala: Opfyldelse af kriteriet Point Bedst mulige opfyldelse af kriteriet 8 Glimrende/fortrinlig opfyldelse af kriteriet 7 God/meget tilfredsstillende opfyldelse af kriteriet 6 Over middel i opfyldelse af kriteriet 5 Middel/tilfredsstillende opfyldelse af kriteriet 4 Under middel i opfyldelse af kriteriet 3 Mindre tilfredsstillende opfyldelse af kriteriet 2 Utilstrækkelig opfyldelse af kriteriet 1 Dårlig opfyldelse af kriteriet (men konditionsmæssigt tilbud) 0

SIDE 72 BILAG PRAKTISKE EKSEMPLER PÅ BESKRIVELSER AF EVALUERINGSMETODER Ved bedømmelse af kvalitet lægges vægt på følgende: [Her beskrives, hvordan underkriteriet om kvalitet nærmere vil blive bedømt, og hvad der vil blive tillagt betydning ved bedømmelsen. Det er ikke er et krav, at beskrivelsen herom er udførlig i alle henseender, men der må ikke ved bedømmelsen lægges vægt på forhold, som ikke har været oplyst i beskrivelsen.]

SIDE 73 1426BEVALUERINGSMETODER Bilag 9: Model baseret på procentforskelle Tildelingskriteriet er bedste forhold mellem pris og kvalitet. Ved evalueringen af tilbuddene vil der blive anvendt en evalueringsmodel, hvor» tilbuddene bedømmes på følgende underkriterier:» priser» kvalitet» Priser vil blive opgjort sådan, som det er forklaret nedenfor» Priserne omregnes herefter til procentvise forskelle i forhold til tilbuddet med laveste pris» Tilbuddenes grad af opfyldelse af underkriteriet om kvalitet bedømmes på en skala fra 0-8 point, sådan som det er forklaret nedenfor» Point fra bedømmelsen af kvalitet omregnes herefter til procentvise forskelle i forhold til tilbuddet med bedste kvalitet» Hvert tilbuds sammenvægtede procentforskel opgøres som summen af» procentforskelle for priser ganget med 70 pct.» procentforskelle for kvalitet ganget med 30 pct.» Kontrakten tildeles til tilbuddet, som har den laveste sammenvægtede procentforskel. Eksempel Her kan der evt. indsættes et fiktivt eksempel, som kan give tilbudsgiverne en illustration af, hvordan modellen fungerer. Et sådan fiktivt eksempel vil evt. kunne være baseret på det eksempel, som fremgår af boks 6.1.» I tilfælde af, at der måtte være to eller flere tilbud, som har samme laveste sammenvægtede procentforskel, findes vinderen ved en lodtrækning, som foretages af en uafhængig tredjepart. Opgørelse af priser Priserne i tilbuddene vil bliver opgjort således: [Her beskrives præcist, hvordan de forskellige priselementer (tilbudspris, timepriser, priser for forskellige produktlinjer/sortimenter, priser på optioner osv.), som tilbuddene skal indeholde, opgøres eller beregnes.] Bedømmelse af kvalitet Ved evalueringen bedømmes, hvor mange point hvert tilbud skal have på underkriteriet om kvalitet ved brug af følgende absolutte pointskala: Opfyldelse af kriteriet Point Bedst mulige opfyldelse af kriteriet 8 Glimrende/fortrinlig opfyldelse af kriteriet 7 God/meget tilfredsstillende opfyldelse af kriteriet 6 Over middel i opfyldelse af kriteriet 5 Middel/tilfredsstillende opfyldelse af kriteriet 4 Under middel i opfyldelse af kriteriet 3 Mindre tilfredsstillende opfyldelse af kriteriet 2 Utilstrækkelig opfyldelse af kriteriet 1 Dårlig opfyldelse af kriteriet (men konditionsmæssigt tilbud) 0

SIDE 74 BILAG PRAKTISKE EKSEMPLER PÅ BESKRIVELSER AF EVALUERINGSMETODER Ved bedømmelse af kvalitet lægges vægt på følgende: [Her beskrives, hvordan underkriteriet om kvalitet nærmere vil blive bedømt, og hvad der vil blive tillagt betydning ved bedømmelsen. Det er ikke er et krav, at beskrivelsen herom er udførlig i alle henseender, men der må ikke ved bedømmelsen lægges vægt på forhold, som ikke har været oplyst i beskrivelsen.]