Dato 22. april 2014 TRM Sags nr. 2014014143 trm@dkma.dk / 4488 9344 Spørgsmål & svar notat Rammeaftale om evaluering af kampagner Nærværende notat indeholder en anonymiseret fortegnelse over samtlige spørgsmål stillet og svar givet i forbindelse med nærværende udbud. Nr. Spørgsmål Svar Nr. 1 til 4 angår spørgsmål stillet af journalist Pia Osbæck fra Bureaubiz.dk 1 Hvorfor er der ikke flere ordregivere der udbyder evalueringer? 2 Er det normalt [i sundhedsstyrelsen] at udbyde evalueringer separat fra kampagneopgaven. Normalt er det den samme leverandør der står for det? Det er nok fordi kontraktsummerne for de enkelte evalueringer er under tærskelværdien på 500.000 kr. Ja, Sundhedsstyrelsen har siden 2008 haft forskellige leverandører til at løse disse to opgaver, ud fra tanken om at man ikke sætter ræven til at vogte høns. 3 Hvad er rammekontaktens løbetid? Løbetiden er ubegrænset, med en afgrænset uopsigelighedsperiode, jf. pkt. 9 i Rammeaftalen. Dette er en ny måde for Sundhedsstyrelsen at håndtere løbetider på, som gerne skulle gøre det lettere at genudbyde aftaler, uden at skulle tage hensyn til en fast ophørsdato på den gamle kontrakt. Fremgangsmåden er i overensstemmelse med udbudsreglerne, så længe kontrakten i praksis ikke løber på ubestemt tid. 4 Hvor stort budget er der afsat til rammeaftalen? Idet der er tale om en rammeaftale, er det selvsagt svært at spå om beløbsrammen, hvorfor der heller ikke er angivet nogen i Udbudsbekendtgørelsen. Det tidligere annullerede udbud af samme kontrakt, med en løbetid på 4 år, vurderede kontraktsummen til at være mellem 3,5 og 6 mio. kr.
5 Hvordan skal vi forholde os til respondenter samplet på kampagnespecifikke karakteristika. Disse kan jo være hvad som helst f.eks. nulevende amerikanske præsidenter, for at sætte det lidt på spidsen. Kan Sundhedsstyrelsen præcisere hvilke kampagnespecifikke karakteristika der konkret er tale om? Der kan både være tale om segmenter som er relativt små i forhold til de normale befolkningssegmenter, eller segmenter som er svære at få til at deltage i undersøgelser. Eksempler på segmenter med bestemte karakteristika kan f.eks. være: Mænd med kort uddannelse, der drikker over højrisikogrænsen Kvinder med KOL Gravide med kort uddannelse For de øvrige felter, hvor der ikke er tale om respondenter med bestemte karakteristika, skal segmenterne tolkes indskrænkende således, at f.eks. segmentet 65+ år udgøres af alle danskere over som er 65 år eller derover. 6 I infokrav.05. står der tilbudsgiver skal beskrive de elementer i spørgeskemaundersøgelserne. skal der ikke stå deskriptiv statistisk undersøgelse her? Det er rigtigt. Fejlen er rettet i den nye version 2 af Kravspecifikationen. 7 Hvordan evalueres krav.19. konkret? Der efterspørges repræsentanter med kompetencer og erfaring, der bedst matcher de arbejdsopgaver som arbejdet med Rammeaftalen indebærer. Dvs. de opgaver som beskrives i Kravspecifikationen. Desto bedre repræsentanterne matcher jobbeskrivelsen desto højere vurdering. 8 Et der nogen øvre grænse for den ønskede stikprøve til spørgeskemaundersøgelser. Fx 5.000, 10.000 eller 15.000? 9 Ønskes der kun interview på dansk eller er det også relevant med engelsk, farsi, tyrkisk eller arabisk, fx for Bestemte undergrupper? Nej, der er ikke nogen øvre grænse for stikprøvestørrelsen. Kun dansk. 2
10 Er der noget estimat af minimal incidens for Bestemte undergrupper, fx at de mindst udgør 0,1%, 1% eller 2% af populationen? 11 Kortuddannede defineres som personer med under 12 års uddannelse. Inkluderer dette også ukendt uddannelse (fx fordi indvandre ikke kan oplyse dette) og ingen uddannelse udover grundskolen. Eller er det konkret korte erhvervsuddannelser som man kunne læse ud af eksempler i udbudsmaterialet? 12 Hvad er boden, hvis man ikke kan levere de lovede stikprøver? 13 Skal der anlægges en gennemsnitsbetragtning, når der angives priser på målgrupper med særlige karakteristika? Priserne for de nævnte grupper kan svinge med 100 % i indkøbspriser. Nej, men jf. de nævnte eksempler i spørgsmål 5. Nej, det inkluderer ikke ukendt uddannelse. Kortuddannede defineres som personer med under 12års uddannelse. Der skelnes mellem følgende klassifikationer: 9 eller færre års skolegang (grundskole) 10 11års skolegang (kort udd.) Studenter HF eksamen(incl. HHX,HTX)(kort udd.) Erhvervsfaglig udd./faglært(fx kontor eller butiksassistent)(kort udd). Der er ikke knyttet nogen bod til de tilbudte stikprøvestørrelser. Det vil dog udgøre mislighold fra Leverandørens side, hvis denne ikke kan leve op til disse. Det vil være meget klogt at anlægge en gennemsnitsbetragtning. Sundhedsstyrelsen har ikke kunnet finde en tilstrækkelig simpel måde at beskrive/opdele segmentet i yderligere detaljer, hvorfor vi i sidste ende valgte en simpel model, ud fra en betragtning om at forholdet mellem omkostninger og indtjening med tiden ville jævne sig ud for Leverandøren. Tilbudsgiver bør derfor ikke tilbyde en pris der er så lav at Tilbudsgiver ikke over tid vil være i stand til at tjene penge på dette segment. 14 Hvorfor vejer de kvantitative priser kun 1 i bilag 3 skulle der ikke stå 100? Spørgsmålet er sandsynligvis irrelevant, idet der pr. 9/4 er kommet en version 2 af Bilag 3, som anvender andre vægte. 3
15 Hvorfor skal prisen for spørgeskemaundersøgelse angives som pris pr. spørgsmål? Typisk afregner man ikke respondenter/dataindsamlere pr. spørgsmål i hvert fald ikke lineært, så to spørgsmål er dobbelt så dyrt som ét. I praksis vil prisen for en undersøgelse med hhv. 15 og 30 spørgsmål koste tæt på det samme, da det der driver omkostningerne primært er at skabe/vedligeholde kontakten til respondenten. Dertil kommer, at der kan være store metodiske konsekvenser ved at lave for lange undersøgelser, da det er bevist, at respondenter bliver trætte efter 10 minutter (= 25 spørgsmål) eller før. Det skaber altså et forkert incitament til at foreslå lange undersøgelser. 16 Kan vi tillade os at antage, at Sundhedsstyrelsen ønsker spørgeskemaer af en længde på 20 35 spørgsmål, som det har været i de tidligere evalueringer? Det har stor betydning for prisen, om Sundhedsstyrelsen kunne finde på at bede om undersøgelser med meget få spørgsmål. Jeg vil foreslå, at SST opfordrer alle tilbudsgivere til at estimere på baggrund af 30 spørgsmål. Afregningen for spørgeskemaundersøgelser indeholder både en variabel komponent; pris pr. spørgsmål pr. respondent, samt et fast basisvederlag. Eftersom der vil forekomme variationer i både antal respondenter og antal spørgsmål, er det sundhedsstyrelsens opfattelse at dette er den mest nøjagtige og simple måde at afregne dette på. Tilbudsgiver opfordres til at vælge et forhold mellem enhedspriserne og det faste basisvederlag, der så tæt som muligt reflekterer Tilbudsgivers omkostninger. Tilbudsgiver kan i sit tilbud godt antage, at en typisk spørgeskemaundersøgelse fra Sundhedsstyrelsen vil indeholde ca. 30 spørgsmål. Men der kan selvsagt forekomme variationer. 4
17 Hvorfor skal prisen for fokusgrupper angives pr. tid og pr. deltager? Tid og deltagerantal bør være en metodefaglig vurdering og ikke et udtryk for at kunne opnå en lav pris ved at foreslå lang tid og mange deltagere (i brøkens nævner)? Afregningen for fokusgrupper indeholder både en variabel komponent; pris pr. deltager pr. minut, samt et fast basisvederlag. Eftersom der vil forekomme variationer i både antal deltagere og varighed, er det sundhedsstyrelsens opfattelse at dette er den mest nøjagtige og simple måde at afregne dette på. Tilbudsgiver opfordres til at vælge et forhold mellem enhedspriserne og det faste basisvederlag, der så tæt som muligt reflekterer Tilbudsgivers omkostninger. Tilbudsgiver kan i sit tilbud godt antage, at en typisk fokusgruppe fra Sundhedsstyrelsen vil vare ca. to timer. Men der kan selvsagt forekomme variationer. 18 For at opnå flest mulige point i stikprøvestørrelse i bilag 3 skal man så angive den stikprøve, som vi fagligt/prismæssigt anbefaler (og som er mindst så stor som minimumkravet)? Eller skal vi angive, hvor stor en stikprøve vi maksimalt kan levere til den angivne pris? Tilbudsgiver bør angive den maksimale stikprøvestørrelse, som med sikkerhed kan leveres indenfor det pågældende segment. I denne forbindelse gør Tilbudsgiver dog klogt i heller ikke at tilbyde en stikprøvestørrelse der er så stor, at omkostningerne ikke kan dækkes af enhedspriserne. Se i øvrigt teksten vedr. Redegørelse for vægtning af stikprøver i det nye Bilag 3 v2. 19 Hvilke konkrete kampagner forventer Sundhedsstyrelsen at evaluere i 2014? Sundhedsstyrelsen forventer at gennemføre kampagner i 2014 indenfor følgende områder: Alkohol Tobak Osteoporose Kondomer Mental sundhed 20 Skal vi regne og angive priserne incl. eller ex. moms? Alle priser skal være eksklusive moms. 5
21 Vedr. Bilag 3 priser og sampling: Hvordan skal kolonnerne "pris stikprøve min. krav stikprøve" udfyldes i de rækker, hvor det er kvalitativ analyse, altså 2.3.3 og 2.3.4? En fokusgruppe vil optimalt set have 8 deltagere, som også er angivet allerede som Sundhedsstyrelsens min. krav men indsigterne ændres ikke som sådan ved at have flere deltagere (større stikprøve) (som tilfældet kan være ved kvantitativ analyse) 22 Hvordan inkluderer vi transport og overnatningsomk. i rækken basispris eftersom der udgiftmæssigt er forskel på at afholde 4 fokusgrupper i KBH og Aalborg. De 4 i KBH ville for vores vedkommende være billigst, eftersom det er her, hvor vi har virksomhed og bor men i oversigten skelnes ikke til geografi. Formuleringen i Bilag 3 er præciseret til at der er tale om samplingsgrundlag (rekrutteringsgrundlag) for fokusgrupperne. der kan i forbindelse med en evaluering forekomme behov for mere end en fokusgruppe indenfor hvert segment, hvorfor det giver mening også at have et samplingsgrundlag, som er større end mindstekravet. Der er i version 2 af Rammeaftalen indført en undtagelse til pkt. 4.2, således at Leverandøren i tilfælde af behov for rejseaktivitet kan få dette afregnet efter statens gældende regler. 23 Sundhedsstyrelsen informerer: Som følge af spørgsmål 12 til 22, har det pr. d. 9. april været nødvendigt at opdatere udbudsmaterialet. Følgende bilag, ud over nærværende, er blevet opdateret: Rammeaftalen: Pkt. 4.2.1 er tilføjet og pkt. 3.1. og 3.3. er blevet ændret. Der er anvendt sporede ændringer i bilaget. Bilag 3 Priser & sampling: Ny vægtning af stikprøver, idet den gamle var fejlbehæftet. Desuden er det præciseret at samplingsgrundlaget for fokusgrupper ikke er et krav til størrelsen af den enkelte fokusgruppe, se ovenstående svar nr. 21. Endelig er der også tilføjet redegørelser for vægtningen af de tilbudte priser og stikprøvestørrelser. Bilag 8 Udbudsbetingelser: Fristen for afgivelse af tilbud er udsat til d. 12. maj, de øvrige frister er tilsvarende blevet udsat. Fristudsættelsen er sket for at give Tilbudsgiverne tid til at forholde sig til ændringerne. Der er anvendt sporede ændringer i bilaget. Supplerende udbudsbekendtgørelse: Der udsendes en supplerende udbudsbekendtgørelse via TED om ovenstående ændringer. 6
24 Tilbuddet skal afleveres i elektronisk format på en CD, DVD eller USB pind. Filerne skal være i Adobe pdf, MS Word, MS Excel format eller tilsvarende kompatible formater. Det er udelukkende Tilbudsgivers ansvar at det afleverede materiale er læsbart. Tilbuddet skal afgives på dansk. Vi læser dette som accept af, at det er acceptabelt at aflevere tilbuddet (særligt bilag 4) i pdf format, der er genereret på baggrund af MS PowerPoint. Er det rigtigt? 26 Hvordan sker beregningen af point efter der er udregnet en samvægtet pris. Sættes fx det billigste tilbud til 10 point og de andre relativt ud fra dette, så et dobbelt så dyrt tilbud får 5 point? Tilbuddet må gerne afleveres i pdf format, uanset hvilet program det ellers er genereret i. Tilbudsgiver skal huske at tilbuddet, selvom det er i elektronisk format, skal afleveres/fremsendes fysisk til Sundhedsstyrelsen, jf. Udbudsbetingelsernes pkt. 5.1. Sundhedsstyrelsen sætter en målpris, for den samvægtede pris, som udløser 5 point. Tilbud på hhv. 50 % over eller under udløser hhv. 0 og 10 point. Målprisen er ikke blevet offentliggjort, ud fra hensynet om at tilbudsgiverne ikke blot skal byde efter at opnå en høj point score, men efter hvad deres reelle omkostninger er. Stikprøvestørrelserne pointgives efter samme princip, blot omvendt, således at tilbud højere end målværdien udløser flere end 5 point. 27 Angående Bilag 7, III.2.2) Økonomisk og finansiel kapacitet: Vort selskab, er så nyt, at der endnu ikke er aflagt et årsregnskab og indenfor tidsfristen for afgivelse af tilbud vil et sådant heller ikke stå til rådighed. Betyder det, at vi ingen mulighed har for at deltage i dette udbud? Vor budgetterede omsætning ligger over 3 mio. DKK og soliditetsgrad er også opfyldt. Såfremt Tilbudsgiver kan dokumentere at mindstekravene til omsætning og soliditet er opfyldt, så er det ikke nødvendigt at Tilbudsgivers virksomhed har eksisteret i et helt regnskabsår. I sådanne tilfælde vil erklæringer om omsætning og soliditet afgivet på baggrund af et delregnskab være tilstrækkeligt. Det skal dog understreges, at der skal være tale om realiseret omsætning, og ikke budgetteret/forventet omsætning i det første regnskabsår. 7