Spørgsmål og svar til udbud vedr.: Testressourcer - udbudsbekendtgørelse nr. 2017/S

j.nr.: 17-0172-000014 5. januar 2018 Spørgsmål og svar til udbud vedr.: Testressourcer - udbudsbekendtgørelse nr. 2017/S 206-425539 Nr. Henvisning til udbudsmaterialet 1. Underbilag 2A tabel 3 2. Underbilag 2A tabel 3 Spørgsmål Generel kommentar til denne tabel: Erfaring, værktøjskendskab og kompetencer er blandet i Kompetencelisten i denne tabel. Der er en del af de angivne kompetencer hvor opsplitningen eller det at opgive antal manddage ikke virker hensigtsmæssigt, og hvor andre kriterier havde været mere hensigtsmæssige (f.eks. intet kendskab, lidt kendskab, rutineret, ekspert el-lign). Dette kan give anledning til megen fortolkning. Specifikke eksempler og spørgsmål er angivet herunder. Med test manager erfaring har man også implicit erfaring i udbejde test strategier + Udarbejde test rapporter + afrapportering på funde software software fejl/defekter/bugs, da dette oftest er en del af testmanagerens opgaver. Hvordan ønsker ordregiver at man opsplitter antallet af manddage fordelt på de forskellige kompetencer? Svar De konkrete eksempler er besvaret i de følgende spørgsmål Der søges testere, ikke testmanagere, som har erfaring med disse opgaver, samt anvendelsen af testmanagersystemet. Derfor bedes der opsplittet i de enkelte kompetencer 69165 Side 1/13 Landbrugsstyrelsen Nyropsgade 30 1780 København V Tlf. +4533958000 CVR 20814616 EAN 5798000877955 mail@lbst.dk lbst.dk

3. Underbilag 2A tabel 3. 4. Underbilag 2A tabel 3. 5. Underbilag 2A tabel 3. 6. Underbilag 2A tabel 3. 7. Underbilag 2A tabel 3. Ordregiver bedes beskrive forskellen mellem Test af ordninger i rammesystemet og at gennemføre og dokumentere test cases Er det hensigten at bede om at vores test konsulenter kommer med en SQL DEVELOPER erfaring eller menes der måske blot SQL erfaring? Kompetencen Visual Studio Test professional er et professionelt tool til at styre testen. I bilag 1a angives det, at TFS anvendes til test styring og planlægning og i underbilag 1c/5.2 står der at LFST ikke har et styringsværktøj ( indtil LFST har et testværktøj, så foregår test planlægningen i excel). Dette virker modstridende. Ordregiver bedes oplyse om der med kompetencen Visual Studio Test Profesional blot menes erfaring med ethvert profesionelt test styrings tool. I kompetencerne udarbejde test cases og gennemføre og dokumentere test cases, hvor ligger så forskellen i at udarbejde test cases og dokumentere test cases? Hvad mener Ordregiver at man skal udfylde i manddage ved XML kundskab? Et kundskab har man alle dage, men dette er Ordninger er intern parameteropsætning, som ofte kræver at man kan sætte sig ind i den bagvedliggende forretningsproces. Gennemførelse og dokumentation af testcases er en generel testkompetence. Ordregiver mener SQL Developer erfaring Ordregiver kan oplyse, at kompetencen referer til Visual Studio Test Professional, som er taget i brug hos ordregiver. Udarbejde referer til selve udarbejdelsen af testcases. Gennemføre og dokumentere referer til gennemførelsen af de udarbejdede testcases Tilbudsgiver skal angive antal dage, hvor kompetencen har været anvendt Side 2/13

8. Underbilag 2A tabel 3. 9. Underbilag 2A tabel 4. ikke muligt at angive da dagene for de forskellige kompetencer lægges sammen. Mener Ordregiver i stedet at man skal angive antal manddage som man har brugt på opgaver relateret til XML i projektet? Test certificering på Foundation niveau. Skal man her angive antal dage, hvor man har brugt sin viden eller antal dage man har brugt på at blive certificeret? Sidstnævnte håndteres i tabel 4, og er jo ikke nødvendigvis projektrelateret. Førstnævnte er også svær at skille ud rent manddagsmæssigt fra andre kompetencer såsom f.eks. udarbejde test cases. Ordregiver bedes forklare hvad hensigten er, således at tilbudsgivere kan udfylde korrekt og ensartet. Generel kommentar til tabel 4: Opsplitningen i certificeringer pr. kompetence virker kunstig, da en kompetence godt kan være understøttet af flere certificeringer samtidigt med at flere kompetencer kan være understøttet af samme certificering. Der ud over er nogle af kompetencerne ikke direkte certificeringsunderstøttede, og det lægger op til fortolkning hos tilbudsgiverne som kan give en uensartet beregning af Tilbudsgiver kan dokumentere certificering i tabel 4. I så fald er det ikke nødvendigt at udfylde antallet af dage i tabel 3 Tilbudsgiver kan angive den samme certificering ud for de relevante kompetencer. Hvis flere certificeringer er relevante, kan tilbudsgiver angive den højest opnåede. Ordregiver ønsker med den angivne tabel at supplere tabel 3, sådan at relevante certificeringer/uddannelse fremgår af tabel 4 og kendskab til hver kompetence fremgår i tabel 3. Dermed kan ordregiver anvende tabellerne i forhold til evalueringen af tilbudene, jf. vejledning i Bilag 2, afsnit 4.1 Ved evalueringen vil der blive tillagt positiv vægt, at de tilbudte Side 3/13

10. Underbilag 2A tabel 4. 11. Underbilag 2A tabel 4. 12. Underbilag 2A tabel 4. Kompetenceniveau og dermed ikke fungere som validt sammenligningsgrundlag,. Ordregiver bedes forklare hensigten med dette med henblik på korrekt udfyldelse. Tilbudsgivers anbefaling vil være at relevante certificeringer skal listes og scores uafhængigt af kompetencer. I kursusniveau kan man ikke angive Foundation. Hvordan ønsker Ordregiver at Tilbudsgiver angiver kursusniveau for Foundation kurser som f.eks. ISTQB Foundation? Se også næste spørgsmål. Ordregiver bedes forklare, hvornår de mener, at en certificering er at betegne som Beginner og hvornår den er at betegne som Intermediate. Disse betegnelser anvendes ikke indenfor hovedparten af testcertificeringerne, og Ordregiver kan derfor risikere at tilbudsgivere fortolker dette forskelligt, hvis der ikke er klare retningslinier for udfyldelse. Ordregiver kunne overveje at ændre Kursusniveau til f.eks. Ucertificeret-Foundation- Advanced. Tilbudsgiver har ikke kendskab til specifikke certifceringsmuligheder indenfor testdata. Ordregiver bedes forklare hvilken certificering, der medarbejdere har relevant projekterfaring og relevante certificeringer Besvaret sammen med spørgsmål 11 Ordregiver ikke har lagt sig op ad en særskilt skala, hvorfor tilbudsgiver må vurdere niveauet og angive hvorledes denne vurdering er fremkommet i bilag 2, afsnit 4.1 Ordregiver har ikke lagt sig fast på hvilken certificering, der kan være tale om. Det er op til tilbudsgiver at angive, hvis der er certificeringer, som tilbudsgiver finder relevante Side 4/13

13. Underbilag 2A CV skabelon. 14. Underbilag 2A Tabel 3 anses som valid ift. denne kompetence. Kategoriseringen i tabel 3 er for CV5 og CV6 anderledes end for de øvrige CV-faner. Er dette hensigten? I tabellen bedes om beskrivelse af projekter samt opgørelse af antal manddage som testressourcen har arbejdet med forskellige opgaver på de pågældende projekter. Vores Risk/Jura afdeling har vurderet, at dette er fortrolige oplysninger for vores kunder, og vi kan ikke se nogen grund til, at Landbrugsstyrelsen skal vide præcist, hvor mange manddage vi har arbejdet med de pågældende kompetencer hos HVER ENKELT kunde/projekt. Vi er opmærksomme på, at oplysningerne skal anvendes til en opsummering, og foreslår derfor i stedet, at projekterne udgår i tabel 3, således, at vi alene angiver konsulentens samlede erfaring indenfor det pågældende kompetenceområde på tværs af alle projekter. Såfremt der er en forskel mellem de enkelte CV-faner er denne utilsigtet og tilbudsgiver bedes kopiere en af de øvrige faner som CV5 og CV6. Såfremt tilbudsgiver af de angivne årsager ikke kan udfylde skemaet i forhold til angivelse af manddage for det enkelte projekt, så kan tilbudsgiver anonymisere projekterne Alternativt må vi anonymisere oplysningerne. 15. Rammekontrakt I punkt 2 i kontrakten er anvendt begreberne: "Leverancetest", "Test af ordninger" og "Testydelser", som ikke er defineret. Leverancetest: Leverance defineres jf. henvisning i bilag 1, afsnit 2.1: Ethvert (arbejds-) produkt, der skal leveres til andre end (arbejdets) produktets ophavsmand. Side 5/13

definere disse begreber. Test defineres jf. henvisning i bilag 1, afsnit 2.1: Processen bestående af alle livscyklusaktiviteter, både statiske og dynamiske, som har at gøre med at planlægge, forberede og evaluere softwareprodukter - og relaterede arbejdsprodukter for at afgøre, om de opfylder de specificerede krav, for at demonstrere, at de er passer til formålet og for at finde defekter (fejl). (http://dstbdk.vip.web- selv.dk/xdoc/wss/39/docs/95/istqb- DSTB-Begrebsliste-v2.2-2012.pdf) Test af ordninger: Rammekontrakten, definitioner: Ved Ordninger forstås internt udviklede it-løsninger opsat i et rammesystem 16. Rammekontrakt I punkt 2 i kontrakten er anført, at "rettidig levering af Ydelserne er af afgørende betydning for Kunden, hvilket fortolkning af Leverandørens forpligtelser skal afspejle." redegøre for, hvorledes dette skal materialiseres i fortolkningen af kontrakten. Vi anmoder om, at afsnittet udgår, således at de er de almindelige fortolkningsregler, som finder anvendelse. 17. Rammekontrakt Er leverandøren forpligtet til at indgå en Delkontrakt? Testydelser: Testydelserne er beskrevet i bilag 1 og underbilag 1.a, særligt kapitel 4. Ordregiver fastholder formuleringen i rammekontrakten Ja Side 6/13

18. Rammekontrakt I henhold til punkt 6.3.1 i Kontrakten er Landbrugsog Fiskeristyrelsen berettiget til at overføre de på en Delkontrakt "ubrugte timer" til den næstkommende Delkontrakt. Skal dette forstås således, at Fiskeristyrelsen er forpligtet til at aftage et fast antal timer under en Delkontrakt (hvor den ubrugte del kan overføres)? 19. Rammekontrakt I henhold til punkt 6.3.1 i Kontrakten er Landbrugsog Fiskeristyrelsen berettiget til at udsætte levering under en Delkontrakt. Det kan være vanskeligt at fastholde ressourcer til projektet ved længerevarende udsættelser. Vi opfordrer derfor Fiskeristyrelsen til at begrænse varigheden af udsættelsen, således at denne maksimalt kan vare 30 Arbejdsdage. Vi foreslår derfor at indsætte følgende "En sådan udsættelse af udførelsen af Ydelserne kan maksimalt vare 30 Arbejdsdage, hvorefter Delkontrakten anses for at være bortfaldet." 20. Rammekontrakt I henhold til punkt 13.1, 2. afsnit garanterer Leverandøren, at Ydelserne er "egnet til at opfylde Kunden ikke er forpligtet til at aftage et fast antal timer under en delkontrakt, jf. flg: Såfremt Kunden ikke ønsker at overføre ubrugte timer til en ny Delkontrakt, kan Delkontrakten opsiges i overensstemmelse med punkt 23. (Rammekontrakt, afsnit 6.3.1) Ordregiver fastholder formuleringen i rammekontrakten Ordregiver oplyser, at punkt 13.1.2 omfatter de ydelser, der leveres i henhold til kontrakten jf. afsnit 4 og bilag 1 Side 7/13

Kundens behov". Det er ganske usædvanligt, hvis en leverandør generelt skal garantere, at en ydelse opfylder ukendte behov, hvorfor bekræfte, at der er tale om behov, som fremgår af Behovsopgørelsen. Såfremt dette ikke er tilfældet, bedes Fiskeristyrelsen redegøre for, hvoraf disse behov i så fald måtte fremgå. 21. Rammekontrakt bekræfte, at krænkelse af tredjemandsrettigheder i punkt 13.2 og punkt 20 i Kontrakten alene relaterer sig til ejendomsret eller immaterielle rettigheder. I modsat fald bedes Fiskeristyrelsen redegøre for, hvilke andre rettigheder, der kan være tale om. 22. Rammekontrakt redegøre for, hvorledes Leverandøren skal kunne tilrettelægge levering uforstyrret af sædvanlig fravær, jf. punkt 13.3, 2. afsnit. Det er vores vurdering, at det ikke vil kunne undgås, at sygdom og lignende vil medføre mindre forstyrrelser, medmindre Leverandøren løbende har unødvendige ekstra Ordregiver medgiver, at der formodentligt vil være tale om ejendomsret eller immaterielle rettigheder. Det er dog tilbudsgivers ansvar at sikre at tredjemands rettigheder ikke krænkes i forbindelse med udførelsen af ydelserne, uanset rettighedernes art. Ordregiver fastholder formuleringen i rammekontrakten, men vil selvfølgelig vise forståelse ved mindre forstyrrelser ved sygdom. Side 8/13

ressources tilknyttet projektet, som kan tage over ved uplanlagt fravær. Dette vil være fordyrende og næppe formålstjenestelig. Fiskeristyrelsen anmodes derfor om at fjerne denne bestemmelse. 23. Rammekontrakt Fiskeristyrelsen anmodes om at give Leverandøren en sædvanlig ret til at rette fejl og mangler samt en rimelig frist til at rette fejl og mangler eller forsinkelse. Fiskeristyrelsen anmodes derfor om at indsætte følgende i punkt 14, 1. afsnit: "I tilfælde er udeblevet eller mangelfuld levering af Ydelser, er Leverandøren berettiget til at udbedre fejlen eller manglen inden for 14 dage efter Fiskeristyrelsen har givet påkrav om mangelfuld eller forsinket levering." 24. Rammekontrakt bekræfte, at punkt 18.1, 1. afsnit skal forstås som overholdelse af de myndighedsforskrifter og love, som gælder for Leverandørens virke som konsulentvirksomhed, men derimod ikke en garanti for, at Ydelsen er egnet til at overholde myndighedsforskrifter og love, medmindre det i Leverandøren vil have en sædvanlig adgang til at udbedre fejl og mangler eller forsinkelse indenfor en rimelig frist. Følgende fremgår af 2. afsnit i pkt. 18.1: Kunden har ansvaret for, at gøre Leverandøren bekendt med relevant særlovgivning inden for Kundens område, dvs. regler inden for Fiskeristyrelsens virke. Side 9/13

Behovsopgørelsen er beskrevet, hvorledes de enkelte regler og love skal overholdes. 25. Rammekontrakt oplyse, hvilke(n) overenskomst, der er relevant til brug for overholdelse af punkt 18.2.2 i Kontrakten. 26. Rammekontrakt bekræfte, at vurderingen af, om Leverandøren tilbyder arbejdsvilkår, som ikke er mindre gunstige end dem, der gælder under en relevant overenskomst, jf. punkt 18.2.2 i Kontrakten, skal foretages som et samlet hele og ikke hvert vilkår for sig (eksempelvis lavere løn men mere ferie). 27. Rammekontrakt bekræfte, at der ikke sker nogen overdragelse af leverandørens eksisterende immaterielle rettigheder, uanset at disse indarbejdes i en Ydelse, jf. Kontraktens punkt 19. 28. Rammekontrakt bekræfte, at Leverandøren uanset punkt 19 i Kontrakten er berettiget til at bruge almindelig knowhow og lignende oparbejdet som led i udførelsen af Ydelsen. Det er op til tilbudsgiver at afklare hvilke(n) overenskomst, det vil være relevant at anvende. Ordregiver mener at det gælder for hvert enkelt vilkår. Ordregiver fastholder kontraktens bestemmelse. Ordregiver bekræfter dette Side 10/13

29. Rammekontrakt Det følger af punkt 8.2 i Kontrakten, at såfremt der foretages en udskiftning af en medarbejder, skal den nye medarbejder have mindste samme faglige niveau, som den tidligere medarbejder. Det forekommer derfor hverken rimeligt eller nødvendigt, at der skal ydes en rabat på 25 % af medarbejderens første 80 timer, jf. punkt 8.2.1. Fiskeristyrelsen anmodes derfor om at overveje at slette punkt 8.2.1 i Kontrakten. 30. Underbilag 1C I Underbilag 1c Procedure for systemtest afsnit 5.1 henvises der til bilag Skabelon for teststrategi. Ligeledes i afsnit 5.3 henvises der til bilaget Skabelon for systemtestrapport. Tilbudsgiver kan ikke finde disse bilag i udbudsmaterialet og anmoder ordregiver om at henvise til, hvor disse bilag findes. 31. Underbilag 2a I Underbilag 2a CVskabelon for tilbudte ressourcer faneblad 2 vejledning til tabel 2 angiver ordregiver at tilbudsgiver bedes liste projekterne i kronologisk rækkefølge. Tilbudsgiver ønsker at få præciseret om nyeste eller ældste opgave skal listes først. Udskiftning af en ressource vil medføre omkostninger for ordregiver bl.a. i forhold til tid/fremdrift, oplæring/indkøring mv. Ordregiver fastholder derfor formuleringen. Henvisningen til de pågældende bilag er kommet med i materialet ved en fejl og tilbudsgiver kan således se bort fra bilagene. Det står tilbudsgiver frit for at vælge. Side 11/13

32. Underbilag 2a I Underbilag 2a CVskabelon for tilbudte ressourcer faneblad -CVx - tabel 3 angives antal manddages erfaring for angivne kompetencer. Tilbudsgiver ønsker at vide om evt. erfaring med Test af forordninger vægter højere end det tal som fremkommer som gennemsnit af kompetenceniveauer på faneblad Forsiden. 33. Underbilag 2a I Underbilag 2a CVskabelon for tilbudte ressourcer faneblad - CVx - tabel 3 angives antal manddages erfaring for angivne kompetencer. Tilbudsgiver ønsker at vide, hvordan ordregiver tænker f.eks. 100 dages erfaring med Udarbejde testcases ved brug af TFS skal fordeles. Er der evt. forskel på vægtningen af de forskellige kompetencer eller ses der udelukkende på det tal som fremkommer som gennemsnit af kompetenceniveauer på faneblad Forsiden og er det således op til tilbudsgiver at lave et skøn i mellem fordelingen? 34. Underbilag 2a I Underbilag 2a CVskabelon for tilbudte ressourcer faneblad - CVx - tabel 3 angives antal manddages erfaring for angivne kompetencer. Tilbudsgiver ønsker at vide, Af vejledning til tilbudsgiver i Bilag 2, afsnit 4.1 fremgår flg: Ved evalueringen vil der blive tillagt positiv vægt, at de tilbudte medarbejdere har relevant projekterfaring og relevante certificeringer, samt at de for Kontrakten relevante kompetenceområder dækkes af flere medarbejdere på et højt kompetenceog erfaringsniveau. Ordregiver ønsker ikke at uddybe yderligere I forhold til vægtning af kompetencer, henvises der til svar på spørgsmål 32. I tilfælde hvor flere kompetencer er anvendt, jf. eksemplet i spørgsmålet, er det op til tilbudsgiver at foretage en vurdering af fordelingen af dage pr. kompetence. Se svar på spørgsmål 33 Side 12/13

hvordan ordregiver tænker f.eks. 100 dages erfaring med Udarbejde testcases i forbindelse med test af systemleverancer skal fordeles. Er der evt. forskel på vægtningen af de forskellige kompetencer eller ses der udelukkende på det tal som fremkommer som gennemsnit af kompetenceniveauer på faneblad Forsiden og er det således op til tilbudsgiver at lave et skøn i mellem fordelingen? 35. Underbilag 2a I Underbilag 2a CVskabelon for tilbudte ressourcer faneblad - CVx - tabel 3 angives antal manddages erfaring for angivne kompetencer. Tilbudsgiver ønsker at vide, hvordan ordregiver tænker at antal manddage for Test certificering på Foundation niveau skal angives. 36. Underbilag 2a I Underbilag 2a CVskabelon for tilbudte ressourcer faneblad - CVx - tabel 3 angives antal manddages erfaring for Test Manager erfaring. Tilbudsgiver ønsker præcisering af om ordregiver mener MicroSoft Test Manager eller om der menes erfaring med at arbejde som test manager. Se svar på spørgsmål 8 Der menes erfaring med at arbejde som test manager Side 13/13