<Kundenavn> <Projektnavn> Version: 1. Status: Godkendt Godkender: Niels. Alle rettigheder forbeholdes. Elektronisk, mekanisk, fotografisk eller anden gengivelse, oversættelse eller kopiering af dette dokument eller dele deraf er, uanset formål, ikke tilladt uden forudgående skriftlig tilladelse fra Netcompany A/S.
Dokumenthistorik Version Dato Navn Status Bemærkninger 1. 14-2-28 <Fjernet> Endelig Initiel version Distributionsliste Navn Organisation Bemærkninger Gustaf Niels Henriette Peter Netcompany Politiken Plus Politikens Forlag Politiken IT Udskrevet: 1-11-21 14:54: Side 2 af 11
1 Introduktion Dokumentet beskriver resultatet af den funktionelle test af <Kundenavn> nye E- handelsplatform. Testen er gennemført af <Kundenavn> i perioden 2. januar 28 14. februar 28 og dækker de testscripts som er beskrevet i testplanen. Testcases findes i toolkittet under: https://project.netcompany.com/politiken1/lists/testscripts/allitems.aspx Ændringsønsker oprettet under testen findes under: https://project.netcompany.com/politiken1/lists/changerequests/allitems.aspx På de enkelte ændringsønsker er det muligt at følge status og fremdrift på de forskellige fejl og ændringsønsker der opstod i løbet af testen. 2 Resultater Afsnittet beskriver kort statistikken for de ændringsønsker der er opstået og behandlet i løbet af den funktionelle test-fase: Der er oprettet i alt 449 ændringsønsker. 2.1 Statistik på omfang Indenfor 381 Udenfor 68 Udskrevet: 1-11-21 14:54: Side 3 af 11
2.2 Statistik pr. 14. februar 28 Udskrevet: 1-11-21 14:54: Side 4 af 11
Udskrevet: 1-11-21 14:54: Side 5 af 11
3 Performancetest Både plus, boghallen og et udvalgt forlagssite (politikens forlag) har fået testet websitets generelle performance gennem multi-bruger aktivitet (stress test). Formålet er primært at verificere at løsningen lever op til performance-kravene ikke at teste maksimal performance. Testen indeholder ikke en systematisk test af performance på eksterne komponenter. Testen har gennemkørt alle sider, der kan nås ved at følge links rundt på sitet. Der testes ikke på sider der kræver login, tryk på knapper og afgivelse af information. Dels er disse markant mere besværlige at teste og dels vil disse have markant mindre trafik i praksis (man logger f.eks. kun ind 1 gang per besøg, man går kun checkout igennem 1 gang per besøg osv.). Det er derfor tilstrækkeligt at disse sider er enhedstestet og herunder kontrolleret for urimelige svartider. 3.1 Gennemkørsler Testen er gennemkørt 3 gange: 1. Første gennemkørsel i testmiljøet afslørede at boghallen havde markant dårligere performance end de øvrige sites og ikke ville kunne produktionssættes med denne performance. 2. Anden gennemkørsel med diverse performance-tiltag blev gennemført i produktionsmiljøet og boghallen havde her markant bedre performance. Plus sitet var her det langsomste site med ca. 3 sider/sekund egentlig en acceptabel performance, men dog bemærkelsesværdigt langsommere end både forlagssite og boghallen. 3. Tredje gennemkørsel med et enkelt plus-specifikt performancetiltag blev kun kørt for plus i produktionsmiljøet. Det blev konstateret at plussitet herefter havde ca. samme performance som de øvrige sites. Alle kørslerne ligger i toolkit et under Test Runs hvor excel ark med testresultaterne også ligger (alle hits på sitet med svartider og gennemsnitsberegninger). 3.2 Resultat for plus Nedenstående grafer viser resultatet for tredje gennemkørsel af plus: Udskrevet: 1-11-21 14:54: Side 6 af 11
Svartid (ms) <PROJEKTNAVN> 16 14 12 1 8 6 4 2 Figuren viser at plus-sitet topper med en performance på over 14 sider i sekundet, hvilket er ca. 4-5 gange det forventede/krævede for at modsvare peak besøg (til sammenligning er tommelfingerreglen ca. 5-6 sider i sekund af løsninger der har meget høje peakbelastninger i form af tv-reklamer og nyhedskampagner til tusindvis af brugere). Svartider 14 12 1 8 6 Gns. svartid Max svartid 4 2 Af svartiderne ses at den gennemsnitlige svartid ikke flytter sig nævneværdigt, og selv ved 2 samtidige tråde ligger under 2 ms per side. Udskrevet: 1-11-21 14:54: Side 7 af 11
<PROJEKTNAVN> Den absolut maksimale svartid er oven i købet kun lige over et sekund ved max belastning, og 99,99% af alle requests svarer under 1 sekund. 3.3 Resultat for forlagets løsning Da alle forlagets sites (boghallen + 4 forlagssites) kører på samme fysiske server skal der i performancevurderingen tages højde for at disse sites jo vil stjæle performance fra hinanden. Nedenstående resultater er enkeltstående målinger, og den samlede løsning må derfor forventes at generere mindre performance for de enkelte sites. Idet forlagssitene ikke forventes at have voldsomme besøgstal giver det dog ikke anledning til nogen bekymring. Som en del af testen er samtlige sites kørt samtidigt for at verificere at 4 Gb RAM er tilstrækkeligt for serveren. RAM forbruget toppede her omkring 3,5 Gb og de forskellige sites kørte videre med samme performance som i de øvrige tests. 3.3.1 Resultat for boghallen Nedenstående grafer viser resultatet for anden gennemkørsel af boghallen: 14 12 1 8 6 4 2 Figuren viser at boghallen topper med en performance på over 12 sider i sekundet, hvilket er ca. 4 gange det forventede/krævede for at modsvare peak besøg (til sammenligning er tommelfingerreglen ca. 5-6 sider i sekund af løsninger der har meget høje peakbelastninger i form af tv-reklamer og nyhedskampagner til tusindvis af brugere). Udskrevet: 1-11-21 14:54: Side 8 af 11
Svartid (ms) <PROJEKTNAVN> Svartider 35 3 25 2 15 Gns. svartid Max svartid 1 5 Af svartiderne ses at den gennemsnitlige svartid ikke flytter sig nævneværdigt, og selv ved 2 samtidige tråde ligger under 2 ms per side. Den absolut maksimale svartid er under 3 sekunder for alle testforløb, og 99,6% af alle requests svarer under 1 sekund 99,99% er under 2 sekunder. 3.3.2 Resultat for politikens forlag Nedenstående grafer viser resultatet for anden gennemkørsel af politikens forlag: Udskrevet: 1-11-21 14:54: Side 9 af 11
Svartid (ms) <PROJEKTNAVN> 3 25 2 15 1 5 Figuren viser at forlagssitet topper med en performance på over 25 sider i sekundet, hvilket er næsten 1 gange det forventede/krævede for at modsvare peak besøg (til sammenligning er tommelfingerreglen ca. 5-6 sider i sekund af løsninger der har meget høje peakbelastninger i form af tv-reklamer og nyhedskampagner til tusindvis af brugere). Svartider 16 14 12 1 8 6 Gns. svartid Max svartid 4 2 Af svartiderne ses at den gennemsnitlige svartid ikke flytter sig nævneværdigt, og selv ved 2 samtidige tråde ligger under 2 ms per side. Udskrevet: 1-11-21 14:54: Side 1 af 11
Den absolut maksimale svartid er under 2 sekunder for alle testforløb, og 99,7% af alle requests svarer under 1 sekund. Udskrevet: 1-11-21 14:54: Side 11 af 11