VEJLEDNING OS2Webscanner

Transkript

1 VEJLEDNING OS2Webscanner Copyright 2017 Sprint maj 2017

2 INDHOLDSFORTEGNELSE 1 Indledning Baggrund og formål Ejerskab Egen hosting Hostet løsning Priser Kom i gang Kontaktoplysninger Vejledning Adgang til løsningen Gendannelse af adgangskode Skift adgangskode Rettigheder Funktionalitet Trafik Overblik Domæne Scanner Scanning Rapporter Ledelsesinformation i opsummeringsrapport Regler Oplæring Regneark XML-RPC webservice Adgangsbeskyttelse Interfaces Syntaks Klientprogram Bilag Ekskluderingsregler (eksempler) Filtyper OCR-scanning XML-RPC Service Methods available Installation på egen server...33

3 Indledning 1 INDLEDNING Vejledningen er efter sprint 6.0 opdateret i maj Baggrund og formål Formålet med OS2Webscanner er ad-hoc eller med jævne mellemrum at gennemlæse offentligt tilgængelige hjemmesider for at konstatere, om der ligger CPR-numre eller andre personfølsomme informationer. Derudover kan OS2Webscanner blandt andet kontrollere hjemmesider for blinde links, både interne og eksterne samt udføre en vilkårligt tilpasset søgning efter kundens ønske (Regler) Billedfiler OCR-tolkes således at oplysninger, som ligger i billedfilerne, også scannes. Filer, som er komprimeret med Zip-formatet, scannes også. Krypterede Zip- og PDF-filer scannes dog ikke. OS2Webscanner er en central selvbetjeningsløsning, hvor brugerne selv opretter og redigerer de søgninger og scanninger, som skal afvikles. 1.2 Ejerskab OS2Webscanner er open source og licenseret under Mozilla Public License. Løsningen er udviklet af Magenta ApS og finansieret af OS2-samarbejdet, som er et kommunalt open source samarbejde. OS2Webscanner er ikke begrænset til at blive brugt af medlemmerne af OS2-samarbejdet Egen hosting Løsningen er open source og kan downloades 1 og installeres på egen server. Du kan finde installationsvejledningen i bilagene på side Hostet løsning Magenta tilbyder en hostet selvbetjeningsløsning til alle. Denne vejledning henvender sig primært til dem, der ønsker at benytte den hostede selvbetjeningsløsning. 1Kildekoden findes på 1

4 Priser Priser Ydelse Engangsafgift Månedlig abonnement Tilslutningsafgift per kunde kroner Første domæne per måned Yderligere domæner per stk. per måned kroner 500 kroner For hvert registreret domæne kan kunden oprette et ubegrænset antal subdomæner eller scanne alle subdomæner samlet. Subdomæner, som har karakter af selvstændige virksomheder (eget CVR-nr.), betragtes dog som selvstændige domæner, også selv om de ikke har deres eget domænenavn. Subdomæner, som peger på selvstændige steder, som også har deres eget selvstændige domænenavn, betragtes som et selvstændigt domæner. 1.5 Kom i gang For at benytte den hostede OS2Webscanner skal din organisation på forhånd have indgået en aftale med Magenta om OS2Webscanner samt have indgået en databehandleraftale. Tilslutning sker ved henvendelse til Magenta ApS Studiestræde 14, København K Mail: info@magenta.dk Telefon: I forbindelse med kontraktindgåelsen, skal følgende oplyses: Primær kontaktoplysninger (Navn, og telefon nr.). Den primære kontakts adresse kan med fordel være en afdelingspostkasse eller en distributionsliste. Op til fem personer, som skal have adgang til administrationssystemet (Navn og ). Magenta opretter de aktuelle brugerkonti i systemet, og fremsender login-oplysningerne på e- mail. 1.6 Kontaktoplysninger Kontaktperson hos Magenta er Danni Als, danni@magenta.dk, Henvendelser af teknisk karakter bør ske til adressen support@magenta.dk. 2

5 Vejledning 2 VEJLEDNING 2.1 Adgang til løsningen Som kunde tilgår du løsningen ved at indtaste denne adresse i din webbrowser: Enhver kommunikation med denne adresse foregår krypteret. Når du går ind på adressen, bliver du omdirigeret til login-skærmbilledet. Illustration 1: Login til OS2Webscanner Indtast det brugernavn og password, som du har fået tilsendt på Gendannelse af adgangskode Hvis du har glemt din adgangskode eller indtaster den forkert, vil du blive spurgt, om du ønsker at gendanne den. Hvis du siger ja til det, kommer du frem til en dialog, hvor du vil blive bedt om at indtaste din -adresse. Hvis en bruger med den -adresse eksisterer, vil du kort efter modtage en mail med et link, som du kan bruge til at skifte dit password. 2.2 Skift adgangskode Du kan skifte adgangskode ved at klikke på dit brugernavn i menulinjen. 3

6 Rettigheder 2.3 Rettigheder Alle brugere er tilknyttet en organisation. Alle brugere kan inden for deres egen organisation oprette og køre scannere samt se rapporter. Det er muligt at udnævne brugere inden for en organisation til bruger-administratorer, hvilket vil sige, at de kan oprette nye brugere og rette og slette eksisterende brugere, herunder deaktivere og skifte adgangskode. 4

7 Funktionalitet 2.4 Funktionalitet Trafik Vær opmærksom på, at OS2Webscanner giver trafik på webstedet, hvilket kan have flere konsekvenser. F.eks. kan OS2Webscanner periodevis belaste web-serveren, og webstatistikken for webstedet kan give et forkert billede af den egentlige trafik. Afhængigt af, hvilket system der benyttes til at lave statistik med, kan OS2Webscanner ekskluderes fra statistikken. OS2Webscanner har IP-adressen Testscanneren, som er vores testversion, har IP-adressen: Benytter du Piwik skal du inder Indstillinger og Hjemmesider registrere denne IP-adresse under Udeluk IP-adresse. Det betyder, at Webscannerens besøg på hjemmesiden ikke tæller med i trafikstatistikken. Indtast Illustration 2: Ekskludere Webscanner fra statistikken Du kan også udelukke Webscannerens IP-adresse fra samtlige de hjemmesider, som statstikprogrammet holder øje med. 5

8 Overblik Overblik Administrationssystemet er opbygget som et hierarki, der overordnet ser sådan ud: Illustration 3: Oversigt over objekter Det øverste niveau Organisation administreres af Magenta, bortset fra at brugeradministratorer kan oprette, redigere og slette brugere i deres egen organisation. Det behandles sidst i dette afsnit. De øvrige elementer beskrives på de følgende sider. Scannere knytter regler og domæner sammen samt afgør, hvordan og hvornår reglerne benyttes. Resultatet af en scanning er en rapport Domæne Opret som det første en registrering af, hvilket domæne eller evt. sub-domæne der skal skannes. Hvert domæne eller sub-domæne skal registreres særskilt. Registrering af domæne.dk vil automatisk også medtage sub-domænet i scanningen. Øvrige subdomæner skal registreres særskilt, evt. ved at registrere *.domæne.dk, hvilket vil medføre, at samtlige domænets sub-domæner skannes 2. 2 Dette forudsætter, at alle subdomæner fremgår af hoveddomænets sitemap.xml. 6

9 Domæne Illustration 4: Oversigt over domæner Hvis f.eks. adresserne og domæne.dk peger på det samme websted, skal kun en af de to adresser registreres. Hvis du også ønsker at skanne sub-domænet blog.domæne.dk, skal du enten registrere sub-domænet særskilt eller oprette *.domæne.dk. Det er ikke tilladt at oprette domæner i OS2Webscanner, som du ikke selv har ejerskab for. For domænet kan du registrere følgende oplysninger: Felt Krav Beskrivelse Eksempel URL Ja Dette er adressen for det websted der skal scannes. URL ekskluderingsregler Nej Her kan defineres regler for, hvilke elementer af webstedet som ikke skal scannes, f.eks. udskriftsvenlige versioner af HTML-sider o.l. Ekskluderingsregler har kun indvirkning på URL-adressen. Se afsnittet Ekskluderingsreg ler (eksempler) på side 27 Som udgangspunkt betragtes feltets indhold som simpel tekstsøgning i URL-adressen. I feltet kan indtastes et regulært udtryk ved at skrive regex: efterfulgt af et regulært udtryk. Valideringsmetode Ja En scanning kan ikke igangsættes, med mindre domænet er valideret. Validering sker kun en gang. Validering sikrer, at OS2Webscanner ikke benyttes til at skanne hjemmesider, som 7

10 Domæne brugeren ikke har ejendom over. Vælg mellem Robots.txt, Webscan.html og Metafield til at placere en lille OK-besked til OS2Webscanner. Indtil domænet er valideret, ses dette afsnit nederst i dialogen: 1. Vælg først hvilken valideringsmetode der passer bedst. 2. Kopier den viste tekst og indsæt den på dit websted, i dette tilfælde i robots.txt. 3. Klik på knappen Valider nu. Herefter vil dit websted blive valideret, og afsnittet forsvinder fra dialogen. Sitemap URL Sitemap fil Nej For at sikre, at også skjulte sider scannes, kan du pege scanneren hen til et sitemap, eller uploade et sitemap til Webscanneren. De fleste moderne CMS-systemer giver mulighed for at eksportere en Sitemap.xml, og i visse tilfælde kan du umiddelbart finde den på adressen Se rg/wiki/sitemap.xm l Vi anbefaler, at kunderne peger OS2Webscanner til en Sitemap URL på serveren, hvilket vil give den bedste og mest sikre scanning. 8

11 Scanner Scanner Formålet er at knytte de enkelte regler til domænet og samtidig tilknytte en planlægning samt supplerende oplysninger. Illustration 5: Oversigt over scannere En scanner kan have følgende egenskaber: Felt Krav Beskrivelse Navn Ja Her kan du give skanneren et navn. Vi anbefaler, at navngivningen er beskrivende for, hvad skanneren bruges til. Fanen Domæner Ja Vælg hvilke domæner scanneren skal benyttes for. I venstre kolonne vises oversigten over tilgængelige domæner. Tilføj og fjern domæner fra Valgte domæner med pilene. Kun de domæner, som fremgår af kolonnen Valgte domæner til højre, vil blive scannet. Fanen Regler Ja 9

12 Scanner Vælg regler: Vælg hvilke regler denne scanning skal anvende. Først vælges om standardreglerne skal benyttes (CPR, Linkcheck og Cookie), samt om scanneren skal OCR-fortolke og scanne billeder (bemærk at OCR-fortolkning er meget langsomt). Fanen Interval Nej På denne fane angives planlægningen af, hvornår og hvor hyppigt scanneren skal afvikles. Der kan tilføjes et eller flere intervaller. Der kan tilføjes en eller flere konkrete datoer. Scanneren blive afviklet på et tilfældigt tidspunkt i døgnet, hvilket vises under afsnittet. Intervaller og datoer kan markeres som værende undtagelser, hvilket gælder for alle øvrige intervaller og datoer. F.eks. et interval, som afvikles dagligt, men med den undtagelse, at den ikke afvikles den sidste fredag i måneden. CPR-numre Nej Vælges scanning efter CPR-numre, kan moduluskontrol tilvælges, hvilket anbefales. Vælges moduluskontrol, vil CPR-numre, der ikke opfylder kontrollen, blive ignoreret. Det vil resultere i færre resultater. CPR-numre, hvor fødselsåret er før 1900, ignoreres altid. 10

13 Scanner Last Modified Check Nej Det er ved oprettelse af en scanning muligt at konfigurere, om man ønsker at gøre brug af Last-Modified data eller ej. Hvis man fravælger at bruge denne funktion, vil det resultere i, hvad der svarer til en førstegangs-scanning, hvor alle sider besøges. Det vil endvidere være muligt at konfigurere, om løsningen skal gøre brug af HEAD-requests til at checke ændringstidspunkter med, eller om der blot skal bruges GET-requets, så eventuelt indhold kan behandles uden at generere en ny request, hvis det viser sig at være opdateret. Optionen Last Modified Check gør det muligt at springe sider over i efterfølgende scanninger, såfremt informationer om det sidste opdaterings-tidspunkt for en side forefindes. Løsningen fungerer ved at indsamle informationer om det sidste opdateringstidspunkt for en side via sitemap.xml-filer og HTTPheaders. Under den første scanning vil disse Last-Modified værdier blive gemt i databasen sammen med lister over links, der blev fundet i den pågældende side. Efterfølgende scanningen vil så blot foretage en HTTP HEAD-forespørgsel på den pågældende side og derefter foretage en ny scanning, hvis siden er blevet opdateret siden seneste scanning. Last Modified Check er et valgfrit supplement til den indbyggede kontrol af MD5-sum. Den indbyggede kontrol af MD5-sum betyder, at den samme ting ikke scannes mere end én gang, med mindre den er ændret siden hen. Det gælder inden for samme scanning, men det gælder også fra scanning til scanning. Det gælder for html-sider, dokument-filer, men også grafiske elementer, som f.eks. logoet og bannere. MD5-sum kan ikke nulstilles, men det er muligt at oprette en ny scanner med samme parametre, hvilket gør det ud for at MD5-summen nulstilles. Regex-regler Nej Det er også muligt at vælge blandt de Regex-regler, som er oprettet under Regler. Læs mere om regler på side 118. Fanen Modtagere nej Vælg hvilke personer som skal modtage besked, når scanningen er afsluttet. I venstre kolonne vises oversigten over tilgængelige modtagere. Tilføj og fjern personer fra Valgte modtagere med pilene. For at sikre brugerens overblik anbefaler vi, at der oprettes en særskilt skanner for hvert formål, således at en skanner søger efter enten CPR-numre, navne, blinde links eller cookies. 11

14 Scanning Scanning En scanning er en planlagt eller ad-hoc afvikling af en scanner. En scanning resulterer altid i en rapport. Udførelse af en scanning kan tage fra få minutter for små hjemmeside til adskillige dage, hvis der skal laves OCR-scanning af flere hundrede GB data. Langt de fleste scanninger er dog overstået i løbet af nogle få timer. Det er ikke muligt at udføre en scanning, hvis samme scanner har en ikke-færdiggjort scanning kørende. Det betyder, at en bruger ikke får lov til at starte sådanne scanninger som ad-hoc scanning. Hvis en planlagt scanning ikke kan startes, vil der opstå en fejl, hvilket vil fremgå af den resulterende rapport besked Når scanningen er afsluttet, afsendes en mail til den eller de kontaktadresse(r), som er registreret på scanneren. Scanninger som aktiveres ad-hoc tilføjes altid den person, som aktiverer scanningen. Subject: Scanning afsluttet: OK Date: Thu, 10 Jul :58: Den kørsel af scanneren "XYZ-Scanner", der startede 9. juli :28, er afsluttet. Der blev fundet i alt matches, heraf kritiske. Se rapport over resultatet her: Illustration 6: Informationsmail Den udsendte mail kan have fire forskellige emnelinjer: Kritiske matches!, hvis der er fundet røde matches, f.eks. CPR-numre. Døde links, hvis der scannes for links og der er fundet nogle, der ikke virker. OK, hvis der ikke er fundet kritiske matches eller døde links og scanningen i øvrigt er lykkes. Fejlet, hvis der ikke er fundet matches eller links og scanningen er fejlet undervejs. 12

15 Scanning Illustration 7: En scanning resulterer i en rapport Første scanning Første gang en scanner afvikles, vil scanningen som regel tage lang tid. OS2Webscanner har indbyggede kontrol af, om det enkelte element på hjemmesiden allerede er blevet scannet. Det sker ved at OS2Webscanner gemmer en MD5-sum for hvert enkelt element. Det gælder inden for samme scanning, men det gælder også fra scanning til scanning. Det gælder for html-sider, dokument-filer, men også grafiske elementer, som f.eks. logoet og bannere. MD5-sum er knyttet til organisationen og scanningens parametre en ny scanner med de samme parametre vil altså genbruge MD5-summerne. Ønsker du en ny scanning af alle dokumenter, er det nødvendigt at bede Magenta slette de eksisterende MD5-summer. Dette kan, hvis der er mange binære filer på dit domæne, medføre, at den næste scanning tager meget lang tid. 13

16 Rapporter Rapporter Rapporten oprettes så snart scanningen påbegyndes, og det fremgår af scanningsrapporten om scanningen er I gang eller Afsluttet. Rapporter, der har fundet kritiske data eller brudte links, er markeret med henholdsvis rød og gul farve. Illustration 8: Oversigt over rapporter Klik Vis Rapport i højre side, for at se indholdet. Klik på Slet rapport for permanent at slette den pågældende rapport fra oversigten. Slettes en rapport for en kørende scanning, vil dette medføre, at scanningen afbrydes Status Rapporten indeholder øverst statusfelter, som fortæller hvornår scanningen er startet, og evt. stoppet. Hvis scanningen er fejlet, vil det også fremgå af statusfeltet. 14

17 Rapporter Illustration 9: Rapportens status Indstillinger I afsnittet Indstillinger, vises hvilke parametre scanningen er udført med. Illustration 10: Rapportens indstillinger Rapporten Rapporten viser kun de første 100 matches og de første 100 brudte links. Øverst i rapporten er det muligt at downloade en CSV-fil med en komplet oversigt over samtlige matches. Rapporten indeholder ingen CPR-numre. Rapporten indeholder forskellige afsnit, hvilket er afhængigt af, hvad der scannes efter. Af hvert enkelt match vises på hvilken URL (side på hjemmesiden) OS2Webscanner har fundet et problem. Desuden viser vi oplysninger om hvilken regel (f.eks. CPR) der er tale om. OS2Webscanneren viser også, hvad problemet er, dog vises ved CPR-numre kun de første fire cifre. Til gengæld viser OS2Webscanneren enten et udsnit af teksten omkring problemet (ved HTML-sider), eller på hvilket sidenummer (ved PDF-filer), så det er lettere at finde frem til problemet. 15

18 Rapporter Illustration 11: Eksempel med CPR-numre Illustration 12: Eksempel med CPR-numre i PDF-fil Illustration 13: Eksempel med cookies Fejllog Under selve rapporten vises i tilfælde af fejl en fejllog med forklaring på årsagen til fejl. 16

19 Rapporter Illustration 14: Fejllog Under fejlloggen er et link til den detaljerede log Ledelsesinformation i opsummeringsrapport Opsummeringsrapporten er en periodevis rapport over flere scanninger i resume. Rapporten kan f.eks. bruges til ledelsesinformation eller som overordnet status. Der kan oprettes en eller flere Opsummeringsrapporter efter behov. Felt Beskrivelse Navn Beskrivelse Modtagere Scannere Udsend mail Planlagt afvikling Navnet på opsummeringsrapporten Ikke kravsfelt, Vælg hvilke personer der skal modtage mail,når opsummeringsrapporten er dannet. Vælg fra listen hvilke scannere der skal indgå i opsummeringsrapporten. Sæt flueben i feltet hvis der ønskes mail sendt. Opsæt regler for hvor hyppigt opsummeringsrapporten skal dannes. Indholdet af den fremsendte mail er identisk med den rapport, som ligger i Webscannerens oversigt over opsummeringsrapporter. Rapporterne vil være tilgængelige, indtil de manuelt slettes. 17

20 Regler Illustration 15: Eksempel på en opsummeringsrapport Regler Standardregler OS2Webscanner har desuden tre standardregler: CPR-søgning Linkchecker Find cookie Standardregel Beskrivelse Eksempel CPR-søgning Denne regel leder efter noget, der ligner et CPRnummer. Matchende CPR-numre markeres altid med høj (rød) følsomhed. CPR-lignende tal i inline stylesheets ignoreres. CPR-reglen finder tal via følgende regulære udtryk (python syntaks): "\\b(\\d{6})[\\s\-/\\.]?(\\d{4})\\b" Der gennemføres altid dato-kontrol af de første seks cifre. Valgfri parametre Der udføres kontrol af modulus-11, såfremt dette er valgt. For fødselsdatoerne og gennemføres ikke modulus-11 kontrol. Hvis muligheden Ignorer irrelevante fødselsdatoer er valgt, ignoreres i disse tilfælde: fødselsåret er før 1900 fødselsåret er senere end 2 år ud i fremtiden. Følgende vil blive fanget: / Følgende vil ikke blive fanget:

21 Regler Linkchecker Denne regel kontrollerer alle links for problemer. Af rapporten fremgår, hvilken side linket befinder sig, hvor der linkes til, og hvad problemet er (f.eks. at siden ikke findes eller manglende adgang). Det er valgfrit om også links til eksterne sider skal kontrolleres. 404 Not Found 403 Forbidden Name or service not known Timed out Connection refused Find cookie Denne regel finder alle de cookies, som websiden selv sætter vha. HTTP-headeren. Cookies sat af YouTube, Facebook og andre tredjeparts cookies bliver ofte sat af off-site JavaScript, og disse cookies 'gør sig meget umage' med ikke at blive fundet, og OS2Webscanner eksekverer ikke JavaScript, når den kører. Sådanne cookies vil derfor ikke blive fundet af OS2Webscanner. Det er i roadmap (2017) at få denne funktion udviklet Tilpasset søgning Regler er de konkrete søgninger, som du selv kan oprette, og som benyttes af OS2Webscanner. Tilpassede regler kan f.eks. bruges til at søge efter indhold, som benytter bestemte formularer, som f.eks. kan findes vha. en formular-id eller andre unikke tekstbaserede kendetegn. Illustration 16: Oversigt over regler For regler kan du registrere følgende oplysninger: Felt Krav Beskrivelse Eksempel Beskrivelse Ja Her kan du give reglen et navn. Vi anbefaler, at navngivningen er beskrivende for, hvad reglen søger efter. Regulært Ja Her indtaster du det regulære udtryk, \banmeld\b (finder ordet 19

22 Regler udtryk 3 som skal anvendes til søgningen. 'anmeld'. [0-9]{3,4}( -)(?:[0-9] {4}\1){2}[0-9]{4} (finder noget der ligner et kreditkort) Følsomhed Ja Følsomheden er udtryk for, hvor alvorligt et match er. Vælg Rød, Gul eller Grøn Oplæring Hver organisation har mulighed for at vedligeholde lister over godkendte og sortlistede elementer. Navne og adresser er ikke relevant ved scanning af websites, men listen over godkendte CPR-numre er relevant for falske positive, f.eks. P-numre, som der ikke ønskes rapportering for. I den overordnede menu findes punktet Oplæring. Det åbner en dialog med følgende felter: Godkendte navne Sortlistede navne Godkendte adresser Sortlistede adresser Godkendte CPR-numre 3 Få hjælp til regulære udtryk her: 20

23 Oplæring Illustration 17: Skærmbilledet Oplæring I feltet Godkendte CPR-numre kan indtastes de CPR-numre (eller CPR-lignende P-numre), som skal ignoreres i scanningerne. Ti-cifrede numre indtastes med et nummer per linje således: Disse numre ignoreres, uanset hvilket format de har på hjemmesiden, så vil være undtaget (ignoreret) ved scanningen Regneark Under menupunktet System findes punktet Scan regneark. Her er det muligt at uploade regneark (som regneark eller komma-separeret tekstfil) og at få indeholdet undersøgt og evt. erstattet. 21

24 Regneark Illustration 18: Scanning af regneark Ud over at undersøge regnearket for CPR-numre og erstatte dem med dummy-tekst kan denne funktion også finde navne og adresser. Navne og adresser findes på baggrund af Danske navne fra Danmarks Statistik, og adresser findes på baggrund af AWS Danmarks adresseservice, som vedligeholdes af Geodatastyrelsen. Vær forsigtig med erstatning af navne og adresser, da der kan forekomme falske positive, f.eks. ved navne som Bo, Svend og Karl Oplæring Navne- og adressereglerne kan justeres ved at tilføje indhold til henholdsvis en liste over godkendte eller sortlistede navne. 22

25 Regneark Illustration 19: Oplæring af navne- og adressescanneren Denne funktion kan f.eks. bruges som hjælp i forbindelse med offentliggørelse af postlister, som før offentliggørelse skal renses for persondata. 23

26 XML-RPC webservice 3 XML-RPC WEBSERVICE Dette kapitel er målrettet teknikere og programmører, som skal implementere webservicen. OS2Webscanneren har en XML-RPC-baseret webservice, der gør det muligt at scanne enkelte URL'er eller dokumenter for CPR-numre. I kald til webservicen angiver man enten en liste af URL'er, en liste af dokumenter eller begge dele. Webservicen vil så scanne de angivne data igennem for CPR-numre og returnere en scanningsrapport med matches. 3.1 Adgangsbeskyttelse Webservicen vil være adgangsbeskyttet med den samme adgangsbeskyttelse som resten af OS2webscanner. Såfremt der angives URL'er som scanningskilde, vil disse blive checket op mod verificerede domæner for den bruger, der blev brugt til at logge ind i servicen. Hvis der ikke findes et match for alle URL'er, afvises forespørgslen om scanning med en fejl. 3.2 Interfaces Wwebservicen implementerer fire interfaces: scan_urls scan_documents get_status get_report Dette interface igangsætter en scanning af den eller de pågældende URL'er. Returnerer URL til den pågældende scanningsrapport. Dette interface igangsætter en scanning af den eller de uploadede filer. Returnerer URL til den pågældende scanningsrapport. Dette interface giver klienten mulighed for at aflæse headeroplysninger fra scanningsrapporten. Returnerer data fra scanningsrapporten, dvs. Starttidspunkt, Sluttidspunkt, Status, Totalt antal matches. Dette interface giver klienten mulighed for at downloade rapporten i CSVformat. 3.3 Syntaks Syntaksen for de to funktioner i webservicen er: scanning af URL'er: scan_urls('my_username', 'my_password', [' 24

27 Syntaks ' Returnerer URL'en til scanningsrapporten. scanning af lokale filer: scan_documents('my_username', 'my_password', ['binær-fil1, binær-fil2, ']) Returnerer URL'en til scanningsrapporten. Hent status for igangsat scanning get_status('my_username', 'my_password','report_url') scanningen identificeres med report_url, som er den URL som blev returneret af enten scan_urls eller scan_documents. Parametre: username, password, report_url Returnerer en liste med følgende indhold: status, start_time, end_time, number_of_matches. Hent scanningsrapporten i CSV-format get_repport('my_username', 'my_password','report_url') scanningen identificeres med report_url, som er den URL som blev returneret af enten scan_urls eller scan_documents. Parametre: username, password, report_url Returnerer CSV-filen Fuld dokumentation for API'et kan findes på adressen og er gengivet som bilag til denne vejledning på side Klientprogram I kildekoden 4 findes folderen webscanner_client, hvor der er en Python pakke 5 med samme navn. Pakken kan installeres med setup.py-kommandoen. Herefter kan XML-RPC servicen implementeres med Python: from webscanner_client import WebscannerClient wc = WebscannerClient(' wc.scan_urls('my_username', 'my_password', [' ' wc.scan_documents('my_username', 'my_password', ['/path/to/file1', '/path/to/file2']) status = ws.get_status('my_username', 'my_password', 'report_url') 4 Kildekode: 5 Midlertidig løsning indtil kildekoden lægges på Github: 25

28 Klientprogram report = ws.get_repport('my_username', 'my_password', 'report_url') 26

29 Bilag 4 BILAG 4.1 Ekskluderingsregler (eksempler) Ekskluderingsregel Konsekvens /leaflet.js JavaScript-filen 'leaflet.js' ignoreres budget Alle filer og sider, hvor ordet budget uanset store eller små bogstaver indgår i URL'en, ignoreres. /os2web/service/gf/v1/ Alle filer og sider, som indeholder denne tekst i URLadresse (ligger i dette område af serveren), ignoreres. regex:.*(?i)budget.* Alle filer og sider, hvor ordet budget - uanset store eller små bogstaver indgår i URL'en, ignoreres. blog.domæne.dk Hvis du ønsker, at subdomænet blog.domæne.dk ikke skal scannes. Det er kun relevant, hvis du i URL har skrevet *.domæne.dk. 27

30 Filtyper 4.2 Filtyper text/html application/xhtml+xml application/xml Mime type Filtyper html htm shtml xhtml xht xml xsl xsd application/vnd.google-earth.kml+xml application/javascript application/json application/csv application/zip application/pdf application/rtf application/msword application/vnd.oasis.opendocument.chart application/vnd.oasis.opendocument.database application/vnd.oasis.opendocument.formula application/vnd.oasis.opendocument.graphics application/vnd.oasis.opendocument.graphics-template application/vnd.oasis.opendocument.image application/vnd.oasis.opendocument.presentation application/vnd.oasis.opendocument.presentation-template application/vnd.oasis.opendocument.spreadsheet application/vnd.oasis.opendocument.spreadsheet-template application/vnd.oasis.opendocument.text application/vnd.oasis.opendocument.text-master application/vnd.oasis.opendocument.text-template application/vnd.oasis.opendocument.text-web kml js json csv zip pdf rtf doc odc odb odf odg otg odi odp otp ods ots odt odm ott oth 28

31 Filtyper application/vnd.openxmlformats-officedocument.presentationml.presentation application/vnd.openxmlformats-officedocument.presentationml.slide application/vnd.openxmlformats-officedocument.presentationml.slideshow application/vnd.openxmlformats-officedocument.presentationml.template application/vnd.openxmlformats-officedocument.spreadsheetml.sheet application/vnd.openxmlformats-officedocument.spreadsheetml.template application/vnd.openxmlformats-officedocument.wordprocessingml.document application/vnd.openxmlformats-officedocument.wordprocessingml.template application/vnd.ms-excel application/vnd.ms-powerpoint application/vnd.lotus application/lotus123 application/wk3 text/* image/* pptx ppsx ppsx potx xlsx xltx docx dotx xls xlb xlt ppt pps wk3 wk3 wk3 txt js css csv, mange andre jpg jpeg gif png bmp tiff, mange andre OCR-scanning Når OCR (Optical Character Recognition) er aktiveret for scanningen, vil billeder fundet i PDF, understøttede office-formater og zip-filer blive læst og tolket. Billeder, der linkes til fra HTML-filer med 'a href', bliver aflæst, hvorimod billeder indsat i HTML-sider med 'img' eller med CSS ikke aflæses. OCR-fortolkning gennemføres på disse billeder ved hjælp af Tesseract OCR engine 6. Resultatet af OCR-fortolkningen afleveres til scanneren, som udfører scanning efter de normale regler, som er valgt for scanningen. Vi understøtter OCR-fortolkning af alle billeder, som understøttes af Leptonica library 7 : JPEG, PNG, TIFF, BMP, PNM,GIF, WEBP og JP2. Meget små billeder OCR-fortolkes ikke. Kun billeder større end 7 pixels højde eller bredde, og hvor enten højde eller bredde er mindst 64 pixels (64x7 eller 7x64), OCR-fortolkes. 6 Se 7 Se 29

32 XML-RPC Service 4.3 XML-RPC Service Dette afsnit er taget fra den tekniske online-dokumentation og på engelsk. Teksten er primært målrettet teknikere og programmører. You need to invoke this service using an XML-RPC Client Methods available get_report Types of arguments : string, string, string Type of return : string Retrieves a report in CSV format, e.g. to parse or to save in a file. Parameters: * username * password * report_url - the output of one of the two "scan_" functions. Return value: A UTF-encoded string containing the CSV data separated by line breaks get_status Types of arguments : string, string, string Type of return : list Web service for retrieving the status of a scan. The scan is identified by the report URL returned by the functions scan_urls and scan_documents. Parameters: * username * password * report_url - the output of one of the two "scan_" functions. Return value: 30

33 Methods available A list on the form [status, start_time, end_time, number_of_matches] scan_documents Types of arguments : string, string, string Type of return : string Web service for scanning the documents send by the caller. Parameters: * username (string) - login credentials * password (string) - login credentials * binary_documents (list of data) - the files to be scanned. Return value: The URL for retrieving the report scan_urls Types of arguments : string, string, string Type of return : string Web service for scanning URLs specified by the caller. Parameters: * username (string) - login credentials * password (string) - login credentials * urls (list of strings) - the URLs to be scanned. Return value: The URL for retrieving the report system.listmethods Types of arguments : string Type of return : string system.listmethods() => ['add', 'subtract', 'multiple'] Returns a list of the methods supported by the server. 31

34 Methods available system.methodhelp Types of arguments : string, string Type of return : string system.methodhelp('add') => "Adds two integers together" Returns a string containing documentation for the specified method system.methodsignature Types of arguments : string, string Type of return : string Returns the signature details for a specified method method The name of the XML-RPC method to get the details for system.multicall Types of arguments : string, string Type of return : string system.multicall([{'methodname': 'add', 'params': [2, 2]},...]) => [[4],...] Allows the caller to package multiple XML-RPC calls into a single request. See 32

35 Installation på egen server 4.4 Installation på egen server Installationsinstruktioner findes i kildekoden her: 33

36 adresse Studiestræde 14, København K info@magenta-aps.dk telefon (+45)