Spammærkning. 2. Udgave september UNI C SkoleKom Vermundsgade København Ø Tlf

Transkript

1 Spammærkning 2. Udgave september 2007 UNI C SkleKm Vermundsgade København Ø Tlf

2 SkleKm - Spammærkning Spammærkningen af internetpst på SkleKm Af Ole Nmann Thmsen UNI-C, ansvarlig fr internetmail g spamfilter på SkleKm g UVM. Følgende tekst er en gennemgang af de metder g tests, der anvendes til validering af den indgående pst før evt. efterfølgende spammærkning. Virkemåde Den indkmmende sendes gennem prgrammet spamassassin sm analyserer den fr spamagtighed g giver den en pinttal. Højere tal betyder større sandsynlighed fr spam. Pinttal kan f.eks. være: -5 (helt sikkert ikke spam), 0 (ikke spam), 4 (måske spam), 5 (frmentlig spam), 8 (helt sikkert spam), 50 (helt helt sikkert spam). Spam-srtering Der er fastlagt en skæringsværdi på 8.0, den bruges således: Al med en værdi på 8.0 eller mindre passere urørt igennem (dg med enkelte tilføjelser til brevhvedet) Al med en værdi på mere end 8.0 anses fr spam g Anbringes i en karantæne eller Mærkes med *SPAM* g sendes til mdtager Det sidste valg afhænger af m mdtager adressen er registreret sm en adresse der ønsker at få sin spam. Tests Spamassassin udfører mange hundrede tests pr. . Disse kan rubriceres i følgende typer: Simple tekstskanninger Der er adskillige hundrede tekstskanninger, f.eks.: Bdy =~ /Generic Viagra/ - Giver 2.1 pint til sm indehlder de t rd i selve teksten. Subject =~ /v.{0,2}a.{0,2}l.{0,2}i.{0,2}u.{0,2}m/i - Reagerer på et utal af stavemåde af valium i ens emnelinie, f.eks. vvaaliuum, vxaliuxm mm. g tildeler 2.4 pint. Test m frmat er verhldt Brevhvedet på en indehlder et væld af data, sm f.eks.: En unikt ID, datstempler g ens rute til mdtageren. Et typisk værktøj til masse-udsendelse af spam vil frfalske en str del af denne data, g vil gøre det dårligt, f.eks. Ved at indsætte et tidsstempel sm ikke er krrekt frmateret, eller sm ikke stemmer verens med andre tidsstempler i brevet. En dat sm er mere end 3 timer ude i fremtiden, udløser 2 pint. Meget spam udsendes i HTML med mange besynderlige krumspring fr at sløre teksten. Men det resulterer fte i dårligt knstrueret HTML, sm så gså kan afsløres. Spring Brevhvedet indehlder gså en beskrivelse af ens vej gennem frskellige mail-relæer på nettet. Hvis ngle af disse er kendt sm spamkilder, udløser det pint. Netbaserede databaser Et større samarbejde md spam har stillet en lang række løbende pdaterede spamdatabaser til rådighed på nettet. Der findes f.eks.: Checksummer fr manuelt rapprteret, kendt spam: Mdtaget sammenlignes med disse checksummer, g får f.eks. 2.0 pint hvis de matcher. Checksummerne er fuzzy, hvilket vil sige at de er ret ufølsmme ver fr små variatiner i spammailen Checksummer fr al mdtaget Gør det muligt at måle hvr mange gange en bestemt er mdtaget i hele verden

3 SkleKm - Spammærkning (fr de servere sm er tilmeldt). En der er set rigtig mange gange er enten spam eller et nyhedsbrev, g andre tests gør det så muligt at skelne. Link-databaser: Meget spam indehlder et link til den egenlige spamtekst. Der findes en database sm manuelt pdateres med nye link-adresser, hentet fra spammails. Lkale Indlæringsdatabaser De skannede s bliver pdelt i rd. Ord, sm kun ptræder i s med højt pinttal g i manuelt klassificeret spam, huskes rdene sm spamrd. Ord, sm kun ptræder i s med lav scre, huskes sm ikke-spamrd. Eksempelvis har baserne lært at rdet Inheritance næsten kun ptræder i spam, mens f.eks. hacker endnu ikke er set i en spam (sjvt nk, egentlig). Disse baser giver mellem -2,5 g 3,5 pint. Metden har affødt en velkendt, lidt pudsig reaktin fra spammere: De knstruerer s bestående af tilfældige, mere eller mindre sammenhængende prsastykker i håb m at ramme tilstrækkeligt mange rd sm er klassificeret sm ikke-spamrd. Det er derfr man kan få en verskrift sm excruciating wallpaper i sin pstkasse. Rapprteret spam Manuelt rapprterede s sm burde være mærket sm spam, bliver indlært i disse baser. Man kan derfr gdt risikere at mdtage g rapprtere den samme, umærkede spam mange gange, fr selvm en er blevet indlært gdt g grundigt kan denne del af bedømmelsen højest bidrage med 3,5 pint. Der skal altså flere spamindikatrer til, før en spammærkes. Vi har mulighed fr at øge værdien fra de 3,5 pint, men har endnu ikke bedømt knsekvensen af det. OCR En nyere type spam indehlder slet ingen spamtekst, men kun vrøvletekst g et vedlagt billede. Men billedet frestiller tekst g teksten er så selve spamindhldet. Fr et imødegå den metde, må man fretage en Optical Character Recgnitin på billedet g dermed maskinelt udtrække teksten. Først derefter skannes teksten fr spamrd. Da OCR ikke er 100 % træfsikker bruges der en nget mindre rdliste ver spamrd end når der skannes fr indhld i brevteksten. Indtil august 2007 var der kun maskinkapacitet til at skanne halvdelen af al med OCR, men det er nu blevet udbygget til al trafik. Obstruktin Spamudsendelser fregår typisk med mindst s i minuttet. En bstruktinsmekanisme gør det muligt at begrænse dette til f.eks. 60 i minuttet. Mekanismen er i spil fr visse mråder af nettet men ikke fr alle. Justeringer Skæringsværdi Spammærkning kan begå t typer fejl: 1 Undlade at markere en spammail ( Falsk negativ ) 2 Markere en ikke-spammail sm spam. ( Falsk psitiv ). Kategri 2. er den værste frdi det må anses fr værre at kassere en ikkespam end at kmme til at læse en spam, derfr pririteres det højest at spammærkningen ikke laver Falske psitive, Opsætningsvejledningen fr spamassassin anbefaler en skæringsværdi på 5,0 ved individuelle psætninger g 8,0 ved multibrugerpsætninger (sm SkleKm j er). Vi har derfr valgt 8,0. De sidste tre pint udpeger frmentlig mkring 99% spam, men det er den 1% ikkespam sm er vigtigst. Individuelle psætninger vil bl.a. derfr have større træfsikkerhed, i frbindelse med at de lkale indlæringsdatabaser (se venfr) benytter den spam g ikkespam sm den enkelte bruger mdtager.

4 Tests SkleKm - Spammærkning I visse tilfælde har vi måttet svække vres tests, fr at følge pririteringen, f.eks.: Ældre Outlk express klienter via Htmail verhlder ikke krrekt frmat fr message-id. Denne test har vi derfr måttet fjerne, hvilket er en svækkelse frdi spam fte har en frkert message-id. Vi udelukker løbende flere mråder af nettet fra den venfr beskrevne bstruktinsmekanisme frdi ngle af de maillinglisteservere sm bruges til at sende legitime nyhedsbreve ikke er i stand til at håndtere denne frsinkelse, selvm de burde være det ifølge smtp-standarden. Og disse listeservere findes mange steder i verden. Målinger, træfsikkerhed Det er desværre ikke muligt at måle præcis hvr meget spam der markeres krrekt, uden at klassificere strømmen af manuelt. Men man kan ræsnnere ud fra hvr str en prcentdel af den samle strøm der markeres. Daglig spamandel Kurven nedenfr angiver hvr str en prcentdel af gennemgående sm blev markeret sm spam i løbet af mandag d. 16 ktber På denne dag km der spammærkede g ikke-spammærkede breve ind i løbet af dagen. På de stille tidspunkter af døgnet bliver p imd 90% af strømmen markeret, g da der næppe er ret meget legitim pst på det tidspunkt, kan man antager at 100% er spam. Det frekmmer rimeligt at antage at træfsikkerheden er ca 90%. Den kan tænkes at være lidt mere, frdi der er autmatiske udsendelser på alle tidspunkter af døgnet, g derfr næsten aldrig 100% spam. (Faktisk kan man med en hvis ret frestille sig at der kun er 100% spam på de tidspunkter hvr mærkningsprcenten tpper. Det giver en træfsikkerhed på ca 95%, men det er så uden at tage hensyn til at typen af spam varierer med tidspunkt).

5 Stikprøve SkleKm - Spammærkning Jeg har en gammel adresse sm har været ffentliggjrt på nettet, g derfr er specielt udsat fr spam. E- mail til den adresse bliver skannet af samme system sm SkleKm (selvm det ikke er en SkleKm adresse). Adressen mdtager ca. 50 markerede spammails m dagen g ca 10 ikke-markerede spammails. En måling baseret på manuel kntrl i periden 29/9 til 6/ ser sådan ud: Over hele periden er 84,7 % af det indkmmende spam markeret krrekt. Det giver en nget lavere træfsikkerhed end venfr, hvilket kan skyldes frskellige adresse mdtager frskellige typer spam. Falske psitiver Den værste fejl spamfilteret kan begå, er sm nævnt at klassificere en legitim, ikke-spammail sm spam ( falsk psitiv, eller bare FP ). Der hldes kntrl med andelen af falske psitiver ved: Tilbage melding fra brugere (specielt dem, der ikke har valgt at karantænelægge deres spammærkede E- mail) Manuel kntrl af spammærket til stikprøve adressen nævnt venfr. Stikprøver fra spamkarantænen Det er ikke muligt at kntrllere 100%, da det ville kræver en manuel gennemgang af ca spammærkede s dagligt. Følgende falske psitiver er rapprteret inden fr det sidste år: Tre tilbagemeldinger fra brugere: T udløst af en fejl i den måde Outlk express frmaterer sine brevhveder på (har ført til en ændring i regler) En udløst frdi al. teksten var skrevet med STORE BOGSTAVER (denne regler er nu fjernet) Ca 5 fra stikprøve adressen. Alle fem blev udløst af s sm citerede en spammail ubeskåret (frdi stikprøve adressen gså mdtager visse tekniske frespørgsler m netp spam). Der er ikke så meget at

6 SkleKm - Spammærkning gøre ved det, andet end at lade være med at citere spam. Ingen stikprøver fra spamkarantænen afslørede ngen fejl I alt altså ca tte rapprterede falske psitiver i 2006, hvr der er blevet mærket mkring 140 milliner s. I praksis er der nk flere ikke-rapprterede falske psitiver end rapprterede, f.eks. består de manuelle stikprøver fra karantænen i at kigge afsender g emne igennem fr adskille tusinde s. Men det må give mening at anse tallet fr meget lille. I 2007 er der dg kmmet flere falske psitiver til i takt med at spamreglerne er blevet pdateret. Vi får tilbagemelding fra årvågne sklekmbrugere g skynder s at fjerne tests sm giver anledning til fejl. Et nyligt eksempel er at visse mail-relæer hs en større udbyder navngiver sig med IP-adressen sm en del af servernavnet. Det ligner i betænkelig grad den navngivning sm PC er på kabelnet har g kmmer derfr til at ligne mails der sendes fra virus-inficerede maskiner. Men den test måtte vi så slå fra. Mulige frbedringer Vi vil naturligvis gerne have træfsikkerheden højere p, men uden at generere falske psitive. Vi gør følgende: Hlder spamassassin pgraderet. Nuværende versin er g blev installeret d. 30/ Versin udkm 9/8 g vil blive installeret snarest. Henter ekstra regler fra frskellige brugergrupper Opdaterer regler autmatisk. Justerer regler løbende. Det er under vervejelse at øge Indlæringsdatabasernes pints. Under vervejelse: Greylisting: Et tiltag sm gør det sværere at aflevere en spammail fra et spammail-prgram. Uheldigvis går det fte gså ud ver dårligt knfigurerede, legitime mailprgrammer, så det er endnu ikke helt afgjrt hvad vi gør. Knklusin Vi gør meget fr at stppe spam, g har da gså en træfsikkerhed på mellem 85 g 95 %. Der er mange muligheder fr frbedring, hvilket da gså er nødvendigt, eftersm spam/antispam er en slags våbenkapløb; hver antispam tiltag fører før eller senere til en mere eller mindre succesfuld mdreaktin. Appendix: Hvr har spammerne min adresse fra Her er et udpluk af metderne: Via websider. Hvis en adresser er nævnt på en webside et sted, vil den før eller senere blive fundet af en adresse-høster, evt. via Ggle Via mailinglister: Er man tilmeldt en mailingliste sm ikke sørger fr at hlde sin adresse-base hemmelig, kan man risikere at denne adresse ffentliggøres på arkiver ver gamle s, f.eks. på websider E-pstkrt Hvis ngen sender et E-pstkrt til ens adresse, er der gde chancer fr at denne adresse bliver videregivet til en spammer Virus: Ngle typer virus skanner frets adresse karttek g sender virus videre til mdtagere herfra. Nget tyder på at gså disse adresser kan find vej til spammernes baser. Chatrum g andre steder hvr man pgiver sin adresse fr at være med. Det er i høj grad serverens sikkerhedsniveau sm afgør m en adresse slipper ud. Gæt g test: Der er eksempler på at spammere har sendt til adresser sm a@dmæne, b@dmæne g helt p til zzzzz@dmæne (alle muligheder sendes måske ver et par uger) eller til tilsvarende kmbinatiner af almindelige fr- g efternavne. Det kan så kun et enkelt svar til fr at adressen er bekræftet, dette kan være f.eks. et autmatisk feriesvar eller hentning af billeder i en htmlmail.

7 SkleKm - Spammærkning