Statistisk Softwareudvikling

Transkript

1 Statistisk Softwareudvikling Peter Dalgaard Biostatistisk Afdeling Københavns Universitet IT og Sundhed, september 2008

2 Introduktion Statistisk software Open Source / Free Software R projektet Værktøjer Udviklingsprincipper

3 Statistisk software Datahåndtering Beregninger Grafik Sandsynlighedsregning Matematisk modelbygning Grænseflader (bruger-, system-)

4 Hvad er R? Environment for statistical computing and graphics Fleksible grafikrutiner Statistiske funktioner (standard tests, modellering) Styret via et programmeringssprog Udvidelse via R packages, CRAN

5 Et eksempel med R library(iswr) ashina attach(ashina) plot(vas.active, vas.plac, pch=grp) abline(0,1) t.test(vas.active, vas.plac, paired=true) Output: Paired t-test data: vas.active and vas.plac t = , df = 15, p-value = alternative hypothesis: true diff. in means is not equal to 0 95 percent confidence interval: sample estimates: mean of the differences

6 Ashina, grafisk vas.plac vas.active

7 R s historie i korte træk R er et Free Software (Open Source) projekt Version af S (ca.1985) af John Chambers et al. (ACM software systems award 1998) Startet ca. 1994, Ross Ihaka & Robert Gentleman i Auckland Lagt ud på nettet i 1996 Core team dannet 1997 Version Version

8 DSC 1999

9 user! 2004

10 user! 2008

11 R packages user-2008/slides/fox.pdf

12 R help mailing list user-2008/slides/fox.pdf

13 Styring af projektet

14 Udviklingsprocessen R er et større software projekt ( ohloh.net estimat: 87 personår, 4.8 mill USD) R kører på mange slags computere Vedligeholdes og udvikles af en gruppe på 19 frivillige rundt om i verden. Hvordan holder man sammen på et sådant projekt?

15 R s kildetekster linjer C kode linjer Fortran kode linjer R kode linjer Rd (R documentation format) Perl, Java, shell scripts, Makefiles, Texinfo files,... Ca. en million linjer i alt

16 Versionskontrol 19 personer arbejder med samme kildekode hvordan koordinere? Fælles repository i Zürich Versionskontrol med Subversion - WebDAV baseret Checkout/Commit/Conflict arbejdsmåde Flere udviklingsgrene (branches)

17 SVN i praksis viggo:/usr/local/src/pd/r-release-branch/r/>svn update U src/library/utils/r/iconv.r U src/library/grdevices/src/qdbitmap.c U src/main/sysutils.c U src/main/localecharset.c U src/nmath/dnbinom.c U src/gnuwin32/changes U NEWS Updated to revision Upload af egne ændringer: svn commit Hvis to personer retter samme sted i en fil opstår en konflikt Man finder så ud af manuelt hvad der skulle have stået og bruger: svn resolved

18 Computerplatforme R virker under Windows, MacOS X, Linux, og adskillige Unix varianter... plus deres versioner over tid Forskellige brugerflader (Graphical User Interfaces, GUIs) Operativsystemer Dokumentationsformater Binære distributionsformater (.rpm,.deb. InnoSetup,... )

19 Build-konfiguration Visse ting er fundamentalt det samme, men varierer i detaljer mellem platforme Compiler flag (optimering, m.v.) Eksterne biblioteker (fx. libjpeg) Dynamisk linkning

20 Automatisering Programmet make beskriver hvordan en ting opbygges fra andre ting ved brug af makefiles GNU Autotools danner et configure script som finder ud af alle de små systemafhængigheder. Fælles dokumentationsformat (.Rd), værktøj til at generere HTML, latex, tekst, og windows help files Ideelt set kan man blot hente kildekoden og skrive configure; make; make install

21 Testning Formelle check er dokumentation konsistent med funktionsdefinition, osv. Køre alle eksempler og se efter fejl Specifik testning, regression tests Automatiserede checks af alle R pakker

22 Om at holde sammen på trådene

23 Principper for R s udvikling Statistisk software, specielt R, er lidt anderledes en anden software Stor vægt på korrekthed Stor mængde kode der afhænger af detaljer i R Afhængighed af mange værktøjer Konservativ politik, omhyggeligt testede versioner Kun en version ad gangen (andre projekter bruger en stable/unstable politik)

24 Udviklerpsykologi Udviklere er frivillige og har variable belastninger af andre årsager, Kan opstå en tendens til deadline-rytteri programmering udskydes til lige før en release, med hektisk aktivitet i sidste øjeblik Visse arbejdsopgaver er sjovere end andre (fx kodning vs. dokumentation)

25 Deadline risici Små ændringer kan have uforudsete og alvorlige bivirkninger En fejlrettelse kan gøre andre fejl synlige Sidste-øjebliks ændringer er ofte uigennemtænkte Det kan være mindre vigtigt at få rettet en fejl end at sikre at testbatteriet kan køre igennem

26 Releases R kører med en release per halvår Nødvendigt med feedback især fra obskure platforme T 4weeks Grand feature freeze. Start of alpha releases T 2weeks Feature freeze. Start of beta releases T 1week Code freeze. T Release Patch releases (1 2 stk.) køres hurtigere, ca. 1 uge

27 Bugs

28 Bugs Bugs i computerprogrammer er uundgåelige Fejlsøgning og -korrektion udgør en stor del af vedligeholdelse af software R og dets brugere er ret gode til at finde fejl... nogen gange i meget gammel kode

29 En koreansk historie Et eksempel på hvor følsom processen kan være: 3. juli 2008: Rapport om at R crasher under Windows XP i Korea 7. august: Endnu en rapport 10. august: R fastlægges til 25. august 11. august: Ripley fjerner fil med koreansk oversættelse 15. august: Make dist virker ikke. PD udkommenterer line i Makefile 17. august: R kan ikke installeres på FreeBSD (fordi kommmentarer i Makefiler virker anderledes der)

30 Free software / Open Source Software som distribueres efter visse regler Kildeteksten skal være åbent tilgængelig Det er tilladt at lave ændringer Distribution og brug må ikke begrænses Licens: GPL, BSD, Artistic,... Den sociale kontrakt Mutual benefit model: Bidrag med en lille smule... og få en masse tilbage

31 Free software i videnskaberne Videnskabeligt software er en kommunikationskanal Algoritmer bør være tilgængelige for peer-review Umiddelbare fordele ved Free Software Højkvalitetsværktøj... der spiller sammen! Portabilitet Direkte tilgængelighed Overholdelse af standarder

32 Open Source en bevægelse i vækst