RoboBraille Synscenter Refsnæs Kystvejen 112 4400 Kalundborg www.robobraille.org Telefon 59 57 01 00 Science Braille ITbaseret matematik for synshandicappede Projektets baggrund og status I forbindelse med Undervisningsministeriets hovedfordeling for 2010 ansøgte Synscenter Refsnæs om tips og lottomidler til gennemførelse af projektet Science Braille IT baseret matematik for synshandicappede. Projektet havde til formål (1) at udvide Synscenter Refsnæs RoboBrailletjeneste til at kunne konvertere undervisningsmateriale med matematik og anden naturvidenskabelig notation til formater, som kan anvendes af synshandicappede; og (2) at tilvejebringe et notationsformat, som gør det muligt for synshandicappede og seende at udveksle information, og dermed understøtte inklusion af synshandicappede i undervisning og erhverv. Synscenter Refsnæs ansøgte ministeriet om kr 2.180.900 til finansiering af et toårigt projektforløb, som omfattede udvikling og tilpasning af de nødvendige notationsformater og konverteringskomponenter, implementering af teknologien i den pædagogiske praksis, samt formidlingsaktiviteter henvendt til lærere, synshandicappede studerende, synsprofessionelle og pårørende. På baggrund af ansøgningen bevilgede ministeriet kr 357.000 til dækning af omkostningerne til den ene af to udviklere. Synscenter Refsnæs justerede efterfølgende projektet til i bedst mulige omfang at opfylde projektets formål indenfor de givne økonomiske rammer. Målsætningen blev herefter at skabe en automatiseret løsning i RoboBraille, som kan konvertere dokumenter med matematik og anden naturvidenskabelig notation til et format, som er tilgængeligt for synshandicappede i en undervisningssituation, idet områderne omkring standardisering af notationsformatet, OCRbehandling, 2D/3D print og formidlingsaktiviteterne i første omgang blev fjernet fra projektplanen. Formidlingsaktiviteterne har i projektet været begrænset til Synscenter Refsnæs almindelige kursusvirksomhed og øvrige eksterne kommunikation. På trods af det begrænsede budget, har Synscenter Refsnæs i al væsentlighed gennemført projektet i overensstemmelse med dets overordnede målsætninger. Synscenter Refsnæs har undersøgt og udviklet metoder og automatiserede processer, som gør det muligt at konvertere undervisningsmaterialer i matematik og naturvidenskab, der kan anvendes af synshandicappede. Dermed har Synscenter Refsnæs udviklet og anvist løsninger, som gør det muligt for synshandicappede og seende at udveksle information, og dermed understøtte inklusion af synshandicappede i undervisning og erhverv. Projektets problemstillinger Synshandicap er et begreb, som anvendes til at beskrive såvel svagsynede som blinde. Hvor svagsynede i mange tilfælde vil kunne anvende visuelt materiale med visse tilpasninger (forstørrelse, øgede kontraster, ændrede farver), har blinde behov for materialer i taktile og/eller auditive alternativer. Det bedst kendte 1
taktile format er punktskrift, som kan suppleres med taktile illustrationer. Blandt auditive formater er især strukturerede lydbøger i Daisyformat et anerkendt og anvendt alternativ blandt blinde. Daisyformatet kan også anvendes af svagsynede, ordblinde, læsesvage, samt mennesker med kognitive handicaps. Den traditionelle punktskrift består af taktile figurer på op til seks punkter fordelt på to kolonner af hver tre punkter. Dette giver i alt 2 6 (= 64) forskellige punktskifttegn. Disse tegn anvendes til at skrive almindelige bogstaver, tal, forkortelse for ord og orddele, sætningstegn, matematik, kemiske formler, musik og meget andet. Da der kun er 64 forskellige punktskrifttegn (63 plus mellemrum), er punktskriften kontekstafhængig (man formodes eksempelvis at vide om man læser nodeark eller skønlitteratur), ligesom man anvender en lang række styretegn til at specificere den nærmere betydning af et tegn. Dertil kommer, at punktskriften er forskellig fra land til land og fra sprog til sprog. Punktskriften skrives og læses altid fra venstre mod højre, og er helt lineær. I den seende verden er matematisk og anden naturvidenskabelig notation ofte todimensionel: Man anvender eksempelvis brøkstreger, summationstegn med grænseværdier, hævede og sænkede tal til angivelse af potenser og rødder, etc. Dette gør det umiddelbart vanskeligt at konvertere matematisk og anden naturvidenskabelig notation til (lineær) punktskrift, og problemet bliver ikke mindre af at hvert land og/eller hver specialskole har udviklet egne notationsformater. Det vurderes, at der er mindst 200300 forskellige notationsformater for punktskriftmatematik i anvendelse. Foruden de traditionelle notationsformater for punktskriftmatematik, som alle er baseret på den klassiske sekspunkt figur, har man de senere år eksperimenteret med punktskriftmatematik i ottepunkt ved brug af standardiserede notationsformater som eksempelvis LaTeX og MathML. Med otte punkter i punktskriftfiguren har man mulighed for at repræsentere 2 8 (=256) forskellige tegn, hvilket mindsker behovet for genbrug og anvendelse af styretegn. LaTeX anvendes af seende matematikere og naturvidenskabsmænd til at skrive matematik, mens MathML især anvendes til at repræsentere matematisk og naturvidenskabeligt indhold på web en. I forhold til punktskriften har LaTeX og MathML en række fordele: De er grundlæggende lineære (nedenunder den visuelle præsentation findes en lineær formel), ligesom der er tale om standardformater, som udvikles og vedligeholdes af mainstreamsystemet. Synscenter Refsnæs har i mange år eksperimenteret med matematisk notation som ottepunkt i LaTeX. Løsningen har vist sig anvendelig i såvel grundskolen som på de gymnasiale uddannelser, og vil sandsynligvis også kunne anvendes på de videregående uddannelser. Selve konverteringen af matematik og naturvidenskabelige undervisningsmaterialer til såvel strukturerede lydbøger i Daisyformat som ottepunkt LaTeX har dog vist sig at være vanskelig for undervisere, materialeproducenter, studerende og andre. Projektets aktiviteter På baggrund af den justerede projektplan gennemførte Synscenter Refsnæs følgende aktiviteter i projektet: Undersøgelse, definition og test af et kildeformat for dokumenter med matematik eller naturvidenskabelig notation, som på enkelt vis skal kunne konverteres til en struktureret lydbog i Daisyformat og til ottepunkt punktskrift i LaTeXformat. Undersøgelse, specifikation og test af hvilke komponenter, der er nødvendige for at kunne konvertere fra dette kildeformat til strukturerede lydbøger i Daisyformat. 2
Undersøgelse, specifikation og test af hvilke komponenter, der er nødvendige for at kunne konvertere fra dette kildeformat til ottepunkt punktskrift i LaTeXformat. Undersøgelse og test af mulighederne for automatisering af konverteringen fra kildeformatet til strukturerede lydbøger i Daisyformat, samt implementering af disse i RoboBraille. Undersøgelse af mulighederne for automatisering af konverteringen fra kildeformatet til ottepunkt punktskrift i LaTeXformat. Selvom dette forekommer at være muligt, har det ikke været muligt indenfor projektets rammer at foretage selve implementeringen. Dokumentation af hvorledes ottepunkt punktskrift og LaTeXformatet kan anvendes af punktlæsere til at læse og skrive matematik. Projektets resultater Nedenstående liste sammenfatter projektets konkrete resultater: Kildeformat I forbindelse med projektet har Synscenter Refsnæs undersøgt forskellige mulige dokumentformater, der kan anvendes som kildeformat for dokumenter med matematik eller naturvidenskabelig notation, som skal konverteres til strukturerede lydbøger i Daisyformat og til ottepunkt punktskrift i LaTeXformat. Det bedste resultat har vist sig at være Microsoft Word Open XML (docx), idet den matematiske eller naturvidenskabelige notation skal skabes med formeleditoren MathType fra DesignScience. MathType er et kommercielt produkt (www.dessci.com/en/products/mathtype). Den indbyggede formeleditor i Microsoft Word kan ikke anbefales, da den ikke synes at fungere sammen med tilgængelige konverteringsværktøjer. Ligeledes bør man ikke skrive formler som almindelig tekst (fx a = b + c), ligesom man naturligvis bør undgå at medtage formler som grafik. Konvertering til strukturerede lydbøger i Daisyformat Microsoft Word Open XML kan konverteres til Daisybøger ved hjælp af en kombination af kommercielle produkter og opensource software. Kildedokumentet skal være skabt som ovenfor beskrevet. På computeren, som anvendes til konvertering skal følgende være installeret: SaveAsDaisy. En gratis, opensource plugin til bl.a. Microsoft Word, som kan hentes fra Daisy konsortiets hjemmeside: http://www.daisy.org/project/saveasdaisymicrosoftwordaddin Syntetiske stemmer. De nødvendige syntetiske stemmer, som skal anvendes til at skabe lydbogen. Stemmerne kan være kommercielle eller opensource. MathType. En kommerciel plugin til Microsoft Word fra DesignScience (www.dessci.com/en/products/mathtype). MathDaisy. Et kommercielt værktøj fra DesignScience (www.dessci.com/en/products/mathdaisy). Fra Microsoft Word gemmes dokumentet i Microsoft Word Open XML og konverteres til Daisy ved hjælp af SaveAsDaisy. Undervejs i processen skabes et XML dokument med matematik i MathML. Lydbøgerne kan herefter læses ved hjælp af kommercielle og opensource Daisyafspillerede, som understøtter MathPlayer, herunder Dolphin EasyReader, gh ReadHear og AMIS. MathPlayer er en gratis komponent fra DesignScience, som gør det muligt for forskellige browsere og Daisyafspillere at vise og oplæse formler. 3
Konvertering til ottepunkt punktskrift i LaTeX Microsoft Word Open XML kan konverteres til ottepunkt punktskrift i LaTeXformat ved hjælp af open- source værktøjet rtf2latex2e (http://sourceforge.net/projects/rtf2latex2e). Fra Word gemmes dokumentet først i Rich Text Format (rtf), hvorefter det konverteres med passende parametre via kommandolinjeværktøjet rtf2latex2e til et LaTeXfragment. Denne LaTeX fil kan umiddelbart læses af en punktskriftlæser på et punktskriftdisplay, idet den omgivende tekst dog ikke er konverteret til forkortet punktskrift. Automatiseret konvertering til Daisyformat Synscenter Refsnæs har i forbindelse med projektet udviklet værktøjer, som automatiserer konverteringen af Microsoft Word Open XML dokumenter til strukturerede lydbøger i Daisyformat. Disse værktøjer er endvidere blevet integreret i RoboBrailletjenesten. Den overfor beskrevne konverteringsproces er herefter blevet reduceret til følgende: 1. Forbered dokumentet i Microsoft Word, idet formler skrives i MathType. 2. Gem dokumentet som docx og send det til daisymath@robobraille.org eller upload det på www.robobraille.org/web3. Tjenesten er gratis. Dermed er det ikke længere nødvendigt at anskaffe og installere SaveAsDaisy, syntetiske stemmer og MathDaisy. Ottepunkt punktskrift og LaTeXformatet I forbindelse med projektet er repræsentationen af tekst og formler med ottepunkt punktskrift i LaTeX format er blevet beskrevet i præsentationer og dokumenter, som gennemgås og udleveres til kursister (undervisere, studerende, synsprofessionelle, pårørende, ) på Synscenter Refsnæs. Projektets fremadrettede aktiviteter Synscenter Refsnæs planlægger i det kommende år at videreføre en række af projektets aktiviteter i det omfang det er muligt at skaffe finansiering hertil, herunder: Automatisering af konverteringen fra Microsoft Word Open XML til til ottepunkt punktskrift i LaTeXformat med forkortelse af den omgivende tekst. Integration af processen i RoboBraille. Oversættelse af MathPlayer fra engelsk til dansk, således at formler oplæses på dansk. Den nuværende løsning anvender engelsk tale. Synscenter Refsnæs har allerede truffet aftale med DesignScience om denne oversættelse. Integration af Universal Math Conversion Library (UMCL) i RoboBraille, for dermed at understøtte konverteringen af en række forskellige matematikformater (LaTeX, MathML) til forskellige nationale og internationale notationsformater for matematik og naturvidenskab (Lambda, Nemeth, Marburg, ) Etablering af en international arbejdsgruppe af punktlæsere, matematiklærere og andre med henblik på at konsolidere antallet af konkurrerende punktskriftsystemer, undervisningsmetoder og konverteringsværktøjer til matematik og naturvidenskab fra de nuværende 2300 til 1 eller 2. Synscenter Refsnæs agter at foreslå dette på den europæiske ICEVI konference i sommeren 2013. Iværksættelse af forsøg med 3D print til produktion af taktile materialer (illustrationer, grafer, modeller, kort), som supplerer undervisningsmaterialer i matematik og naturvidenskab. 4
Undersøge og afprøve muligheder for at OCRbehandle scannede dokumenter og imageonly pdf filer med matematisk notation. Konklusion På trods af et begrænset budget i forhold til det ansøgte, har Synscenter Refsnæs i al væsentlighed gennemført projektet i overensstemmelse med dets overordnede målsætninger. I projektet har Synscenter Refsnæs undersøgt og udviklet metoder, som gør det muligt at konvertere undervisningsmaterialer i matematik og naturvidenskab til alternative formater, som kan anvendes af synshandicappede. Synscenter Refsnæs har endvidere integreret visse af disse i RoboBrailletjenesten, således at de kan anvendes af undervisere, studerende, pårørende og andre under omkostninger. På denne måde har Synscenter Refsnæs udviklet og anvist løsninger, som gør det muligt for synshandicappede og seende at udveksle information, og dermed understøtte inklusion af synshandicappede i undervisning og erhverv. Undervejs i projektet har Synscenter Refsnæs med RoboBrailletjenesten vundet WISE Award 2012 for sin understøttelse af inklusion i uddannelse. Prisen uddeles af World Innovation Summit for Education. 5