Norsk i den digitale tidsalderen: Kvitbok om norsk språkteknologi

Transkript

1 Norsk i den digitale tidsalderen: Kvitbok om norsk språkteknologi Koenraad De Smedt, Gunn Inger Lyse, Anje Müller Gjesdal, og Gyri S. Losnegaard Georg Rehm og Hans Uszkoreit (redaktørar, kvitbokserien) Oktober 2012 Co-funded by the 7th Framework Programme and the ICT Policy Support Programme of the European Commission through the contracts T4ME, CESAR, METANET4U, META-NORD (grant agreements no , , , ).

2 META-NET META-NET: eit forskingsnettverk. Mål: styrke det teknologiske grunnlaget for eit flerspråkleg informasjonssamfunn. META-NET oktober 2012: 60 medlem, 34 land 2

3 META META: ein open, strategisk teknologiallianse (Multilingual Europe Technology Alliance) Europa: 640+ medlem frå 56 land Noreg: 30+ medlem Bli med! 3

4 META: Fordeling per region Eastern Europe 11 % Western Europe (39%): Austria, Belgium, France, Germany, Luxembourg, Netherlands, Switzerland Southern Europe 21 % Western Europe 39 % Northern Europe (29%): Denmark, Estonia, Finland, Iceland, Ireland, Latvia, Lithuania, Norway, Sweden, United Kingdom Southern Europe (21%): Croatia, Greece, Italy, Malta, Portugal, Serbia, Slovenia, Spain, Turkey Northern Europe 29 % Eastern Europe (11%): Bulgaria, Czech Republic, Hungary, Poland, Romania, Slovakia 4

5 Kvitbokserien «Language White Papers» Mål: fremje kunnskap om språkteknologiens status og potensiale. Målgruppe: journalistar, politikarar, språkbrukarar, språkteknologiske utviklarar og brukarar. 30 bind (alle off. EU-språk + nokre til) Publisert av Springer, distribuert av META-NET. PDF-versjonar er tilgjengelege gratis. 5

6 Nokre tal q Kvitbokserien: >200 nasjonale ekspertar som forfattarar, medforfattarar og bidragsytarar. >8.000 kopiar er trykte opp og distribuerte >400 medieoppslag (nettbasert, aviser, radio, fjernsyn) 6

7 Språkteknologi Språkteknologi: programvare som gjer at vi kan kontrollere datamaskiner og anna teknisk utstyr med språket vårt, skriftleg eller munnleg Stavekontroll/tekstkorrektur Nettsøk Taleteknologi Maskinomsetjing Applikasjonar kviler på underliggjande teknologi og basisressursar 7

8 Nokre behov for norsk språkteknologi Språk og utdanning Inkluderingsaspektet Innan 2025 skal alle IKT-løysingar retta mot ålmenta, til dømes sosiale nettverk eller offentlege nettsider, tilfredsstille lovkrava om universell deltaking Internasjonale aspekt og fridomen til å velje ditt eige språk Norsk på internett: 93% av norske innbyggjarar har internett 8

9 Status for norsk bakgrunn Språkpolitikk/satsingar Språkrådet har spelt ei viktig rolle for å få behovet for norsk språkteknologi på den politiske dagsordenen NFR: Språkteknologiprogrammet KUNSTI (2002). Ny kompetanse og eit betre grunnlag for norsk språkteknologi Språkbanken (oppretta i 2010): ei av dei viktegaste språkpolitiske satsingane vi har hatt i Noreg i nyare tid Trass ei god utvikling innan norsk språkteknologi er norsk språk framleis ikkje sikra ei digital framtid 9

10 Støtta for språkteknologi for europeiske språk Machine Transla:on Speech Processing Text Analysis Excellent support Good support English English English Moderate support French Spanish Finnish German Spanish (+5 more) Dutch French German Italian Spanish Fragmentary support German Italian (+ 5 more) Danish Norwegian (Bokmål, Nynorsk) Swedish (+ 12 more) Danish Finnish Norwegian (Bokmål, Nynorsk) Swedish (+ 12 more) Weak/no support Danish Finnish Norwegian (Bokmål, Nynorsk) (+ 17 more) Icelandic Latvian Lithuanian (+ 3 more) Icelandic Latvian Lithuanian (+ 5 more) Danish French Finnish Icelandic Speech and Text Spanish English Norwegian (Bokmål, Latvian Resources Swedish Nynorsk) (+ 3 more) (+ 6 more) (+ 12 more) 10

11 Maskinomsetjing Maskinomsetjing mellom nbo og nno: eitt tovegs, fritt tilgjengeleg program eitt einvegs, kommersielt program. Maskinomsetjing mellom norsk og andre språk: finst det to gratis, fritt tilgjengelege program eitt kommersielt program. Få fritt tilgjengelege oversetjingssminne (translation memories) bortsett fra norsk-nordsamisk. 11

12 Taleprosessering Talesyntese: Fleire norsktalande stemmer er tilgjengelege, men utviklarar finn ikkje norsk talesyntese i dei vanlege operativsystema. Taleattkjenning: lita støtte for norsk få generelle taleattkjennarar (mogleg unntak: Dragon Dictation) eitt spesialisert dikteringsverktøy for helsevesenet med varierande kvalitet. 12

13 Tekstanalyse For norsk finst både generelle stavekontrollar og skrivestøtte for dyslektikarar. Dei fleste norske korrekturlesingsverktøya treng å utvikle meir avanserte språkteknologiske verktøy. Manglar språkspesifikke verktøy for automatisk omsetjing og omsetjingsstøtte Verktøy med omsetjingsminne (t.d. Trados) finst, men dei har inga språkspesifikk tilpassing til norsk utover ein grunnleggjande stavekontroll. 13

14 Ressursar Forskingssektoren har ressursar (leksikon, ordlister, tekstkorpus), men dei fleste har begrensa tilgong. Mange ressursar er dårleg dokumenterte, har uklare bruksbetingelsar, manglar koding i standardformat og er ofte fragmenterte. 14

15 Støtta for språkteknologi for europeiske språk engelsk nederlandsk fransk tysk italiensk spansk katalansk tsjekkisk finsk ungarsk polsk portugisisk svensk baskisk bulgarsk dansk galisisk gresk norsk rumensk slovakisk slovensk kroatisk estisk islandsk irsk latvisk litausk maltesisk serbisk God støtte gjennom Språkteknologi Svak eller inga støtte 15

16 Nøkkelobservasjonar Store skilnader mellom språka og områda når det kjem til støtte for Språkteknologi (ST). ST-støtta for engelsk ligg langt framfor andre språk. Sjølv støtta for engelsk er ikkje god nok. Gapet mellom engelsk og dei andre språka blir stadig større Minst 21 europeiske språk står i fare for digital død (språk som hamna kategorien svak eller inga støtte minst ein gong.) 16

17 Kva treng vi? Langsiktige finansieringsordningar, både for dei to norske målformene og for minoritetsspråk Ressursar: Betre tilgang på eksisterande ressursar (opne lisensar, standardformat) FoU: Utvikling av manglande basisressursar og verktøy (t.d. fleirspråklege ressursar og verktøy) Forsking for språkspesifikk tilpassing av generell teknologi. Grunnforsking på avanserte løysingar Samordna formidling og utveksling av forskingsresultat for å synleggjere dei betre overfor potensielle brukarar (t.d. industri). NB. Det kostar like mykje (og tek like lang tid) å utvikle språkressursar for eit lite språk som for eit større språk. 17

18 Pressekampanje: opgørelse kun godt halvdelen af kvinder med brystkræft, som bliver behandlet inden for det fastsatte mål på 18 dage i de såkaldte kræftpakker.»pengene betyder, at der kommer bedre Digital forhold for kræftpatienter. Det språkdød er vigtigt, at Flere får kræft og flere overlever > 400 mediesaker (5. okt, 2012). leve den frygtede sygdom. Det er målet, når politikere i Region Hovedstaden nu lægger op til at udmønte en pulje på 32 mio. kr. til at øge personalet og udvide behandlingskapaciteten på kræftområdet på en række af regionens hospitaler. Pengene kommer, efter at regionen er blevet kritiseret for, at alt for mange kræftpatienter er for lang tid om at komme igennem systemet. F.eks. er det ifølge den seneste folk får mulighed for at blive behandlet hurtigt, så de ikke skal gå rundt og være bekymrede,«siger formand for kvalitetsudvalget i Region Hovedstaden, Kirsten Lee (R). Konkret er hensigten at udvide den onkologiske kapacitet det vil sige stråle- og kemobehandlingen på såvel Rigshospitalet, Herlev Hospital, Hillerød Hospital og Bornholms citeten gradvist skal øges hele tiden. Servicemål er et godt initiativ, og et mål på pct. er nok det realistiske, selv om udgangspunktet bør være 100 procent,«siger Leif Vestergaard Pedersen media, og tilføjer: online, radio, Negativ udvikling Alle media (trykte fjernsyn). Hospital. Desuden sættes der penge af til at øge antallet af operationer og udvide ambulatoriekapaciteten på det urologiske område på Herlev, det også at indføre såkaldte servicemål for, hvor stor en andel af patienterne der skal i behandling inden for de fastsatte tidsgrænser i kræftpakkerne. Lignende servicemål findes i forvejen i Region Midtjylland og Region Syddanmark og betragtes som et middel til at presse hospitalerne og signalere, at bestemte områder har særlig høj politisk bevågenhed. I de to regioner er målet, at henholdvis 90 og 95 pct. af patienterne skal igennem systemet inden for forløbstiderne, og Kirsten Lee forventer, at et eventuelt servicemål i Region Hovedstaden kommer til at ligge på et tilsvarende niveau. I Kræftens Bekæmpelse hilser direktør Leif Vestergaard Pedersen det velkomment, at Region Hovedstaden nu bruger 32 mio. kr. til at udvide kapaciteten.»det har vist sig, at der er et forbedringspotentiale på dette område, og derfor er det godt, at man prioriterer det. Flere og flere får kræft, og flere og flere overlever. Det betyder, at kapa-»men så er det også vigtigt at holde fast i det mål og ikke stille sig tilfreds med, at 80 eller 85 pct. kommer igennem til tiden.«b Dekning i 41 land i 28 ulike språk. Ord. Forskere arbejder på at forbedre danske oversættelser på internettet. Dårlig sprogteknologi truer dansk på nettet Af Jens Ejsing // ejs@berlingske.dk Det danske sprog har det svært i den digitale verden. Det konstaterer danske sprogforskere- og eksperter i forbindelse med den nye internationale undersøgelse META-NET, der ser nærmere på, hvordan en lang række mindre, europæiske sprog som dansk klarer sig i den digitale verden. Forskerne fra bl.a. Københavns Universitet og Dansk Sprognævn når frem til, at dansk i fremtiden kan få det endnu sværere i den digitale verden, fordi Google Translate, GPSer, applikationer til smartphones og andre sprogteknologiske programmer ikke i tilstrækkelig grad formår at behandle de mange nuancer i det danske sprog. Professor i sprogteknologi på Københavns Universitet, Bolette Sandford Pedersen, mener, at der er brug for en slags digital dansk sprogbank fyldt med data, så bl.a. oversættelser bliver så præcise og gode som muligt. Med hjælp fra sprogbanken kan forskere ifølge professoren hjælpe virksomheder med at forbedre programmer, der skal håndtere sproglig viden om bl.a. maskinoversættelse, talegenkendelse og informationssøgning. Dermed vil der blive længere mellem fejlagtige oversættelser, som når»hæld olie på panden«med Google Translate bliver til»pour oil on the forehead«på engelsk. Oversættelser, der er i værste fald er så upræcise, at danskere ender med at fravælge deres eget sprog i den digitale verden. Sproghjælp til virksomheder Hun anerkender dog, at»teknologien til automatiske oversættelser på mange måder er fantastisk«.»den er bare ikke god nok, når det gælder dansk,«siger hun:»det er som om, at vi i et vist omfang lægger det i hænderne på Google eller andre virksomheder at afgøre, om dansk skal behandles godt nok eller ej. Men det danske marked er ikke stort for dem. Spørgsmålet er derfor, fakta H Sådan læses grafikken: Procentdel uden for servicemål Procentdel inden for servicemål Positiv udvikling INFOGRAFIK: HENRIK KIÆR / TEKST: FLEMMING STEEN PEDERSEN Sprog i Europa H Der er omkring 80 sprog i EU. For 21 af dem også dansk gælder det, at der er store sprogteknologiske mangler, når det gælder bl.a. maskinoversættelse, talegenkendelse og informationssøgning. H Ifølge en EU-undersøgelse køber et stigende antal europæiske internetbrugere varer eller tjenester på nettet, hvor det sprog, der bliver anvendt, ikke er deres eget. Det gælder over halvdelen af brugerne. H Over hver tredje anvender et fremmedsprog til at skrive mail eller indlæg på nettet. PROSTATAKRÆFT Servicemål: dage KILDE: REGION HOVEDSTADEN om vi ikke i højere grad selv skal gøre noget for at sikre, at det fornødne datamateriale er til rådighed, så vi får gode oversættelser og anden god sprogteknologi. Det kunne f.eks. være ved, at vi gjorde en indsats for at få oprettet en sprogbank med en masse beriget materiale om dansk.hvis vi hele tiden oplever, at oversættelser er behæftede med fejl, tør vi ikke stole på dem,«siger hun og understreger, at»fejlagtige oversættelser kan føre til store misforståelser«. Ifølge Dansk Sprognævns direktør, Sabine Kirchmeier-Andersen, kan dårlig sprogteknologi have konsekvenser for mange danskere, der ikke er så gode til engelsk.»hvis vi har ambitioner om at bruge det danske sprog i fremtidens teknologiske univers, skal der gøres en indsats nu for at fastholde ekspertise og udbygge den viden, vi har,«mener hun:»ellers risikerer vi, at kun folk, der taler flydende engelsk, vil få glæde af de nye generationer af web-, tele- og robotteknologi, der er på vej.«b

19 Kontakt med norske media NRK P2 KulturnyQ: Digital språkdød (26. sept. 2012) Computerworld: Norsk språk i faresonen (25.sept. 2012) NRK P2 Språkteigen (18. mars 2012). Kronikk i Bergens Tidende: Datamaskinen må skjønne norsk. Knut Kvale (Telenor), Torbjørn Nordgård (Lingit), Torbjørn Svendsen (NTNU) og META- NORD (19. nov. 2011). Aaenposten: Digital flom av ord fyller Språkbanken (14. nov. 2011) Forskning.no, nrk.no: Øyestyring gir Brage et språk (META- NORD + bedriaen Tobii) (19. okt. 2011) Kronikk i Dagens Næringsliv: Dårlig språk er dårlig bu>kk (26. sept. 2011) Forskning.no: Sinke i språkhjelpemidler (26. sept.2011)

20 Neste steg META-SHARE: distribuert katalog for språkressursar og verktøy Fungerer i dag (jf. demo seinare) Køyrer på >20 tjenermaskiner i Europa I oppstartsfasen, vert offisielt lansert i desember 2012/januar 2013 Strategisk forskningsagenda Kobling til åpen data-initiativ Horizon