CLARIN en europæisk forskningsinfrastruktur

Transkript

1 CLARIN en europæisk forskningsinfrastruktur Bente Maegaard Institutleder, Center for Sprogteknologi, KU Vice executive director CLARIN ERIC Medlem af ESFRI Social and Cultural Innovation Strategic Working Group Dias 1

2 2 Hvad er CLARIN ERIC? Common Language Resources and Technology Infrastructure CLARIN Preparatory project (EU funding) (members from 33 countries) CLARIN-DK , støttet af den nationale forskningsinfrastrukturpulje (KU, AU, SDU, CBS, KB, DSL, DSN, NatMus) CLARIN blev en ERIC 29. februar 2012 ERIC European Research Infrastructure Consortium CLARIN er en forskningsinfrastruktur for forskere i HSS. CLARIN arbejder med sprogbaseret materiale Formål: At gøre det muligt for HSS-forskere at benytte it i deres forskning, at dele data og værktøjer (nationalt og internationalt), at sikre opbevaringen

3 Metoder til at nå målet skabe en europæisk federation af digitale infrastrukturer der indeholder sprogbaseret materiale (text, audio, video, multimodal) integrere services og værktøjer til at håndtere, udforske, forbedre og udnytte data give nem adgang dække så mange sprog som muligt samarbejde bredt Dias 3

4 CLARIN Vision 8 søjler a. Dækning: adgang til alle åbne sprogdata b. Jura: For forskning skal ikke gælde andre begrænsninger end de etiske c. Integration af data: metadata- og indholdssøgning i hele infrastrukturen d. Integration af services: kombinere avancerede værktøjer e. Preservation: varig adgang til data og værktøjer f. Nem adgang: ingen tekniske barrierer for HSS-forskere g. På tværs af grænser: discipliner, lande, kontinenter h. Bæredygtighed: økonomisk, teknisk, organisatorisk 4

5 5 CLARIN ERIC organisation CLARIN ERIC har 9 medlemmer (Austria, Bulgaria, Czech Republic, Denmark, Dutch Language Union, Estonia, Germany, Netherlands, Poland) Opbygning og drift af CLARIN betales af medlemmerne Årlig afgift In kind -bidrag I Danmark har man oprettet DIGHUMLAB som national forskningsinfrastruktur. DIGHUMLAB omfatter bl.a. Danmarks bidrag til CLARIN DIGHUMLAB er et konsortium bestående af AU, AAU, KU, SDU, og snart sikkert også KB og Statsbiblioteket

6 Data- og servicecenter Et af de nationale in kind-bidrag er et data- og servicecenter (eller flere centre, kan være distribueret) Lagre data Køre services 24/7 Ansvarlig for authentication, authorisation, access (DK: WAYF); indgå i center-federation som binder centrene sammen i Europa Give langtidsgaranti for tilgængelighed af data og værktøjer 50 år? CLARIN-DK kører for tiden på servere på Det Humanistiske Fakultet, KU I nogle af de andre lande er der universiteter der har data- og servicecentre, mens andre lande har generelle data- og servicecentre (fx Finland: CSC). Det mest normale er dog at det er universitetscentre/forskningscentre (Holland, Tyskland, Tjekkiet). Dias 6

7 7 Udfordringerne Brugere Bruger-interfaces Repositorier Services Juridiske forhold, herunder ophavsret Bæredygtighed Computing Videndeling

8 8 Brugere Karakteristika Meget bred bruger-base Spredt over hundreder af universiteter og forskningsinstitutioner (CLARIN-PP havde 215 medlemssites i 33 lande) Udfordringer CLARIN skal være brugbar for non-expert brugere Få fat i brugere der ikke selv ved at de er brugere Behov for skalerbare, let-at-anvende middleware og standarder Ikke alt vil være homogent og opfylde alle standarder gælder såvel data som metadata Risiko for at samme problem løses flere steder

9 9 Bruger-grænseflader Karakteristika Brugere er humanistiske forskere De skal dels søge i og dels behandle meget store repositorier De skal kunne designe deres egne service-workflows Udfordringer De skal kunne søge i hundrede tusinder dokumenter med forskellige strukturer De skal kunne søge i metadata som også kan være meget komplicerede Det skal være nemt vi må ikke kræve at de kan XML (fx) Vi skal give dem værktøjer der kan hjælpe dem til at designe deres service-workflows smartest muligt

10 Centre for Language Technology Eksempler på data og services Tekst, gammel eller moderne Litteratur (fiktion), fagsprog Parallele tekster til oversættelsesstudier Video, - audio og gestus Aviser Nyheder i andre medier Folketingsdebatter Gravsten Tilføje annotering (fx morfologi, lemma, analyse af gestus) Find alle forekomster af den samme gestus Find de hyppigste eksempler på xx Find alle navne i historiske tekster Find alle forskellige udtaler af bogstavet a i dansk og deres hyppighed Find positive eller negative udtryk vedr. finanssektoren i FR and DK aviser mellem 2000 and Dias 10

11 11 Karakteristika Repositorier Store datamængder, der hele tiden vokser Heterogent materiale: tekst, audio, video, multimodale data Heterogene typer: tekster, optagelser, grammatiske annoteringer, ordbøger, ontologier Mange standarder for data og metadata. Udfordringer Brugerne skal se det som én samling af data Der må være enighed om brug af standarder, for data og metadata (fx ISOcat) Der må være løsninger når standarder alligevel ikke kan overholdes CLARIN-PP havde 700 data categories, mange med definitioner, på 17 sprog CLARIN-PP havde 53 metadata-profiler, baseret på 235 komponenter, resulterende i 425,000 metadata records i VLO (Virtual Language Observatory) Granularitet: hvordan skal vi modellere vore repositorier fedoracommons kan kun klare et begrænset antal indgange

12 12 Services Karakteristika Ikke blot metadata-søgning, men også indholdssøgning og Anvendelse af avancerede sprog- og taleteknologiværktøjer som services i en service-orienteret arkitektur Udfordringer Lokaliseret forskellige steder Opererer på distribuerede uensartede samlinger Kan kombineres til workflows Interoperability standarder som får tingene til at passe sammen Brugbart for ikke-eksperter (brugerperspektivet) Indpasning af nye værktøjer og teknologier

13 13 Juridiske forhold licenser, IPR, persondata Karakteristika Heterogene adgangs- og licens-systemer Forskelle i nationale IPR-lovgivninger Adgang er for begrænset Udfordringer Ensartet adgang og authentication Letvægts licens-system CLARIN-PP har lagt en grund Arbejde på at påvirke lovgivningen nationalt og internationalt (europæisk) Arbejde for mere open access

14 14 Holdbarhed Karakteristika Ikke noget systematisk registersystem for data and tools Legacy materiale Legacy værktøjer Digital holdbarhed er relativt ny for mange centre og brugere Udfordringer Brug for persistent identifiers (løsning: fx EPIC) Brug for holdbart deskriptivt system, holdbare interoperability standards Skal kunne følge med den teknologiske udvikling Og, datacentre skal kunne udstede længerevarende garantier vedr. web services og datarepositorier

15 15 Computing Karakteristika Mange nye ressourcer er krævende (ikke tekst altsammen) Mange nye tools og teknikker er statistiske (fx data mining) eller kræver træning på store mængder data (fx talegenkendelse) Data intensive web services (video processing etc) Data og værktøjer kan være distribueret over Europe, hvilket kræver et effektivt netværk Udfordringer Udføre statistiske operationer på store distribuerede, ikke-ensartede data-samlinger Eksempel: Overføre mange gigabytes mellem web services

16 16 Videndeling, uddannelse Karakteristika CLARIN nationale teams har forskellig ekspertise Det er vigtigt at dele viden og opkvalificere teams Det er vigtigt at undervise de studerende, så næste generation er veluddannet og parat til at udnytte forskningsinfrastrukturer Udfordringer Teams er spredt ud over Europa, og på nationalt plan ud over Danmark Vi skal finde de forskere der kan og vil påtage sig ansvaret for videreuddannelse og uddannelse vi er gået i gang i DK, og alle konsortiepartnere i DIGHUMLAB ønsker at bidrage Vi skal finde ud af hvem der behøver at lære XML, regulære udtryk mv, og på hvilken måde.

17 17 CLARIN-DK i dag Resultatet af CLARIN-DK-projektet ligger på (omfatter også senere tilkomne ressourcer) Repositoriet omfatter tekstressourcer tekstannoteringer 37 lydfiler 80 videoer 45 annoteringer af mediefiler 6 værktøjer