Korpus 2000 m.fl. Jørg Asmussen, Det Danske Sprog- og Litteraturselskab, DSL. 24. april Korpus / 47

Transkript

1 Korpus 2000 mfl Jørg Asmussen, Det Danske Sprog- og Litteraturselskab, DSL 24 april 2006 Korpus / 47

2 Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Det Danske Sprog- og Litteraturselskab: Ordbøger, korpora og meget andet Korpus / 47

3 Det Danske Sprog- og Litteraturselskab, DSL Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Det Danske Sprog- og Litteraturselskab: Udgiverselskab, grundlagt 1911 Institution under Kulturministeriet Delvis offentligt, delvis privat finansieret (fonde) Ca 45 medarbejdere Korpus / 47

4 Det Danske Sprog- og Litteraturselskab, DSL Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Det Danske Sprog- og Litteraturselskab: Udgiverselskab, grundlagt 1911 Institution under Kulturministeriet Delvis offentligt, delvis privat finansieret (fonde) Ca 45 medarbejdere Opgaver: Tekstudgivelser Bibliografier Sproghistoriske fremstillinger Ordbøger og sprogteknologi Korpus / 47

5 Ordbog over det danske Sprog Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Produkt: ekscerptbaseret ordbog over dansk i perioden Målgruppe: den dannede læser Udarbejdet: Digitalt format: typografisk opmærket Korpus / 47

6 Ordbog over det danske Sprog Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Produkt: ekscerptbaseret ordbog over dansk i perioden Målgruppe: den dannede læser Udarbejdet: Digitalt format: typografisk opmærket Offentlig web-version: Korpus / 47

7 Den Danske Ordbog Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Produkt: ordbog over dansk i perioden 1950 til i dag Målgruppe: sproginteresserede læsere Udarbejdet: Digitalt format: detaljeret XML Korpus / 47

8 Den Danske Ordbog Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Produkt: ordbog over dansk i perioden 1950 til i dag Målgruppe: sproginteresserede læsere Udarbejdet: Digitalt format: detaljeret XML Eksperimentel web-prototype: Korpus / 47

9 Korpus 2000 Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Produkt: web-tilgængeligt referencekorpus over dansk sprog (Korpus 90) og (Korpus 2000) på 56 mio lbd ord i alt Målgruppe: sproginteresserede Udarbejdet: Digitalt format: variabelt Korpus / 47

10 Korpus 2000 Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Produkt: web-tilgængeligt referencekorpus over dansk sprog (Korpus 90) og (Korpus 2000) på 56 mio lbd ord i alt Målgruppe: sproginteresserede Udarbejdet: Digitalt format: variabelt Offentlig web-adgang: Korpus / 47

11 Flere korpora Overblik ODS Den Danske Ordbog Korpus 2000 Den Danske Ordbogs Korpus: 40 mio tekstord fra perioden , annoteret med tekstoplysninger Søgeværktøj: Semaskop Flere korpora Søgeværktøjer Korpus / 47

12 Flere korpora Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Den Danske Ordbogs Korpus: 40 mio tekstord fra perioden , annoteret med tekstoplysninger Søgeværktøj: Semaskop Korpus 90: 28 mio tekstord fra perioden , annoteret med morfologiske og syntaktiske oplysninger Søgeværktøj: CQP + webgrænseflade Korpus / 47

13 Flere korpora Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Den Danske Ordbogs Korpus: 40 mio tekstord fra perioden , annoteret med tekstoplysninger Søgeværktøj: Semaskop Korpus 90: 28 mio tekstord fra perioden , annoteret med morfologiske og syntaktiske oplysninger Søgeværktøj: CQP + webgrænseflade Korpus 2000: 28 mio tekstord fra perioden , annoteret med morfologiske og syntaktiske oplysninger Søgeværktøj: CQP + webgrænseflade Korpus / 47

14 Flere korpora Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Den Danske Ordbogs Korpus: 40 mio tekstord fra perioden , annoteret med tekstoplysninger Søgeværktøj: Semaskop Korpus 90: 28 mio tekstord fra perioden , annoteret med morfologiske og syntaktiske oplysninger Søgeværktøj: CQP + webgrænseflade Korpus 2000: 28 mio tekstord fra perioden , annoteret med morfologiske og syntaktiske oplysninger Søgeværktøj: CQP + webgrænseflade DK87 90: 4 mio tekstord fra perioden , annoteret med tekstoplysninger Søgeværktøj: Semaskop Korpus / 47

15 Flere korpora Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Den Danske Ordbogs Korpus: 40 mio tekstord fra perioden , annoteret med tekstoplysninger Søgeværktøj: Semaskop Korpus 90: 28 mio tekstord fra perioden , annoteret med morfologiske og syntaktiske oplysninger Søgeværktøj: CQP + webgrænseflade Korpus 2000: 28 mio tekstord fra perioden , annoteret med morfologiske og syntaktiske oplysninger Søgeværktøj: CQP + webgrænseflade DK87 90: 4 mio tekstord fra perioden , annoteret med tekstoplysninger Søgeværktøj: Semaskop Parole: tekstord fra 1990 erne, annoteret med tekstoplysninger og morfologiske oplysninger Søgeværktøj: Semaskop Korpus / 47

16 Søgeværktøjer Overblik ODS Den Danske Ordbog Korpus 2000 Semaskop: Windows-baseret konkordansværktøj, som kan hentes fra DSL s hjemmeside sammen en indekseret version af DDO s korpus Flere korpora Søgeværktøjer Korpus / 47

17 Søgeværktøjer Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Semaskop: Windows-baseret konkordansværktøj, som kan hentes fra DSL s hjemmeside sammen en indekseret version af DDO s korpus IMS Corpus Work Bench, CWB: Institut für maschinelle Sprachverarbeitung, IMS, Univ Stuttgart , open source 2006 (Stefan Evert mfl), Unix/Linux Korpus / 47

18 Søgeværktøjer Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Semaskop: Windows-baseret konkordansværktøj, som kan hentes fra DSL s hjemmeside sammen en indekseret version af DDO s korpus IMS Corpus Work Bench, CWB: Institut für maschinelle Sprachverarbeitung, IMS, Univ Stuttgart , open source 2006 (Stefan Evert mfl), Unix/Linux Corpus Query Processor, CQP: selve korpussøgemaskinen, kommandolinjeorienteret, søgesprog til komplekse søgninger, ekstremt hurtig Korpus / 47

19 Søgeværktøjer Overblik ODS Den Danske Ordbog Korpus 2000 Flere korpora Søgeværktøjer Semaskop: Windows-baseret konkordansværktøj, som kan hentes fra DSL s hjemmeside sammen en indekseret version af DDO s korpus IMS Corpus Work Bench, CWB: Institut für maschinelle Sprachverarbeitung, IMS, Univ Stuttgart , open source 2006 (Stefan Evert mfl), Unix/Linux Corpus Query Processor, CQP: selve korpussøgemaskinen, kommandolinjeorienteret, søgesprog til komplekse søgninger, ekstremt hurtig Brugere: DSL (Korpus 2000 almindeligt interface og ekspertinterface); Syddansk Universitet; CBS; Tekstlaboratoriet, universitetet i Oslo; Språkbanken, universitetet i Göteborg; Korpus / 47

20 Afgrænsning Empirisme Introspektion? Introduktion til arbejdet med korpora Korpus / 47

21 Afgrænsning Afgrænsning Empirisme korpus Introspektion? samling tekst Korpus / 47

22 Afgrænsning Afgrænsning Empirisme korpus Introspektion? samling tekst digitaliseret sammenhængende og autentisk (ned)skrevet objektsprog Korpus / 47

23 Afgrænsning Afgrænsning Empirisme korpus Introspektion? eksplicit struktureret samling sprogvidenskab uoverskuelig stor tekst digitaliseret sammenhængende og autentisk (ned)skrevet objektsprog Korpus / 47

24 Afgrænsning Afgrænsning Empirisme Introspektion? ordbog stak aviser??? korpus eksplicit struktureret ordseddelsamling?? samling sprogvidenskab udskrevet jobsamtale uoverskuelig stor båndoptaget radioudsendelse tekst digitaliseret sammenhængende og autentisk (ned)skrevet objektsprog Korpus / 47

25 Empirisme vs rationalisme Afgrænsning Inden for sprogbeskrivelsen er den empiriske tilgang over for den rationalistiske bla karakteriseret ved Empirisme Introspektion? Genstanden for beskrivelse Materialegrundlaget Metode Beskrivelse af sproglig regelmæssighed Empirisme Rationalisme Korpus / 47

26 Empirisme vs rationalisme Afgrænsning Inden for sprogbeskrivelsen er den empiriske tilgang over for den rationalistiske bla karakteriseret ved Empirisme Introspektion? Empirisme Rationalisme Genstanden for beskrivelse performans kompetens Materialegrundlaget Metode Beskrivelse af sproglig regelmæssighed Korpus / 47

27 Empirisme vs rationalisme Afgrænsning Inden for sprogbeskrivelsen er den empiriske tilgang over for den rationalistiske bla karakteriseret ved Empirisme Introspektion? Empirisme Rationalisme Genstanden for beskrivelse performans kompetens Materialegrundlaget tekstkorpora sproglige ytringer Metode Beskrivelse af sproglig regelmæssighed Korpus / 47

28 Empirisme vs rationalisme Afgrænsning Inden for sprogbeskrivelsen er den empiriske tilgang over for den rationalistiske bla karakteriseret ved Empirisme Introspektion? Empirisme Rationalisme Genstanden for beskrivelse performans kompetens Materialegrundlaget tekstkorpora sproglige ytringer Metode optælling introspektion Beskrivelse af sproglig regelmæssighed Korpus / 47

29 Empirisme vs rationalisme Afgrænsning Inden for sprogbeskrivelsen er den empiriske tilgang over for den rationalistiske bla karakteriseret ved Empirisme Introspektion? Empirisme Rationalisme Genstanden for beskrivelse performans kompetens Materialegrundlaget tekstkorpora sproglige ytringer Metode optælling introspektion Beskrivelse af sproglig regelmæssighed sandsynligheder regler Korpus / 47

30 Empirisme vs rationalisme Afgrænsning Inden for sprogbeskrivelsen er den empiriske tilgang over for den rationalistiske bla karakteriseret ved Empirisme Introspektion? Empirisme Rationalisme Genstanden for beskrivelse performans kompetens Materialegrundlaget tekstkorpora sproglige ytringer Metode optælling introspektion Beskrivelse af sproglig regelmæssighed sandsynligheder regler Altså er I live in New York mere grammatisk end I live in Dayton, Ohio Korpus / 47

31 Empirisme vs rationalisme Afgrænsning Inden for sprogbeskrivelsen er den empiriske tilgang over for den rationalistiske bla karakteriseret ved Empirisme Introspektion? Empirisme Rationalisme Genstanden for beskrivelse performans kompetens Materialegrundlaget tekstkorpora sproglige ytringer Metode optælling introspektion Beskrivelse af sproglig regelmæssighed sandsynligheder regler Altså er I live in New York mere grammatisk end I live in Dayton, Ohio One doesn t study all of botany by making artificial flowers Korpus / 47

32 Empirisme vs rationalisme Afgrænsning Inden for sprogbeskrivelsen er den empiriske tilgang over for den rationalistiske bla karakteriseret ved Empirisme Introspektion? Empirisme Rationalisme Genstanden for beskrivelse performans kompetens Materialegrundlaget tekstkorpora sproglige ytringer Metode optælling introspektion Beskrivelse af sproglig regelmæssighed sandsynligheder regler Grundantagelsen her: målet er at beskrive og måske forklare sprogets regelmæssigheder Ingen teoretisk ramme eller metode klarer dette fuldkomment, men belyser forskellige sproglige aspekter fra forskellige vinkler Ingen er per se bedre end de andre, men alle kan supplere hinanden Korpus / 47

33 Prøv: introspektion Afgrænsning Empirisme Introspektion? Giv en ordbogsagtig beskrivelse af betydningerne af de følgende ord uden at bruge andre hjælpemidler end den viden, I har om dansk: bivirkning, sideeffekt Er der en forskel på betydningen af det engelske side effect og det danske sideeffekt? Hvilken? Korpus / 47

34 Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Undersøgelse af enkeltord Genitiver! Flere undersøgelser? Korpus / 47

35 Sådan gør man 1 Indtast ord: Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Genitiver! Flere undersøgelser? Korpus / 47

36 Sådan gør man 2 Præciser opslagsord: Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Genitiver! Flere undersøgelser? Korpus / 47

37 Sådan gør man 3 Oversigt med hyppigheder: Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Genitiver! Flere undersøgelser? Korpus / 47

38 Sådan gør man 4 Konkordans: Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Genitiver! Flere undersøgelser? Korpus / 47

39 Morfosyntaktisk opmærkning Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Genitiver! Flere undersøgelser? Korpus / 47!" #$% #&' ( ) ( * ) +, - " /0 1 2 /- % /- % 3 4 ", ( /! 5 ( 6 ( ", ( /! : ; <= >9?@ A3 B / " C 5 D!, " 2 E 6 B / " C 5 D!, " 2 E 7 ; <= >9?@ A < ; : 3 F, " 6 F,G 7 0 G 3 H JI 8 4 A H 6! 7 8J 4! * I 9 > A3,0 0 6, ! *!?@ A3 0 K K 5 7 ; =I >9?@ A LNM 0! 6 0! 7 O /QP, O O 3 + A +? 0 K 6 0 K ( ( 7,R ) 3 H JI 8 4 A > 8 ; S 2 "R D 6 2 "R D 7 0 G 3 H = > 8 4 A = +T P 8 ; S 0 ( / " 6 0 ( / 7 ; J4 =I >9?@ A LNM " 6 " 7 " 53 = 9 I! *!?@ A < ; : 3 " 6 G C" 7 0 G 3! - P O 5 / 3 H JI 8 4 A > < P 0 " 6 0 D ( 7,U R,! ( 3 89 H +?@ A3 8 ( V " C G! 6 ( V " C G! 7 89:! *!! 9?@ A < + LNM / D 6 / D 7 O /QP B! 3 + A +? /0 6 /0 7 " 53 = 9 I! *! A < ; : 3 / B ( 6 / B ( 7 (, H A 89 TH 3 D W " 6 D W " 7 0 G 3! - P O 5 / 3 H JI 8 4 A > < P ( 6! 7 I J < ; X < A > P G C" ( 6 G C" 7 89: ; <= >9?@ A? " " 7 O /QP / O 3 + A +? R 0 R 5 D ( 6 R 0 R 5 D 7 89: ; <= >9?@ A? +, ( 6, ( 7 = A = /G " V " 6 /G " V " 7 0 G 3 H = > 8 4 A = +T P 8, " ( 2, " " " "! 6, " ( Y 2, " " " 7 O /0 - /R! 3 ; J4 I 9 >?@ A LNZ[ \ 3

40 Løsning: introspektion Eksemplerne fra Korpus 90 Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Genitiver! Flere undersøgelser? Korpus / 47

41 Løsning: introspektion Eksemplerne fra Korpus 2000 Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Genitiver! Flere undersøgelser? Korpus / 47

42 Prøv: sammenligning af ord-hyppigheder Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Genitiver! Flere undersøgelser? Ords hyppigheder Find frem til hyppigheden af følgende ord i Korpus 90 og Korpus 2000: mobiltelefon, fastnettelefon, kambrium, benchmarking Hvad kan man konkludere på baggrund af resultaterne? Og hvad bør man ikke konkludere? Grammatiske formers hyppigheder Find frem til genitivformerne af lemmaet bil i Korpus 90 og Korpus 2000 Hvad kan man konkludere på baggrund af resultatet? Og hvad bør man ikke konkludere? Korpus / 47

43 Løsning: sammenligning af ord-hyppigheder Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Konklusioner: For mobiltelefon, biltelefon, benchmarking: forventelige resultater, korpus afspejler formentlig forandringerne i sprogbrugen i samfundet som helhed For kambrium: Genitiver! Flere undersøgelser? inden for visse rammer er sammenligninger upålidelige; springet fra 0 til 4 forekomster er åbenbart ikke statistisk sikkert; inden for visse marginer giver det åbenbart ingen mening at foretage sammenligninger: en tilfældig fagbog i det ene korpus kan forvrænge resultaterne Korpus / 47

44 Prøv: genitivformers hyppigheder Find frem til genitivformerne af lemmaerne bil, cykel, mand Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? i Korpus 90 og Korpus 2000 Hvad kan man konkludere på baggrund af resultatet? Hvad bør man ikke konkludere? Genitiver! Flere undersøgelser? Korpus / 47

45 Løsning: genitivformers hyppigheder Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Antal forekomster af nogle genitiver Genitiv af Korpus 2000 Korpus 90 bil cykel mand Genitiver? Genitiver! Flere undersøgelser? Umiddelbare konklusioner på baggrund af tallene? Metodiske fælder? Korpus / 47

46 Løsning: genitivformers hyppigheder Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Sådan bør udbredelsen af genitivformerne beregnes bil i K , heraf =393 genitivformer (4,7%) bil i K , heraf =586 genitivformer (5,7%) Kommentarer? Genitiver? Genitiver! Flere undersøgelser? Korpus / 47

47 Løsning: genitivformers hyppigheder Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Relativt antal forekomster af nogle genitiver Genitiv af Korpus 2000 Korpus 90 bil 4,7% 5,7% cykel 1,7% 2,0% mand 6,5% 6,5% Genitiver? Genitiver! Flere undersøgelser? Kommentarer? Korpus / 47

48 Prøv: flere ord-undersøgelser Udfør undersøgelser på de følgende ord og kommenter resultaterne: Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Genitiver! Flere undersøgelser? tale dyr kompleks vs kompliceret internet vs web glasnost hånd nikkedukke bmi kvindagtig kysseri Korpus / 47

49 Prøv: flere ord-undersøgelser Sådan gør man Opmærkning Introspektion! Hyppigheder? Hyppigheder! Genitiver? Genitiver! Flere undersøgelser? Udfør undersøgelser på de følgende ord og kommenter resultaterne: tale homograf, højfrekvent, faste vendinger dyr homograf, højfrekvent, faste vendinger kompleks vs kompliceret homograf, adskilte søgninger internet vs web kun i Korpus 2000, adskilte søgninger glasnost kun i Korpus 90 hånd højfrekvent, faste vendinger nikkedukke få eksempler bmi søgning mislykkes kvindagtig få eksempler kysseri søgning kun på indtastet form Korpus / 47

50 Sådan gør man Sammenligning? Flere undersøgelser? Fremfinding af kollokater Korpus / 47

51 Sådan gør man 1 Indtast ord, som du vil finde kollokater til Sådan gør man Sammenligning? Flere undersøgelser? Korpus / 47

52 Sådan gør man 2 Præciser din ord-søgning Sådan gør man Sammenligning? Flere undersøgelser? Korpus / 47

53 Sådan gør man 3 Du får vist en oversigt over hyppigheder Sådan gør man Sammenligning? Flere undersøgelser? Klik herefter på knappen Nabo-ord Korpus / 47

54 Sådan gør man 4 Du får vist en oversigt over fremtrædende kollokater Sådan gør man Sammenligning? Flere undersøgelser? Hvad kan man konkludere på baggrund af denne oversigt? Korpus / 47

55 Prøv: sammenlignende kollokationsundersøgelser Sådan gør man Eksempel: terrorist Hvad kan man konkludere på baggrund af nedenstående kollokationsundersøgelse? Sammenligning? Flere undersøgelser? Korpus / 47

56 Prøv: sammenlignende kollokationsundersøgelser Sådan gør man Eksempel: jul Hvad kan man konkludere på baggrund af nedenstående kollokationsundersøgelse? Sammenligning? Flere undersøgelser? Korpus / 47

57 Prøv: sammenlignende kollokationsundersøgelser Sådan gør man Eksempel: juletræ Hvad kan man konkludere på baggrund af nedenstående kollokationsundersøgelse? Sammenligning? Flere undersøgelser? Korpus / 47

58 Prøv: flere kollokationsundersøgelser Lav kollokationsundersøgelser for de flg ord og kommenter: Sådan gør man Sammenligning? Flere undersøgelser? tale dyr kompleks vs kompliceret internet vs web hånd sluge tysk dansk tjekkisk Korpus / 47

59 Prøv: flere kollokationsundersøgelser Lav kollokationsundersøgelser for de flg ord og kommenter: Sådan gør man Sammenligning? Flere undersøgelser? tale komme på tale, i daglig tale; mildest/bogstavelig(t) talt dyr vilde/truede dyr; i dyre domme, et dyrt bekendtskab kompleks vs kompliceret uhyre/yderst/særdeles kompliceret, meget kompleks; kompliceret benbrud/system, komplekst system internet vs web opkobling til internettet, surfe på internettet via internet(et); web er for lavfrekvent hånd (give en) hjælpende hånd, fremstrakt hånd, udstrakt hånd (kun K2000?); have hånd i hanke med, som hånd i handske, sluge sluge (nogle) kameler (K2000); sluge kamelen (K90); (det er) en bitter pille at sluge tysk K90: genforening, bundesbank, besættelsesmagt, krigstjeneste, forbundskansler; K2000: bundesliga, ugemagasin, genforening, bundesbank, besættelsesmagt dansk K90: fodbolds, særordning, retskrivning, erhvervslivs, særaftale; K2000: statsobligation, EU-forbehold, filmbranche, busvognmænd, kvindelandshold tjekkisk K90: republik, jøder; K2000: teleselskab, hovedstad, øl, tv, politik Korpus / 47

60 Pause til 10:05 Korpus / 47

61 Sådan gør man Undersøgelse af ordgrupper Flere eksempler ikke i ledsætninger? ikke i ledsætninger! Med opmærkning Korpus / 47

62 Sådan gør man 1 Indtast ordgruppe: Sådan gør man Flere eksempler ikke i ledsætninger? ikke i ledsætninger! Med opmærkning Korpus / 47

63 Sådan gør man 2 Modificer ordgruppen: Sådan gør man Flere eksempler ikke i ledsætninger? ikke i ledsætninger! Med opmærkning Korpus / 47

64 Sådan gør man 3 Konkordans: Sådan gør man Flere eksempler ikke i ledsætninger? ikke i ledsætninger! Med opmærkning Hvad kan man konkludere på baggrund af konkordansen? Korpus / 47

65 Flere eksempler Uproblematiske søgninger Sådan gør man Flere eksempler data mining bogstavelig talt kvalitets underholdning udstrakt hånd vs fremstrakt hånd i K2000 og K90 ikke i ledsætninger? ikke i ledsætninger! Særskrevne ord Med opmærkning i dag, inden for, ad hoc Korpus / 47

66 Flere eksempler Sådan gør man Uproblematiske søgninger data mining kun i Korpus 2000 bogstavelig talt kvalitets underholdning uofficiel særskrivning udstrakt hånd vs fremstrakt hånd i K2000 og K90 Flere eksempler ikke i ledsætninger? ikke i ledsætninger! Særskrevne ord Med opmærkning i dag, inden for, ad hoc behandles som ét ord Korpus / 47

67 Prøv: position af ikke i ledsætninger Position af ikke i hovedsætninger: finit negation Peter drikker ikke te Sådan gør man Flere eksempler ikke i ledsætninger? ikke i ledsætninger! Standardposition af ikke i ledsætninger: negation finit Anne serverer kaffe fordi Peter ikke drikker te Med opmærkning Substandardposition af ikke i ledsætninger: finit negation Anne serverer kaffe fordi Peter drikker ikke te Korpus / 47

68 Prøv: position af ikke i ledsætninger Position af ikke i hovedsætninger: finit negation Peter drikker ikke te Sådan gør man Flere eksempler ikke i ledsætninger? ikke i ledsætninger! Standardposition af ikke i ledsætninger: negation finit Anne serverer kaffe fordi Peter ikke drikker te Med opmærkning Substandardposition af ikke i ledsætninger: finit negation Anne serverer kaffe fordi Peter drikker ikke te Formuler en søgning i Korpus 2000, som gør det muligt at finde eksempler på substandardpostionen af ikke i ledsætninger Korpus / 47

69 Løsning: position af ikke i ledsætninger Sådan gør man Flere eksempler ikke i ledsætninger? ikke i ledsætninger! Med opmærkning I Korpus 90 er der 387 eksempler konklusioner? Korpus / 47

70 Brug af den morfosyntaktiske opmærkning Sådan gør man Flere eksempler ikke i ledsætninger? ikke i ledsætninger! Med opmærkning blod på [sb] tysker[sb] være[vb] [adj] holde[vb] [præp] [sb] spise[vb] [sb] æde[vb] [sb] finde[vb] [adv] sted den [adj] problemstilling Korpus / 47

71 Brug af den morfosyntaktiske opmærkning Sådan gør man Flere eksempler ikke i ledsætninger? ikke i ledsætninger! Med opmærkning blod på [sb] tanden, fingrene, hænderne, tysker[sb] være[vb] [adj] slemme, kolde, bedre, bevidste, dårligere, enige, kede, stolte, hurtigere, konservative, søde holde[vb] [præp] [sb] holdes til ilden, holdt som gidsler, holde på hat (stok og briller), holde i kø, holdes uden for arbejdsmarkedet spise[vb] [sb] æg, druesukker, brød, kød, brunch, mad, pillerne, æbler, aftensmad, æde[vb] [sb] manden, plankton, græs, halm, ananas, ordene, skattefordelen, arbejdspladser, kaninen, finde[vb] [adv] sted ikke, imidlertid, sædvanligvis, først, stadig, således også, i øvrigt, i høj grad, altid, den [adj] problemstilling praktiske, konkrete, metodiske, Korpus / 47

72 Jokertegn Avancerede undersøgelser i Korpus 2000 Regulære udtryk Eksempler Søgning Orddannelse Korpus / 47

73 Jokertegn Jokertegn Regulære udtryk Eksempler Søgning Orddannelse Princippet? matcher ét vilkårligt tegn m??ing matcher making, maling, mening, mesing, mining, moving og måling * matcher nul eller flere vilkårlige tegn bet*ing matcher bla betaling, betalingsordning, betjening, betontænkning, betrædning Korpus / 47

74 Jokertegn Jokertegn Regulære udtryk Eksempler Søgning Orddannelse Princippet? matcher ét vilkårligt tegn m??ing matcher making, maling, mening, mesing, mining, moving og måling * matcher nul eller flere vilkårlige tegn bet*ing matcher bla betaling, betalingsordning, betjening, betontænkning, betrædning Problemer Det er ikke muligt at formulere avancerede søgeudtryk, fx et, der finder forekomster af både fabrikken og fabriken på en gang I listerne optræder der sommetider fejl, fx for mesing, som hverken findes i Korpus 2000 eller Korpus 90 Korpus / 47

75 Regulære udtryk Egenskaber Jokertegn Regulære udtryk Eksempler Søgning Orddannelse Et mere avanceret jokertegnsystem Bliver standard i fremtidig Korpus 2000-grænseflade Med et lille kneb kan man allerede søge med regulære udtryk i den eksisterende grænseflade Korpus / 47

76 Regulære udtryk Egenskaber Jokertegn Et mere avanceret jokertegnsystem Bliver standard i fremtidig Korpus 2000-grænseflade Med et lille kneb kan man allerede søge med regulære udtryk i den eksisterende grænseflade Regulære udtryk Eksempler Søgning Orddannelse Princippet matcher ét vilkårligt tegn aryl matcher akryl og acryl i Korpus 90 cing matcher catering, centring, chaffing, charming, cleaning, clearing, coaching, coatning, counting, citering, clubbing, cracking og cruising Korpus / 47

77 Regulære udtryk 1 Indtast søgeord med regulære udtryk efterfulgt af mellemrum og asterisk: Jokertegn Regulære udtryk Eksempler Søgning Orddannelse Korpus / 47

78 Regulære udtryk 2 Modificer søgeudtrykket: Jokertegn Regulære udtryk Eksempler Søgning Orddannelse Korpus / 47

79 Regulære udtryk 3 Se konkordans: Jokertegn Regulære udtryk Eksempler Søgning Orddannelse Korpus / 47

80 ] ^ _ c c e d c d Regulære udtryk Gentagelsessymboler Jokertegn Regulære udtryk Eksempler Søgning Orddannelse symbol `ba ` a `ba betydning nul eller én forekomst af forudgående tegn eller sekvens nul eller flere forekomster af forudgående tegn eller sekvens én eller flere forekomster af forudgående tegn eller sekvens NB! Virker ikke i K2000-interfacet! præcis n forekomster af forudgående tegn eller sekvens mellem n og m forekomster af forudgående tegn eller sekvens mindst n forekomster af forudgående tegn eller sekvens Korpus / 47

81 gf ih j k l Regulære udtryk Andre symboler Jokertegn Regulære udtryk Eksempler Søgning Orddannelse symbol betydning grupperer tegn (eller sekvenser) til en sekvens, der skal opfattes som en enhed definerer en mængde af tegn, hvoraf ét skal matche eller fra til det efterfølgende tegn, som normalt har en særlig betydning i regulære udtryk, skal opfattes bogstaveligt Korpus / 47

82 nm o p } { q q x no p } o { w w Eksempler med regulære udtryk Eksempler 1 eksempel p n qsr p n xzy tvu w tvu resultat centeret og centret ha, haha, hahaha osv Parenteserne Jokertegn Regulære udtryk Eksempler Søgning Orddannelse p r o }v~ p r o }v~ x ƒ t n ~ o w n o ~ r n r n omgiver den sekvens, der her kan forekomme nul eller flere gange ord, der ender på konstruktion (men ikke selve ordet konstruktion) samme som ovenfor, men dennegang matches også alle bøjningsformerne af konstruktion forekomsterne af hejhej x tvu ˆ forekomsterne af haha og hahaha Korpus / 47

83 Š y { } m x r ~ r u w r ~ x r u r ~ w Eksempler med regulære udtryk Eksempler 2 eksempel ˆ t resultat forekomsterne af åh, stavet med mindst 2 å er og mindst 3 h er, fx ååhhh og åååhhh Jokertegn Regulære udtryk Š Ž Œ ~ u n y { ord med en sekvens på mindst 4 vokaler (med små bogstaver), fx bureauer, Eksempler layout, niveauet, paranoiaen, ferieøen, Søgning Orddannelse biiiip, boiiing, yoyoen Š Ž Œ ~ u n ord på mindst to bogstaver, der alle skal være vokaler, fx you, eau, au, ae, ƒ u ~ Nicolai, Nikolai, Nicolaj, Nikolaj morfar, mormor morfar, mormor, farfar, farmor tal (skrevet med cifre) Korpus / 47

84 Š w Š Ž x { Ÿ ž œ w š {{matcher et punktum, mens Eksempler med regulære udtryk Eksempler 3 eksempel resultat Jokertegn Regulære udtryk Eksempler Søgning Orddannelse u x r u u ord, der begynder med ét eller flere bogstaver mellem a og z og æ, ø og å (sådan undgås navne, der staves med stort), og som ender på gård hhv gaard, fx andegård, fødegård, kirkegård, kirkegaard, skolegård, herregaard, banegård ord, som begynder med mindst ét stort bogstav efterfulgt af punktum; en sådan sekvens skal forekomme mindst 4 gange (NB! matcher et vilkårligt bogstav!); eksempler: SOAP, LOVE, Korpus 2000 TEAM, DONG, SWIFT 36 / 47

85 Søgning vha regulære udtryk Prøv de følgende søgninger i Korpus 2000 og Korpus 90 Jokertegn Regulære udtryk Eksempler Søgning Orddannelse dansk* EU-forbehold bogstaveligt? talt *igt? talt *ets [sb] diamen?tral* korrespond[ea]nce a*apla*ing Korpus / 47

86 Jokertegn og orddannelse Jokertegn Regulære udtryk Eksempler Søgning Orddannelse Jokertegn kan også bruges til at søge på bestemmte afledningsaffikser med, fx -eri -agtig Type: substantiv afledt af infinitiv Søgning med jokertegn: *eri Søgning med regulære udtryk: *eri Type: adjektiv afledt af substantiv Søgning med jokertegn: *agtig Søgning med regulære udtryk: *agtig Hvilke fordele og ulemper er ved de to måder at søge på? Hvad kan der konkluderes ud fra resultaterne? Korpus / 47

87 Semaskop og Den Danske Ordbogs korpus Hvad er Semaskop? Eksempel Korpus / 47

88 Hvad er Semaskop? Hurtige søgninger i store korpora: Med Semaskop kan man»slå op«i et korpus og finde ud af, hvordan ord og vendinger bliver brugt i sproget Semaskop kan downloades frit fra Hvad er Semaskop? Eksempel Korpus / 47

89 Hvad er Semaskop? Hurtige søgninger i store korpora: Med Semaskop kan man»slå op«i et korpus og finde ud af, hvordan ord og vendinger bliver brugt i sproget Semaskop kan downloades frit fra Kun til Semaskop-korpora: Semaskop fungerer kun sammen med særlige Semaskop-korpora, som kan downloades fra DSL s site Hvad er Semaskop? Eksempel Korpus / 47

90 Hvad er Semaskop? Hvad er Semaskop? Eksempel Hurtige søgninger i store korpora: Med Semaskop kan man»slå op«i et korpus og finde ud af, hvordan ord og vendinger bliver brugt i sproget Semaskop kan downloades frit fra Kun til Semaskop-korpora: Semaskop fungerer kun sammen med særlige Semaskop-korpora, som kan downloades fra DSL s site Før download: Inden man kan downloade Semaskop, skal man tilmelde sig som bruger af DSL s sprogmaterialer på Korpus / 47

91 Hvad er Semaskop? Hvad er Semaskop? Eksempel Hurtige søgninger i store korpora: Med Semaskop kan man»slå op«i et korpus og finde ud af, hvordan ord og vendinger bliver brugt i sproget Semaskop kan downloades frit fra Kun til Semaskop-korpora: Semaskop fungerer kun sammen med særlige Semaskop-korpora, som kan downloades fra DSL s site Før download: Inden man kan downloade Semaskop, skal man tilmelde sig som bruger af DSL s sprogmaterialer på Brug Semaskop sammen med DDO s korpus: består i Semaskop-versionen af Korpus 90 (28 mio ords tekst) samt ca 8 mio ords talesprog Korpus / 47

92 Hvad er Semaskop? Hvad er Semaskop? Eksempel Hurtige søgninger i store korpora: Med Semaskop kan man»slå op«i et korpus og finde ud af, hvordan ord og vendinger bliver brugt i sproget Semaskop kan downloades frit fra Kun til Semaskop-korpora: Semaskop fungerer kun sammen med særlige Semaskop-korpora, som kan downloades fra DSL s site Før download: Inden man kan downloade Semaskop, skal man tilmelde sig som bruger af DSL s sprogmaterialer på Brug Semaskop sammen med DDO s korpus: består i Semaskop-versionen af Korpus 90 (28 mio ords tekst) samt ca 8 mio ords talesprog Manual til Semaskop kan ses under Korpus / 47

93 Eksempel Hvad er Semaskop? Eksempel Korpus / 47

94 DSL s online-ordbøger Projektet ordnetdk ODS ODS digital Korpus / 47

95 Projektet ordnetdk Målsætning: Integrere DSL s ordbøger og korpora i et web-baseret system Projektet ordnetdk ODS ODS digital Korpus / 47

96 Projektet ordnetdk Målsætning: Integrere DSL s ordbøger og korpora i et web-baseret system Delprojekter: Ordbog over det danske Sprog i en web-version Videreudvikling af DDO til en digital ordbog Projektet ordnetdk ODS ODS digital Underprojekt: DanNet et WordNet for dansk Videreudvikling og integration af korpus-resurserne Korpus / 47

97 Projektet ordnetdk Målsætning: Integrere DSL s ordbøger og korpora i et web-baseret system Delprojekter: Ordbog over det danske Sprog i en web-version Videreudvikling af DDO til en digital ordbog Projektet ordnetdk ODS Underprojekt: DanNet et WordNet for dansk Videreudvikling og integration af korpus-resurserne ODS digital Udviklingsarbejde: Koncept for digitale Ordbøger: generalisering, multifunktionalitet Korpuslingvistiske metoder Korpus / 47

98 Ordbog over det danske Sprog Projektet ordnetdk ODS Produkt: ekscerptbaseret ordbog over dansk i perioden Målgruppe: den dannede læser Udarbejdet: Digitalt format: typografisk opmærket ODS digital Korpus / 47

99 Ordbog over det danske Sprog Projektet ordnetdk ODS Produkt: ekscerptbaseret ordbog over dansk i perioden Målgruppe: den dannede læser Udarbejdet: Digitalt format: typografisk opmærket ODS digital Offentlig web-version: Korpus / 47

100 Ordbog over det danske Sprog digital Projektet ordnetdk ODS ODS digital Korpus / 47

101 Afslutning Mere information Korpus / 47

102 ª Mere information Forskellige artikler om Korpus 2000 og andet korpus- og ordbogsarbejde findes på min hjemmeside Send endelig en mail til mig, hvis I har yderligere spørgsmål; mail-adressen fremgår af min hjemmeside Denne præsentation vil blive lagt ud på hjemmesiden Mere information Korpus / 47