Korpusbaseret lemmaselektion og opdatering

Transkript

1 Korpusbaseret lemmaselektion og opdatering Jørg Asmussen Afdeling for Digitale Ordbøger og Tekstkorpora Det Danske Sprog- og Litteraturselskab

2 Program 1. Introduktion til DSL 2. Introduktion til projektet ordnet.dk 3. Lemmaselektion i DDO 4. Lemmaopdatering i ordnet.dk a. Tekstklassifikation b. Bestemmelse af nye ord c. Diskussion af metoden d. Konklusion

4 Hvad er DSL?

5 Hvad er DSL? Det Danske Sprog- og Litteraturselskab:

6 Hvad er DSL? Det Danske Sprog- og Litteraturselskab: Tekstudgivelser

7 Hvad er DSL? Det Danske Sprog- og Litteraturselskab: Tekstudgivelser Sproghistoriske fremstillinger

8 Hvad er DSL? Det Danske Sprog- og Litteraturselskab: Tekstudgivelser Sproghistoriske fremstillinger Bibliografier

9 Hvad er DSL? Det Danske Sprog- og Litteraturselskab: Tekstudgivelser Sproghistoriske fremstillinger Bibliografier Ordbøger og sprogteknologi

11 Hvad er ordnet.dk?

12 Hvad er ordnet.dk? ordnet.dk kombinerer og udvider

13 Hvad er ordnet.dk? ordnet.dk kombinerer og udvider 1. Ordbog over det danske Sprog, ODS

14 Hvad er ordnet.dk? ordnet.dk kombinerer og udvider 1. Ordbog over det danske Sprog, ODS 2. Den Danske Ordbog, DDO

15 Hvad er ordnet.dk? ordnet.dk kombinerer og udvider 1. Ordbog over det danske Sprog, ODS 2. Den Danske Ordbog, DDO 3. Korpus 2000

16 Hvad er ordnet.dk? ordnet.dk kombinerer og udvider 1. Ordbog over det danske Sprog, ODS 2. Den Danske Ordbog, DDO 3. Korpus 2000 Det bliver tilgængeligt på webbet

17 Resurse 1: ODS Type: Ekscerptbaseret ordbog Periode: Målgruppe: Den dannede læser Udarbejdet: Digitalt format: typografisk opmærket Web: ods.ordnet.dk

18 Resurse 2: DDO Type: Korpusbaseret ordbog Periode: 1950 i dag Målgruppe: sproginteresserede Udarbejdet: Digitalt format: detaljeret XML Web: dev.ordnet.dk/dk/ (eksperimentel)

19 Resurse 3: Korpus 2000 Type: Referencekorpus, 2 28 mio. tekstord Periode: (Korpus 90), (Korpus 2000) Målgruppe: sproginteresserede Udarbejdet: Digitalt format: variabelt Web: korpus2000.dk

20 ordnet.dk endnu engang! ordnet.dk kombinerer og udvider 1. Ordbog over det danske Sprog, ODS 2. Den Danske Ordbog, DDO 3. Korpus 2000

23 ordnet.dk endnu engang! ordnet.dk kombinerer og udvider 1. Ordbog over det danske Sprog, ODS 2. Den Danske Ordbog, DDO 3. Korpus 2000 Nye ord og betydninger

24 ordnet.dk endnu engang! ordnet.dk kombinerer og udvider 1. Ordbog over det danske Sprog, ODS 2. Den Danske Ordbog, DDO 3. Korpus 2000 Nyt tekstmateriale Nye ord og betydninger

25 ordnet.dk endnu engang! ordnet.dk kombinerer og udvider 1. Ordbog over det danske Sprog, ODS 2. Den Danske Ordbog, DDO 3. Korpus 2000 Nyt tekstmateriale Nye ord og betydninger

27 Lemmakilder for DDO DDO s korpus, 40 mio. tekstord, Retskrivningsordbogen Blinkenberg & Høybye: Dansk-fransk ordbog Vinterberg & Bodelsen: Dansk-engelsk ordbog Dansk Sprognævns register

28 Lemmaselektion i DDO

29 Lemmaselektion i DDO 1. Manuel korpusbaseret: gal greb (2%)

30 Lemmaselektion i DDO 1. Manuel korpusbaseret: gal greb (2%) 2. Manuel ordbogsbaseret: bogstav A (5%)

31 Lemmaselektion i DDO 1. Manuel korpusbaseret: gal greb (2%) 2. Manuel ordbogsbaseret: bogstav A (5%) 3. Computersimulering af (1) og (2)

32 Lemmaselektion i DDO 1. Manuel korpusbaseret: gal greb (2%) 2. Manuel ordbogsbaseret: bogstav A (5%) 3. Computersimulering af (1) og (2) 4. Automatisk udvælgelse af resten

33 Selektionskriterier

34 Selektionskriterier Hovedkriteriet: Mindst 5 korpusforekomster

35 Selektionskriterier Hovedkriteriet: Mindst 5 korpusforekomster Konsekvens: adjunktur, afhentningspris, amnesi kommer ikke med

36 Selektionskriterier Hovedkriteriet: Mindst 5 korpusforekomster Konsekvens: adjunktur, afhentningspris, amnesi kommer ikke med Tillægskriterium: Repræsentation i mindst 3 af de 4 ordbøger

37 Selektionskriterier Hovedkriteriet: Mindst 5 korpusforekomster Konsekvens: adjunktur, afhentningspris, amnesi kommer ikke med Tillægskriterium: Repræsentation i mindst 3 af de 4 ordbøger Vi endte med ca. 30 kriterier

39 Nye ord hvorfra? Især avismateriale via

40 Nye ord hvorfra? Især avismateriale via

41 Nye ord hvorfra? Især avismateriale via Nyt tekstmateriale Nye ord og betydninger

42 Opdateringsprocessen

43 Opdateringsprocessen Nye ord opdeles i emnegrupper (domæner), før de beskrives i ordnet.dk:

44 Opdateringsprocessen Nye ord opdeles i emnegrupper (domæner), før de beskrives i ordnet.dk: 1. Hver tekst tilordnes et domæne

45 Opdateringsprocessen Nye ord opdeles i emnegrupper (domæner), før de beskrives i ordnet.dk: 1. Hver tekst tilordnes et domæne 2. Påfaldende ord udtrækkes fra teksten

46 Opdateringsprocessen Nye ord opdeles i emnegrupper (domæner), før de beskrives i ordnet.dk: 1. Hver tekst tilordnes et domæne 2. Påfaldende ord udtrækkes fra teksten 3. Disse ord er kandidater til optagelse

48 Forudsætninger

49 Forudsætninger 1. En brugbar domæneklassifikation

50 Forudsætninger 1. En brugbar domæneklassifikation a) granularitet: antal domæner?

51 Forudsætninger 1. En brugbar domæneklassifikation a) granularitet: antal domæner? b) indhold: afgrænsning af et domæne?

52 Forudsætninger 1. En brugbar domæneklassifikation a) granularitet: antal domæner? b) indhold: afgrænsning af et domæne? Decimalklassifikationssystemet DK5

53 Forudsætninger

54 Forudsætninger 2. En klassifikationsprocedure

55 Forudsætninger 2. En klassifikationsprocedure Kvantitativ og heuristisk

56 Forudsætninger 2. En klassifikationsprocedure Kvantitativ og heuristisk Baseret på DDO s korpus

57 Forudsætninger 2. En klassifikationsprocedure Kvantitativ og heuristisk Baseret på DDO s korpus DK-klassifikation med 66 domæner

58 Forudsætninger 2. En klassifikationsprocedure Kvantitativ og heuristisk Baseret på DDO s korpus DK-klassifikation med 66 domæner 89% af teksterne er klassificeret

59 Forudsætninger 2. En klassifikationsprocedure Kvantitativ og heuristisk Baseret på DDO s korpus DK-klassifikation med 66 domæner 89% af teksterne er klassificeret 66 domænespecifikke vokabularer

60 Domænevokabularer

61 Domænevokabularer Sådan laves domænespecifikke vokabularer:

62 Domænevokabularer Sådan laves domænespecifikke vokabularer: 1. Opbygning af domænespecifikke subkorpora

63 Domænevokabularer Sådan laves domænespecifikke vokabularer: 1. Opbygning af domænespecifikke subkorpora 2. Opstilling af frekvensprofiler

64 Domænevokabularer Sådan laves domænespecifikke vokabularer: 1. Opbygning af domænespecifikke subkorpora 2. Opstilling af frekvensprofiler 3. Sammenligning af frekvensprofiler

65 Domænevokabularer 66 forskellige domænekoder i korpus Sådan laves domænespecifikke vokabularer: 1. Opbygning af domænespecifikke subkorpora 2. Opstilling af frekvensprofiler 3. Sammenligning af frekvensprofiler

66 Domænevokabularer 66 forskellige domænekoder i korpus Sådan laves domænespecifikke vokabularer: 1. Opbygning af domænespecifikke subkorpora 2. Opstilling af frekvensprofiler 3. Sammenligning af frekvensprofiler for hele korpus og for hvert af de 66 subkorpora

67 Domænevokabularer 66 forskellige domænekoder i korpus Sådan laves domænespecifikke vokabularer: 1. Opbygning af domænespecifikke subkorpora 2. Opstilling af frekvensprofiler 3. Sammenligning af frekvensprofiler for hele korpus og for hvert af de 66 subkorpora hvert af de 66 frekvensprofiler sammenlignes med profilen for hele korpus. Signifikanstest: log likelighood (p 0,99)

68 Tre domænevokabularer Edb Filosofi Økonomi data programmer computer computeren edb computere ibm pc kan mb apple amiga commodore mennesket kierkegaard moral løgstrup aristoteles filosofi fornuft platon kierkegaards tim den menneskets filosof kr X,X pct procent kroner rente offentlige økonomiske bank X økonomi vil mia

69 Tre domænevokabularer Edb Filosofi Økonomi data programmer computer computeren edb computere ibm pc kan mb apple amiga commodore mennesket kierkegaard moral løgstrup korpusset aristoteles indeholder filosofi overvejende tekster fra fornuft 1980 erne platon kierkegaards tim den menneskets filosof kr X,X pct procent kroner rente offentlige økonomiske bank X økonomi vil mia

70 Tre domænevokabularer Edb Filosofi Økonomi data programmer computer computeren edb computere ibm pc kan mb apple amiga commodore mennesket kierkegaard moral løgstrup aristoteles filosofi fornuft platon kierkegaards tim den menneskets filosof kr X,X frekvente pct ord fra én procent tekst kan snige kroner sig ind rente offentlige økonomiske bank X økonomi vil mia

71 Tre domænevokabularer Edb Filosofi Økonomi data programmer computer computeren edb computere ibm pc kan mb apple amiga commodore mennesket kr kierkegaard X,X moral pct løgstrup procent aristoteles kroner tal (cifre) filosofi rente generaliseres fornuft offentlige platon økonomiske kierkegaards bank tim X den økonomi menneskets vil filosof mia

72 Tre domænevokabularer Edb Filosofi Økonomi data programmer computer computeren edb computere ibm pc kan mb apple amiga commodore mennesket kierkegaard moral løgstrup aristoteles filosofi fornuft generelt højfrekvente platon ord kommer kierkegaards delvis også med tim den menneskets filosof kr X,X pct procent kroner rente offentlige økonomiske bank X økonomi vil mia

73 Metodiske problemer

74 Metodiske problemer 1. Signifikansniveauet (p 0,99) er arbitrært

75 Metodiske problemer 1. Signifikansniveauet (p 0,99) er arbitrært indvirker på domænevokabularets omfang

76 Metodiske problemer 1. Signifikansniveauet (p 0,99) er arbitrært indvirker på domænevokabularets omfang 2. Domænekorporaene er forskelligt store

77 Metodiske problemer 1. Signifikansniveauet (p 0,99) er arbitrært indvirker på domænevokabularets omfang 2. Domænekorporaene er forskelligt store indvirker på domænevokabularets omfang

78 Metodiske problemer 1. Signifikansniveauet (p 0,99) er arbitrært indvirker på domænevokabularets omfang 2. Domænekorporaene er forskelligt store indvirker på domænevokabularets omfang Domæne Antal typer Folklore 1957 Sport SNIT 7256

79 Metodiske problemer 1. Signifikansniveauet (p 0,99) er arbitrært indvirker på domænevokabularets omfang 2. Domænekorporaene er forskelligt store indvirker på domænevokabularets omfang 3. Højfrekvente ord optræder som signifikante

80 Metodiske problemer 1. Signifikansniveauet (p 0,99) er arbitrært indvirker på domænevokabularets omfang 2. Domænekorporaene er forskelligt store indvirker på domænevokabularets omfang 3. Højfrekvente ord optræder som signifikante indvirker på domænetilordningen

81 Metodiske problemer 1. Signifikansniveauet (p 0,99) er arbitrært Type indvirker på domænevokabularets omfang kan Typisk 2. Domænekorporaene er forskelligt store den Edb Filosofi indvirker på vil domænevokabularets Økonomi omfang 3. Højfrekvente ord optræder som signifikante indvirker på domænetilordningen

82 Tekstklassifikationen

83 Tekstklassifikationen Grund-idé:

84 Tekstklassifikationen Grund-idé: Største antal type-overensstemmelser mellem et domænevokabular D og vokabularet T i den tekst der skal klassificeres

85 Tekstklassifikationen Grund-idé: Største antal type-overensstemmelser mellem et domænevokabular D og vokabularet T i den tekst der skal klassificeres Mere formelt: Find den største fællesmængde D T

86 Tekstklassifikationen Grund-idé: Vokabular-overlapning Største antal type-overensstemmelser mellem et domænevokabular D og vokabularet T i den tekst der skal klassificeres Mere formelt: Find den største fællesmængde D T

87 Tekstklassifikationen Største vokabular-overensstemmelse?

88 Tekstklassifikationen Største vokabular-overensstemmelse? Problem 1 En typeoverensstemelse mellem tekst og domænevokabular tæller altid kun én selvom den er højfrekvent i teksten

89 Tekstklassifikationen Største vokabular-overensstemmelse? Problem 1 En typeoverensstemelse mellem tekst og domænevokabular tæller altid kun én selvom den er højfrekvent i teksten Løsning Tæl i stedet overensstemmelser mellem tekst-tokens og typer i domænevokabularerne

90 Tekstklassifikationen Største vokabular-overensstemmelse? Problem 1 En typeoverensstemelse mellem tekst og domænevokabular tæller altid kun én selvom den er højfrekvent i teksten Type eller token? Løsning Tæl i stedet overensstemmelser mellem tekst-tokens og typer i domænevokabularerne

92 Tekstklassifikationen Største vokabular-overensstemmelse? Problem 2 Funktionsord kan få for høj vægt

93 Tekstklassifikationen Største vokabular-overensstemmelse? Problem 2 Funktionsord kan få for høj vægt Løsning Tag højde for antallet af domænevokabularer som et givet token matcher

94 Tekstklassifikationen Største vokabular-overensstemmelse? Problem 2 Funktionsord kan få for høj vægt Unikhed Løsning Tag højde for antallet af domænevokabularer som et givet token matcher

96 Tekstklassifikationen Største vokabular-overensstemmelse? Problem 3 Domæner med store vokabularer vil have lettere ved at score højt

97 Tekstklassifikationen Største vokabular-overensstemmelse? Problem 3 Domæner med store vokabularer vil have lettere ved at score højt Løsning Tag højde for størrelsen af de enkelte domænespecifikke vokabularer

98 Tekstklassifikationen Største vokabular-overensstemmelse? Problem 3 Domæner med store vokabularer vil have lettere ved at score højt Løsning Tag højde for størrelsen af de enkelte domænespecifikke vokabularer Domænestørrelse

99 Beregning af score Vokabular-overlapning + Type eller token? S D

100 Beregning af score Vokabular-overlapning + Type eller token? Lad hvert token t fra teksten W som matcher en type i domænevokabularet D addere en bestemt værdi w til scoren S D

101 Beregning af score Vokabular-overlapning + Type eller token? Lad hvert token t fra teksten W som matcher en type i domænevokabularet D addere en bestemt værdi w til scoren S D

102 Beregning af score Unikhed S D

103 Beregning af score Unikhed Værdien w skal være omvendt proportional til antallet af domæner d i hvis vokabularer tekst-tokenet optræder S D

104 Beregning af score Unikhed Værdien w skal være omvendt proportional til antallet af domæner d i hvis vokabularer tekst-tokenet optræder S D

105 Beregning af score Domænestørrelse S D

106 Beregning af score Domænestørrelse Beregn en vægt v for den samlede score der skal være omvendt proportional til omtrent størrelsen af domænevokabularet D S D

107 Beregning af score Domænestørrelse Beregn en vægt v for den samlede score der skal være omvendt proportional til omtrent størrelsen af domænevokabularet D S D hvor

108 Beregning af score Eksperimentel forbedring: Kendthed S D

109 Beregning af score Eksperimentel forbedring: Kendthed Beregn en vægt for den samlede score som tager højde for forholdet mellem de tekst-tokens som optræder i et domænevokabular, og dem som ikke gør S D

110 Beregning af score Eksperimentel forbedring: Kendthed Beregn en vægt for den samlede score som tager højde for forholdet mellem de tekst-tokens som optræder i et domænevokabular, og dem som ikke gør S D

111 Beregning af score Relativering af scoren S D

112 Beregning af score Relativering af scoren Gør scoren relativ til tekstlængden i antal tokens S D

113 Beregning af score Relativering af scoren Gør scoren relativ til tekstlængden i antal tokens S D

115 Bestemmelse af nye ord

116 Bestemmelse af nye ord 1. Sammenlign frekvensprofiler vha. en statistisk test (log likelihood) nyt domænespecifikt materiale DDO's korpus

117 Bestemmelse af nye ord 1. Sammenlign frekvensprofiler vha. en statistisk test (log likelihood) nyt domænespecifikt materiale DDO's korpus 2. Fremtrædende ord i det nye materiale er kandidater til optagelse i ordbogen

118 Eksempel: tekst Du skal bruge en diskette til installationen. På et tidspunkt bliver du spurgt om du vil lave en bootdiskette. Erfaringen siger at det godt kan betale sig at formatere en diskette i forvejen med tjek for dårlige sektorer. Før du installerer Linux, skal der være en partition til rådighed, der er stor nok til at rumme det hele (samt en swap-partition). I løbet af Linuxinstallationen vil der blive lejlighed til at repartitionere så meget, du har behov for, inden for den plads, der nu er blevet til rådighed.

119 Eksempel: procedure

120 Eksempel: procedure 1. Klassifikation

121 Eksempel: procedure 1. Klassifikation Teksten klassificeres som edb-tekst

122 Eksempel: procedure 1. Klassifikation Teksten klassificeres som edb-tekst 2. Sammenligning

123 Eksempel: procedure 1. Klassifikation Teksten klassificeres som edb-tekst 2. Sammenligning Tekstens beskedne størrelse forvrænger

124 Eksempel: procedure 1. Klassifikation Teksten klassificeres som edb-tekst 2. Sammenligning Tekstens beskedne størrelse forvrænger List tekstens fremtrædende ord

125 Eksempel: procedure 1. Klassifikation Teksten klassificeres som edb-tekst 2. Sammenligning Tekstens beskedne størrelse forvrænger List tekstens fremtrædende ord Tilføj DDO-domænekoder til listen

126 Nye ord? Type f i DDOC f i teksten DDO-fag diskette 78 2 edb bootdiskette 0 1 artikel mangler formatere 0 1 edb linux 0 1 artikel mangler linux-installationen 0 1 artikel mangler partition 0 1 artikel mangler repartitionere 0 1 artikel mangler swap-partition 0 1 artikel mangler

127 Nye ord? Type f i DDOC f i teksten DDO-fag diskette 78 2 edb bootdiskette 0 1 artikel mangler formatere 0 1 edb linux 0 1 artikel mangler linux-installationen 0 1 artikel mangler partition 0 1 artikel mangler repartitionere 0 1 artikel mangler swap-partition 0 1 artikel mangler

128 Nye betydninger? Type f i DDOC f i teksten DDO-fag rådighed alment installerer 16 1 alment teknik du alment installationen 34 1 teknik kunst militær tjek alment sektorer samfund politik matematik

129 Nye betydninger? Type f i DDOC f i teksten DDO-fag rådighed alment installerer 16 1 alment teknik du alment installationen 34 1 teknik kunst militær tjek alment sektorer samfund politik matematik

131 Diskussion af metoden

132 Diskussion af metoden Opgave: Bestem nye domæne-ord til leksikografisk beskrivelse

133 Diskussion af metoden Opgave: Bestem nye domæne-ord til leksikografisk beskrivelse Fremgangsmåde: 1. Korpus domæne-vokabularer 2. Domæne-vokabularer tekstklassifikation 3. Klassificeret materiale korpus 4. Fremtrædende ord nye ord/betydninger

134 Beslutninger

135 Beslutninger 1. DDO-korpussets domæneklassifikation 2. Signifikanstest 3. Klassifikationsproceduren

136 1. Domæneklassifikation

137 1. Domæneklassifikation Stort antal domæner (66!)

138 1. Domæneklassifikation Stort antal domæner (66!) Færre domæner?

139 1. Domæneklassifikation Stort antal domæner (66!) Færre domæner? Stor forskel på mængden af tekstmateriale for hvert domæne (fra 1957 til ord)

140 1. Domæneklassifikation Stort antal domæner (66!) Færre domæner? Stor forskel på mængden af tekstmateriale for hvert domæne (fra 1957 til ord) Mindre mængdeforskel?

141 2. Signifikanstest

142 2. Signifikanstest Log likelihood

143 2. Signifikanstest Log likelihood Arbitrært valg

144 2. Signifikanstest Log likelihood Arbitrært valg Bedre egnede tests?

145 2. Signifikanstest Log likelihood Arbitrært valg Bedre egnede tests? Hvordan forholder de sig til fænomenet?

146 3. Procedure

147 3. Procedure Bør afspejle egenskaber ved teksten Token-overlapning Vokabularstørrelse Unikhed Domænestørrelse Kendthed

148 3. Procedure Bør afspejle egenskaber ved teksten Token-overlapning Vokabularstørrelse Unikhed Domænestørrelse Kendthed Andre egenskaber? Intutive karakteristika! Passende kvantificering?

149 Testning

150 Testning Komplekse gensidige afhængigheder Test af forskellige alternerende parametre

151 Testning Komplekse gensidige afhængigheder Mulig test: Test af forskellige alternerende parametre 1. Del DDOC op i 2 dele med samme relative andel tekst fra hvert domæne 2. Del 1 domænevokabularer 3. Del 2 testning

153 Konklusion

154 Godt: Konklusion

155 Konklusion Godt: Metoden er brugbar til opgaven

156 Konklusion Godt: Metoden er brugbar til opgaven Skidt:

157 Konklusion Godt: Metoden er brugbar til opgaven Skidt: Metoden giver ingen svar på...

158 Konklusion Godt: Metoden er brugbar til opgaven Skidt: Metoden giver ingen svar på... Hvad gør et ord eller en tekst domænespecifik?

159 Konklusion Godt: Metoden er brugbar til opgaven Skidt: Metoden giver ingen svar på... Hvad gør et ord eller en tekst domænespecifik? Hvad gør et ord til et nyt ord?

161 Tak for jeres interesse!