Diskursrelationer

Transkript

1 Diskursrelationer

2 Diskursrelationer Diskurs = sammenhæng af udsagn, idéer, definitioner e.l. som udgør kernen i fx en samtale el. et ræsonnement; (DDO)

3 Diskursrelationer Diskurs = sammenhæng af udsagn, idéer, definitioner e.l. som udgør kernen i fx en samtale el. et ræsonnement; (DDO) Korpus = spr.(elektronisk) samling af tekster der bruges til sproglige el. litterære undersøgelser; (DDO)

4 Diskursrelationer Koncept: At kunne finde tekster med en form for relation i vilkårligt store tekstsamlinger.

5 Diskursrelationer Koncept: At kunne finde tekster med en form for relation i vilkårligt store tekstsamlinger. Diskursrelationer viser sig ofte ved markører i teksten, f.eks. Kontrast men Drengen var glad. Men nu græder han.

6 Diskursrelationer Koncept: At kunne finde tekster med en form for relation i vilkårligt store tekstsamlinger. Diskursrelationer viser sig ofte ved markører i teksten, f.eks. Kontrast men Drengen var glad. Men nu græder han. Forklaring fordi/eftersom Drengen græder, fordi sneen er smeltet.

7 Diskursrelationer Koncept: At kunne finde tekster med en form for relation i vilkårligt store tekstsamlinger. Diskursrelationer viser sig ofte ved markører i teksten, f.eks. Kontrast men Drengen var glad. Men nu græder han. Forklaring fordi/eftersom Drengen græder, fordi sneen er smeltet. Forudsætning hvis, så Hvis sneen skal blive liggende, så skal det være koldere, end det er nu.

8 Hvad så når der ikke er nogen markører i en tekst? Behov for vidensbaser med generel viden så flere relationer kan bruges

9 Hvad så når der ikke er nogen markører i en tekst? Behov for vidensbaser med generel viden så flere relationer kan bruges F.eks.: Om vinteren er det koldt. Det er varmt nu.

10 Hvad så når der ikke er nogen markører i en tekst? Behov for vidensbaser med generel viden så flere relationer kan bruges F.eks.: Om vinteren er det koldt. Det er varmt nu. Ikke tilgængeligt (endnu...)

11 Hvad så når der ikke er nogen markører i en tekst? Behov for vidensbaser med generel viden så flere relationer kan bruges F.eks.: Om vinteren er det koldt. Det er varmt nu. Ikke tilgængeligt (endnu...) Wordnets definerer ikke alle potentielle relationer

12 Hvad så når der ikke er nogen markører i en tekst? Behov for vidensbaser med generel viden så flere relationer kan bruges F.eks.: Om vinteren er det koldt. Det er varmt nu. Ikke tilgængeligt (endnu...) Wordnets definerer ikke alle potentielle relationer Og slet ikke alle tænkelige antonymirelationer

13 Marcu & Echihabis hypotese: Lexical item pairs can provide clues about the discourse relations that hold between the text spans in which the lexical items occur. (p. 5)

14 Hvad gør man så? Behov for at definere relationer i tekster

15 Hvad gør man så? Først skal man definere relationer i og mellem tekster Mange har lavet forskellige definitioner

16 Hvad gør man så? Behov for at definere relationer i tekster Mange har lavet forskellige definitioner Marcu & Enchihabi forener flere sæt af definitioner ud fra nogle fælles træk

17 Hvad gør man så? Behov for at definere relationer i tekster Mange har lavet forskellige definitioner Marcu & Enchihabi forener flere sæt af definitioner ud fra nogle fælles træk Behov for at træningsmateriale med oplagte eksempler på de forskellige diskursrelationer

18 Diskursrelationer Marcu & Echihabis diskursrelationer og typiske markører: 1 Contrast but, although

19 Diskursrelationer Marcu & Echihabis diskursrelationer og typiske markører: 1 Contrast but, although 2 Cause-explanation-evidence because, thus

20 Diskursrelationer Marcu & Echihabis diskursrelationer og typiske markører: 1 Contrast but, although 2 Cause-explanation-evidence because, thus 3 Condition If, then

21 Diskursrelationer Marcu & Echihabis diskursrelationer og typiske markører: 1 Contrast but, although 2 Cause-explanation-evidence because, thus 3 Condition If, then 4 Elaboration for example, which

22 Diskursrelationer Marcu & Echihabis diskursrelationer og typiske markører: 1 Contrast but, although 2 Cause-explanation-evidence because, thus 3 Condition If, then 4 Elaboration for example, which 5 No relation, same text 2 vilkårlige sætninger fra samme tekst adskilt af mindst 3 sætninger

23 Diskursrelationer Marcu & Echihabis diskursrelationer og typiske markører: 1 Contrast but, although 2 Cause-explanation-evidence because, thus 3 Condition If, then 4 Elaboration for example, which 5 No relation, same text 2 vilkårlige sætninger fra samme tekst adskilt af mindst 3 sætninger 6 No relation, different texts 2 vilkårlige sætninger fra to forskellige tekster

24 Marcu & Echihabis forsøg For hver af de 15 mulige kombinationer af diskursrelationer (r a,r b ) trænes en classifier på et korpus uden markører

25 Marcu & Echihabis forsøg For hver af de 15 mulige kombinationer af diskursrelationer (r a,r b ) trænes en classifier på et korpus uden markører De 15 classifiere testes nu på 5000 eksempler på diskursrelation r a og 5000 eksempler på r b

26 Marcu & Echihabis forsøg For hver af de 15 mulige kombinationer af diskursrelationer (r a,r b ) trænes en classifier på et korpus uden markører De 15 classifiere testes nu på 5000 eksempler på diskursrelation r a og 5000 eksempler på r b Hvis forsøget går godt, vil classifierne være mere nøjagtige end de 50% som er udgngspunktet

27 Resultat Højere præcision i opmærkningen end udgangspunktet i to forskellige korpura

28 Resultat Højere præcision i opmærkningen end udgangspunktet i to forskellige korpura Cause-explanation-evidence vs. Elaborationclassifieren har en nøjagtighed på 93%

29 Resultat Contrast vs. Elaboration-classifieren viser sig at kunne forbedre et RST (Rhetorical Structure Theory) opmærket korpus med 77%, da den type opmærkning ikke ellers muliggør opmækning af kontrast-relationer uden markeringsord

30 Resultat Contrast vs. Elaboration-classifieren viser sig at kunne forbedre et RST (Rhetorical Structure Theory) opmærket korpus med 77%, da den type opmærkning ikke ellers muliggør opmækning af kontrast-relationer uden markeringsord Jo større træningskorpus, desto større nøjagtighed for classifieren (se fig. 1)

31 Hvad kan det så bruges til? Mulighed for at resumere dokumenter Udvælge relevante dokumenter fra en arbitrært stor samling Avancerede question-answering-systemer Duer kun til machine learning. Ikke specielt interessant for lingvister som sådan