DiaSketching og afterminologisering hvornår er en term en term? Nordterm juni 2005 Reykjavik, Island

Transkript

1 DiaSketching og afterminologisering hvornår er en term en term? Nordterm juni 2005 Reykjavik, Island Jakob Halskov (jh.id@cbs.dk) Dept. of Computational Linguistics Copenhagen Business School

2 WEXTER (Web-based EXtraction of TERminology) A. Dokumentfiltrering og -strukturering B. Termekstraktion 1. automatisk genre identifikation (afterminologisering) 2. automatisk tekstkategorisering statistiske metoder (logodds->enkeltordstermer) lingvistiske metoder (mønstre af ordklassemærkater) Mål: integration med term- og vidensbasen i-term (

3 Er termer ikke altid termer? Melby (1995) Hvis kontekst = ekspert-ekspert kommunikation, så jo! a lexical unit is by itself neither terminological nor general but [...] it is general by default and acquires special or terminological meaning when this is activated by the pragmatic characteristics of the discourse (Cabré 2003: ) Funktionel tilgang til terminologi: f(term kontekst) = termstatus

4 Genreidentifikation Nettet som termressource => ukendt kommunikativ kontekst => dokumenternes funktion (genre) er afgørende Sproglige træk -> kontekst? interne (bottom-up) contra eksterne (top-down) træk Kombinationen af flere interne træk => genre (Brekke, Biber) læsbarhedsindeks (gnms. ord- og sætningslængde) termtæthed (høj- contra lavfrekvente termer) relative hyppighed af pronominer (fx. personlige) terminologiske kollokationer (samforekomster)

5 Afterminologiseret sprogbrug som (neg.) genreindikator The ways in which terminological meaning and usage can 'loosen' when a term captures the interest of the general public (Meyer, 2000) ikke-overlappende begreber -> prototypiske kategorier (Temmerman, 2000) Er referencen til det term. begreb (delvist) intakt? udvandet? The Internet business model needs a reboot (NYT, 1999)

6 Hvordan kan afterminologisering udforskes? Inspiration: WordSketching (Kilgarriff, 2001) 1. et stort (ordklasseopmærket) korpus 2. et antal prædefinerede (grammatiske) relationer 3. et associationsmål (f.eks. MI) WordSketch: en række lister over de mest signifikante samforekomster som et givet ord har i et givet korpus DiaSketch: Diakrone WordSketches af termer i ikke-specialiserede korpora (Halskov, 2005)

7 Metodiske overvejelser 1. pålidelig kollokationsstatistik kræver MANGE forekomster 2. (potentielt) terminologiske strenge er sjældne i ikkedomænespecifikke korpora 3. de strenge der er burde utvetydiggøres semantisk (fx. Yarowsky, 1995) 1. og 2. => Gigaword fra LDC (1,7 mia. løbende ord) 3. selv semi-automatisk WSD er tidskrævende og metoden med seeding kan beskyldes for at være cirkulær

8 Kontekst og betydning Firth (1957): you shall know a word by the company it keeps Yarowsky (1995): one sense per collocation, one sense per discourse flertydigt leksem: plant seed 1: life seed 2: manufacturing Kan kollokationer identificere ikke bare betydninger, men også genrer??

9 DiaSketch af server i NYT New York Times (NYT): 1,1 mia. løbende ord PcPlus: 6,2 mio. løbende ord I absolutte tal: ml. 600 og 1200 forekomster per periode, men: server (NYT, ) server (PcPlus, ) frekvens (ppm) frekvens (ppm) Column E 0 Column E periode periode

10 DiaSketch #1: server _ NB: Mindst 3 samforekomster med p<10-6 i mindst 4 perioder NB: Kollokationen server computer har kun 2 forekomster i hele PcPlus!

11 DiaSketch #2: _ server NB: Kollokationen "computer server har 0 forekomster i hele PcPlus!

12 DiaSketch #2: _ server

13 Foreløbige konklusioner overflødige domæneetiketter (computer server) uforkortede udtryk (server computer) semantisk vage beskrivere (central/powerful server) kreativ sprogbrug (all-you-can-eat bandwidth) Hvis samforekomsterne er stærke, så vil den statistiske metode identificere dem som termkandidater! NB: ikke samme problemer med server på dansk Fejlkilder: mange dupletter i NYT intet dispersionsmål

14 Bibliografi Biber, Douglas (1998) Corpus Linguistics Cambridge University Press Brekke, Magnar (1999) Popular vs. Professional Aspects of Economics Texts in English In: Hermes, Journal of Linguistics, no. 23, pp Cabré, Maria Teresa Castellví (2003) Theories of terminology - their description, prescription and explanation, Terminology 6:1, pp , John Benjamins Halskov, Jakob (2005) Probing the Properties of Determinologization The DiaSketch In: Lambda, vol. 29, Dept. of Computational Linguistics, CBS Kilgarriff, Adam (2001) WORD SKETCH: Extraction and Display of Significant Collocations for Lexicography, In: Proceedings of ACL 2001, pp Melby, Allan (1995) The possibility of Language John Benjamins Meyer, Ingrid (2000) When terms move into our everyday lives: An overview of determinologization In: Terminology, vol. 6, no. 1, pp Temmerman, Rita (2000) Towards New Ways of Terminology Description. The sociocognitive approach. John Benjamins Yarowsky, David (1995) Unsupervised Word Sense Disambiguation Rivaling Supervised Methods In: Proceedings of ACL 33, pp