Dorthes Bog Centrum har ca forskellige bøger (bibliografiske enheder), som alle skal være søgbare fra prototypen.

Transkript

1 Afleveringsopgave Hermed afleveringsopgaven for kurset. Besvarelsen, der gerne må udfærdiges i grupper, er del af den mundtlige eksamen (som i øvrigt er individuel). Problemet Efter flere møder med firmaet Dorthes Bog Centrum er der udarbejdet en samarbejdsaftale og en kravspecifikation hvori der forligger rammer, ønsker og krav til udvikling af en prototype, der skal undersøge muligheden for avanceret søgning i firmaets database. Dorthes Bog Centrum har p.t. et traditionelt søgesystem der er outsource t, hvorfor det ikke er muligt at benytte elementer fra det eksisterende søgesystem i forbindelse med udviklingen af prototypen. Dorthes Bog Centrum har ca forskellige bøger (bibliografiske enheder), som alle skal være søgbare fra prototypen. Datagrundlaget for prototypen er tabellen DBC med ca poster der har følgende format: Attribut ID TITEL AAR FORFATTER EMNEORD Postens unikke identifikation Postens titel Postens udgivelsesår Postens forfatter Postens tilknyttede emneord For at få adgang til data i DBC-tabellen skal man benytte KIS som præfiks, altså KIS.DBC, eksempelvis: select count(*) from kis.dbc; Prototypespecifikation Dorthes forventning til en kommende prototypes funktionalitet kan opsummeres til følgende: Hun er træt af Common Command Language (CCL), som var grænsefladen til hendes gamle system, og vil derfor gerne have noget der er mere fleksibelt. Man skal således kunne indtaste en beskrivelse, i form af en liste af ord, uden brug af boolesk logik og få et svar der er ordnet med de bedste objekter først. Uddybning af funktionaliteten i prototypen

2 I forbindelse med forundersøgelsen til denne prototype har der været foretaget data mining på datagrundlaget for at afklare mulighederne. I denne forbindelse er der bl.a. analyseret på emneordenes ko-forekomster i posterne. Resultatet herfra kan frit anvendes. Endvidere stilles funktionalitet til stamformsbestemmelse af termer til rådighed. Normalisering Det lader til at datagrundlaget indeholder redundans, hvilket motiverer en identifikation af funktionelle afhængigheder og flerværdiafhængigheder. Tabellen skal dekomponeres til et databaseskema på BCNF. Herefter skal skemaet bringes videre til 4. normalform. Endelig skal evt. alternativer diskuteres og en beslutning om prototypens skema træffes. Oprettelse af database Der skal åbnes mulighed for fritekstsøgning, samt søgning i de tilknyttede emneord alene, og til det formål skal der oprettes to indeks. Det ene skal være en invertering af bogskemaet over alle attributter, altså skal der til hver term være en angivelse af hvilken/hvilke bog/bøger den optræder i. Eksempelvis indeholder denne post: ID: 67 TITEL: Penge og kapitalmarked AAR: 985 FORFATTER: wendt, peter EMNEORD: kapitalmarked, pengemarked Følgende termer: {67, penge, og, kapitalmarked, 985, wendt, peter, kapitalmarked, pengemarked} Det andet indeks skal være en invertering af bogskemaet over attributten emneord. Man kan med fordel anvende den mulighed for stamformskonvertering der er stillet til rådighed. Stamformskonvertering er dog ikke nødvendig for emneordene, idet de allerede er bragt på stamform. Stamformskonverteringen er implementeret som en PL/SQL-funktion med følgende signatur: kis.func.stamform(ord); som eksempelvis kan anvendes således

3 SQL> select ki.func.stamform('biler') from dual; KI.FUNC.STAMFORM('BILER') bil Etablering af associationsnet Resultatet af analysen af emneords ko-forekomster findes i tabellen FM med følgende skema: Attributter ORD ORD FM Emneord Emneord Antallet af ko-forekomster Denne tabel registrerer for samtlige par af emneord antallet af ko-forekomster, dvs. antallet af poster, hvori emneordene forekommer sammen. For eksempel angiver følgende tupel: alkoholmisbrug alkoholforbrug 4 at alkoholmisbrug og alkoholforbrug optræder sammen i fire forskellige poster. Adgangen til tabellen FM opnås, ligesom for DBC tabellen, ved at benytte KIS som præfiks, eksempelvis: select count(*) from kis.fm; Nu skal der etableres et mål for association mellem emneord på baggrund af deres ko-forekomster i posterne. Lad p være en funktion, der til et emneord knytter mængden af poster, der dækker dette (altså mængden af poster der har emneordet tilknyttet), og X være en funktion, der for en mængde X bestemmer antallet af elementer i X. p( tamil ) = 7 betyder at 7 poster er karakteriseret med emnet tamil. Som udgangspunkt er en associationsfunktion a(o,o ), der beskriver graden af association fra O til O, et mål for sammenfaldshyppighed. Derfor må funktionen først og fremmest afspejle et forhold imellem antallet af sammenfald imellem O og O, og antallet af forekomster af O og O. Som rettesnor for afgrænsningen af denne funktion skal følgende egenskaber yderligere overholdes: 3

4 . et ord skal associere fuldt (til graden ) til sig selv,. intet ord må associere fuldt til et andet, 3. jo mere sammenfald jo højere grad af association (hvis A optræder hyppigere sammen med B end sammen med B skal A associere mere til B end til B ), 4. et ord A der altid er tilknyttet sammen med et andet ord B bør associere maksimalt (til næsten ) til B Egenskaberne er præciseret herunder:. a(o,o) = for alle emneord O,. a(o,o ) < for O O, 3. hvis p(a) p(b ) > p(a) p(b ), så skal a(a,b ) > a(a,b ), 4. hvis p(a) p(b) så bør a(a,b) være stor (inklusion) Associationsfunktionen skal benyttes til at danne følgende relation: Attributter ORDID ORDID GRAD Emneordsidenfikation Emneordsidenfikation Association mellem ORDID og ORDID Denne kan betragtes som et associationsnet over emneord. Man kan med fordel anvende en minimumsværdi (f.eks. 0,) for associationsgraden imellem emneord, således at der ikke registreres association ved grader under denne i nettet. Denne afgrænsning reducerer størrelsen af nettet betragteligt. Ekspansionsfunktionen I forbindelse med forespørgselsevalueringen skal associationsnettet benyttes til ekspansion af forespørgslernes termer. Der skal således etableres en funktion der kan ekspandere en term til en fuzzymængde af associerede termer, hvor medlemsgraden svarer til graden af association. Eksempelvis kunne termen bil tænkes at ekspandere til følgende fuzzymængde af associerede termer: ekspand( bil ) = {.0/bil+0.6/bus+0.3/taxa} Søgesystemet Der skal endelig etableres et søgesystem der kan evaluere en forespørgsel, i form af en mængde af termer. Hertil skal associationsnettet naturligvis udnyttes til at danne svar i form af fuzzymængder, der naturligt kan ordnes efter medlemsgraden. Svaret skal altså være en rangeret liste af bøger angivet med den medlemsgrad hvormed de opfylder forespørgslen. OWA skal benyttes som aggregeringsfunktion. 4

5 Søgningen kan skitseres således: forespørgsel { t,..., t n } Ekspansion {{/ t + t t },...,{/ t + t t }} m m n n m nm n vægtningsvektor w={w,..., w } n Databaseopslag med bestemmelse af grad for opfyldelse af termer fra forespørgsel og aggregering svar Grænseflade Det lægges ikke vægt på grænsefladen en simpel linieorienteret er fuld tilstrækkelig. Det er dog muligt at benytte en simpel grafisk brugergrænseflade som vi stiller til rådighed. Imidlertid ønskes udover forespørgsel/svar-delen funktionalitet i grænsefladen til justering af ordensvægte til aggregeringen. Besvarelse Det er tilladt og det kan anbefales at arbejde i grupper om denne opgave. Der stilles ikke krav til antallet af sider i besvarelsen, men den bør indeholde følgende:. Diskussion og motivation for alle designvalg og beslutninger.. Testkørsler der dokumenterer den implementerede funktionalitet. 3. Kortfattet konklusion. 4. Kildekode til alt. Opgaven skal afleveres mandag d. 7. november 003 kl