Apache Lucene og Solr

Transkript

1 Apache Lucene og Solr Jana Kunert The Camp 2015 July 21, / 25

2 Table of Contents Hvem er jeg Lucene Søgning Indeksering Querying Solr Hvorfor Solr? Demo Hvad skal jeg bruge? Links 2 / 25

3 Table of Contents Hvem er jeg Lucene Søgning Indeksering Querying Solr Hvorfor Solr? Demo Hvad skal jeg bruge? Links 3 / 25

4 Hvem er jeg Cand.scient. i Datalogi fra Aarhus Universitet Speciale i Algoritmer og Datastrukturer Konsulent hos Netcompany Gentoo Linux bruger i 9 år (tror jeg). 4 / 25

5 Table of Contents Hvem er jeg Lucene Søgning Indeksering Querying Solr Hvorfor Solr? Demo Hvad skal jeg bruge? Links 5 / 25

6 Lucene Apache Lucene (Core) er et information retrieval bibliotek skrevet i Java skalerbar, high-performance indeksering 6 / 25

7 Søgning Søgning Indeksering Querying 7 / 25

8 Indeksering Indeksering Parsing Tokenisation Analyses 8 / 25

9 Indeksering Indeksering Parsing PDF Tekst 9 / 25

10 Indeksering Indeksering Tokenisation Computer science is no more about computers then astronomy is about telescopes. Computer science is no more about computers / 25

11 Indeksering Indeksering Analysis Computer science is no more about computers then astronomy is about telescopes. lower-case: Computer computer 11 / 25

12 Indeksering Indeksering Analysis Computer science is no more about computers then astronomy is about telescopes. lower-case: Computer computer stop-words: is, no, more, about, then 11 / 25

13 Indeksering Indeksering Analysis Computer science is no more about computers then astronomy is about telescopes. lower-case: Computer computer stop-words: is, no, more, about, then stemming: telescopes telescope 11 / 25

14 Indeksering Indeksering Analysis Computer science is no more about computers then astronomy is about telescopes. lower-case: Computer computer stop-words: is, no, more, about, then stemming: telescopes telescope synonym: computer computer, pc 11 / 25

15 Indeksering Indeksering Analysis Computer science is no more about computers then astronomy is about telescopes. lower-case: Computer computer stop-words: is, no, more, about, then stemming: telescopes telescope synonym: computer computer, pc astronomy computer pc science telescope 11 / 25

16 Querying Querying Tokenisation Analyses Scoring Filtrering Facetter 12 / 25

17 Querying Querying Scoring Boolean Model for Information retrieving 13 / 25

18 Querying Querying Scoring Boolean Model for Information retrieving Vector Space Model for Information retrieving hvor i dokumentet har vi fundet et ord? hvor mange gange har vi fundet et ord? hvor vigtigt er dette dokument? hvor vigtigt er dette ord i vores query? 13 / 25

19 Querying Querying Facetter mange dokumenter et stort resultat 14 / 25

20 Querying Søgning Indeksering Parsing Tokenisation Analyses Querying Tokenisation Analyses Scoring Filtrering Facetter 15 / 25

21 Table of Contents Hvem er jeg Lucene Søgning Indeksering Querying Solr Hvorfor Solr? Demo Hvad skal jeg bruge? Links 16 / 25

22 Solr Apache Solr er en standalone enterprise search server som bruger Lucene er en del af Lucene-projektet kan parse nogle af de mest udbredte filtyper: xml, json, csv, pdf, doc, docx, ppt, pptx, xls, xlsx, odt, odp, ods, ott, otp, ots, rtf, htm, html, txt, log cloud-mode: load-balancing jetty-job: recovery 17 / 25

23 Hvorfor Solr? Hvorfor Solr? man behøver ikke at kunne programmere web-baseret brugerinterface al konfiguration fortages i xml-filer paging! 18 / 25

24 Hvorfor Solr? Hvorfor Solr? schema.xml indexed? stored? dynamicfield copyfield 19 / 25

25 Hvorfor Solr? Hvorfor Solr? schema.xml indexed? stored? dynamicfield copyfield... eller lad den selv finde ud af det 19 / 25

26 Hvorfor Solr? Hvorfor Solr? schema.xml indexed? stored? dynamicfield copyfield... eller lad den selv finde ud af det solrconfig.xml tilpas requesthandleren 19 / 25

27 Hvorfor Solr? Hvorfor Solr? Man kan tilføje, opdatere og slette dokumenter ved at sende xml-filer over http Queries sendes som GET eller POST request Svar modtages fx. på XML-format 20 / 25

28 Demo Demo 21 / 25

29 Table of Contents Hvem er jeg Lucene Søgning Indeksering Querying Solr Hvorfor Solr? Demo Hvad skal jeg bruge? Links 22 / 25

30 Hvad skal jeg bruge? Der eksisterer Lucene-implementationer i andre programmeringssprog Brug Solr, hvis du ikke vil slås med Java You can't drive an engine, but you can drive a car. 23 / 25

31 Table of Contents Hvem er jeg Lucene Søgning Indeksering Querying Solr Hvorfor Solr? Demo Hvad skal jeg bruge? Links 24 / 25

32 Links / 25