Textmining Einführung und Übersicht

Transkript

1 Textmining Einführung und Übersicht Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Textmining Einführung 1 / 10

2 Textmining Kurzfassung Gigantische Mengen von Freitexten stehen zu Verfügung Dies ist ein gewaltiger Informationsschatz Textmining will diesen Schatz heben Ziel ist nicht das Verstehen der Texte sondern die Erschließung der Inhalte Dazu ist (fast) jedes Mittel recht Methoden aus Sprachverarbeitung, Statistik, Maschinellem Lernen, Symbolischer KI,... (Informatik 8) Textmining Einführung 2 / 10

3 Textmining intuitiv Stellen Sie sich vor, Sie bekommen einen Stapel Dokumente, fünf Minuten bevor Sie einen Vortrag über deren Inhalt halten müssen. Sie werden die Texte nur kurz überfliegen können, markieren vielleicht wichtige Passagen. Ähnlich arbeitet Textmining und ähnliche Ergebnisse dürfen Sie erwarten ;-) (Informatik 8) Textmining Einführung 3 / 10

4 Zum Kennenlernen: Die Textmining Olympiade In der Vorlesung betrachten wir vier Hauptdisziplinen des Textmining: Information Extraction (Finde Informationen innerhalb eines Dokuments) Information Retrieval (= Suche; finde das passende Dokument) Clustering (Gruppiere Dokumente) Klassifikation (Bewerte Dokumente) (Informatik 8) Textmining Einführung 4 / 10

5 TM-Olympiade: Information Extraction Überfliegen Sie die Beispieldokumente (nicht lesen!). Exzerpieren Sie Namen / Personen Orte Organisationen Einheiten und deren Ausprägungen (Informatik 8) Textmining Einführung 5 / 10

6 TM-Olympiade: Dokument Suche (Information Retrieval) Notieren Sie die Nummern der Dokumente, die zu folgenden Suchanfragen passen: Was war los im Fußball? Krise / Krieg Politik Wirtschaft, Konsum Gewalt (Informatik 8) Textmining Einführung 6 / 10

7 TM-Olympiade: Clustering (Gruppierung) Teilen Sie die Dokumente in genau drei Gruppen ähnlicher Dokumente auf Teilen Sie die Dokumente in beliebig viele Gruppen ähnlicher Dokumente auf (Informatik 8) Textmining Einführung 7 / 10

8 TM-Olympiade: Klassifikation Finden Sie Boulevardmeldungen Finden Sie Sportmeldungen Finden Sie Meldungen über Konflikte (Informatik 8) Textmining Einführung 8 / 10

9 Dänische Nachrichtenmeldungen: (A) Carlsberg-aktien faldt med næste 12 procent, da de førende danske aktier igen havde en dårlig dag med et fald på 2,8 procent. (B) (C) (D) (E) (F) (G) (H) (I) (J) (K) (L) (M) (N) (O) Flere lande melder om fund af melamin i fødevarer indeholdende mælkebestanddele produceret i Kina. Mindst otte EU-lande har sagt ja til at sende tropper til Det Indiske Ocean for at rense vandene for somaliske pirater. Brøndby tabte 2-3 til Rosenborg i UEFA Cuppens første runde i en kamp, hvor det længe så ud til, at der skulle forlænget spilletid til. Michael Laudrups og Spartak Moskva havde heldet på deres side, da blev til 1-1 mod tjekkiske Banik Ostrava. Både Frank og Andy Schleck mødes torsdag med den internationale cykelunion UCI, bekræfter en talsmand. Enrico Carpani oplyser til Sporten. Sydøstjyllands Politi har nu sat en militærhelikopter ind i jagten på de tre mænd, der i nat begik et brutalt røveri imod et ældre ægtepar. USA s forhandler Christopher Hill forlænger sit besøg i Nordkorea i et forsøg på at redde atomforhandlingerne. En række selvmordsbomber har torsdag rystet Iraks hovedstad Bagdad og dræbt 20 mennesker og såret 60 andre. Danske Jannik Hansen banker på til Vancouver Canucks NHL-trup efter sine to mål i 6-1-sejren over Calgary Flames i en testkamp. Den mest omfattende dopingskandale i cykelsporten, Operacion Puerto, bliver nu henlagt. Det danske kvindelandshold i fodbold kvalificerede sig onsdag aften til EM-slutrunden næste år i Finland med en sejr over Ukraine. Suzanne Bjerrehuus kritiserer Kasper Bech Holten i skarpe vendinger i sin klumme i Ekstra Bladet. Charmeparret Hans Pilgaard og Mie Moltke er hårdt ramt af sygdom og skader. Kursen skal lægges om, hvis Danmark og NATO skal have succes i Afghanistan, fastslår afghansk oppositionspolitiker. (Informatik 8) Textmining Einführung 9 / 10

10 Einige Hinweise (A) Carlsberg-aktien faldt med næste 12 procent, da de førende danske aktier igen havde en dårlig dag med et fald på 2,8 procent. (Wirtschaft) (B) (C) (D) Flere lande melder om fund af melamin i fødevarer indeholdende mælkebestanddele produceret i Kina. (Skandal/Verbraucherschutz) Mindst otte EU-lande har sagt ja til at sende tropper til Det Indiske Ocean for at rense vandene for somaliske pirater. (Konflikte/Asien) Brøndby tabte 2-3 til Rosenborg i UEFA Cuppens første runde i en kamp, hvor det længe så ud til, at der skulle forlænget spilletid til. (Sport Fußball) (E) Michael Laudrups og Spartak Moskva havde heldet på deres side, da blev til 1-1 mod tjekkiske Banik Ostrava. (Sport Fußball) (F) (G) (H) (I) (J) (K) (L) (M) (N) (O) Både Frank og Andy Schleck mødes torsdag med den internationale cykelunion UCI, bekræfter en talsmand. Enrico Carpani oplyser til Sporten. (Sport) Sydøstjyllands Politi har nu sat en militærhelikopter ind i jagten på de tre mænd, der i nat begik et brutalt røveri imod et ældre ægtepar. (Kriminalität Technik) USA s forhandler Christopher Hill forlænger sit besøg i Nordkorea i et forsøg på at redde atomforhandlingerne. (Konflikte) En række selvmordsbomber har torsdag rystet Iraks hovedstad Bagdad og dræbt 20 mennesker og såret 60 andre. (Konflikte) Danske Jannik Hansen banker på til Vancouver Canucks NHL-trup efter sine to mål i 6-1-sejren over Calgary Flames i en testkamp. (Sport Eishockey) Den mest omfattende dopingskandale i cykelsporten, Operacion Puerto, bliver nu henlagt. (Sport Doping) Det danske kvindelandshold i fodbold kvalificerede sig onsdag aften til EM-slutrunden næste år i Finland med en sejr over Ukraine. (Sport Fußball) Suzanne Bjerrehuus kritiserer Kasper Bech Holten i skarpe vendinger i sin klumme i Ekstra Bladet. (Boulevard) Charmeparret Hans Pilgaard og Mie Moltke er hårdt ramt af sygdom og skader. (Boulevard) Kursen skal lægges om, hvis Danmark og NATO skal have succes i Afghanistan, fastslår afghansk oppositionspolitiker. (Konflikte Asien) (Informatik 8) Textmining Einführung 10 / 10