It og informationssøgning Forelæsning november 2006 Nils Andersen. Regulære udtryk og formelle sprog

Transkript

1 It og informationssøgning Forelæsning november 2006 Nils Andersen Regulære udtryk og formelle sprog Regulært udtryk Forening, sammenstilling og Kleene-gentagelse Andre notationer og operatorer Modulet re re.findall, re.match, re.search, re.sub Oversættelse med re.compile Formelt sprog Formelt alfabet og formelle ord Formel grammatik Chomsky-hierarkiet: Regulære sprog (type 3), kontekstfri sprog (type 2), type 1- sprog og rekursivt numerable sprog (type 0) Andersen & Simonsen: kap. 11 1

2 Regulært udtryk Et regulært udtryk er en skabelon, som en tekst kan matche eller ikke matche. De simpleste regulære udtryk er en enkelt tekst; sådan et udtryk matcher netop denne tekst selv (og ingen andre tekster). Af regulære udtryk u 1 og u 2 dannes nye regulære udtryk af form u 1 u 2, u 1 u 2 eller u (hvor gruppering eventuelt kan vises med almindelige runde parenteser). Analogi: Det svarer til opbygning af regneudtryk, hvor de simpleste regneudtryk bare er tal, og sammensatte udtryk dannes herudfra, for eksempel ( ) 2 (under brug af +,, kvadrering og parenteser). Men hvor værdien af et regneudtryk er et tal, er værdien af et regulært udtryk et såkaldt regulært sprog: Samlingen af de tekster, som matcher udtrykket. 2

3 Forening, konkatenering og iteration En tekst matcher u 1 u 2, hvis den matcher u 1 eller u 2. En tekst t matcher u 1 u 2, hvis det er muligt at splitte den op i to dele, t = t 1 t 2 på en sådan måde, at t 1 matcher u 1, og t 2 matcher u 2 En tekst t matcher u, hvis den er tom, eller hvis den kan splittes op t = t 1 t 2 t k i dele, som hver især matcher u. Teoretisk set kan alle regulære udtryk opbygges med kun disse tre operatorer; for at få kortere udtryk bruger man i praksis en række yderligere iteratorer: En tekst matcher u?, hvis den er tom eller matcher u. En tekst t matcher u+, hvis den kan splittes op t = t 1 t 2 t k i k > 0 dele, som hver især matcher u. En tekst t matcher u{m, n}, hvis den kan splittes op t = t 1 t 2 t k i k dele, som hver især matcher u, og hvor m k n. u{n, n} skrives også u{n}, u{0, n} skrives også u{, n}, og u{m, } skrives også u{m, }. 3

4 Tegnklasser [...] Forening af enkelttegn. [a-cf4-7] betyder for eksempel a b c f [^...] Den komplementære klasse (alle tegn udenfor) \d, \D De decimale cifre og deres komplement \w, \W Alfanumeriske tegn ([a-za-z0-9 ]) og deres komplement \s, \S Mellemrumstegn ([ \t\n\v\f\r]) og deres komplement \b, \B Ordgrænse og dens komplement \A, ^ Tekstens begyndelse og hver linjes begyndelse \Z, $ Tekstens slutning og hver linjes slutning. Et hvilket som helst tegn Eksempel: Teksten <br /> matcher mønsteret <[^>]+/>. Husk, at \ i python-konstanter (både tekster og mønstre) skal angives med \\. 4

5 Grupper Ud over anvendelsen til gruppering har runde parenteser i regulære udtryk også en anden funktion: Idet parentespar nummereres 1, 2,... (fra venstre mod højre, regnet efter parrets venstreparentes), bliver gruppe n den deltekst, som matcher indholdet af det n-te parentespar. I regulære udtryk betegner \1, \2,... første, anden,... gruppe. den Eksempel: Teksten Vaskebjørnens børnebørn matcher mønsteret.*j(.{3}).+\\1(.+)\\1, idet gruppe 1 bliver ørn, og gruppe 2 bliver eb. 5

6 findall re.findall(u, t) opsøger i teksten t fra venstre mod højre ikke-overlappende deltekster, som matcher det regulære udtryk u. Resultatet er en liste af de fundne matchende deltekster, hvis u ikke indeholder nogen gruppering. Hvis u indeholder n > 0 runde parentespar, er resultatet en liste af n-tupler bestående af grupperne i hver af de matchende deltekster. >>> import re >>> tekst = abc123 lmn-11 def77 >>> re.findall("[a-z]+\\d+", tekst) [ abc123, def77 ] >>> re.findall("([a-z]+)(\\d+)", tekst) [( abc, 123 ), ( def, 77 )] >>> re.findall("([a-z]+(\\d+))", tekst) [( abc123, 123 ), ( def77, 77 )] 6

7 Oversættelse Forud for hver anvendelse af et regulært udtryk i python skal det oversættes; skal samme udtryk genbruges, kan det forbedre effektiviteten selv eksplicit at styre oversættelsen: re.compile(u[, f]) giver et regulært udtryk-objekt svarende til u. Hvor biblioteksfunktionerne forventer et regulært udtryk som argument, kan man give dem et regulært udtryk-objekt i stedet (og derved få en hurtigere udførelse). Den valgfrie parameter f er eventuelle modificerende flag (se noterne). 7

8 match, search og match-objekter re.match(u, t[, f]) forsøger at finde en indledende del af teksten t, som matcher det regulære udtryk u. Resultatet er det tilsvarende match-objekt, hvis det lykkes, og ellers None. re.search(u, t[, f]) opsøger i teksten t den længst mod venstre beliggende del, som matcher det regulære udtryk u. Resultatet er det tilsvarende match-objekt, hvis det lykkes, og ellers None. I begge tilfælde er den valgfrie parameter f som for compile. For et match-objekt m vil m.group(0) være hele den matchende deltekst og m.group(1), m.group(2),... være gruppe 1, gruppe 2,... (hvis der var runde parenteser i det regulære udtryk). def grep(u,filnavn) fil = open(filnavn) while True: linje = fil.readline() if linje == "": break m = re.search(u,linje) if m: print linje fil.close() 8

9 sub re.sub(u, s, t[, n]) returnerer resultatet af i teksten t at erstatte alle ikke-overlappende dele, som matcher det regulære udtryk u, med s. Den valgfrie parameter n kan angive et maksimalt antal erstatninger. >>> import re >>> tekst = "abc123 xyz666 lmn-11 def77" >>> re.sub("([a-z]+)(\\d+)", "\\2\\1 :", tekst) 123abc : 666xyz : lmn-11 77def : >>> def vis(u, t):... print re.sub(re.compile( ( +u+ ) ), \ {\\1}, t), \n... >>> abel \ = Abel spendabel\nhvad koster din sabel? >>> vis( a, abel) Abel spend{a}bel hv{a}d koster din s{a}bel? Andet argument s kan også være en funktion. Den skal i så fald tage et match-objekt som argument og resultere i en tekst, og den vil successivt blive kaldt med hver matchende deltekst som parameter. 9

10 Formelt alfabet, formelt ord, formelt sprog Et formelt ord er en stribe tegn fra et formelt alfabet V (bestående af de på forhånd fastlagte tegn, der overhovedet kan komme på tale). Det skal være entydigt, hvilke tegn et formelt ord består af. V er samlingen (den uendelige mængde) af alle formelle ord, iberegnet det tomme ord ε og enkelttegnsordene v for v V. Eksempel: V = {a, b} V = {ε, a, b, aa, ab, ba, bb, aaa,...} a b L ε aba V Et formelt sprog er en delmængde L af formelle ord. 10

11 Eksempler L 0 Sproget helt uden ord (det tomme sprog) L 1 Sproget kun bestående af ε L 2 Sproget kun bestående af aab L 3 Alle ord med højst 2 a er og højst 2 b er L 4 Alle ord med skiftevis et a og et b L 5 Alle ord, der ender på aba L 6 Alle ord med lige mange a er og b er L 7 Alle ord, der for et n 0 består af først n a er, derefter n b er, og til sidst igen n a er V Alle ord 11

12 Formel grammatik En formel grammatik er en samling omskrivningsregler (produktionsregler ) v h, hvor v og h er formelle ord over et alfabet med terminale symboler og hjælpesymboler (nonterminaler ). En af nonterminalerne skal være udpeget som sætningssymbol. Relationen defineres ved, at xvy xhy, hvis v h er en omskrivningsregel, og x og y er formelle ord. Det af en formel grammatik G fastlagte formelle sprog L(G) består af alle de ord w, for hvilke der findes en omskrivningskæde S... w, hvor S er sætningssymbolet, og w kun består af terminale symboler. En formel grammatik er kontekstfri, hvis hver omskrivningsregel kun har en enkelt nonterminal på sin venstre side. Et formelt sprog er kontekstfrit, hvis det kan fastlægges af en kontekstfri grammatik. 12

13 Eksempel S P + S S P P A P P A A (S) A 2 A 5 A 7 A 9 A 11 Denne grammatik (med S som sætningssymbol) er kontekstfri tilhører det frembragte formelle sprog, fordi S P + S P + P P + A P P + A A P + A 7 P A P A A A

14 Regulært sprog Ækvivalente karakteriseringer af de regulære sprog: Den mindste klasse af formelle sprog, som indeholder de endelige sprog og er lukket over for foreningsmængde, sammenkædning (konkatenering) og Kleene-iteration. De sprog, som kan beskrives af et regulært udtryk. De sprog, som kan fastlægges af en regulær grammatik. De sprog, som accepteres af en tilstandsgraf (tilstandsmaskine, automat). De sprog, hvor spørgsmålet om et ords tilhørsforhold kan fastlægges af en mekanisme, der kun har et lager af en på forhånd fastlagt endelig størrelse. 14

15 Formalismer En grammatik er regulær, hvis hver af dens produktioner har en af formerne A ab A a A ε (således at de indre skridt i en omskrivning må have form wa wab, hvor w er et terminalt ord) Eksempel på en tilstandsgraf: b a 1 6 a 2 b a b Tilstandsgraf for L 5 a b 15

16 Chomsky-hierarkiet L 0 L 1 L 2 L 3 L 4 L 5 V L 6 L 7 endelige sprog regulære sprog (type 3) kontekstfri sprog (type 2) kontekst-sensitive sprog (type 1) rekursivt numerable sprog (type 0) alle formelle sprog 16