SEKTION 3 MATRIXPOTENSER OG DEN SPEKTRALE RADIUS 3 Matrixpotenser og den spektrale radius Cayley-Hamilton-sætningen kan anvendes til at beregne matrixpotenser: Proposition 3 (Lasalles algoritme) Lad A Mat n,n (C), og lad λ,, λ n C være egenværdierne for A, talt med multiplicitet Lad P 0 =, og, for k =,, n, lad P k = k (A λ j ) For k =0,, 2, gælder, at hvor tallene w j (k) er defineret induktivt, ved A k = w (k)p 0 + + w n (k)p n, ( ) k w (0) =, w (m) =λ w (m ) for m =, 2, og w j (0) = 0, w j (m) =λ j w j (m ) + w j (m ) for m =, 2, og j =2,, n Vi bemærker først, at, ifølge Cayley-Hamilton-sætningen, P n =(A λ I) (A λ n I)=0 Læg også mærke til, at begyndelsesbetingelserne w (0) =, w j (0) = 0 for j =2,, n, sikrer at ( ) 0 gælder Antag nu, induktivt, for k, at ( ) k gælder, dvs Så er A k = = = w j (k )AP j A k = w j (k )P j w j (k )(λ j P j +(A λ j I)P j ) w j (k )(λ j P j + P j ) = λ w (k )P 0 +(λ 2 w 2 (k ) + w (k ))P + +(λ n w n (k ) + w n (k ))P n (vi har brugt, at P n =0) = w (k)p 0 + w 2 (k)p + + w n (k )P n Så ( ) k gælder, induktionsskridtet er taget, og resultatet bevist 23
SEKTION 3 MATRIXPOTENSER OG DEN SPEKTRALE RADIUS Vi bruger Lasalles algoritme til at finde betingelser, der sikrer, at A k 0 når k Definition 32 Lad A Mat n,n (C), og lad λ,, λ n C være egenværdierne for A, talt med multiplicitet Den spektrale radius for A er ρ(a) = maks{ λ,, λ n } Lemma 33 Lad A Mat n,n (C), og lad λ,, λ n C være egenværdierne for A, talt med multiplicitet Skriv ρ = ρ(a) og vælg β > ρ Der gælder, for j =,, n, at for k =0,, 2, w j (k) β k (β ρ) j (+) k Læg mærke til, at (+) 0 gælder, idet w (0) =, w j (0) = 0 for j =2,, n Antag, induktivt, for k, at (+) k gælder Vi har da og, for j 2 w (k) = λ w (k ) = λ w (k ) λ β k w j (k) = λ j w j (k ) + w j (k ) (induktionshypotesen) <β k (idet λ ρ(a) =ρ<β ), λ j w j (k ) + w j (k ) = λ j w j (k ) + w j (k ) λ j = β k (β ρ) j + β k (β ρ) j 2 (induktionshypotesen) β k (β ρ) j ( λ j + β ρ) β k (β ρ) j (idet λ j ρ 0) Så (+) k gælder, induktionsskridtet er taget, og resultatet bevist 232
SEKTION 3 MATRIXPOTENSER OG DEN SPEKTRALE RADIUS Sætning 34 Lad A Mat n,n (C), antag, at ρ(a) < Så gælder, at A k 0 når k Skriv ρ = ρ(a), og lad β (ρ, ) Vi har da (med brug af Frobenius-normen, [L], s 248) A k = = w j (k)p j w j (k)p j w j (k) P j = β k ( (trekantsuligheden) β k (β ρ) j P j (Lemma 33) 0 når k, (β ρ) j P j ), idet tallet i parenteserne er uafhængigt af k, og 0 < β < Så A k 0 når k 233
SEKTION 32 KONVERGENS AF MARKOVPROCESSER 32 Konvergens af Markovprocesser I denne sektion vil A Mat n,n (R) være en positiv stokastisk matrix Lad s R n være den entydige sandsynlighedsvektor i E A () (se Addendum 028) Definer S = [ s,, s ] i søjleform, så Læg mærke til, at Vi vil vise Sz = S = s e T s n e T s (e T z) s n (e T z) i rækkeform =(e T z)s for alle z C n Sætning 32 A k S når k Som konsekvens ser vi, at en Markov Proces med positiv transitionsmatrix altid konvergerer mod en stabil tilstand: Sætning 322 Lad x 0 R n være en sandsynlighedsvektor Der gælder, at A k x 0 s når k Da A k S når k, så gælder, at A k x 0 Sx 0 når k Men Sx 0 =(e T x 0 )s = s idet x 0 er en sandsynlighedsvektor 234
SEKTION 32 KONVERGENS AF MARKOVPROCESSER Vi har brug for et par hjælperesultater: Lemma 323 () Ss = s og S 2 = S (2) AS = S = SA (3) A k S = S = SA k for k =, 2, () Ifølge en tidligere beregning er Ss =(e T s)s = s, og derfor er S 2 = S[s,, s] =[Ss,, Ss] = [s,, s] =S (2) Vi har og AS = A[s,, s] =[As,, As] =[s,, s] =S SA = s e T s n e T A = s (e T A) s n (e T A) = s e T s n e T = S (3) Anvend (2) k gange Lemma 324 Der gælder, for k =, 2,, at A k S =(A S) k Resultatet er oplagt for k = Antag induktivt, for k>, at det gælder for k Vi har da (A S) k =(A S)(A S) k =(A S)(A k S) (induktionshypotesen) = A k SA k AS + S 2 = A k S S + S (Lemma 323) = A k S Induktionsskridtet er taget, og resultatet bevist 235
SEKTION 32 KONVERGENS AF MARKOVPROCESSER Proposition 325 Lad λ C være en egenværdi for A S Der gælder én af følgende: (a) λ =0, (b) λ er en egenværdi for A, og λ 2 λ < Lad v C n være en egenvektor for A S svarende til λ Vi skriver v =(e T v)s + w hvor w = v (e T v)s Læg mærke til, at e T w = e T v (e T v)(e T s) = 0 idet e T s = Vi har λv =(A S)v = A((e T v)s + w) Sv =(e T v)s + Aw (e T v)s = Aw, (da As = s og Sv =(e T v)s) så Hvis λ =0gælder mulighed (a) λe T v = e T (λv) =e T (Aw) =(e T A)w = e T w =0 Antag nu, at λ 0 Så er e T v =0og λv =(A S)v = Av Sv = Av (e T v)s = Av, så λ er en egenværdi for A Hvis λ =, v E A () = Span(s), så v = αs med α 0 Men så er e T v = αe T s = α, og e T v 0, en modstrid Så λ, og mulighed (b) gælder 2 Det følger af Proposition 027, 2, at λ < for alle egenværdier λ af A for Sætning 32 Ifølge Proposition 325 er alle egenværdier for A S af absolut værdi <, så (A S) k 0 når k (Sætning 34) Men (A S) k = A k S for k =, 2, (Lemma 323) så A k S 0 når k dvs A k S når k 236
SEKTION 33 GOOGLE-SØGNING OG VERDENS STØRSTE MATRIXBEREGNING 33 Google-søgning og verdens største matrixberegning For ti år siden var en søgning på internettet ofte en frustrerende oplevelsesøgemaskinerne kunne finde mange, mange sider, hvor søgeordene optrådte, men rækkefølgen, siderne blev vist i, viste kun sjældent de virkeligt interessante sider først Google-søgningen har ændret dette, nu er det oftest således, at de sider, man er mest interesseret i, bliver vist blandt de allerførste Hvordan kan det lade sig gøre? 33 Princippet bag Googles søgemaskine Internettet kravles igennem af en web-crawler For enhver web-side som nås gemmes bla sidens adresse, sidens tekst, og sidens links (dvs referencer til andre web-sider) Data erne gemmes i en gigantisk database (Antal web-sider N 20 0 9 ) 2 Enhver web-side tildeles et tal (0 ), sidens PageRank, som angiver sidens vigtighed 3 Ved en forespørgsel findes i databasen de web-sider, som indeholder søgeordene, og de vigtigste, dvs dem med højeste PageRank, vises først Nøglen til Googles succes er PageRank algoritmen 332 Principper bag PageRank Internettet tolkes demokratisk: Ethvert link tæller som en stemme En web-sides vigtighed afhænger af, hvor mange andre web-sider stemmer på den, dvs linker til den 2 Stemmer fra vigtige web-sider er mere betydende end stemmer fra ikke-vigtige websider Disse principper bliver til PageRank-tal med hjælp af en Markov proces: 333 Den tilfældige surfer, version En internet-bruger bevæger sig tilfældigt rundt på nettet Fra en given web-side P vælger han eller hun den næste side: Hvis P ikke har udgående links, så vælges tilfældigt blandt nettets web-sider, med lig sandsynlighed 2 Hvis P har udgående links, så vælges tilfældigt én af de linkede web-sider, med lig sandsynlighed 237
SEKTION 33 GOOGLE-SØGNING OG VERDENS STØRSTE MATRIXBEREGNING Vi har defineret en Markov proces, hvis transitionsmatrix A er en N N-matrix, hvor a ij er sandsynlighed for, at den tilfældige surfer skifter fra webside j til web-side i, så m : web-side j har m>0 udgående links, ét af dem til web-side i, a ij = 0: web-side j har udgående links, men ikke et til web-side i, N : web-side j har ingen udgående links Stemmeafgivningen om en web-sides vigtighed burde være angivet ved proportionen af tilfældige link-surfere som efter lang tids surf befandt sig på web-siden Der ønskes derfor en N-vektor x, således at Markov-kæden x 0, x = Ax 0,, x k+ = Ax k, konvergerer mod x, lige meget hvordan proportionerne x 0 af link-surferne på internettets sider var i begyndelsen Desværre kan vi ikke forvente, at en sådan x findes, der er feks mange muligheder for periodiske Markov-kæder (feks web-side linker til web-side 2, som linker til web-side 3, som som linker til web-side k, som linker til web-side, uden at web-siderne til k har andre udgående links) Løsningen er, at løsne tøjlerne lidt på surferne (og gør dem også lidt mere realistiske): 334 Den tilfældige surfer, version 2 En internet-bruger bevæger sig tilfældigt rundt på nettet Fra en given web-side ageres med sandsynlighed α som i version, og med sandsynlighed α vælges tilfældigt blandt nettets web-sider, med lig sandsynlighed Her 0 <α Google har tidligere oplyst, at firmaet anvendte α =0, 5 Vi har defineret en ny Markov proces, med N N-transitionsmatrix G = ( α)a + αe hvor E = N [e,, e] Vi ser umiddelbart, at G er en positiv stokastisk matrix, så: Proposition 335 (Addendum 028 og Sætning 322) Der findes en entydig sandsynlighedsvektor s R N som er en egenvektor for G svarende til egenværdi 2 Lad x 0 R N være en sandsynlighedsvektor Der gælder, at G n x 0 s når n s angiver således PageRank: PageRank en af web-side i er den i te indgang s i af s 238
SEKTION 33 GOOGLE-SØGNING OG VERDENS STØRSTE MATRIXBEREGNING Der resterer, at beregne s Umiddelbart er det naturligt at prøve at beregne E (G) = N(G ) (som har s som basis (Proposition 027 og Addendum 028)) vha rækkereduktion, men det ville kræve 3 N 3 talmultiplikationer, dvs 8 3 030 talmultiplikationer, effektivt umuligt I stedet for anvendes potensmetoden, dvs man beregner en Markov-kæde x 0, x = Gx 0,, x n = Gx n, ( ) (hvor x 0 er en sandsynlighedsvektor, feks N e) indtil forskellen mellem x n og x n er så lille, at x n er en tilstrækkelig god approksimation til s En matrixmultiplikation By, hvor B er en N N-matrix, kunne kræve generelt N 2 talmultiplikationer, så ser temmelig umulig ud; beregningen af Markov-kæden ( ) er dog mulig, fordi G har en ret speciel form Vi har hvor L er link-matricen, med indgange l ij = G = ( α)a + αe = ( α)(l + H)+αE, { m og H er hængende-sider-matricen, med indgange h ij = : webside j har m udgående links, ét til side i, 0: ellers { N : web-side j har ingen udgående links, 0: ellers For at beregne Gx skal der beregnes Lx, Hx og Ex Først Lx: hver web-side indeholder i gennemsnit omkring 0 links Når der således i gennemsnit er ca 0 komponenter i hver søjle, som er forskellige fra 0, må det samme gælde for rækkerne Så beregning af Lx vil kræve ca 0N multiplikationer Dernæst Hx: Alle ikke-nul rækker er ens i H, så de tilsvarende koordinater i Hx er ens Den fælles værdi er ( x j ) N j: web-side j har ingen udgående link Så beregning af Hx kræver mindre end N additioner og én division Endelig Ex: denne kræver ingen udregning når x er en sandsynlighedsvektor, fordi Ex = N e Ṭ e T x x = N = N = N e e T e T x Beregningen af leddene i Markov-kæden ( ) er således krævende (0N =2 0 multiplikationer er altså ret mange), men overkommelig Hvor mange led skal beregnes, før en acceptabel konvergens har fundet sted? 239
SEKTION 33 GOOGLE-SØGNING OG VERDENS STØRSTE MATRIXBEREGNING Lemma 336 Hvis λ C er en egenværdi for G med λ, så er λ α Lad v C N være en egenvektor svarende til λ Så er Gv = λv og e T v =(e T G)v = e T (Gv) =e T (λv) =λe T v Vi har derfor (λ )e T v =0, og, da λ, får vi e T v =0 Men så er Ev = N e Ṭ e T v 0 v = N = N = 0, e T e T v 0 og λv = Gv = ( α)av + αev = ( α)av, altså Av = λ αv Så λ α er en egenværdi for A Da A er en stokastisk matrix, er λ (ifølge Lemma 02), så λ α = α α Korollar 337 Lad β ( α, ) Så findes der en konstant C>0 så G k x s Cβ k for alle sandsynlighedsvektorer x og alle k =, 2, Lad S =[s,, s] Hvis λ C er en egenværdi for G S, så gælder, ifølge Proposition 325, enten at λ =0, eller at λ er en egenværdi for G og λ Så λ α, ifølge Lemma 336, og G S har spektral radius α Ifølge beviset for sætning 34 findes der C>0 således, at (G S) k Cβ k Men (G S) k = G k S ifølge Lemma 324, så G k S Cβ k Der gælder altså, at G k x s = (G k S)x G k S x G k S Cβ k Markov-kæden x 0, x = Gx 0,, x n = Gx n, konvergerer således med en eksponential hastighed (tæt på) α =085 med Googles (tidligere?) valg af α =05 I 2000 oplyste Google, at de beregnede ca 00 led af kæden (085 00 9 0 8 ) men dengang var der kun ca 2 0 9 web-sider 240
SEKTION 33 GOOGLE-SØGNING OG VERDENS STØRSTE MATRIXBEREGNING Google, Googles beregninger, og PageRank har tiltrukket sig megen interesse fra konkurrenter, fra dem, der gerne så deres web-sider opfattet vigtigere, og fra mange forskere, der ville gøre det bedre og der findes mange offentligt tilgængelige forslag til hurtigere beregninger og anderledes definition af Googles stokastiske proces, foruden Googles egne forbedringer, ikke længere så tilgængelige som i begyndelsen Så det, jeg har skitseret, er nok ikke helt som tingene gøres i dag Men der er skabt en 200 milliarder dollars forretning på basis af Googles søgemaskiner, og det hele startede som jeg har beskrevet fordi to studerende, Sergey Brin and Larry Page, havde hørt efter til Lineær Algebra forelæsninger 24