Fractal compression a technology in search of a problem

Transkript

1 Fractal compression a technology in search of a problem Bryggervej 30, 8240 Århus N 4. januar 2011

2 Oversigt 1 Magien bag ved Matematikken Kopimaskinen Simsalabim Partitioneret IFS 2 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet 3 Parallelberegning arkitektur PIFS 4 As seen on

3 Matematikken Kopimaskinen Simsalabim Partitioneret IFS Affine transformationer [ ] [ ] [ ] x ai b w i = i x + y y c i d i [ ei f i ] Translation Rotatation Shear Spejling

4 Matematikken Kopimaskinen Simsalabim Partitioneret IFS Iterrede funktionssystemer IFS IFS n W ( ) = w i ( ) i=1 f 1 = W (f 0 ) f 2 = W 2 (f 0 ) = W (W (f 0 )) Attractor W f = lim n W n (f 0 )

5 Matematikken Kopimaskinen Simsalabim Partitioneret IFS

6 Matematikken Kopimaskinen Simsalabim Partitioneret IFS

7 Matematikken Kopimaskinen Simsalabim Partitioneret IFS uendelig zoom

8 Matematikken Kopimaskinen Simsalabim Partitioneret IFS organiske former

9 Matematikken Kopimaskinen Simsalabim Partitioneret IFS Observationer Compression Det kræver få transformationer, de er nemme at gemme Zoom Vi kan forstørrer uden at få artifacts Contraction Vi er nødt til at kræve at transformationerne (samlet set) trækker sig sammen. Rekursivt Billedet er en attractor defineret af transformationer. Det er altså ligegyldigt hvad vi bruger som input(f 0 ). Hvad hvis vi kunne gå den anden vej?

10 Matematikken Kopimaskinen Simsalabim Partitioneret IFS Den anden vej self-similaritet Hele billedet ligner ikke ikke sig selv, men dele af billedet ligner andre dele.

11 Matematikken Kopimaskinen Simsalabim Partitioneret IFS Partitioneret IFS Partitionering Vi redefinerer w i således at de tager en blok som input og laver en block som output. Der er mange muligheder : grid, quadmap, HV, etc.

12 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet Collage theorem Wikipedia skriver Let X be a Complete metric space. Let L H(X) be given, and let ɛ 0 be given. Choose an IFS {X; w 1, w 2,..., w N } with contractivity factor 0 s < 1, so that ( ) N h L, w n (L) ε, n=1 where h(d) is the Hausdorff metric. Then h(l, A) where A is the attractor of the IFS. ε 1 s

13 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet Collage theorem På dansk Hvis der kan findes en transformation på en domain block w der ligner vores range block ret godt. Så vil det ligne endnu mere hvis vi køre transformationen igen. Målet er derfor ikke at finde et perfekt match, men et godt match.

14 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet Farver Betragt en pixel (x, y) som en funktion der giver farven. f (x,y) = farve.

15 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet Den sidste bid matematik Hvornår ligner det ret godt? Vi har brug for en måde at måle hvor godt en transformeret domain block ligner en range. Her bliver mindste kvadraters metode(rms) brugt. Hvad med pixel intensiteten? Vi kan have noget der ligner ret godt, men ikke har samme pixelintensitet. For at råde bod på det tilføjer vi transformationer af pixel intensitet.

16 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet Pixel intensitet Givet to kvadrater med pixel intensiteter: a 1,... a n fra D i og b 1,... b n fra R i, skal vi finde s og o der minimere R: R = n (s a i + o b i ) 2 i=1 Vi kan altså finde s og o således at der er kortest afstand fra D i til R i.

17 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet Mindste kvadraters metode s = n2 ( n i=1 a ib i ) n i=1 a n i i=1 b i n 2 n i=1 a2 i ( n i=1 a i) 2 n i=1 o = b i s n i=1 a i n 2 Vi kan altså finde s og o således at der er kortest afstand fra D i til R i.

18 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet men hvis så er det n 2 ( n n ) 2 ai 2 a i = 0 i=1 i=1 s = 0 o = n i=1 b i n 2

19 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet RMS Med s og o i hånden kan vi beregne vores mål for at ligne ret godt. R = P n i=1 b2 i +s(s P n i=1 a2 i 2(P n i=1 a i b i)+2 o P n i=1 a i)+o(o n 2 2 P n i=1 b i) n 2 Vi kunne spare tid ved at erklære en nedre grænse for varians, altså indføre shaddowblocks hvis blokken praktisk talt er ensfarvet.

20 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet En fremgangsmåde Find blok range blok: R i for alle mulige domain blokke D j for mulige transfomationer ( k ) lav transformation w k på domain blok D j løs RMS for at finde s, o gem den bedste løsning til som transformation til r i

21 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet Huh der er mange muligheder ranges width height domains width height transfomationer spejling, rotation (α = 1, 2... n), shear partitionering grid, quadmap, rectangler, polygoner... Kompleksitet Hver range kræver at man undersøger en masse domains. Hvis der ikke kommer restriktioner på bliver det praktisk talt uendeligt.

22 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet PIFS Restriktioner simpelt grid ranges er disjunkte range størrelsen er 1 2 domain.

23 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet simple transformationer Symmetri operationer Disse transformationer er nemme og hurtige at regne med og holder sig inden for et kvadrat.

24 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet Hvad skal vi gemme? translation Hvor kommer en domain blok fra, x,y. symmetri operation Hvilken af de 8 transformationer skal der bruges pixel intensitet transformation af pixel intensitet. Vi har implicit samme blok størrelse, og vi kan gemme range blokke i rækkefølge. Hvorfor det er tilstrækkeligt at vide hvor domain blokken er. Alle domains, er dobbelt så store. Det er derfor nemt at beregne en transformeret pixel, som en symmetri transformation og et gennemsnit af 4 nabo pixels.

25 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet codeblocks codeblocks En transformeret domainblok. Antal codeblocks er afgørende for kompleksiteten, restriktionerne reducerer antallet - men der er stadigt nogle stykker.

26 Collage theorem De sidste detaljer Mindste kvadrater Kompleksitet Der er noget at regne på billede med 4 4 range blokke: Hvor mange måder kan vi så placere vores 8 8 domains. Hvis vi ikke yderligt begrænser muligheder, er der = placeringer og yderligt 8 mulige symetri operationer. Altså = codeblocks. Der er ( ) = range blokke der alle skal sammenlignes med domains. Alt i alt skal vi beregne RMS gange. 34 mia sammenligninger n=antal pixels betyder det er O(n 2 ) med andre ord: ubehageligt

27 Vi kan hjælpes ad Magien bag ved Parallelberegning arkitektur PIFS alle rangeblokke skal sammenlignes med alle codeblocks Der er ikke nogen afhængigheder mellem rangblocks. Det er altså muligt trivielt at gøre det parallelt. Hvis vi har n processorer kan vi gøre det i O(n)

28 Ikke n, men mange Magien bag ved Parallelberegning arkitektur PIFS 336 processorer er også en slags n

29 Why GPU Magien bag ved Parallelberegning arkitektur PIFS

30 Parallelberegning arkitektur PIFS Den lille forskel GPU SIMD Single instruction, multiple data Mindre cache Pas på branches

31 Parallelberegning arkitektur PIFS ingen doven skræder GPU Mange tråde fx en tråd pr pixel zero-overhead scheduling inden for en warp Memorybandwith bliver nemt en flaskehals

32 Parallelberegning arkitektur PIFS Lidt tættere på metallet GPU Begrænset antal registre Stor forskel på accesstime på memorytyper Texturefunktioner er ej så ringe

33 Parallelberegning arkitektur PIFS Fra minutter til sekunder En tråd pr rangblock Blokke på max størrelse (16x16 / 32x32) Shared memory til codeblocks fokus på fractal interpolation

34 Input Magien bag ved As seen on

35 Iteration 00 Magien bag ved As seen on

36 Iteration 02 Magien bag ved As seen on

37 Iteration 04 Magien bag ved As seen on

38 Iteration 14 Magien bag ved As seen on

39 kvalitet Magien bag ved As seen on

40 Original 128x128 Magien bag ved As seen on billeder lånt fra et speciale...

41 fractal interpolation 256x256 As seen on

42 bilinear interpolation 256x256 As seen on

43 As seen on I den virkelige verden Det tager tid Valget faldt på JPEG Microsoft Encarta (1992) store forstørrelser ie kæmpebannere Medicinske billeder? Sattelit billeder?