Algorithms for Jigsaw Puzzles. Christian Skaarup Hansen (s002013)

Transkript

1 Algorithms for Jigsaw Puzzles Christian Skaarup Hansen (s002013) 26. oktober 2006

2 Ja det kan jeg ikke lave i nu... Resumé

3 Forord

4 3 Dette projekt handler om at lave en algoritme, der kan samle et 3D puslespil. Algoritmen kan bruges til folk som skal have lavet en knust genstand, f.eks folk der laver udgravninger. Dette 3D puslespil, som er skapt ved naturens hjælp eller ved uheld, er et meget geometrisk puslespil, så for at det hele ikke skal blive for komplekst, vil algroritmen i første omgang blive fremstillet i 2D. Hvis der bliver tid til det vil den så blive udvidet til 3D. Da der skal kigges på algoritmen til at lægge et 2D puslespil, er det en udemærket at teste algorimen på et almindelig 2D pulsespil. Skal algoritmen bygge på den skal det dog være muligt at udvide med en ekstra dimension. Det vil sige at de løsninger til algoritmen, som bliver ikke må være bundet til en form for puslespil. For at bevise at algoritmen ikke skal være bundet, skal den testes på et rigtigt geometisk puslespil. Skal man skabe et geometisk puslespil kan man blot klippe et billede i nogle stykker. Derefter scanner man billedet ind på computeren og åbner programmet, som indeholder algoritmen. Udover at systemet skal have en algoritme til at ligge geometiske puslespil skal det også kunne finde brikkerne. Så der skal være en lille del til billedeanalyse til at støde ind i de scannede brikker. Brikkerne bliver ikke scannet ind sådan så alt ligger ens, så derfor er man nødt til at fremstille systemet sådan, at det kan rotere brikkerne om deres egen akse, når de skal analyseres. Opmålingen af brikkerne må ikke være for kompleks, da det søgetre man skal bruge skal kunne søge hurtigt igennem alle brikkerne. Og da alle brikker skal roteres for at finde et macth, kan det gå hen og give lang søgetid. Her til sidst kommer en opsummering af systemet. Det resultat, som skal fremkomme er en algoritme, som skal kunne samle et 2D geometisk puslespil og med visse udvidelser skal algoritmen kunne tage en tredje dimmension med. Udover algoritmen skal systemet også kunne lave billedeanalyse på brikkerne og kunne roterer dem efter behov. For at at brugeren kan finde mulige fejl skal det være muligt at følge med på skærmen i, hvordan brikkerne bliver lagt og hvilke brikker, der bliver analyseret. I denne sammenhæng skal man kunne få vist et diagram, som viser hvilke brikker der skal ligge hvor.

5 4 The purpose of this project is to create an algorithm which will be able to put together a 3D puzzle. The algorithm can be used by people who want to fix any broken artefact., for example people who do excavtions. Thia 3D puzzle created with the help of nature or by misfortune is et very geometric puzzle so to avoid making it too complex the algorithm will be created in 2D first. If time permits it the 2D verion will be upgrated to 3D. It is appropriate to test the algorithm on an ordinary 2D puzzle. However, in the creating proces you must consider that is should contain the possibility of expanding to three dimensions. This means that the solutions to the algorithm must not be bound to one type of puzzle. to prove that the algorithm must not be bound it has to be tested on a real geometric type of puzzle. In order to create a geometric puzzle all you have to do is to cut a picture into a number of pieces. then you scan the picture into your computer and open the program that contains the algorithm. Apart from the algorithm which can put together geomtric puzzles the system needs to be able to find and recognize the pieces. This means that a part of the system will be a picture analizer to bump in to the scanned pieces. The pieces will not be placed in the same way in the scan so the system must be able to rotate the pieces around there own axe when analyzing them. The measuring of the pieces must not be too complex because the search tree you will use should be able to sort through all the pieces. And since all pieces must be rotated to find a match this can cause a long waiting while the search is completed. For finishing of here is a summing up

6 Indhold 1 Intodotion(2) Problem stilling Udviklings miljø Teori til billede analyse(5) Banalyse(1) Banalyse(2) Banalyse(2) Alminelig puslespil(4) Hvordan ligge man puslespillet?(1) Metode til analyse af brikker(3) Uddybende forklaring af analyseprogrammet Resultater af analyse på brikker Afrunding på Alminelig puslespil Teori om søgetræet (5) søgetræ(1) søgetræ(2) søgetræ(2) Teori til Algoritmen(10) Brikker(1) Brikker(3) Brikker(3) Brikker(3) Implematering(7) Implemtering af Søgetræ(2) Implemtering af Algoritmen(5) Test(4) Test Algoritme(3)

7 6 INDHOLD 8 Refarater(8) Artikel(2) Artikel(2) Artikel(2) Artikel(2) Konklusion(2-3) Udvidelse(1)

8 Kapitel 1 Intodotion(2) I dette kapitel Problem stilling 1.2 Udviklings miljø

9 Kapitel 2 Teori til billede analyse(5) Da man ikke er intersert i farven på brikkerne men kun formen af brikken så køres analysen i stor/hvid for at forenkel analyse arbejde. Morphological Operations Omris 2.1 Banalyse(1) 2.2 Banalyse(2) 2.3 Banalyse(2)

10 Kapitel 3 Alminelig puslespil(4) Dette afsnit undeholder en undersøgelse af, hvordan et puslespil lægges uden computerens hjælp. Der ønskes herved klarlagt hvilke metoder den menneskelige hjerne bruger til at lægge puslespil. Udover det vil der blive kigget på en analyse af de brikker, der skal bruges til at teste systemet med i starten. 3.1 Hvordan ligge man puslespillet?(1) For at få et bedre indblik i den proces det er at samle et puslespil vil der i dette afsint blive kigget på, hvordan man samler et uden hjælp fra computen. Metoderne er taget ud fra en persons (Christian S. Hansen) måde at lave et puslespil. En anden forsøgsperson ville muligvis vælge andre metoder. Metoderne bliver vurderet på om de er gode og er de det, kan de måske overføres til den algoritme som skal samle et geometrisk-pulsespil i sidste ende. I denne version til at ligge et pulsespil, er det første skridt at finde alle de brikker, der skal bruges til kanterne. Disse brikker er lette at genkende, idet der altid er en side, som er lige. Der er dog 4 brikker, hvor to af siderne er, nemlig hjørnebrikkerne. Når alle kant- og hjørnebrikkerne er sorteret fra kan man begynde at samle rammen. Her fokuseres ikke på faconen men istedet farver, nuancer og motiv når man lægger brikkerne. Efter alle brikkerne til kanten er lagt sorteres resten af brikkerne efter motiver, himmel og omgivelser. Efter endt sortering går man igang med at lave motiverne, derefter omgivelserne og til sidst himlen. Undervejs er der ikke blevet kigget så nøjagtigt på brikkernes facon bort set fra om der har været indhak eller tapper. Ved samling af himlen skal der dog ses på hele faconen af brikkerne da disse i mange tilfælde har samme nuance, så for nemmest at samle denne del af puslespillet skal man se på formen af brikkernes sider.

11 10 KAPITEL 3. ALMINELIG PUSLESPIL(4) De brikker, hvor siderne skal mod hinanden skal formerne bevæge sig på samme mod. Nogle af disse metoder kan bruges til algoritmen. Dog vil det at vurdere efter farve og motiv ikke kunne bruges, eftersom algoritmen skal samle et geometrisk puslespil. Algoritmen vil i stedet anvende den metode, der er beskrevet til at samle himlen. Her er man ligeglad med farver men er istedet mere interesseret i brikkens facon. 3.2 Metode til analyse af brikker(3) Når algoritmen skal testes skal der til at starte med benyttes et almindeligt puslespil. Det bliver et lille puslespil på 35 brikker og for at undgå at der er brikker som er ens i udformning, skal der laves en analyse af brikkerne. Denne analyse, der skal laves af brikkerne skal gennemføres for at sørge for at der ikke findes flere brikker som har samme facon. Da algoritmen i første omgang ikke ser efter farver vil dette komme til give nogle problemer for algoritmen at samle puslespillet. For at være sikker på, at der ikke er to eller flere brikker som er ens, scannes alle brikker ind og et analyseprogram og sammenlignes med hinanden. Når der skal laves en analyse af de brikker, som skal bruges til at teste algoritmen, skal disse først scannes ind i computeren så analyseprogrammet har nogle billeder at arbejde med. Analyseprogrammet bruger nogle filtere så programmet kan få adskilt brikkerne fra baggrunden Uddybende forklaring af analyseprogrammet Det første analysen kommer til at lave er at gemme alt information om formerne af brikkerne. Dette gøres ved at lave billedeanalyse på de scannede brikker, så for at gøre det lidt nemmere at lave billedeanalysen laver man scanningen med en fast farve som baggrund. Alle brikkerne i denne analyse er blevet scannet ind på en grøn baggrund, denne grønne farve findes ikke i store mængder i puslespillet, så nu er det nemt at udelukke brikkerne fra baggunden. På Figur 3.1 kan man på det første billede se, hvordan det ser ud, når man scanner det og det andet billede viser hvordan det ser ud, når man har skiftet den grønne farve ud med sort mens alle andre farvenuancer, dvs. brikkerne er skiftet ud med hvid.

12 3.2. METODE TIL ANALYSE AF BRIKKER(3) 11 Figur 3.1: Billede af brikkerne efter scanning og efter første filter Efter det første filter er brikkerne afbidlet hvidt på sort. Dog forekommer der fejl i billedet i form at mindre og større støvkorn, disse fejl skal f- jernes før man kan finde brikkerne i billedet. Dette gøres ved hjælp af Morphological Operations fra OpenCV. Denne funktion bevirker, at alle de små fejl forsvinder. På Figur 3.2 kan man ved sammenligning med billede to i Figur 3.1 se at der næsten ikke er nogen fejl tilbage. Figur 3.2: En brik som er behandlet med Morphological metoden Efter de scannede brikker er blevet behandlet med Morphological Operations fra OpenCV Library, kan man begynde at finde omridset af brikkerne. Dette omrids skal bruges til selve analysen af brikkerne. På Figur 3.3 kan man se et testbillede af omridset af en brik. På billedet ses også at der er lavet omrids af nogle større fejl som Morphological metode ikke har kunnet fjerne. Fejlene kan fjernes at gå ind og se på hvor mange punkter omridset er lavet af. Billedet på Figur 3.3 er scannet ind med 600 dpi så brikkerne består af punkter. Derved kan man sætte en grænse på 1000 som minimum for, hvor omridset må komme med.

13 12 KAPITEL 3. ALMINELIG PUSLESPIL(4) Figur 3.3: Omris af en brikke med nogle små fejl Når brikkernes omrids er fundet kan man gemme brikkerne så de er klar til analysen, dog skal brikkerne centreres i det nye billede, det bliver gemt i, fordi de skal rotere om deres egen akse under analysen. Centreringen sker ved at finde midtpunktet på brikken, midten af en brik er der hvor balancepunktet ligger, en tilnærmelse til dette punkt kan findes ved at tage gennemsnittet af alle punkter fra en enkelt briks omrids. Når brikkerne har gennemgået billedebehandlingen kan analysen gå igang med se om nogle af brikkerne er ens. Da man ikke kan regne med, at brikkerne er lagt ens i scanneren er op på brikker og ned er ned. Dermed er man nødt til at rotere alle brikkerne under analysen. Roteringen sker med alle 360 grader med et step på 0,5 grad. Programmet tager den ene brik og samligner den med de andre brikker. Sammenligningen udføres ved først at trække omridset af den første scannede brik fra omridset af en anden. Derefter har man kun det omrids tilbage som ikke passer med det billede, man har trukket fra. Denne proces udføres med alle billeder et efter et. Når sammenligningen med det første billde er gennemført, går programmet videre til billede nummer to og sammenligner på samme måde alle billeder med dette billede et efter et. Billedet med det tilbageblevne omrids tager man så summen af. Den information kan man så plotte ind i en contur plot, hvor man så kan se, hvilke brikker der er tæt på at være ens.

14 3.2. METODE TIL ANALYSE AF BRIKKER(3) Resultater af analyse på brikker Analysen bliver lavet på to måder. Den første metode, hvor omridset af brikkerne sammenlignes ses illustreret på Figur 3.3 og den anden metode, hvor brikkerne er fyldt ser ud som på Figur 3.4. Dette gøres for at se om man kan få bedre resultater, da omridset er et lille område at sammenligne. Figur 3.4: Billede af en brik hvor brikken er gjort hvid Analyseprogrammet bliver fodret med tre A4 ark, der er scannet med 600 dpi. De 35 brikker, som er på de indscannede ark bliver gemt i 35 Bitmap billede, som fylder 2000X2000 pix. Efter programmet har analyseret brikkerne har man en datafil med summen fra alle sammenligningerne. Ud fra datafilen kan man så lave en plot ligesom på Figur 3.5. Da værdiernes sum er meget store er der blevet divideret med en milion for at få en pænere graf.

15 14 KAPITEL 3. ALMINELIG PUSLESPIL(4) Figur 3.5: Contour plot af analyseresultat fra sammenligninger af omrids Det man ser på Figur 3.5 er et contuor plot af resultaterne fra analysen af brikkerne i omrids. Hen af X-aksen er det de brikker man tester og op af Y-aksen er det de brikker man trækker fra med. Den blå stribe der går igennem plotteren er der hvor brikkerne bliver sammenlignet med sig selv og summen vil givetvis altid give nul. Hvis man ser på Figur 3.6 ser man analysen med fyldte brikker og her kan man se stor forskel i forhold til Figur 3.5. Det skyldes at man nu regner med hele fladen af brikken, så man har flere pixles at sammenligne med.

16 3.2. METODE TIL ANALYSE AF BRIKKER(3) 15 Figur 3.6: Contour plot af analyseresultat fra sammenligninger af brikkernes flader Hvis man finder det sted på plottet hvor brik 5 - brik 3 ser det ud til at værdien er nul. Det er den imidlertid ikke da værdien er 37,33. Hvis man vender den om så det er brik 3 - brik 5 får man 81,89. Dette vil ske for mange af brikkerne, de er forskellige men dog kan billedsummen komme meget langt ned. Grunden til at billedesummen kan komme langt ned er, at når man trækker to billeder fra hinanden vil de pixles, som der bliver trukket noget fra, som er nul vil altid være nul. Hvis man ser på Figur 3.7 kan man se at brik 5 - til højre, har mere sort omkring sig end brik 3 og hvis man gør det omvendt vil der være mere af brik 3 tilbage og derved en større sum værdi at billedet.

17 16 KAPITEL 3. ALMINELIG PUSLESPIL(4) Figur 3.7: Til venter brik 3 og til højer brik 5 Udover at nogle brikker kan se ens ud kan man se på plottet at brik 16, 29 og 32 er meget mere ens da alle tre har lave sumværdier, når man trækker dem fra hinanden. Hvis man ser i Bilag?? kan man se alle brikkerne og her fremgår det også at brik 16, 29, 32 ligner hinanden. 3.3 Afrunding på Alminelig puslespil Hvis man ser tilbage på hvad der er blive gennem gået her i dette kapital om alminilig puslespil, kan man konkulder at det er en hel anden måde man skal havde computer til at samle et puslespil på, da den man som menneske meget tit ser efter farve og ikke så meget efter fasung. Mange af metoderne ville ikke kunne bruge, dog vil de betoder som man bruge til at aflæse brikken geometrisk ville kunne bruges, og sener hen ville det være en godt fordel hvis algoritmen ville kunne tag og kigge på se på farve nyanser. Analyse af de brikke som der skal bruges til at teste algoritmen under vej, er kommet ud med det resultat som der er ønsket. Der er mange af brikkerne som der er meget tæt på at være ens. Dog er det beste resultat hvis der bliver scanne i en høj opløsning, dette tag meget længer tid for analysen at køre alle brikker igennem, men resultatet fra en scanning ved 300dpi kan godt bruges til at starte med. Her under kan man se på Figur 3.8 at der er mange flere brikker som der ved at være tæt på at være ens, når det er scanne ind ved 300dpi. Grunden til det er når der er fære pixel at arbejde med så bliver detaljerne grover.

18 3.3. AFRUNDING PÅ ALMINELIG PUSLESPIL 17 Figur 3.8: Contour plot af analyseresultat fra sammenligninger af brikkernes flader i 300dpi Der kan ikke lave en samligning mellem Figur 3.8 og Figur 3.6 da analysen er lave efter to forskellig scanninger, så brikker ligge ikke det samme sted i bække scanninger. Efter at analyse har vis at der ikke er nogle brikke som er ens så behøver man ike at tag højte for det i første omgang, og hvor plottene kan hjælpe med til at give en forklaring hvis algoritmen kommer til at lave et ligge en forkert brikke. Meget af de metoder som der bliver brugt til analysen af brikkerne, vil over blive brugt til den kommene algoritme. En af tinge vil være den måde man finde omriset af brikkerne på, da den data information kan give en masse information om brikkerne i algoritmen.

19 Kapitel 4 Teori om søgetræet (5) 4.1 søgetræ(1) 4.2 søgetræ(2) 4.3 søgetræ(2)

20 Kapitel 5 Teori til Algoritmen(10) 5.1 Brikker(1) 5.2 Brikker(3) 5.3 Brikker(3) 5.4 Brikker(3)

21 Kapitel 6 Implematering(7) I dette kapitel Implemtering af Søgetræ(2) 6.2 Implemtering af Algoritmen(5)

22 Kapitel 7 Test(4) I dette kapitel Test Algoritme(3)

23 Kapitel 8 Refarater(8) I dette kapitel Artikel(2) 8.2 Artikel(2) 8.3 Artikel(2) 8.4 Artikel(2)

24 Kapitel 9 Konklusion(2-3) I dette kapitel Udvidelse(1)

25 Litteratur [1] Jens Michael Carstensen (Ed.), Image analysis, vision and computer graphics, 19 August [2] Kris Jamsa, C++, [3] Jeff Prosise, Programming Windows with MCF secend Edition, [4] Robert Lafore, Object-Oriented Programming in C++, [5] Steve Pelikan, Free Code, pelikan/code/code.html [6] Microsoft, MSDN library, [7] David Young, STEREOSCOPIC VISION AND PERSPEC- TIVE PROJECTION, [8] Anthony Baraff, Fast Binary File Reading with C# - The Code Project - C# Programming, 28 Jun [9] Jarrod Pereira, Read and Write structures to files with dot net, 10 Aug

26 CD-oversigt Der skal være en CD-oversigt...