Dbiscrete Gabor analysis Peter L. Søndergaard and others January 29, 2009
Contents 1 Introduction 5 2 Frequency analysis 6 2.1 The Fourier transforms........................ 6 2.2 Discrete approximation....................... 6 2.3 Symmetries and real signals..................... 6 3 Linear algebra 7 3.1 Matrices and nite frames...................... 7 3.2 Reconstruction and the dual frame................. 7 3.3 The DFT as a matrix........................ 7 4 Gabor analysis 8 4.1 The discrete Gabor transform.................... 8 4.2 Reconstruction............................ 8 4.3 The dual lattice............................ 8 4.3.1 Example: OFDM systems.................. 9 4.4 Gabor frames for continuous functions............... 9 4.5 From the continuous to the discrete................. 9 4.6 Gabor bases.............................. 9 5 Linear modication 10 5.1 Gabor multipliers........................... 10 5.2 The spreading function........................ 10 6 Non-linear modication 11 6.1 Threshholding............................. 11 6.2 Sparse representation......................... 11 6.3 Psycho-ascoustic masking...................... 11 7 Magnitude and phase 12 7.1 The spectrogram........................... 12 7.1.1 Example: STI, the speech transmission index....... 12 7.2 Reassignment............................. 12 1
CONTENTS 2 8 Advanced: Non separable lattices 13 A Installing LTFAT 14 B Copyright 15 B.1 Denitioner.............................. 15 B.2 Indskrænkninger........................... 16 B.3 Licensaftalen............................. 16 B.4 4. Begrænsninger........................... 17 B.5 Ansvarsfraskrivelse I......................... 19 B.6 Ansvarsfraskrivelse II......................... 20 B.7 Licensens ophør............................ 20 B.8 Øvrige bestemmelser......................... 20 Bibliography 22
Preface The dierent communities speak in dierent languages. In this book we will try to relate and combine three dierent descriptions of the same phenomena: The language of operators and frames used by people with a background in functional analysis. Matrices used by people with a background in engineering, numerical analysis. Filter banks used by the signal processing community. What this book is not: Not a word about wavelets, the world is full of good wavelet books and toolboxes. The classic book [2] covers wavelets in great depts and has software backing. Also not about the continuous setting, because of excellent book on the subject,[1]. List of symbols f Discrete signal, f C L f (l) The l'th element of f, l = 0,..., L 1. A F F L T x M ω D d M ω T x C D A matrix The Fourier transform The discrete Fourier transform of length L Translation Modulation Dilation Time-frequency shift The coecient/analysis operator The synthesis operator 3
CONTENTS 4 S L a b M N The frame operator Length of signal/window Length of time shift Length of frequency shift Number of frequency shifts Number of time shifts α, β Time/frequency parameters in the continuous case. p q Z a ϕ Audience The density of the lattice written as an irreducible fraction Zak-transform with parameter a The Gaussian function Must know linear algebra. How to read this book This book is free This book is licensed under a Creative Commons licens. The human readable version of the license basically says the following: You are free: to copy, distribute, display, and perform the work to make derivative works Under the following conditions: Attribution. You must give the original author credit. Non-Commercial. You may not use this work for commercial purposes. Share Alike. If you alter, transform, or build upon this work, you may distribute the resulting work only under a licence identical to this one. For any reuse or distribution, you must make clear to others the licence terms of this work. Any of these conditions can be waived if you get permission from the copyright holder. Nothing in this license impairs or restricts the author's moral rights. Aknowledgements
Chapter 1 Introduction 5
Chapter 2 Frequency analysis 2.1 The Fourier transforms A very quick note about group theory. The Fourier transform Fourier series The DFT 2.2 Discrete approximation Fourier coecients and the Fourier transform The DFT and Foruier coecients. All the way, the DFT and Fourier coecients 2.3 Symmetries and real signals The discrete sine/cosine transforms 6
Chapter 3 Linear algebra 3.1 Matrices and nite frames The frame condition for general Hilbert spaces. The frame condition for nite dimensional spaces, B is not necessary. Optimal frame bounds equal smallest/largest eigenvalue 3.2 Reconstruction and the dual frame 3.3 The DFT as a matrix 7
Chapter 4 Gabor analysis 4.1 The discrete Gabor transform Denition a discrete Gabor system. The use of windows. Relation to Filter banks: We choose a lter prototype and modulate. Proper centering of the window (around 0, the rst element of the window). 4.2 Reconstruction Gabor frame operator has structure. Discrete Balian-Low!!!, we need redundancy Perfect reconstruction by dual/tight window. Special cases, two-overlapping windows, PU systems. 4.3 The dual lattice Riesz Basis over dual lattice. Condition for non-canonical dual window. measure for quality of reconstruction: Dene { γ, g a r(m, n) = M when m = 0 and n = 0 γ, M mn T nm g otherwise 8
CHAPTER 4. GABOR ANALYSIS 9 Then f f = M a ( M a b 1 a 1 n=0 m=0 b 1 a 1 n=0 m=0 r(m, n)m mn T nm f ) r(m, n) f. 4.3.1 Example: OFDM systems 4.4 Gabor frames for continuous functions We need function spaces: S 0 Denition of Gabor frames for L 2 (R). Frame operator, etc. Balian-Low 4.5 From the continuous to the discrete Fourier analysis: How the DFT approximates the Fourier transform Window function derived from the continuous case, canonical discrete Gauss function: ( ) 1/4 wl ϕ D w (l) = e π(l/ L k L) 2 /w, l = 0,..., L 1 2 k Z Sampling and periodization of Gabor systems: relationsship between frame bounds and windows. An approximation to the lowest order expansion coecients of a continuous function in a Gabor frame for L 2 (R) can be computed by sampling and periodization. The Aliasing error behaves as for Fourier series. From the discrete to the continuous: Connect the dots and it works. 4.6 Gabor bases Wilson and MDCT
Chapter 5 Linear modication 5.1 Gabor multipliers Also known as time-varying ltering. 5.2 The spreading function 10
Chapter 6 Non-linear modication 6.1 Threshholding Hard and soft 6.2 Sparse representation matching pursuit / basis pursuit methods. 6.3 Psycho-ascoustic masking 11
Chapter 7 Magnitude and phase 7.1 The spectrogram Spectrogram, instantaneous time and frequency and the phase 7.1.1 Example: STI, the speech transmission index 7.2 Reassignment 12
Chapter 8 Advanced: Non separable lattices 13
Appendix A Installing LTFAT 14
Appendix B Copyright The main author of the book is a Danish citizen, so the copyright text is written in Danish. For an English resume, please see http://creativecommons.org/ licenses/by-nc-sa/2.5/dk/deed.en_gb. Creative Commons Juridisk Tekst NavngivelseIkkeKommerciel-DelPåSammeVilkår 2.5 (Attribution- NonCommercial-ShareAlike 2.5) Creative Commons Corporation er ikke et advokatrma og yder ikke juridisk rådgivning. Anvendelse af denne licens skaber ikke på nogen måde et advokatklientforhold mellem dig og Creative Commons. Creative Commons tilbyder informationen i den form, som den forendes. Creative Commons står ikke inde for den information som tilbydes og fralægger sig ethvert ansvar for skader forårsaget ved anvendelsen af den. Licens Værket (som det deneres nedenfor) tilbydes på de betingelser, som følger af denne Creative Commons Public Licens ("CCPL" eller "Licensen"). Værket er beskyttet af ophavsretten og/eller anden gældende ret. Enhver brug af Værket udover den, der følger af Licensen eller af ophavsretten i øvrigt, er ikke tilladt. Ved at udøve den ret Licensen giver til Værket, accepterer du at være bundet af samtlige vilkår som er angivet nedenfor i denne licens. B.1 Denitioner 1. "Samleværk" betyder et værk, såsom en periodisk udgivelse, en antologi eller et opslagsværk, i hvilket Værket i uændret form, sammen med et antal andre bidrag, der i sig selv udgør enkeltstående og uafhængige værker, bliver samlet til en helhed. Et værk, der udgør et Samleværk, vil ikke ifølge vilkårene i Licensen blive betragtet som et Bearbejdet Værk (som dette begreb er deneret nedenfor). 2. "Bearbejdet Værk" (en bearbejdelse) betyder et værk, der er baseret 15
APPENDIX B. COPYRIGHT 16 på Værket eller på Værket og andre ældre værker, såsom en oversættelse, et musikalsk arrangement, en dramatisering, 'ktionalisering', lmversionering, lydoptagelse, billedgengivelse, forkortelse, sammenfatning eller en hvilken som helst anden form til hvilken Værket kan blive konverteret, ændret eller tilpasset, med undtagelse af et Samleværk der ifølge vilkårene i Licensen ikke skal betragtes som et Bearbejdet Værk. I tilfælde af, at Værket er et musikværk eller en lydoptagelse, skal synkroniseringen med et lmværk betragtes som et Bearbejdet Værk ifølge Licensen. 3. "Licensgiver" betyder den fysiske eller juridiske person, som tilbyder benyttelse af Værket på de vilkår, som følger af Licensen. 4. "Originær Rettighedshaver" betyder den fysiske eller juridiske person, som har skabt Værket. 5. "Værk" betyder den frembringelse eller den præstation, der er beskyttet af egentlige ophavsrettigheder eller af ophavsretsbeslægtede rettigheder, og som tilbydes på de vilkår der følger af denne Licens. 6. "Du"/"Dig" betyder en fysisk eller juridisk person, der udøver rettigheder i henhold til Licensen, og som ikke tidligere har misligholdt vilkårene i Licensen i forhold til Værket, eller som har fået en udtrykkelig tilladelse fra Licensgiveren til at udøve rettigheder ifølge Licensen på trods af en tidligere misligholdelse af vilkårene i Licensen. 7. "Licenselement" betyder de følgende højniveaudele, som Licensgiveren har valgt, og som indgår i betegnelsen for Licensen: Navngivelse (Attribution), IkkeKommerciel (NonCommercial) og DelPåSammeVilkår (Share- Alike). B.2 Indskrænkninger Licensen har ikke til formål på nogen måde at begrænse retten til eksemplarfremstilling til privat brug, citatretten eller andre indskrænkninger i rettighedshaverens eksklusive rettigheder i henhold til ophavsretsloven eller i henhold til anden gældende ret. B.3 Licensaftalen I overensstemmelse med vilkårene i Licensen erhverver Du fra licensgiver en global, royalty-fri, ikke-eksklusiv, tidsubegrænset (i Værkets beskyttelsesperiode) ret til at udnytte Værket på følgende måde: 1. at fremstille eksemplarer af Værket, at indarbejde Værket i et eller ere Samleværker og at fremstille eksemplarer af Værket i det omfang, det er indarbejdet i Samleværket;
APPENDIX B. COPYRIGHT 17 2. at skabe og fremstille eksemplarer af bearbejdelser af Værket; 3. at sprede eksemplarer af Værket til almenheden, vise Værket oentligt, fremføre Værket oentligt, herunder overføre Værket til almenheden, inklusive Værket som det indgår i Samleværket; 4. at sprede eksemplarer af det Bearbejdede Værk til almenheden, vise det Bearbejdede Værk oentligt, fremføre det Bearbejdede Værk oentligt, herunder overføre det Bearbejdede Værk til almenheden; Ovenstående rettigheder må udøves i alle eksisterende og fremtidige medier og formater. Ovenstående rettigheder inkluderer retten til at udføre sådanne ændringer, som er teknisk nødvendige for at kunne udøve rettighederne på andre medier og formater. De rettigheder, der ikke udtrykkeligt er nævnt ovenfor, forbliver hos Licensgiver, inklusive, men ikke begrænset til, de i punkterne 4(e) og 4(f) nævnte rettigheder. B.4 4. Begrænsninger Den meddelte licens efter punkt 3 ovenfor er undergivet og begrænset af følgende indskrænkninger: 1. Du må alene sprede Værket til almenheden, vise Værket oentligt, fremføre Værket oentligt herunder overføre Værket trådbunden eller trådløs til almenheden under iagttagelse af vilkårene i Licensen, og hver gang Du spreder Værket til almenheden, viser Værket oentligt, fremfører Værket oentligt herunder overfører Værket trådbunden eller trådløs til almenheden, skal det ledsages af en kopi af Licensen eller Uniform Ressource Identier for Licensen. Du må ikke tilbyde eller påbyde betingelser for Værket, som ændrer eller indskrænker Licensens vilkår eller modtagernes udøvelse af deres rettigheder efter Licensen. Du må ikke give underlicenser til Værket. Du skal sikre, at alle meddelelser, som henviser til Licensen og til ansvarsfraskrivelsen, videregives i uændret form. Du må ikke sprede Værket til almenheden, vise Værket oentligt, fremføre Værket oentligt herunder overføre Værket trådbunden eller trådløs til almenheden under anvendelse af nogen form for tekniske foranstaltninger, som begrænser adgangen til eller brugen af Værket på en måde, som er i strid med vilkårene i Licensen. Ovennævnte nder tilsvarende anvendelse på Værket, som udgør en del af et Samleværk, men det er ikke et krav, at Samleværket bortset fra Værket som sådan skal være undergivet vilkårene i Licensen. Hvis Du skaber et Samleværk, skal Du, efter at have modtaget påkrav herom fra en hvilken som helst Licensgiver, i den udstrækning det er praktisk muligt, slette enhver kreditering som krævet ifølge punkt 4(d) fra Samleværket. Hvis Du skaber et Bearbejdet Værk, skal Du, efter at have modtaget påkrav herom fra en hvilken som helst Licensgiver, i den udstrækning det er praktisk muligt, slette enhver kreditering som krævet ifølge punkt 4(d) fra det Bearbejdede Værk.
APPENDIX B. COPYRIGHT 18 2. Du må alene sprede et Bearbejdet Værk til almenheden, vise et Bearbejdet Værk oentligt, fremføre et Bearbejdet Værk oentligt herunder overføre et Bearbejdet Værk trådbunden eller trådløs til almenheden under iagttagelse af vilkårene i Licensen, en senere version af Licensen med de samme Licenselementer som Licensen eller en Creative Commons icommonslicens med de sammen Licenselementer som Licensen (f.eks. Attribution- NonCommercial-ShareAlike 2.5 Japan). Hver gang Du spreder et Bearbejdet Værk til almenheden, viser et Bearbejdet Værk oentligt, fremfører et Bearbejdet Værk oentligt herunder overfører et Bearbejdet Værk trådbunden eller trådløs til almenheden, skal det ledsages af en kopi af Licensen eller Uniform Resource Identier for Licensen eller en anden licens som speciceret i den foregående sætning. Du må ikke tilbyde eller påbyde betingelser for et Bearbejdet Værk, som ændrer eller indskrænker Licensens vilkår eller modtagernes udøvelse af deres rettigheder efter Licensen, og Du skal sikre, at alle meddelelser, som henviser til Licensen og til ansvarsfraskrivelsen, videregives i uændret form. Du må ikke sprede et Bearbejdet Værk til almenheden, vise et Bearbejdet Værk oentligt, fremføre et bearbejdet Værk oentligt herunder overføre et Bearbejdet Værk trådbunden eller trådløs til almenheden under anvendelse af nogen form for tekniske foranstaltninger, som begrænser adgangen til eller brugen af Værket på en måde, som er i strid med vilkårene i Licensen. Ovennævnte nder tilsvarende anvendelse på et Bearbejdet Værk, som udgør en del af et Samleværk, men det er ikke et krav, at Samleværket bortset fra det Bearbejdede Værk som sådan skal være undergivet vilkårene i Licensen. 3. Du har ikke ret til at udøve nogen af de rettigheder, som Du erhverver i overensstemmelse med punkt 3 ovenfor, på en måde som hovedsageligt har et kommercielt sigte, eller med henblik på at oppebære vederlag. Udveksling af Værket i bytte med andre ophavsretsligt beskyttede Værker ved ldeling eller andre metoder skal ikke betragtes som en overtrædelse af dette vilkår under forudsætning af, at Du ikke modtager vederlag i forbindelse med udvekslingen af ophavsretsligt beskyttede ler. 4. Såfremt du spreder Værket, Samleværket eller det Bearbejdede værk til almenheden, viser Værket, Samleværket eller det Bearbejdede værk offentligt, fremfører Værket, Samleværket eller det Bearbejdede værk offentligt herunder overfører Værket, Samleværket eller det Bearbejdede værk til almenheden, skal Du sikre, at Copyright Notices (copyright mærkning), videregives intakt, samt kreditering i overensstemmelse med god skik under hensyn til det medium og de midler, Du anvender: (i) ved angivelse af navnet (eller i påkommende tilfælde pseudonymet) på den Originære Rettighedshaver, hvis det er tilvejebragt, og/eller (ii) hvis den Originære Rettighedshaver og/eller Licensgiver har aftalt, at en eller ere andre parter (f.eks. en bevillingsgiver, en sponsorinstitution, en forlagsenhed, et tidsskrift) skal navngives i forbindelse med licensgivers Copyright Notice, ved angivelse af karakteren af den ydelse, en sådan part måtte have ydet, eller ved andre rimelige midler navnet på en sådan part eller
APPENDIX B. COPYRIGHT 19 sådanne parter; Værkets titel, hvis det er tilvejebragt; i den udstrækning det er praktisk muligt, Uniform Resource Identier, hvis der ndes en sådan, som Licensgiver har angivet at være knyttet til Værket, medmindre en sådan URI ikke henviser til Copyright Notice eller information om Licensen; og ved et Bearbejdet Værk en angivelse, der karakteriserer brugen af Værket i det Bearbejdede Værk (som f.eks. "Fransk oversættelse af den Originære Rettighedshavers Værk," eller "Filmmanuskript baseret på den Originære Rettighedshavers Værk." En sådan angivelse skal foretages i overensstemmelse med god skik. Ved et Bearbejdet Værk og et Samleværk skal en sådan angivelse dog i det mindste foretages der, hvor tilsvarende kreditering nder sted, og på en sådan måde som i det mindste er lige så fremtrædende som krediteringen af lignende rettighedshavere. 5. Royalties for kommerciel udnyttelse: (a) Royalties for kommerciel oentlig fremførelse. Licensgiver bevarer eneretten til individuelt eller gennem en rettighedshaverorganisation (som fx KODA, Gramex og Copydan) at opkræve royalties for offentlig fremførelse, herunder oentlig digital fremførelse (fx webcast), af Værket, hvis fremførelsen primært har et kommercielt sigte. Fremførelse, der har til formål at skabe økonomisk vinding for privatpersoner, anses i denne sammenhæng for at have et kommercielt sigte. (b) Mekaniske rettigheder og eksemplarfremstillingsrettigheder. Licensgiver bevarer eneretten til individuelt eller gennem en rettighedshaverorganisation (som fx NCB og Copydan) at opkræve royalties for enhver indspilning og eksemplarfremstilling af Værket, hvis indspilningen eller eksemplarfremstillingen primært har et kommercielt sigte. Indspilning og eksemplarfremstilling, der har til formål at skabe økonomisk vinding for privatpersoner, anses i denne sammenhæng for at have et kommercielt sigte. 6. Webcasting rettigheder. Webcasting er oentlig fremførelse og er således omfattet af bestemmelserne ovenfor under (e)(i). B.5 Ansvarsfraskrivelse I Med mindre andet skriftligt er aftalt mellem parterne, tilbyder Licensgiver Værket,"som det er og forendes" uden indeståelse af nogen art vedrørende Værket. Dette gælder både udtrykkelig indeståelse, samt indeståelse, som licenstager måtte forudsætte, og omfatter uden begrænsninger indeståelse vedrørende rettighedssubjekter, Værkets kommercielle egenskaber og andre egenskaber ved selve Værket, ikke-krænkelse samt Værkets anvendelighed i relation til et bestemt formål. I visse jurisdiktioner tillades ikke begrænsninger på en indeståelse, der er forudsat af en medkontrahent, så denne begrænsning gælder muligvis ikke for Dig.
APPENDIX B. COPYRIGHT 20 B.6 Ansvarsfraskrivelse II Med undtagelse af hvad der følger af gældende ret, fraskriver Licensgiver sig ethvert ansvar over for Dig i relation til licensen og brug af værket for så vidt angår alle former for skade herunder direkte og indirekte skade, selv hvis Licensgiver har fået meddelelse om, at en sådan skade ville kunne opstå. B.7 Licensens ophør 1. Licensen samt de rettigheder, der er indrømmet herved, ophører straks ved enhver misligholdelse fra Din side af vilkår indeholdt i Licensen. Fysiske eller juridiske personer, som har modtaget Bearbejdede Værker eller Samleværker, som deneret under punkt 1, fra Dig i medfør af Licensen vil imidlertid ikke få deres licenser bragt til ophør, såfremt disse fysiske eller juridiske personer til fulde respekterer disse licenser. Uanset ophøret af Licensen opretholdes gyldigheden af bestemmelserne under punkterne 1, 2, 5, 6, 7 og 8. 2. I overensstemmelse med ovenstående vilkår er den her tildelte licens tidsubegrænset (i Værkets beskyttelsesperiode). Uanset det ovenfor anførte forbeholder Licensgiver sig retten til at tilgængeliggøre Værket under andre, alternative vilkår samt at ophøre med tilgængeliggørelsen af Værket på ethvert tidspunkt, såfremt en sådan handling ikke har til formål at trække Licensen tilbage (eller enhver anden licens, som er afgivet i medfør af eller er betinget af vilkårene i Licensen), og Licensen vil forblive fuldt gyldig, medmindre den er bragt til ophør som anført ovenfor. B.8 Øvrige bestemmelser 1. Hver gang Du tilgængeliggører Værket eller et Samleværk for almenheden, herunder ved trådbunden eller trådløs overføring til almenheden, tilbyder Licensgiver modtageren en licens til Værket på de samme vilkår, som gælder i forhold til Dig ifølge Licensen. 2. Hver gang Du tilgængeliggør et Bearbejdet Værk for almenheden, herunder ved trådbunden eller trådløs overføring til almenheden, tilbyder Licensgiver modtageren en licens til det oprindelige Værk på de samme vilkår, som gælder i forhold til Dig ifølge Licensen. 3. Hvis dele af Licensen er ugyldige i medfør af gældende ret, skal dette ikke påvirke gyldigheden af de øvrige dele af Licensen, og aftalen skal uden videre fortolkes således, at de ugyldige dele tilpasses med det minimum af ændringer, der skal til for at gøre delene gyldige i bedst mulige overensstemmelse med aftalens formål og målsætninger.
APPENDIX B. COPYRIGHT 21 4. En part skal ikke anses for at have afstået fra at gøre vilkårene i Licensen gældende, eller givet tilladelse til en overtrædelse heraf, medmindre et skriftligt tilsagn er underskrevet af den part, som foretager en sådan afståelse eller giver en sådan tilladelse. 5. Licensen udgør den fuldstændige aftale mellem parterne vedrørende det licenserede Værk. Der er ingen underforståede aftalevilkår eller tilkendegivelser vedrørende værket, som ikke er angivet her. Licensgiver er ikke bundet af yderligere vilkår, som måtte være tilkendegivet af Dig. Licensen kan ikke ændres uden gensidig, skriftlig aftale mellem Licensgiver og Dig. Creative Commons er ikke part i denne Licens, og giver under ingen omstændigheder garantier i forbindelse med værket. Creative Commons kan ikke gøres ansvarlig over for Dig eller nogen anden part for skade, herunder direkte og indirekte skade som opstår i forbindelse med Licensen. Uanset hvad der fremgår af de to (2) forudgående sætninger, og såfremt Creative Commons udtrykkeligt har angivet sig som Licensgiver nedenfor, skal Creative Commons have alle rettigheder og forpligtelser som Licensgiver. Bortset fra det begrænsede formål at angive over for almenheden at Værket er licenseret under CCPL, har ingen af parterne ret til at bruge varemærket 'Creative Commons' eller andre af Creative Commons' varemærker og kendetegn uden forudgående, skriftlig tilladelse fra Creative Commons. Enhver tilladt brug skal ske i overensstemmelse med Creative Commons' til enhver tid gældende retningslinjer for anvendelse af varemærker, som kan publiceres på dennes hjemmeside eller på anden måde blive gjort tilgængelig efter begæring. Creative Commons kan kontaktes på http://creativecommons.org/.
Bibliography [1] K. Gröchenig. Foundations of Time-Frequency Analysis. Birkhäuser, 2001. [2] S. Mallat. A wavelet tour of signal processing. Academic Press, San Diego, CA, 1998. 22