Automatisk transskribering af musik

Transkript

1 Automatisk transskribering af musik Morten Bloch Lemvigh ( ) 11. december 26

2 Indhold 1 Indledning Redskaber Musikteori og musiske antagelser Antagelser vedrørende musik og optagelse Analysemetoder Autokorrelation Typiske fejl ved AKF Analyseegenskaber ved AKF Differensfunktionen Fourieranalyse Udregning af DFT Analyseteknikker med DFT og FFT Fortløbende analyse af signaler Problemanalyse Frekvensanalyse Indledende spektralanalyse Bestemmelse af tonehøjde ved autokorrelation Bestemmelse af tonehøjde ved FFT FFT-analysen Forfining af toppunktsbestemmelsen Problemer ved grundtonebestemmelse Polyfon analyse Analyse af nodelængder Afgrænsning af forskellige toner Forskellige noder ved samme tone Opsummering af nodelængdeanalyse Evaluering 34 6 Mangler og fremtidigt arbejde 35 Litteratur 39 A Læsevejledning til programmet 4 B Kildekode 41 B.1 Analyzer B.2 MT B.3 Score B.4 Note

3 B.5 MidiTools B.6 AnalyzerException B.7 NoteException B.8 extras

4 1 Indledning Dette er en rapport over et andendelsprojekt på datalogistudiet ved Københavns Universitet. Baggrunden for projektet er en indføring af forfatteren i feltet akustisk analyse mhp. senere arbejde med talesignaler i forbindelse med fonemgenkendelse. Jeg havde på forhånd intet kendskab til signalbehandling eller mønstergenkendelse og kun begrænset indsigt i kompleks matematik, svarende til Matematisk Grundkursus (Mat1GA/Mat1GB) ved Matematisk Institut på Københavns Universitet. På det grundlag stilles der heller ingen forudsætninger til læseren om forudgående kendskab til signalbehandling, de anvendte teknikker vil blive introduceret i rapporten. Det forventes dog at læseren har et grundlæggende indblik i fysikken bag lyd og basalt nodekendskab vil være en fordel. Desuden vil kendskab til kompleks matematik være belejligt. De grundlæggende dele af det teoretiske fundament indenfor generel signalbehandling er hentet fra [Smi97] og [MSY97]. Emnet for projektet er automatisk transskribering af musik, men da formålet bag er en indledning til fonemgenkendelse, vil der forekomme perspektiveringer til taleanalyse. Dette formål smitter også af på de teknikker, der bliver fokuseret på. Analysen af nodelængder vil have en sekundær rolle i projektet. Det skyldes at en tilfredstillende temporal segmentering både kræver udtrækning af mønstre fra det behandlede signal for korrekt at kunne finde nodeskift, og i nogen grad også kræver tilpasning til musikkens taktart. Segmentering af noder er i sig selv et åbent problem, der stadig forskes i, se f.eks. [BDDS3]. Projektets hovedformål er frekvensanalyse, og det ville føre for vidt med en grundig gennemgang af teorien bag segmentering. Emnet musikalsk transskription kan opsplittes i to, alt efter om der tales om enstemmig eller flerstemmig transskription. Enstemmig transskription kunne lyde som et simpelt særtilfælde af polyfon transskription, men det har også sin berettigelse som selvstændigt fokusområde: To af de anvendelsesområder, der er hyppigt omtalt indenfor automatisk transskription er Query by Humming, opslag i en musikdatabase ud fra en indsungen melodistump, og som støtte ved sang, hvor den syngende straks kan se, om der er sunget rigtigt. Ved behandling af brugerdata i sådanne tilfælde giver det mening, at have algoritmer, der fokuserer på enstemmig fremførelse, [MS], [Mar1] and [MSW96]. I rapporten her undersøges principperne i transskription indenfor enstemmig analyse. Undervejs vil det dog blive diskuteret, hvordan system vil kunne udvides til en flerstemmig analyse. 1.1 Redskaber Det endelige program er udviklet i C++. Desuden er der gjort flittigt brug af biblioteket IT++ ( der stiller en lang række 4

5 funktioner indenfor blandt andet signalbehandling til rådighed. De endelige nodeudskrifter er produceret med Lilypond ( 2 Musikteori og musiske antagelser Den vestlige toneskala baserer sig i høj grad på oktaven. To toner spillet med en oktavs mellemrum vil være enslydende for lytteren og klassificeres derfor som samme værende tone men med forskellig højde. Dette forekommer, når frekvensen af den ene tone er dobbelte af den anden. Grunden til den ens klang er, at alle overtoner på den dybe tone også vil være en overtone for den høje tone. En oktav underdeles i 12 halvtonetrin, hvor det indbyrdes forhold mellem halvtonernes frekvenser er konstant. Da en oktav svarer til en fordobling i frekvensen, bliver forholdet mellem frekvensen af to halvtonetrin , 59. Det menneskelige øres opfattelse af tonehøjde er at betragte som en logaritmisk funktion af frekvensen. Herved høres afstanden mellem to halvtoner som ækvidistant over hele toneskalaen og toneskalaen opfattes lineært. I opgaven bruges MIDI-standarden som lineær repræsentation af tonehøjden, P. Denne baserer sig også på en opdeling i 12 halvtonetrin og har P(44Hz) = 69 som fikspunkt: ( ) f P(f) = log 44Hz Med henblik på senere referencer vil jeg nummerere den oktav, der indeholder kammertonen, fire. Der er flere konventioner for, hvor oktaverne deles. Jeg har her i opgaven valgt at dele ved tonen C. En given tone vil blive anført med både navn, oktav og frekvens, således bliver kammertonen: A Antagelser vedrørende musik og optagelse I opgaven betragtes primært den del af frekvensområdet, der dækkes af den menneskelige stemme. Mht. meloditransskription er dette ikke en stor begrænsning, da de fleste instrumenter hovedsagligt ligger indenfor dette interval. Toneområdet der dækkes er valgt til at strække sig fra C 65,4 2 til C6 147 ; svarende til frekvensintervallet 65,4Hz til 146,5Hz. Den mindste tidsudstrækning, der antages at optræde i musikken, fastsættes til τ = 125ms, hvilket svarer til en sekstendedelsnode spillet ved et tempo på 12 BPM - her og i resten af opgaven regnes rytmen altid i fjerdedelsslag uagtet musikkens natur. Både den øvre grænse for frekvensen og den nedre grænse for tidsudstrækning af en node betinger den mindste frekvens, hvormed det analyserede musiksignal skal være samplet, f s : Af Shannon s sampling teorem kan et diskret signal ikke indeholde frekvenser over halvdelen af samplingfrekvensen 5

6 - også kaldet Nyquistfrekvensen. Samtidig må en tone være repræsenteret ved et mindste antal samples, førend dens tonehøjde kan genkedes via de analysemetoder der benyttes og for at kunne skelne den fra efterfølgende toner. For at se dette, må de anvendte metoder først præsenteres, dette vil derfor blive taget igen op under afsnit 3 om analysemetoderne. Som hovedregel vil eksemplerne i rapporten være samplet med en frekvens på 8Hz. 3 Analysemetoder I det følgende præsenteres de to analysemetoder, der ligger til grund for arbejdet i projektet. De har begge til formål at bestemme frekvensindholdet i det signal, der skal undersøges. I gennemgangen er benyttet nogle konventioner mht. notation, således betegner x(t) et kontinuert (periodisk) signal, der varierer med tiden, t. Benyttes der firkantede parenteser, som i x[n], betegnes et diskret signal. I begge tilfælde betegnes periodelængden T, mens samplingfrekvensen af det diskrete signal betegnes med f s. 3.1 Autokorrelation For et periodisk analogt signal med periode T, gælder det at x(t) = x(t+t). En tilsvarende definition kan opstilles for diskrete signaler, x[n] = x[n + T], og herved ville signalets periode kunne bestemmes ved: min{t N + T = n 2 n 1 x[n 1 ] = x[n 2 ] n 1 n 2 Definitionen er dog ikke direkte praktisk anvendelig, da de færreste signaler indenfor musik og tale vil have denne egenskab. Naturlige signaler, der er perfekt periodiske, hører til sjældenhederne, og selv et perfekt periodisk analogt signal, vil kun være diskret periodisk, hvis forholdet mellem samplingperioden og signalets periode er rationelt. Ydermere vil den diskrete og analoge periode kun modsvare hinanden, hvis samplingperioden er en divisor til det analoge signals periode. I stedet for benyttes en antagelse om, at hvis et signal er tilnærmelsesvist periodisk, vil det med en periodes forskydelse ligne sig selv. Hermed sagt, at når x[n] f.eks. er lille vil x[n + T] være lille. Denne antagelser danner grundlaget for definitionen af autokorrelationsfunktionen (AKF). AKF sammenligner signalet med sig selv forskudt ν pladser, og det antages da, at perioden er lig forskydningen svarende til den bedste parring. Matematisk er AKF udtrykt ved: AKF x[x] (ν) = W ν 1 j= x j x j+ν (1) Med udgangspunkt i et udsnit af signalet, af længden W, er AKF givet ved at tage prikproduktet af signalet med sig selv forskudt ν pladser. I forhold 6

7 1 AKF norm (v) Forskydning (v) (a) 1 AKF norm (v) Forskydning (v) (b) Figur 1: (a) Autokorrelationen af 8Hz sinusbølge (b) Den udjævnede autokorrelation af samme. til et egentligt prikprodukt, må hvert af signalerne udvides med nuller, for at længderne skal passe. Maksimum for AKF x[n] findes, hvor der er sammenfald mellem alle toppe og mellem alle dale. For et periodisk signal sker det ved forskydninger svarende til: ν {,T,2T,. For et tilnærmelsesvist periodisk signal vil et lignende mønster også gælde, og perioden kan findes ved at afsøge det første maksimum efter ν =. Af ligning 1 ses dog det, at AKF må være aftagende. Toppene svarende til T,2T, vil aftage i styrke med ν, da der ved større forskydninger, vil indgå færre led i summen. I afsnit vises, hvordan det i nogle tilfælde kan føre til fejlagtige analyser. Effekten kan udjævnes ved at dele summen med antallet af elementer i summen. Figur 1 viser begge dele for en sinusbølge svingende ved 8Hz. Da den faktiske højde af toppene i autokorrelationen ikke bruges i a- nalysen, vil figurer af AKF være normerede således at den højeste top har højden 1. Herved bliver sammenligning af toppe forhåbentligt lettere Typiske fejl ved AKF Analysen ved AKF baserer sig på, at den højeste top befinder sig ved ν = T. Dette er dog ikke nødvendigvis tilfældet. Uregelmæssigheder i signalet kan fører til, at perioden bliver estimeret enten for høj eller lav. I figur 1(a) kunne det ses, at ν = T udgør den største top efter ν =, men ikke nødvendigvis det højeste punkt, idet bakken ned fra AKF() kan være højere end den søgte 7

8 top. I et tilnærmelsesvist periodisk signal med flere frekvenskomponenter kan det derfor ske, at den højeste top findes inden ν = T. Derimod er sandsynligheden for at estimere perioden for lang ikke så fremtrædende, da den aftagende natur af AKF vil minimere chancen for at finde højere toppe efter ν = T. AKF har således en indbygget skævhed mod for lave estimeringer. Heroverfor har den udjævnede version af AKF en skævhed mod for høje estimeringer. Da alle toppene svarende til ν = nt,n N her er af samme højde, vil uregelmæssigheder i signalet føre til forskelle i højden af disse toppe, og dermed vil risikoen for at estimere T for højt være væsentligt højere end for AKF. Specielt vil en forøgelse af lydstyrken henover signalet give større anledning til fejl i den udjævnede version, [dck2]. Fejlene kan afhjælpes ved at fastsætte en grænseværdi for perioden, og med et godt estimat på perioden, kan fejlene reduceres betragteligt. I afsnit 4 ses på, hvordan et estimat kan findes. Hvis endelig en sandsynlighedsfordeling er kendt for perioden, kan den udjævnede AKF skaleres i forhold hertil Analyseegenskaber ved AKF Billedet af AKF er afhængig af både signalets samplingfrekvens og længden af det udsnit, W, der betragtes, idet estimatet på perioden er givet fra AKF ved: T = ν τ (, ν τ = argmax Rx[n1 f ](ν) ) s ν> Da den størst mulige forskydning er opadtil begrænset af W, er estimatet på perioden opadtil begrænset af W f s. Dvs. for at kunne håndtere frekvenser ned til f min, må W være større end fs f min. Hvis der haves et estimat på perioden, kan udregningen af AKF optimeres ved kun at betragte forskydninger i et interval omkring estimatet. I projektet her benyttes en nedre grænse svarende til de dybeste toner, der skal håndteres og en øvre grænser, der fastsættes ud fra et estimat på perioden. Opløsningen af AKF er givet udelukkende af f s. Den mindste difference i periode svarer til T min = 1 f s, og den mindste ændring i frekvensen svarende til forskellen mellem to forskydninger ν og ν + 1, afhænger af forskydningen: f min (ν) = f s ν f s ν + 1 = f s ν + ν 2 Dvs. opløsningen stiger proportionalt med kvadratet på forskydningen, og dermed på perioden. Dette er en ganske ønskværdig egenskab i sammenhæng med musisk analyse, da tonerne netop ligger tættere i lavfrekvente del af spektret. 8

9 3.1.3 Differensfunktionen For fuldstændighedens skyld skal nævnes en anden tilgang, der bygger på de samme principper som AKF. Differensfunktionen, [dck2], er givet ved: d(ν) = W (x j x j+ν ) 2 (2) j=1 Tanken er, at differensen mellem to samples med en periodes mellemrum er nul. Perioden for et ukendt signal, kan derfor findes ved at minimere differensfunktionen. I [dck2] benyttes differensfunktionen i stedet for AKF til estimering af perioden. Her opnås betragtelige forbedringer i forhold til andre implementationer af AKF. Det fremhæves her, at en direkte implementation af differensfunktionen har en fejlrate, der er 5 gange lavere end en direkte implementation af AKF. Detsuden vises det, hvordan fejl kan yderligere minimeres via bla. normalisering og interpolation af funktionen. Hvis parentesen i ligning 2 hæves, fås: d(ν) = W ( ) W ( ) x 2 j + x 2 j+ν 2AKF x[n] (ν) j=1 j=1 Det skal bemærkes, at [dck2] benytter en lidt anden definition af AKF med andre grænser for summationen, der modsvarer den udjævnede version af AKF. Af ligningen ses det, at differensfunktionen kan udtrykkes ved AKF. Det første udtryk konstant i ν; Summen på kvadratet af alle signalets elementer siger noget om størrelsen af både positive og negative udsving i signalet, det er et almindeligt mål for signaler og kaldes signalets energi. Det andet led er derfor det forskudte signals energi. 3.2 Fourieranalyse AKF viste sig at være specielt brugbar til at finde perioden for et signal. Ved mere komplekse signaler, der er sammensat af flere svingninger ved flere forskellige frekvenser, kan det vise sig interessant at finde alle frekvenserne. Dette kan også gøres med AKF, men vi skal her se på en mere direkte metode. Fourieranalyse er en samlebetegnelse for en række metoder til netop dette formål. Emnet Fourieranalyse er stort og komplekst, og her skal kun præsenteres de egenskaber og teknikker, der er væsentlige for at forstå brugen heraf i relation til dette projekt. For en grundigere indføring henvises til [Smi97] for en intuitiv tilgang eller [OS99] for en mere matematisk tilgang. Fourieranalyse underdeles i fire områder altefter om signalet er analogt eller diskret, og om det er periodisk eller aperiodisk. Fælles for dem alle er, at signalet søges tilnærmet ved en, muligvis uendelig, sum af sinusoider. For 9

10 periodiske signaler kan dette gøres eksakt, se dog [Smi97] for en kommentar hertil. Derimod kræves der en sum af uendeligt mange periodiske signaler for at repræsentere et aperiodisk signal. Som nævnt er naturligt forekommende lydsignaler sjældent diskret periodiske, men omvendt virker det heller ikke tiltrækkende, at skulle arbejde med uendeligt mange sinusoider. I praksis approksimeres analysen ved at skabe et nyt signal ud fra det udsnit, der skal analyseres. Dette kopieres uendeligt mange gange ind i det nye signal. Herved bliver det nye signal præcist periodisk med perioden W svarende til udsnitslængden, og kan behandles som sådan. Den diskrete Fouriertransformation, DFT, dækker analysen af diskrete periodiske signaler. Her behandles DFT med udgangspunkt i the Fast Fourier Transform, FFT, der er en algoritme til beregning af DFT. FFT er så central en del af digital signalbehandling, at algoritmen hos nogen forfattere er blevet synonym med resultatet. FFT tager to parametre, den ene er det udsnit af signalet, der skal a- nalyseres, og den anden parameter, N FFT, angiver frekvensopløsningen af analysen. Analysen benytter sig af 2 N FFT /2 beholdere 1, der skal indeholde det resulterende spekter: Beholder n repræsenterer komponenter i signalet, der svinger n gange i løbet af en periode, dvs. n gange over W samples. Med et diskret signal af længden W, vil der kun være W forskellige heltallige muligheder for svingninger. Herved er underdelingen af frekvensområdet begrænset af længden af udsnittet. Denne problematik imødekommes ved at forlænge udsnittet med N FFT W nuller, så det samlede udsnit bliver af længden N FFT. Herved muliggøres også fraktionelle antal svingninger pr. W. Udfyldningen med nuller betyder dog, at DFT-repræsentationen af signalet kræver flere komponenter for at kunne modulere sekvenserne med nuller. Den finere underdeling af frekvensspektret giver således ikke en tilsvarende underdeling i præcision. De fleste implementationer af DFT arbejder med spektre af komplekse værdier, så der til hvert element i spektret er knyttet både en amplitude og en fase. Reelle implementationer benyttes ikke i praksis, men de vil i forhold til komplekse implementationer dele spektret op i to, indeholdende hhv. cosinuskomponenter repræsenterende den reelle del og sinuskomponenter repræsenterende den imaginære del. Reelle version kan således kun repræsentere enten et amplitudespekter eller fasespekter. FFT er en kompleks implementation af DFT. Hvis inddata ikke er komplekst, vil de to dele af spektret være symmetriske, og der vil i både den reelle og den komplekse DFT således kun være N F F T 2 forskellige frekvenskomponenter. Det er derfor tilstrækkeligt at betragte den første halvdel heraf. Ud fra disse betragtninger kan frekvensen svarende til hver beholder findes ved: 1 Eng.: bins f = n f s 2 N F F T 2 = n f s N FFT 1

11 Det vil sige det frekvensspekter, der kan repræsenteres med DFT spænder f fra det konstante, ikke svingende signal, til s 2 og har en underdeling på N F F T 2. En faktisk afbildning af et komplekst spekter kan enten være over komponenternes amplitude eller fase. Analysen, der fremlægges her i rapporten, baserer sig kun på information hentet fra amplituden. Alle referencer til spektrer i det følgende vil derfor være til amplitudespektret medmindre andet er specificeret. Fouriertransformationen af et signal x betegnes typisk med X, denne konvention vil jeg også følge her Udregning af DFT Ovenfor nævntes, at der kan konstrueres en reel version af DFT. Det er ikke praktisk interessant, men meget instruktivt da det giver en måde, hvorpå en DFT-implementation nemt kan anskueliggøres: Hver af beholderne i DFT svarer til svingninger, der svinger et helt antal gange henover udsnittet der betragtes. Styrken af de enkelte komponenter kan bestemmes ved at korrelere 2 signalet med sinusfunktioner af netop den frekvens, der afsøges. Af definitionen på AKF ses det, at den skitserede metode må være O(W 2 ). Hvis N FFT er en potens af 2, er kompleksiteten af FFT O(W log W) og O(W 2 ) ellers; nogle implementationer arbejder kun med potenser af 2. Den faktiske implementation af DFT i FFT er kompliceret og vil ikke blive gennemgået her. Udover den skitserede metode er der også en teoretisk sammenhæng mellem AKF og DFT, der dog ligger udenfor den teori, der er dækket her i rapporten. Men sammenhængen betyder, at AKF kan implementeres via FFT og derved opnå en kompleksitet på O(W log W) mod de O(W 2 ) som definition med summation ligger op til Analyseteknikker med DFT og FFT Som nævnt vil DFT kun være en approksimation, når signalet ikke er periodisk. Approksimationen afhænger af udsnittets karakter. Når udsnittet lægges i forlængelse af sig selv er der ingen garantier for sammenføjningens kvalitet. Som det ses af figur 2(a) kan det ske, at sammenføjningen giver anledning til store spring, modsvarende en stærk diskontinuitet i det analoge signal. Det samme gør sig gældende ved udfyldning med nuller, se figur 2(b). Denne diskontinuitet giver anledning til et flere komponenter i spektret, da springet skal moduleres af kontinuerte sinusoider. De ekstra frekvenser optræder normalt omkring signalets øvrige frekvenser, og giver anledning til 2 Korrelation svarer til autokorrelation blot med forskellige signaler. 11

12 AKF norm (v) AKF norm (v) Tid (samples) (a) Tid (samples) (b) Figur 2: Diskontinuitet ved (a) konstruktion af periodisk signal ved at sætte et udsnit i forlængelse af sig selv. (b) konstruktion af periodisk signal med udfyldning med nuller mellem signaludsnit. bredere toppe i spektret. Problemet, der hyppigt refereres til som lækage, imødekommes i praksis ved at gange signalet med en funktion, ofte kaldet et vindue, der tvinger signalet til at have samme værdi i begge endepunkter. Vinduerne er typisk normerede for ikke at skabe en kunstig forstærkning af signalet. Ikke at benytte noget vindue, svarer til at benytte et vindue, der er konstant lig 1. Af formen kaldes det typisk for det rektangulære vindue. Brugen af et vindue ændrer ikke den overordnede form af spektret, men har indflydelse på formen af de enkelte toppe. Overordnet set er der to mål for vinduer: For det første skal selve frekvenstoppen være så veldefineret som muligt, resulterende i så smal en top som muligt, dernæst skal de mindre og falske frekvenstoppe rundt om den egentlige top mindskes mest muligt. De to mål arbejder mod hinanden, og ethvert vindue repræsenterer en afvejning mellem de to. Litteraturen er fyldt med forskellige typer af vinduer, der alle har deres egenskaber. Ved tonehøjdeanalyse er det blot placeringen af toppen, der har interesse, og valget af vindue må derfor i nogen grad prioritere en smal top. Bliver følgetoppene i spektret for bredde, vil de dog kunne skjule mindre ægte toppe og derved sløre frekvensanalysen. I opgaven her er benyttet et Hann-vindue, der er et generelt anvendeligt vindue. Et Hann-vindue af 12

13 AKF norm (v) AKF norm (v) Samples (a) Tid (samples) (b) Figur 3: (a) 128 punkts Hann-vindue. (b) Det konstruerede lydudsnit fra figur 2(a) set gennem Hann-vindue. længden N er givet af formlen: hann[n] = 1 2 ( ( )) 2πn 1 cos N 1 På figur 3(a) ses et Hann-vindue af længde 128, og på figur 3(b) ses samme lydudsnit som før, nu set gennem et Hann-vindue. Effekten både af brugen af vindue og af forlængelsen af udsnittet ved udfyldning med nuller er illustreret af figur 4. I figur 4(a) og 4(b) ses spektret af et signal på 23Hz samplet ved 1Hz set gennem henholdsvis et rektangulært vindue og et Hann-vindue af længde 128. Mere interessant er figur 4(c) og 4(d), hvor det samme signal som før nu er blevet analyseret med N FFT = 512, dvs. ved tilføjelse af 384 nuller til udsnittet. Her ses egenskaben af de to vinduer tydeligt. Det rektangulære vindue har en forholdsvis smal top, men toppen er omkranset af mange mindre forbjerge. Hann-vinduet derimod har en bredere top, men til gengæld næsten ingen forbjerge Fortløbende analyse af signaler I analyse af tale og musik, vil signalet ændres med tid. En FFT-analyse af hele signalet, vil vise frekvenskomponenter fra hele signalets forløb, men ikke deres temporale relationer. I figur 5(a) ses et udsnit af et signal, der 13

14 X(n) X(n) X(n) X(n) Beholder (a) Beholder (b) Beholder (c) Beholder (d) Figur 4: Spektret af en 23Hz sinusbølge samplet ved 1Hz, hvor analysen er gjort med (a) et rektangulært vindue, og (b) et Hann-vindue. I (c) og (d) er analyse foretaget med en 512-punkts FFT 14

15 AKF norm (v) X(f) (a) Tid (s) Frekvens / Hz (b) Figur 5: (a) Udsnit af signal med frekvensændring fra 1 til 1Hz (b) Spekter af samme signal. løbende skifter frekvens fra 1Hz til 1Hz. I figur 5(b) ses det spekter, der resulterede efter en FFT-analyse af hele signalet med rektangulært vindue. Det resulterende spekter er ikke særlig informativt, og slet ikke i sammenhæng med dette projekt, idet noder netop specificerer både en temporal og en frekvensrelation. I stedet analyseres signalet i små bider og spektrene af hver bid findes. Denne analyse visualiseres ofte i et spektrogram. Et spektrogram er et billede, hvor hvert spekter placeres efter hinanden i kronologisk rækkefølge. X-aksen angiver tiden, y-aksen angiver frekvensen, og styrken af hver komponent angives med en farvekode. Et spektrogram for signalet i figur 5(a) ses i figur 6(a) - signalet er analyseret i udsnit af størrelse 128 set gennem et Hann-vindue. I rapporten er spektrogrammer anført i gråtoner, hvor hvid angiver ingen signalstyrke, og sort angiver højest signalstyrke. Udsnittets størrelse begrænser, hvor stor en temporal underdeling, der kan laves af signalet. Dermed opstår der en konflikt mellem opløsning i tid og frekvens. En af måderne, hvorpå den temporale underdeling kan øges, er ved at lave overlap mellem udsnittene. Herved bliver det muligt, at registrere ændringer i signalet, der er mindre end udsnittenes størrelse umiddelbart tillader. I figur 6(b) ses et spektrogram af samme signal som før, her er blot 75% overlap mellem hvert udsnit. I den øvrige del af projektet, vil spektrogrammer altid være konstrueret med 75% overlap. 15

16 Frekvens (Hz) Tid (samples) (a) Frekvens (Hz) Tid (samples) Figur 6: Spektrogram over signalet fra figur 5(a) med (a) intet overlap (b) overlap på 75%. (b) 16

17 4 Problemanalyse Analysen af transskriptionsproblemet vil blive delt op i frekvensanalyse og en temporal analyse. Frekvensanalysen stiler mod det mål at bestemme nodehøjderne korrekt, mens den temporale analyse stiler mod at bestemme længden af de enkelte noder korrekt. De to analyser er ikke uden indflydelse på hinanden - dette vil blive taget op under den temporale analyse. 4.1 Frekvensanalyse Med henblik på bestemmelse af tonehøjder i specielt monofon meloditransskription er autokorrelation blevet hyppigt brugt, [MS]; metoden er simpel og forholdsvis robust overfor mindre uregelmæssigheder i signalet, metoden betragtes kort i afsnit 4.3. I opgaven er valgt at fokusere på en Fourierbaseret spektralundersøgelse af signalet. Dette er gjort fordi den Fourierbaserede analyse åbner muligheden for en umiddelbar analyse af hver spektralkomponent i højere grad end autokorrelation, og netop en sådan spektralanalyse er central i forbindelse med fonemgenkendelse, og desuden også instrumentidentifikation og polyfon analyse. Til gengæld benyttes autokorrelation til fortolkningen af frekvensspektret. Da frekvensspektret i det fleste tilfælde er meget strukturerede, er a- nalysen heraf umiddelbart lettere end af det oprindelige signal. Derfor er der i opgaven benyttet den almindelige AKF frem for differensfunktionen, da sidstnævne er lidt tungere at arbejde med. Hvordan AKF benyttes til spektreanalyse diskuteres i afsnit Indledende spektralanalyse I et enstemmigt musiksignal uden støj, vil man tydeligt kunne se de spektrale komponenter i et spekter. I figur 7 ses eksempler på spektre, hvor hhv. et flygel og en altblokfløjte spiller et C Grundtonen er tydeligt markeret som den højeste top i spektrene, mens overtonerne aftager hurtigt i styrke. For fløjten ses det desuden, at der er en lille top omkring 5Hz. I enkelte optagelser, særligt ved fløjte og sang, lå denne top konstant under hele optagelsen - også ved vidt forskellige toner. Den er således ikke relateret til den spillede tone, men skyldes støj i selve optageudstyret. Det bliver synligt ved fløjten grundet dennes lavere relative lydstyrke i forhold til flyglet. Overordnet set er spektrene fra forskellige instrumenter ens. Klangfarven af et instrument er bestemt af det indbyrdes styrkeforhold mellem instrumentets overtoner. Da tonehøjden er afgjort af toppenes placering, og ikke af deres indbyrdes højde, muliggør dette en ens behandling af forskellige instrumenter. Dette gælder til en vis grad også sang. På figur 8(a) ses spektret for et ah sunget på tonen C Det er dog kun vokaler, der har så 17

18 X(f) X(f) Frekvens / Hz (a) Frekvens / Hz (b) Figur 7: Spekter over (a) tonen C5 523 spillet på et flygel og (b) tonen C5 523 spillet på en altblokfløjte. regelmæssige spektre; i figur 8(b) ses spektret for en s-lyd. Forskellen på de to spektrer er tydelig og skyldes, at mens vokalen frembringes ved resonanssvinginger i svælg og mund, skabes konsonantlyden ved turbulens omkring en konstriktion mellem tunge og gane. Dette mønster er generelt for stemte og ustemte lyde. Det betyder, at en tonehøjdeanalyse af ustemte konsonanter er næsten umulig. Konsonanter kan udtales ved forskellige tonehøjder, men spektret er ingenlunde lige så bredt som ved vokaler, og selv trænede ører kan have svært ved at bestemme tonehøjden for en ustemt konsonant. I analyseøjemed betyder det, at konsonantlyde i et vist omfang skal udelades fra analysen. I modsat fald kunne de give anledning til fejlagtige melodifortolkninger. Da konsonantlydende er støjfyldte og stort set uden tone, er det da også vokalerne, der typisk bærer tonen i sangen, og konsonanterne optræder kun ved ansatsen af en ny tone. Herved skelnes mellem ansatsen af en tone og den stabile del af tonen. Denne skelnen ses også i større eller mindre grad ved instrumenter. På et flygel vil der opstå støj i det øjeblik hammeren rammer strengene, herefter vil strengene begynde at svinge regelmæssigt, og den rene tone vil træde frem. Af figur 9 ses hhv. et spekter for ansatsen og den stabile periode af tonen A 44 4 spillet på et flygel. Det forekommer oplagt at bruge denne information i bestemmelsen af toneskift, og dermed også i bestemmelsen af nodelængder. Emnet vil blive 18

19 X(f) X(f) Frekvens / Hz (a) Frekvens / Hz (b) Figur 8: Spektrer over (a) tonen C sunget på ah og (b) en ustemt s-lyd. X(f) X(f) Frekvens / Hz (a) Frekvens / Hz (b) Figur 9: Spektrer over (a) anslaget af tonen A 44 4 på et flygel (b) samme tone efter lyden har stabiliseret sig. 19

20 AKF norm (v) Forskydning (v) (a) Figur 1: (a) Autokorrelationsvektor af et udsnit på 512 samples af tonen C 65,4 2 samplet ved 8Hz. taget op igen i afsnit Bestemmelse af tonehøjde ved autokorrelation I afsnit 3 blev to metoder præsenteret, der begge kan anvendes til analyse af frekvensindholdet i et signal. Som nævnt er autokorrelation en hyppigt brugt teknik til bestemmelse af tonehøjde. I figur 1 ses AKF for en lydsekvens spillende tonen C 65,4 2 samplet ved 8Hz. Af 1(a) ses toppe ved en forskydning på 122, 245 og 367 svarende til hele multipla af grundtone svingningen: 8Hz , 4Hz. Det ses også tydeligt heraf, at der også optræder regelmæssigheder med kortere perioder. Den mest markerede underdeling svarer til en forskydning på omtrent 3, hvilket modsvarer den fjerde overtone: 8Hz 3,6 261Hz; sammenlign evt. med fig. 11(a). Den næste markerede overtone ses i højdeforskellen på toppene og svarer til en halvering af grundtonens periode: 8Hz 61,2 131Hz. Af de skævtrukne toppe kan y- derligere overtoner anes, det er overtoner der ikke er i oktavforhold til den stærke 261Hz overtone, og dermed næsten overdøves af de øvrige overtoner.. Grundtonen, der bestemmer tonehøjden, svarer til den langsomste svingning i autokorrelationsvektoren, og vil derfor fremstå som største top i en grafisk fremvisning af AKF; her ses selvfølgelig bort fra toppen svarende til ingen forskydning. Dette skyldes at alle overtoner er frekvenser af hele multipla af grundtonen, og de har derfor alle sammenfaldende maksima netop ved grundtonens toppunkter. 4.4 Bestemmelse af tonehøjde ved FFT Toneskalaens eksponentielle natur bevirker, at der frekvensmæssigt er længere mellem tonerne i den øvre del af skalaen. Det betyder igen, at en DFTanalyse vil have en højere opløsning her, set relativt til toner. Den nedre grænse for toneskalaen sætter en minimumsgrænse for den opløsning, DFTanalysen skal levere. Afstanden mellem de to dybeste toner, der arbejdes 2

21 med i projektet, og som analysen skal kunne skelne mellem er 3,89Hz. I afsnit skal vi se på, hvorfor det ikke er strengt nødvendigt at kunne skelne de dybe toner, derfor vælges en opløsning på 3,9Hz, svarende til N FFT = 248 ved f s = 8Hz. Som nævnt ville det være at foretrække, hvis W = 248, så signalet ikke skulle udfyldes med nuller. Der sættes dog en øvre grænse for W via den tidslige opløsning. Den mindste nodelængde antages at være 125ms, eller,125f s samples. For at få en stabil analyse er det nødvendigt at underdele dette interval; et udsnit vil højst sandsynligt gå på tværs af nodegrænser, og i værste fald dele vil nodegrænserne ligge i midten af udsnittet. Den mindste værdi for W må derfor sikre, at der er tilstrækkeligt med underdelinger af selv den mindste nodelængde. I de videre eksempler er W sat til halvdelen af den mindste nodelængde. Der benyttes desuden et overlap på 75%, hvilket giver en underdeling på ca. 8. af mindste nodelængde. Den øvre grænse for udsnitslængden kunne hæves ved at hæve samplingfrekvensen. Men herved ville spektret blive skaleret tilsvarende, og dermed måtte N FFT også øges tilsvarende for at bevare opløsningen FFT-analysen Frekvensspektret og AKF-analysen er i nogen grad ækvivalente. I spektret er de enkelte frekvenskomponenter blot isolerede. Typisk vil grundtonen udgøre den mest markante top i spektret, som det f.eks. sås i figur 7, og i sådanne tilfælde er analysen ligefrem. Det er dog ikke generelt tilfældet, at spektrets globale maksima er ved grundtonen. På flyglet ses det specielt ved dybe toner og i sang er det et hyppigt fænomen. Af figur 8(a) sås fænomenet for et sunget ah, og på figur 11(a) ses det for et flygel. Det ses endvidere af figur 11(a), at toppen svarende til grundtonen på 65,4Hz slet ikke er til stedet i spektret. En hyppig fejl i tonehøjdebestemmelse er oktavfejl. Navnet er lidt misvisende, da forholdet mellem den faktiske grundtone og den estimerede ikke nødvendigvis er en potens af to, men det dækker over de fejl, hvor en af overtonerne i signalet udpeges som grundtone. At 65,4Hz toppen ikke er til stede i spektret kan synes mærkværdigt, da tonen tydeligt høres som et C 65,4 2. Det er et eksempel på, at tonehøjde er et psykologisk fænomen, og der ikke er en direkte korrelation mellem frekvens og opfattet tonehøjde. Grundtonen i et signal opfattes som en art største fælles divisor af de frekvenser, der er tilstede i signalet, [Joh97]. I det viste tilfælde, hvor spektret kun består af overtoner, vil grundtonen kunne afsøges som afstanden mellem hver af toppene i spektret, da de netop vil svare til frekvensen af grundtonen. I opgaven her er som nævnt brugt en lidt anden tilgang, der baserer sig på AKF. 21

22 X(f) X(f) Frekvens / Hz (a) Frekvens / Hz (b) Figur 11: Spekter for (a) tonen C 65,4 2 på et flygel. (b) tonen C på et flygel Forfining af toppunktsbestemmelsen Af ovenstående forklaring er det klart, at spektret med grundtone og overtoner kan betragtes som et periodisk signal med en periode svarende til grundtonen. Dette ses også tydeligt af 11(a) og 11(b). Spektret kan altså selv behandles med enten DFT eller AKF. I [Mar1] benyttes en Fouriertransformation af spektret til at finde grundtonen for et signal. Algoritmen har nogen lovende egenskaber, idet en sådan analyse teoretisk se vil kunne fremhæve alle grundtoner i et signal, og således udgøre en basis for genkendelse af multiple samtidige toner. I artiklen rapporteres om gode resultater med algoritmen, men der tages ikke stilling til eventuelle problemer. Algoritmen må forventes at fungere relativt godt på f.eks. sang, da sang består af nuancerede lyde med mange overtoner. For mange instrumenter formindskes den relative størrelse af overtonerne i forhold til grundtonen hurtigt. Det betyder, at der er relativt få perioder i spektret at bedømme grundtonen ud fra. Dertil kommer, at enkelte mellemliggende toppe kan mangle i spektret og dermed forstyrre billedet af periodicitet. Algoritmen er ikke brugt her i projektet, og er derfor kun løseligt afprøvet. De fremsatte betragtninger er derfor ikke efterprøvet. De nævnte problemer bliver mindre synlige, hvis der i stedet bruges AKF til at finde grundtonen ud fra spektret: Der kan gives et godt estimat selv ud fra to overtoner, og spektrale huller vil blot betyde, at den totale sum bliver mindre, ordningen vil stadig være bevaret. I figur 12 ses autokorrelationerne 22

23 AKF norm (f) AKF norm (f) Frekvens (f) / Hz (a) Frekvens (f) / Hz (b) Figur 12: Autokorrelationsvektor over spektret af (a) tonen C 65,4 2 på et flygel (b) og tonen C4 261 på et flygel. X-aksen er på begge figurer skaleret med en faktor fs W, så den tilsvarende frekvensen kan aflæses direkte. for spektrene for hhv. C 65,4 2 og C4 261 spillet på et flygel. Spektrene kunne ses i figur 11(a) og 8(a). Det skal bemærkes at x-aksen er skaleret med en faktor fs W, hvor W betegner længden af signalet der autokorreleres. Herved kan frekvensen svarende til forskydningen aflæses direkte. Alle diagrammer over AKF i den resterende del af rapporten vil være skaleret på denne vis. Da spektrene allerede udgør informationsudtrækning fra det originale signal, er AKF-graferne over spektret mere overskuelige end over AKF taget af det oprindelige signal. Grundtonen findes som den første prominente top efter toppen ved i AKF. Hvad der menes med prominent specificeres i næste afsnit. Det bør desuden bemærkes, at toppene i spektret er forskudt mod højre, dette skyldes en filtrering, der også præsenteres i næste afsnit. Denne afsøgning af grundtonen er også svaret på, hvorfor det ikke er nødvendigt, med en opløsning i FFT-analysen, der kan skelne de dybeste toner; tonerne kan findes alligevel via deres overtoner Problemer ved grundtonebestemmelse Metoden ovenfor beskriver et lidt forsimplet tilfælde. Under de fleste omstændigheder vil proceduren gå godt, men der er grænseområder, hvor der optræder problemer. Det er specielt ved toneovergange, at der opstår uregelmæssigheder i analysen. Desuden giver det ikke mening, at analysere 23

24 Figur 13: AKF med støj, der kan føre til fejlagtig bestemmelse af grundtonen. signalet, hvis lydstyrken falder under en vis grænseværdi - her bør analysen angive, at der er en pause i musikken. Det første problem optræder, hvis der er elementer fra andre toner eller støj i spektret, herved kan der opstå lokale toppe i AKF. I afsnit 3.1 blev det antaget, at den højeste top efter nul-toppen svarede til grundtonen, men hvis en sådan lokal top optræder på vej ned ad bjerget fra nul-toppen, kan den være højere end grundtonetoppen og dermed fejlagtigt blive valgt som grundtone, se figur 13. For at imødekomme denne problematik filtreres resultatet af AKF. Hvis principperne bag filtrering ikke er kendt, henvises til [Smi97] for en overskuelig redegørelse; det vil føre for vidt at introducere det her i rapporten. Kort fortalt består filtreringen af at fjerne små udsving i signalet ved at lade hvert punkt erstatte af et gennemsnit henover de forudgående punkter. Problemet har ikke været fremtrædende ved de prøvekørsler der er foretaget, og der er således heller ikke foretaget et grundigt studie, af hvilke krav der stilles til filtreringen. Filtrering med et syv-punkts løbende gennemsnit viste sig at håndtere de tilfælde, der opstod undervejs, samtidig med at den egentlige grundtonetop blev bevaret. Filtreringen betyder som nævnt i forrige afsnit, at toppene i AKF vil blive forskudt. Denne forskydning skal selvfølgelig modregnes, når toppunktet findes. Den anden type af problemer optræder kun ved overgangen mellem to toner. Når en tone slippes og en ny sættes an, vil efterklangen fra den første blande sig med den næste. Dette er specielt udpræget for instrumenter med større fysisk vibration som f.eks. et klaver, hvor inertien i strengene gør, at tonen er forholdsvis længe om at klinge ud. Herved bliver spektret i overgangen en blanding af de to toner. Den nyanslåede tone har typisk mere dominerende overtoner end den anden, da overtonerne har mindre amplitude end grundtonen og derfor hurtigere dør ud, og så vil der ikke opstå problemer. Problemet opstår specielt ved høje toner, hvor grundtonerne typisk er færre og svagere. Der vil spektret være domineret af de to grundtonetoppe, og AKF vil kunne se afstanden mellem toppene som grundtonen. Problemet er 24

25 X(f) AKF norm (v) Frekvens / Hz (a) Forskydning (v) (b) Figur 14: (a) Spekter over udsnit, hvor tonerne C6 147 og D6 o verlapper. (b) AKF af spektret, hvor det ses, at den mest prominente top ligger omkring 125Hz, svarende til tonen B vist i figur 14. Heraf ses det, hvordan AKF foranledes til fejlagtigt at vælge en forkert grundtone, vi vil i dette afsnit betegne den f AKF, en grundtone der ikke engang er harmonisk relateret til de to toppe. Samtidig ses det, at en almindelig toppunktsanalyse af spektret ville give den korrekte grundtone. For at afgøre om problemet er relevant, konstrueres en harmonisk sum, HS, i forhold til den af AKF bestemte grundtone. Den harmoniske sum konstrueres som summen af de H første overtoner svarende til den fundne grundtone: HS(f AKF ) = H f AKF h For at kompensere for unøjagtigheder findes middelværdien indenfor et lille interval henover den spektrale top i forhold til overtonerne. I eksemplet ovenfor vil den harmoniske sum være tæt på nul, da ingen af toppene er et helt multipla af grundtonen. Generelt er tanken med den harmoniske sum, at hvis den ikke overstiger toppen i spektret med en vis faktor, så er den fundne frekvens ikke et udtryk for den egentlige grundtone. Det skal her bemærkes, at det ikke er tilstrækkeligt at undersøge om og f AKF er harmonisk relateret til toppunktet i spektret; hvis to toner overlapper hinanden og begge har tydelige overtoner, er det ikke sikkert at f AKF h=1 25

26 Afvigelse "../data/afvigelse.data" using 1: Frekvens / Hz Figur 15: Decimaldelen af den relative afvigelse af forskellige frekvenser i forhold til frekvensen 146Hz. og toppunktet i spektret er relaterede, det afhænger af styrkeforholdet mellem overtonerne. Her vil det være fejlagtigt at vælge toppunktet i spektret som grundtone, idet grundtonen, som forklaret i afsnit opfattes ud fra afstanden mellem overtonerne og ikke ud fra den stærkeste overtone. Relationen mellem f AKF og spektrets toppunkt, f S, er dog ikke uinteressant. Hvis de to frekvenser ikke er harmonisk relaterede, kan det tages som indikation af et toneskifte, vi skal vende tilbage til det i afsnit 4.5. Måden det undersøges, om f S er en overtone til f AKF, er ved at undersøge decimaldelen af den relative afvigelse mellem de to: δ f = f S f AKF f AKF fs f AKF f AKF Et plot af funktionen ses i figur 15, hvor f S = 146 er brugt som reference. Ideelt set er δ f =, hvis overtonerelationen gælder, da vil f AKF være en divisor til f s. I praksis bliver man nødt til have en margin på resultatet, og da en difference vil vokse med antallet af oktaver mellem de to, bør tolerancen være en funktion heraf Polyfon analyse Den fremlagte metode kan direkte overføres til polyfon analyse. Hvis flere toner spilles på samme tid, findes den mest markante tone som beskrevet ovenfor. Herefter fjernes alle hele multipla af denne tone fra det oprindelige spekter og proceduren gentages indtil der ikke findes toppe i spektret over en vis grænseværdi. Som tidligere eksempler har vist, har de spektrale toppe en vis bredde. Derfor renses alt bort fra spektret indenfor en faktor af 6 2 af grundtonetoppen rundt om den top, der skal fjernes. Dette svarer til at rense spektret i et heltoneinterval omkring grundtonen. Dette vil umiddelbart fjerne det meste af grundtonetoppen, hvis de to toner spilles med en halv tone imellem, men det vil bevare overtonetoppene, og derved stadig muliggøre identifikation af den tilbageblivende tone. 26

27 På figur 16(a) ses et spekter, over to simultane toner med et halvtonetrin imellem. Ved toppene svarende til de to grundtoner er det næsten umuligt at skelne dem fra hinanden. På figur 16(b) er den ene tone skåret bort. Tages AKF af de to spektre, finder algoritmen korrekt begge toner. De to toppe i AKF er svære at skelne på tryk, men på figur 16(c) ses AKF af spektrene for samme scenarie blot med tonerne C4 261 og D Her ses forskellen mere tydeligt. Det ses samtidigt at toppen i AKF for det rensede spektrum er mere klart markeret end den oprindelige. Det skyldes, at der ikke nogen forstyrende frekvenser. Det kunne formentligt vise sig fordelagtigt, at afsøge den første frekvens igen ud fra det oprindelige signal, hvor den anden blev renset fra spektret. Den skitserede algoritme har primært ét problem. Den er ikke stabil ved analyse af to ens toner spillet ved forskellige oktaver. Den mest lavfrekvente tone vil blive fundet først, den vil blot blive betragtet som grundtonen for den anden, og den anden tone vil således blive fjernet fra spektret, samtidig med den første tones øvrige overtoner. Den eneste måde hvorpå sådanne oktaver kan detekteres på, er ved at lave en analyse af de indbyrdes styrkeforhold mellem overtonerne. Det må formodes, at toppe svarende til begge toner, vil være relativt stærkere end, hvis tonerne blev spillet enkeltvist. Et relateret problem er, hvis der er mange simultane toner, så kan en svag tone, hvis overtoner dækkes af de øvrige toners overtoner, blive slettet helt fra spektret. Disse to problemer er dog ikke undersøgt yderligere. 4.5 Analyse af nodelængder Som allerede annonceret behandles emnet kun overfladisk. I dette afsnit fremlægges nogle af problemstillingerne i bestemmelse af nodelængder. Det generelle mål for nodelængdeanalysen er at gruppere de grundtoneanalyser, frekvensanalysen har frembragt, i grupper af analysepunkter der hører til samme node Afgrænsning af forskellige toner Det simpleste tilfælde er overgangen mellem to noder af forskellige tonehøjde. Nodeskift af denne art kan detekteres på baggrund af den sekvens af analysepunkter, frekvensanalysen frembringer. Da består nodeskiftsanalysen i, at finde sekvenser af samme tonehøjde. Som beskrevet i afsnit 2 er den mindste nodelængde τ = 125ms, med et tidsligt overlap i FFT analyserne på O =,75 og en FFT udsnitslængde på W = 512, betyder det, at de korteste noder skal være udgjort af mindst n min analysepunkter, hvor n min er givet ved: f s τ n min = = 7 W(1 O) 27

28 X(n) X(n) AKF norm (f) "../data/spektrum_kf_c4-cis4.data" using 1: Frekvens / Hz (a) "../data/spektrum_kf_c4-cis4_renset.data" using 1: Frekvens / Hz (b) AKF af oprindeligt spektrum AKF af renset spektrum Frekvens (f) / Hz (c) Figur 16: Spekter (a) Spekter over tonerne C4 261 og Cis spillet simultant på et flygel (b) Ds. blot renset for frekvenser hidrørende fra C (c) AKF af spektrene C4 261 og D

29 Med standardværdierne brugt i projektet svarer det til en underdeling af hver 125ms med syv analysepunkter. En tone kan stå og svinge i frekvens indenfor et interval, hvis udsvingene er tilstrækkeligt korte, vil den stadig opfattes som den samme tone. Sangeres vibrato er et ekstremt eksempel på dette, men fænomenet opstår også i mindre grad på andre instrumenter, specielt omkring anslaget af en tone. Desuden kan sekvensen af analyser fluktuere som følge af fejlagtige analyser. Det betyder at grupperingen i sekvenser må være tolerant overfor den slags udsving. For ikke at udviske frekvensovergange mellem egentlige toneskift, er en direkte filtrering af analysen ikke optimal. Den valgte løsning er naiv, men fungerer nogenlunde i praksis: Der vedligeholdes hele tiden et vindue, der omfatter de sidste n betragtede analysepunkter. Hvis det første punkt uden for vinduet er lig med medianen af punkterne i vinduet, udvides vinduet til også at omfatte dette punkt. I modsat fald udvides vinduet også, og det noteres, at der er tilføjet en afviger. Hvis der tilføjes z afvigere i træk ses det som et tegn på toneskifte, så de første n z markeres som hørende til samme node og vinduet flyttes til efter denne sekvens. Hvis n z < n min er den fundne node ikke lang nok til at kunne udgøre en selvstændig enhed, og den henregnes som støj, måske i forbindelse med et nodeskifte, og slås sammen med den forrige node. Hvis n z n min og den fundne node har samme værdi som den forrige, så slås de sammen til én node. Algoritmen kan gruppere grundtoneanalyserne efter tonehøjde, og således adskille toner spillet ved forskellige tonehøjder Forskellige noder ved samme tone Et mere kompliceret problem optræder, når flere noder ved samme tone optræder efter hinanden, da kan et frekvensskifte ikke direkte bruges til at markere et nodeskifte. Som nævnt i afsnit 4.2 vil anslaget af en ny tone typisk føre til anslagsstøj, der kan aflæses i spektret. På figur 17 ses resultatet af grundtoneanalysen af en lydsekvens bestående af otte gentagelser af tonen A 44 4 på et flygel. De stabile perioder på 44Hz er tydeligt markeret, men af figuren ses også et indledende udsving i frekvensen, hver gang en ny tone slås an. Denne analyse er dog kun direkte anvendelig på instrumenter som klaverer, der ikke har store fluktuationer under den stabile periode af tonen. Desuden 29