I dag. Kodning af lyd. Psykoakustiske modeller G.726. Vocoders. S. Olsen (DIKU) Multimediekompression Forelæsning 10 1 / 38

Transkript

1 I dag Kodning af lyd G.726 Vocoders Psykoakustiske modeller S. Olsen (DIKU) Multimediekompression Forelæsning 10 1 / 38

2 Der eksisterer en lang række af standarder for kodning af lyd. Forskellige anvendelser er: Lav-kvalitets tale Høj-kvalitets tale Musik De metoder man benytter i militær talekodning er væsentforskellige for de, der benyttes i telefoni, og i digital radio. Kodning af musik stiller helt andre kvalitetskrav end talekodning og er helt forskellig. S. Olsen (DIKU) Multimediekompression Forelæsning 10 2 / 38

3 I militære anvendelse er ultrahøj kompression, og lille latenstid et krav. God rekonstruktion er mindre væsentlig. I telefoni kræves bedre rekonstruktion. I digital radio kræves god gengivelse af tale og længere latenstid er uvæsentlig. I musik er kravene til rekonstruktionen høje. Indkodningstiden er ofte irrelevant, hvorimod afkodningstiden skal være behersket. S. Olsen (DIKU) Multimediekompression Forelæsning 10 3 / 38

4 Unge mennesker kan høre toner i frekvensområdet 20-20kHz. Allerede i 30 årsalderen er dette område ofte reduceret væsentlig. For forståelse af tale er frekvensområdet 50-7kHz af betydning. Ved kodning af tale udnyttes en sampling rate på sjældent over 8000 sampels/sekund. Companding anvendes således at relativt svage lyde kvantificeres finere end kraftige lyde. I PCM-tale benyttes ofte en båndbredde på 4 khz svarende til 8 ksps. Med 8 bit/sampel fås en bitrate på 64 kbps. Ved brug af companding er 7 bit ofte tilstrækkelig. S. Olsen (DIKU) Multimediekompression Forelæsning 10 4 / 38

5 Ved brug af prediktion kodes prediktionsfejlen e i i stedet for sampelværdien selv: e i = s i pred(ŝ i 1,... ŝ i n ) Ved brug af en tredieordens prediktiv koder kan en kvalitet svarende til PCM-signalet selv opnås ved 6 bit/sampel. I standarden G.721 rettet mod lav-kvalitets tale benyttes en 8 ende ordens prediktor. Ved brug af 5 bit/sampels opnås en bitrate på 16 kbps. S. Olsen (DIKU) Multimediekompression Forelæsning 10 5 / 38

6 (a) DPCM signal encoder PCM DPCM Speech input signal Bandlimiting filter ADC Subtractor Parallel-toserial converter Timing + control Register R Adder Network DPCM signal decoder PCM DPCM Speech output signal Low-pass filter DAC Register R Adder Serial-toparallel converter Timing + control (b) Sample N T 0 T 1 DPCM = PCM R 0 R 1 = R 0 + DPCM Time R 0 = current contents of register R and R 1 = new/updated contents S. Olsen (DIKU) Multimediekompression Forelæsning 10 6 / 38

7 Predictive DPCM signal encoder PCM DPCM Speech input signal Bandlimiting filter ADC Subtractor Parallel-toserial converter Adder Timing + control C 1 C 2 C 3 R1 R2 R3 Network Predictive DPCM signal decoder PCM DPCM Speech output signal Low-pass filter DAC Adder Serial-toparallel converter C 1 C 2 C 3 Timing + control R1 R2 R3 C 1, C 2, C 3 = predictor coefficients S. Olsen (DIKU) Multimediekompression Forelæsning 10 7 / 38

8 Standarden G.722 er rettet mod høj-kvalitets tale. Frekvensområdet er udvidet til 50-7kHz. Dette opdeles i to frekvensbånd ved delefrekvenen 3.5 khz. Det lave frekvensbånd samples sjældent (fx. 8 ksps) men med fin kvantificering. Det høje frekvensbånd samples tæt (fx. 16 ksps) men med grov kvantificering. Standarden tillader bitraterne 48, 56 og 64 kbps. S. Olsen (DIKU) Multimediekompression Forelæsning 10 8 / 38

9 ADPCM subband encoder Lower subband bandlimiting filter (50Hz 3.5kHz Lower subband ADPCM encoder 48kbps Speech input signal 8ksps Multiplexer Upper subband bandlimiting filter (3.5kHz 7kHz Upper subband ADPCM encoder 16kbps 16ksps 64kbps Network ADPCM subband decoder Speech output signal Lower subband low-pass filter (50Hz 3.5kHz) Upper subband low-pass filter (3.5kHz 7kHz) Lower subband ADPCM decoder Upper subband ADPCM decoder 48kbps 16kbps Demultiplexer S. Olsen (DIKU) Multimediekompression Forelæsning 10 9 / 38

10 SIGNAL DFT/DCT FILTER SUBBANDS AFTER IDFT/IDCT AFTER DPCM FREQUENCY REPRESENTATION S. Olsen (DIKU) Multimediekompression Forelæsning / 38

11 G.726 G.726 er rettet mod lav-kvalitetstale. Båndbredden er 3.4 khz. Metoden udnytter companding og prediktion (ADPCM). Prediktionsfejlen skaleres med en størrelse α i og kvantificeres til 3 bit. e i f i = s i p i = e i /α i hvor p i er den predikterede signalværdi. Ved løbende at justere kvantstørrelsen α kan kvantantallet holdes konstant lavt (7) og centreret omkring 0. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

12 For hver sampel bestemmes en multiplikationsfaktor M i som funktion af den kvantificerede sampel. q i = quantize(f i ) M i = fkt(q i ) Da der kvantificeres til 3 bit (fx. i 1-komplement) er der 3 positive hhv. negative kvanter. For numerisk store kvanter vælges M i > 1. For numerisk små kvanter vælges M i < 1. Kvantstørrelsen opdateres ved: α i+1 = M i α i S. Olsen (DIKU) Multimediekompression Forelæsning / 38

13 I FoM afsnit 13.2 beskrives en hvorledes companding kan indbygges i G.726 ved at lade α afhænge logaritmisk af størrelsen af differenssignalet e. Uanset metoden bemærkes at dekoderen, ud fra kvantificeringsværdien, kan foretage præcis samme skalering af α som indkoderen har foretaget. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

14 Vocoders En vocoder er en talekoder, der dels udnytter kendskab til hvorledes tale dannes i vokaltrakten, dels viden om ørets manglende evne til at bemærke faseforskydninger af lyd. Lydsignalet opdeles i små blokke (10-40 msec), ideelt svarende til fonemer. Samples i hver blok filtreres gennem en bank af 2-5 frekvensfiltre. Disse ekstraherer energien i frekvensområder, svarende til de forskellige stemte lyde som fx. a, o, og i. Desuden bestemmes et antal parametre, som karakteriserer lyden. Hvis frekvensspektret er flat er lyden ustemt (hvislelyd). Pitch angiver den dominerende frekvens for stemte lyde. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

15 Hver blok repræsenteres ved et lille antal energimål og parametre. Disse benyttes ved rekonstruktion til at styre et antal syntese filtre, der drives af en puls- og en støj-generator. Den rekonstruerede lyd består derfor af støj plus et lille antal vægtede sinus-bølger. Da lyden er syntetisk er den ofte af ringe kvalitet. Til gengæld opnås en bitrate på 1-3 kbps. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

16 Andre talekodere Lineær Prediktiv kodning (LPC) er en vocoder, der benytter prediktion. I LPC10 indeholder hver blok 180 sampels, der frekvenstransformeres og analyseres. Et antal features, der bl.a. beskriver hvorledes vokaltrakten benyttes, ekstraheres. På basis af en lineær model af parametrene for de sidste 10 blokke beregnes en prediktion af parametrene for blokken. Koefficienterne til prediktionen transmiteres. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

17 Code-exited LPC (CELP) har lav bit-rate og bedre kvalitet end LPC. Metoden benytter Vektorkvantificering. Hver blok matches til et antal prototyper, i en kodebog som er estimeret på forhånd og kendt af både afsender og modtager. Indeks til den prototype, der passer bedst, kodes. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

18 Vektorkvantificering Prototype Prototype Prototype Prototype S. Olsen (DIKU) Multimediekompression Forelæsning / 38

19 Psykoakustiske modeller Ved kodning af musik er kravene til kvalitet af rekonstruktionen høje. Ofte tages udgangspunkt i en PCM-kodet signal samplet med ca. 22 khz (44.1 ksps) og en kvantificering til 16 bps. For at opnå en rimelig kompression (F 3-10) udnyttes kendskab til hvilke lyde mennesker kan høre. Desuden benyttes avancerede indkodningsmetoder, f.eks. variabel længde bitindkodning. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

20 Perceptuel kodning af lyd I perceptuel kodning udnyttes viden om hørelsen, herunder: At øret er mest følsomt i frekvensbåndet 2-5 khz, og ret ufølsomt for frekvenser under 500 Hz og over 15khz. At øret efter en høj lyd har svært ved at registrere svagere lyde i et kritisk frekvensbånd omkring den høje lyd: Frekvensmaskering. At øret efter en høj lyd har svært ved at registrere svagere lyde i et vist tidsrum efter lyden: Temporal maskering. Perceptuelle kodere undlader kodning af lyde der ikke kan høres. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

21 (a) Signal amplitude relative to the minimum sensitivity level of the ear (db) B A Frequency (khz) (b) 100 Relative signal amplitude level (db) B A = Hearing sensitivity of the human ear Frequency (khz) S. Olsen (DIKU) Multimediekompression Forelæsning / 38

22 Relative signal amplitude level (db) Frequency (khz) S. Olsen (DIKU) Multimediekompression Forelæsning / 38

23 Relative signal amplitude level (db) Signal ON Signal OFF 0 0 T T + 50 Time (ms) = Inaudible signal amplitudes S. Olsen (DIKU) Multimediekompression Forelæsning / 38

24 db Temporal masking Loud sound db 10 ms time Temporal masking Loud sound 100 ms time S. Olsen (DIKU) Multimediekompression Forelæsning / 38

25 Psykoakustisk model - frekvensmaskering Frekvensmaskering er meget effektiv til at reducere antallet af koefficienter der skal kodes. Læs side [med vægt på side ] i pdf-versionen af artikelen af Painter og Spanias. Første trin er opdeling af signalet f(x) i disjunkte eller overlappende blokke og transformation til koefficienter c i ved en Fouier-transformation DFT, en Cosinus-transformation DCT, eller en Modificeret cosinus-transformation MDCT. Dernæst transformeres koefficienterne c i i hver blok til styrke s i ved: c i s i = 20 log 10 ( c i ) + offset db S. Olsen (DIKU) Multimediekompression Forelæsning / 38

26 Formålet med transformationen til db er at detektere kraftige lyde. En sådan kaldes en Signalmarkør. Disse bestemmes som punkter i, hvor s i er et lokale maksimum, over den absolutte høregrænse og væsentlig større en naboværdierne. Givet signalmarkørerne kan vi bestemme hvilke koefficienter c i, der ikke vil kunne høres, og derfor ikke behøver at blive kodet. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

27 Signal opdelt i overlappende blokke Signal i blok og vindue Signal med påganget vindue Koefficienter db Signal markør Koefficientstyrke S. Olsen (DIKU) Multimediekompression Forelæsning / 38

28 Signalmarkører Efter transformation til styke s i detekteres særligt høje og markante styrkeværdier (Signalmarkører eller tonale markører). Ved (logaritmisk) addition af høre-maske-funktioner for hver signalmarkør til den Den absolutte høregrænse ATH fås Den globale høregrænsefunktion TH i. Koefficienter c i med styrke s i > TH i skal kodes. De resterende kodes ikke. I kvantificeringen af c i kan der benyttes flere kvanter for frekvens-koefficienter hvor høreevnen er bedst. Der kan også benyttes ulineær kavtificering (som ved companding). S. Olsen (DIKU) Multimediekompression Forelæsning / 38

29 Addition af maskefunktioner TH(i) = 10 log 10 (sum(i)) sum(i) = 10 ATH(i)/10 + j 10 Tm j(i)/10 hvor Tm j (i) er værdien af den j te høremaskefunktion i punktet i. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

30 Kritiske frekvensbånd Ud over detektion af signalmarkører kan der også detekteres støjmarkører. Frekvensområdet opdeles ulineært i ca. 25 kritiske frekvensbånd (enheden kaldes bark). Relationen mellem frekvens og bark er: bark(f) = 13 arctan( f) arctan((f/7500) 2 ) og relationen mellem koefficientindex i of frekvens givet ved f = i/n. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

31 Plot af bark-intervaller versus frekvens, og bark versus sampel-indeks x x S. Olsen (DIKU) Multimediekompression Forelæsning / 38

32 Hvis der ingen signalmarkør er i båndet bestemmes en støjmarkør. Til hver støjmarkør bestemmes (som for signalmarkører) en høre-maske-funktion som også adderes til Den globale høregrænsefunktion TH i. Støjmarkører og deres høre-maske-funktioner modellerer høregrænsefunktionen i de frekvensområder hvor signalstyrken er jævn ( konstant). S. Olsen (DIKU) Multimediekompression Forelæsning / 38

33 Signalmarkør Styrke for signal i kritiske frekvensbånd Støjmarkør Beregnet global høregrænse S. Olsen (DIKU) Multimediekompression Forelæsning / 38

34 Høre-maske funktioner Høre-maske-funktionerne Tm(i) er bestemt ud fra markørværdien P i markørpunktet j og ud fra det kritiske bånd bark(j) som markøren befinder sig i. Tm(i) = [P a b bark(j)] + Mask(bark(i) bark(j)) Mask(x) = (x ) (x ) 2 Kodningseffektiviteten afhænger af valget af konstanterne a og b.i praksis vælges b lille, f.eks. 0.1, og a mellem 2 (stor kompression) og 10 (lille kompression). Sædvanligvis vælges a større for signal-markører end for støj-markører. S. Olsen (DIKU) Multimediekompression Forelæsning / 38

35 S. Olsen (DIKU) Multimediekompression Forelæsning / 38

36 S. Olsen (DIKU) Multimediekompression Forelæsning / 38

37 160 db 140 ATH 120 Signalmarkør Støjmarkør Global høregrænse Kodede koefficienter 0 bark S. Olsen (DIKU) Multimediekompression Forelæsning / 38

38 Næste gang Mere om psykoakustiske modeller MP1-2-3 MDCT MPEG2-AAC S. Olsen (DIKU) Multimediekompression Forelæsning / 38