I DAG MPEG 1 MPEG 2. Skalerbarhed. MPEG 4 - lav bitrate, forøget funktionalitet. Metoder til retablering ved transmissionsfejl

Transkript

1 I DAG MPEG 1 MPEG 2 Skalerbarhed MPEG 4 - lav bitrate, forøget funktionalitet Metoder til retablering ved transmissionsfejl S. Olsen (DIKU) Multimediekompression Forelæsning 13 1 / 39

2 MPEG 1 MPEG-1 benytter SIF-formatet, progressiv skanning og kodning (næsten) som i H.261. version luminans krominans frame rate NTSC PAL Bemærk at billedstørrelserne er tilpasset et heltalligt antal makroblokke. S. Olsen (DIKU) Multimediekompression Forelæsning 13 2 / 39

3 GOP en har størrelse 12 (bestemt af krav om maksimal temporal afstand mellem to nabo-i-frames på 0.5 sek.), og har strukturen: I BB P BB P BB P BB Predictions I B B P B B P B B P B B I Bidirectional predictions S. Olsen (DIKU) Multimediekompression Forelæsning 13 3 / 39

4 MPEG-1 adskiller sig fra H.261 ved bl.a. at tillade B-frames, større søgevinduer i estimationen af translationsvektorer, mindre hård kvantificering, bedre temporal synkronisering (tidsstempling inden for frames) ved strukturering af makroblokke i 22 slices med hver 15 (NTSC) eller 18 (PAL) makroblokke. En slice i MPEG svarer til en GOB i H.261, men er mindre. En slice består typisk af 22 makroblokke (352 pixels) svarende til billedbredden. Hver slice kan tidsstemples. Som i H.261 og H.263 benyttes progressiv skanning. S. Olsen (DIKU) Multimediekompression Forelæsning 13 4 / 39

5 (a) One (or more) stored video(s): Sequence Multiple GOPs: GOP1 GOP2 GOP3 GOP4 GOPN GOP format: I B B P B B P B B P B B I MB Slice 1 Slice 2 I, P or B pictures/frames: MB1 MB2 MB22 Y B1 B2 B3 B4 C b, C r B5 B6 8 B1 6 8 Slice N (b) Sequence start code Video parameters Bitstream parameters Quantization parameters GOP1 GOP2 GOP3 GOPN GOP start code Timestamp GOP parameters Picture (frame) 1 Picture 2 Picture N Picture start code Type Buffer parameters Encode parameters Slice 1 Slice 2 Slice N Slice start code Vertical position Quantization parameters MB 1 MB 2 MB 3 MB N S. Olsen (DIKU) Multimediekompression Forelæsning 13 5 / 39

6 I-, P, og B-frames forekommer med frekvenserne 1/12, 3/12 og 8/12. Hvis kompressionsraterne er 10, 20 og 50, og en ukodet frame fylder M bit, vil de 12 frames som en GOB udgør fylde: 1 M M M 50 = M Kompressionsfaktoren bliver: 12M 0.41M = Middelbitraten (ens for PAL og NTSC) bliver: 25fps ( ) 8bps = 1.039Mbps Efter medregning af overhead bliver bitraten ca. 1.2 Mbps. Med en maksimal båndbredde på 1.5 Mbps efterlader dette 300 kbps til komprimeret lyd. S. Olsen (DIKU) Multimediekompression Forelæsning 13 6 / 39

7 MPEG-2 MPEG-2 er en udvidelse af MPEG-1, der bl.a. tillader højere billedopløsning, incerlacing etc. MPEG-2 rummer fire niveauer: niveau opløsning format max bitrate Low SIF 4 Mbps Main :2:0/2 15/20 Mbps High :2:0/2 60/80 Mbps High :2:0/2 80/100 Mbps Low er MPEG1-komparibel (VHS-kvalitet). Main giver studiekvalitet. High 1440 og High benyttes i sædvanlig og wide-screen HDTV. S. Olsen (DIKU) Multimediekompression Forelæsning 13 7 / 39

8 Skalerbarhed Organisere bitstrøm så brugbar for aftagere med forskellige behov. Skalering kan forgå på flere områder: Spatial: Framestørrelse Temporal: Framefrekvens SNR: Kvantificeringsgrad Data: Opdeling af data efter vigtighed. Eksempel: Ved SNR-skalering kvantificers først hårdt resulterende i en base-repræsentation. Desuden kvantificeres den del af koefficenterne, der ikke kan beskrives ved base-repræsentationen, finere. Dette resultere i en tillægs-repræsentation. Bitstrømmene for de to repræsentationer multiplekses sammen i en endelig bitstrøm. S. Olsen (DIKU) Multimediekompression Forelæsning 13 8 / 39

9 SNR-skalabilitet: Video In DCT Qb VLE IQb Base layer Qe VLE + IQe IDCT + Enhancement layer ME Frame store S. Olsen (DIKU) Multimediekompression Forelæsning 13 9 / 39

10 Eksempel: Ved dataopdeling repræsenteres adresse-, kontrol-, og koefficienter for lave frekvenser i en strøm, og koefficienterne for de høje frekvenser i en anden strøm. De to datastrømme multiplekses sammen. Modtager kan, afhængig af evne, rekonstruere videosekvensen ud fra base-informationen alene, eller yderligere benytte data fra tillægs-repræsentationerne. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

11 Spatial-skalabilitet: Video In DCT Qe VLE Downsampel IQe IDCT Enhancement layer ME + DCT Qb Frame store IQb IDCT + Upsampel VLE Base layer ME Frame store S. Olsen (DIKU) Multimediekompression Forelæsning / 39

12 Hierakisk motion estimation i pyramide: Level 2 Search Level 1 Search Level 0 Search Frame N Frame N+1 S. Olsen (DIKU) Multimediekompression Forelæsning / 39

13 For hvert niveau er defineret fem profiler: Simpel, Main, Spatial scalable, SNR-scalable, og High. Niveauerne beskriver stigende grad af kvalitet. Der kræves bagud-kompatibilitet mht. profil. profile Low Main High 1400 High Simple Main [MPEG1] HDTV HDTV Spatial SNR High S. Olsen (DIKU) Multimediekompression Forelæsning / 39

14 Main profile at main level benyttes til digitalt fjernsyn i NTSC/PAL ved 4:2:0-digitaliseringsformetet. Derfor benyttes interlaced skanning. Bitraten er 4-15 Mbps. Ved interlacing er hver frame er opdelt i to felter (fields), sådan at alternerende pixel-rækker hører til hver sit felt. Makroblokke kan dannes på 2 måder: Field-mode og Frame-mode. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

15 (b) Field Field 2 (c) One macroblock Four 8 8 DCT blocks Frame 1 16 One macroblock 16 Four 8 8 DCT blocks S. Olsen (DIKU) Multimediekompression Forelæsning / 39

16 Field-mode er fordelagtig hvis videoen indeholder store (vertikale) bevægelser (som i sport). fordi translationsvektoren for flere makroblokke vil ligge inden for søgeområdet. Således opstår højere kompressionsgrad. Frame-mode er fordelagtig hvis videoen er meget rolig (fx. en paneldiskussion). S. Olsen (DIKU) Multimediekompression Forelæsning / 39

17 Motion estimation reference mode Bevægelsesvektoren for en P/B-makroblok estimeres på 3 måder: Nærmeste tidligere I/P-frame i samme felt (frame-mode) Nærmeste tidligere I/P-frame uanset felt (field-mode) Den bedste af ovenstående (mixed-mode) Bemærk at i frame-mode er bevægelsesvektorens størrelse (for en MB med konstant hastighed ) dobbelt så stor som ved field-mode. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

18 HDTV High Definition TeleVision omfatter 4 standarder: en amerikansk (ATV/GA), en europæisk (DVB), en asiatisk (MUSE). Alle standarder benytter 4:2:0-formatet og bygger på MPEG-2 og især MP@HL. variant aspekt opløsning audio ATV/GA 16/ Dolby AC3 DVB 4/ MP-2 MUSE 16/ S. Olsen (DIKU) Multimediekompression Forelæsning / 39

19 Transmitionsfejl Ved video-streaming over telefonnettet (og især mobiltelefonnet) er sandsynligheden for transmitionsfejl meget stor. Fejl opstår ofte i byger. Brug af fejlkorrigerende koder er derfor ikke praktisk. Også brug af fejdetekterende koder (som CRC - Cyclic redundancy Check) er ikke hensigtsmæssig da der ikke er tid til retransmission. Udtrykket Error Recilience betegner evnen til retablering (elasticitet/modstandsdygtighed) over for sådanne fejl. Bemærk at fejl i kodning af en I/P-frame kan influere rekonstruktionen af andre frames (pga. motion estimation og compensation). Fejl i en slice/gob vil ofte bevirke rekonstruktionsfejl over et antal frames. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

20 Det er ikke praktisk at afgrænse fejl til enkelte makroblokke, da dette ville kræve start-koder for hver makroblok. I stedet sker dette på slice/gob-niveau. Når en fejl i en slice/gob detekteres vil dekoderen skippe de resterende makroblokke i GOP en indtil synkroniseringsmarkøren (start koden) i næste slice/gob findes. Error concealment beskriver hvorledes systemet forsøger at skjule for brugeren at der er indtruffet en fejl. Blandt de brugte metode er: Error tracking, Independent segment coding og Reference picture selection. I alle 3 metoder udnyttes at i videotelefoni vil forbindelsen altid være to-vejs. Modtageren kan derfor sende et NAK (Not-Acknowledgment) til afsenderen. NAK-signalet vil indeholde oplysning om i hvilken frame og hvilken GOB som fejlen blev fundet: NAK(frame, GOB). S. Olsen (DIKU) Multimediekompression Forelæsning / 39

21 Error Tracking Afsenderen opretholder informationer om de sidst transmiterede frames. Når et NAK(frame,GOB) modtager (fra dekoderen) estimeres hvilke GOB s og hvilke makroblokke i de følgende frames, som kan blive berørt af fejlen. Indtil næste I-frame kodes de berørte makroblokke som I-blokke. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

22 (a) Encoder Frame1 GOB Time Decoder (b) Encoder Frame1 GOB NAK (1, 3) Time Decoder = corrupted macroblocks = intracoded macroblocks = frame contents incur transmission errors GOB = group of (macro)blocks NAK (1, 3) = GOB3 in frame1 corrupted S. Olsen (DIKU) Multimediekompression Forelæsning / 39

23 Segment dekodning Efter detektion af fejl i en GOB behandles denne som en separat sub-video. Dette sker ved at begrænse bevægelses-estimationen og kompensationen til hver GOB (isoleret). Fejl kan derfor ikke sprede sig mellem GOB s. Ulempen er at kvaliteten af rekonstruktionen mindskes; især ved vertikale bevægelser i videoen. Metoden benyttes som regel sammen med error tracking. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

24 (a) Encoder Frame1 GOB Time Decoder (b) Encoder Frame1 GOB NAK (2, 3) Time Decoder = corrupted GOB = intracoded GOB = frame contents incur transmission errors GOB = group of (macro)blocks NAK (2, 3) = GOB3 in frame2 corrupted S. Olsen (DIKU) Multimediekompression Forelæsning / 39

25 MPEG-4 Kodning ved lav bitrate medfører mere avanceret kodning, herunder brug af større (kontekstuelle) enheder end makroblokke. Funktionalitet, der kan udnyttes til specialiseret kodning, fx. ved videotelefoni og animation. Funktionalitet der tillader brugeren at manipulere med kodningen (på bitstrøms-niveau), fx. at tilføje og slette objekter eller at ændre objekter. Et hovedformål med MPEG-4 er at beskrive hvorledes scener kan opbygges ved objekter, samt at stille en række indholdbaserede funktionaliteter til rådighed. Dette kan f.eks. udnyttes i interaktive spil o.lign. hvor konstruktøren kan manipulere med objekterne. En AVO er et audiovisuelt objekt, f.eks. et hus, en bil, en person e.lign. Objekter kan komponeres ud fra subobjekter. Kodning, såvel spatialt som temporalt, sker på objektniveau. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

26 AVOs Hvert objekt har tilknyttet en objektbeskrivelse, skevet i sproget BIFS: Binary Format For Scenes. Sproget kan udtrykke komandoer, der kan tilføje og slette objekter, ændre form, farve og tekstur af visuelle objekter, lydstyrke og frekvensbetoning af lyd-objekter etc. Overordnet findes en Scenebeskrivelse, der beskriver hvorledes de enkelte AVO s er indbyrdes relateret. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

27 VOPs Hver frame beskriver en inkarnation af et antal AVO s. Sådanne inkarnationer beskrives ved et VOP: Video Object Plane. Hver VOP kodes separat. En VOP består af et antal makroblokke der tilsammen dækker det billedfelt som objektet udfylder. Objektets form kodes binært i et såkaldt alfa-plan. Bevægelse (uden store deformationer) kan beskrives kompakt på VOP-niveau (ved såkaldte sprites). S. Olsen (DIKU) Multimediekompression Forelæsning / 39

28 VOP-formkodning ved (binært) alfa-plan: Bounding Box Video Object Plane Shape block S. Olsen (DIKU) Multimediekompression Forelæsning / 39

29 VOP 2 Original frame/scene VOP 1 VOP = video object plane VOP 0 S. Olsen (DIKU) Multimediekompression Forelæsning / 39

30 Teksturkodning - SA-DCT Ved kodning af en blok som overlapper med en VOP benyttes DCT-varianten: Shape-Adaptive DCT. Skift elementer op og foretag DCT søjlevis. Skift elementer til venstre og foretag DCT rækkevis. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

31 SA-DCT udmærker sig ved at indeholde lige så mange koefficienter (før kvantificering og kodning) som der er gråtoner i fællesmængden mellem blokken og alfa-planet for VOP en. Ved dekodning udnyttes kendskal til alfa-planet, således at elementerne kan skiftes tilbage til de korrekte positioner i blokken. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

32 MPEG-4 kodning Lyd kodes ved en af de tidligere beskrevne metoder, f.eks: CELP, Dolby AC3, eller MP-2. Ved kodning af hver frame segmenteres billedet i objekter. Segmentering er et vanskeligt problem inden for billedbehandling. Hvis billedet syntetiseres ud fra en CAD/CAM-model e.lign. (animantion) er segmenteringen direkte til rådighed. MPEG-4 siger intet om hvordan frames segmenteres i VOPs. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

33 Kodning af makroblokkene i den enkelte VOP er en udvidelse af den sædvanlige MPEG-kodning med elementer af: Teksturkodning Bevægelseskodning Formkodning S. Olsen (DIKU) Multimediekompression Forelæsning / 39

34 (a) Scene and object descriptors Encoder VOP 0 encoding Video frame input VOP identification + definition VOP 1 encoding Transmission multiplexer VOP 2 encoding Audio input Audio encoding Scene and object descriptors Network VOP 0 decoding Video output Scene composition + rendering VOP 1 decoding Transmission demultiplexer VOP 2 decoding Audio output Audio decoding Decoder S. Olsen (DIKU) Multimediekompression Forelæsning / 39

35 (b) VOP N video input Target VOP N contents Difference computation Texture coding/ decoding Texture Reference VOP memory VOP N multiplex VOP N encoding Motion estimation/ compensation Motion VOP N encoder Shape coding Shape S. Olsen (DIKU) Multimediekompression Forelæsning / 39

36 Effektivitet MPEG-4-koding er særdeles effektiv fordi kodning af statiske VOP er minimal, og fordi modeller for specifikke AVOs kan udnyttes. I mange animerede sekvenser og i spil er det ofte kun en lille del af det samlede antal VOP, der undergår bevægelse, formændring e.lign. I videotelefoni kan en 3D-model af et hovede benyttes. En udgift er at dekoderen ud over afkodning af de enkelte VOP skal sammensætte en frame ud fra scenebeskrivelsen og de afkodede VOP. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

37 MPEG-7 Formålet med MPEG-7 er at definere indholdet/semantikken i multimediedokumenter, herunder især billeder og video. En anvendelse er inholdsbaseret søgning i billed/video-databaser. MPEG-7 indeholder derfor deskriptorer for farve, tekstur, form og bevægelse. Hvis du vil vide mere om disse emner skal du følge et kursus i billedbehandling. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

38 Opsummering Vi har gennemgået hvordan forskellige multimediedokumenter herunder: Tekst, Lyd, Billeder og Video kan repræsenteres og komprimeres. Vi har set principperne for kodning af sådanne dokumenter, men vi er ikke blevet eksperter. S. Olsen (DIKU) Multimediekompression Forelæsning / 39

39 Slut på kurset Husk spørgetime torsdag d. 14/6. S. Olsen (DIKU) Multimediekompression Forelæsning / 39