MobilStream. Livestreaming fra mobil til Web. IT- og elektronikteknolog. Enkeltmandsprojekt

Transkript

1 MobilStream Livestreaming fra mobil til Web Uddannelsessted: Uddannelse: Vejleder: Lavet af: Klasse: Omfang: UCN T & B IT- og elektronikteknolog Hans Micheelsen Peter Ditlevsen 4itk0210 pd120545@stud.noea.dk Enkeltmandsprojekt MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 1

2 INDLEDNING 5 Problemformulering 6 KRAVSPECIFIKATIONER 7 Kravspecifikation til MobilStream applikation 7 Krav 8 Startside 8 Videokameraside 8 UML og use-cases 10 Yderligere krav 11 Datahåndtering 11 Kravspecifikation til MobilStream.dk 13 Krav 13 Startside 13 Streamingside 13 UML og use-cases 14 Yderligere krav 15 Datahåndtering 15 TEKNOLOGIER 16 Mobiltelefon 16 Operativsystem 17 Udviklings platform 18 Udviklingssprog 19 Audio og Videoformat 19 Valg af formater 20 MPEG GP filformat 21 H.263 videoformat 21 MPEG-4 SP(Simple Profile) 22 Streaming 22 Streaming Media Server 23 Realtime Streaming 24 Progressiv Streaming 24 Downloading 24 Hjemmeside 24 MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 2

3 DESIGN AF MOBILSTREAM APPLIKATIONEN 26 Design 26 Programmerings kode 28 MobilStream.java 28 VideoRecorder.java 29 HttpUploader.java 31 Upload.php 32 DESIGN AF MOBILSTREAM.DK 33 Design 33 Streamingside 35 TEST AF MOBILSTREAM OG MOBILSTREAM.DK 36 KONKLUSION 37 VIDERE ARBEJDE 38 PERSPEKTIVERING 38 LITTERATURLISTE 39 BILAG 40 Bilag Bilag Bilag Bilag Bilag Bilag Bilag Bilag Bilag Bilag Bilag Bilag Bilag Bilag MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 3

4 Bilag Bilag Bilag Bilag 18. Mappeomslag MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 4

5 Indledning Dette projekt er lavet ud fra en betragtning af den massive interesse for sociale netværkstjenester på internettet så som Facebook, Twitter, My Space, YouTube osv.. De har alle opbygget forskellige communities, hvor man kan skrive, blogge, dele billeder og videoer, spille spil og meget andet. Der udvikles hele tiden nye tiltag for at kapre nye brugere, som jo er tjenesternes eksistensgrundlag. Et af disse tiltag er livestreaming fra webcam og mobiltelefoner. Der findes nogle få netværkstjenester (Qik.com, Bambusser.com, Ustream.com og BlogTV.com), der har opbygget deres sites baseret på netop dette tiltag, og det er dette tiltag, der har vakt min interesse. Jeg har gennem min uddannelse stiftet bekendtskab med bl.a. webudvikling og mobilapplikationsudvikling, og det er derfor oplagt at kombinere disse to områder i et projekt. Idégrundlag Idéen til dette projekt stammer fra et tidligere projekt, som jeg lavede på 3. semester. Projektet var et virksomhedsprojekt, som bl.a. bestod af en virksomhedsbeskrivelse og et fyldestgørende budget. Virksomheden var en social netværkstjeneste bestående af en hjemmeside med forskellige tiltag, og som skulle generere indkomst via reklameindtægter på siden. Den sociale netværksdel bestod i, at man skulle kunne dele sine oplevelser med dem, man havde lyst til at dele med. Det kunne f.eks. foregå via en traditionel blog eller med billeder og video. Det nye tiltag på denne netværksportal var et tiltag med livestreaming fra mobiltelefon eller webcam. For at kunne bruge mobiltelefonen som streamingmedie skulle der installeres en applikation på telefonen. Idéen bag denne applikation er, at man skal kunne gå rundt og optage med sin mobiltelefon og samtidig streame det til en hjemmeside hvor andre, f.eks. venner, familie eller andre interesserede kan følge med og se, hvad man laver lige nu. Figur 1 viser et overview over MobilStream projektet MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 5

6 Problemformulering Med baggrund i min uddannelse og idégrundlaget for dette projekt vælger jeg at undersøge følgende: 1. Hvad skal der til for at kunne livestreame video fra en mobiltelefon til en hjemmeside? 2. Hvordan kan koden til henholdsvis applikationen/hjemmesiden se ud? Afgrænsning For at kunne livestreame (sende og afspille i realtime) SKAL man bruge en streaming media server der enten bruger RTSP 1 eller MMS protokol. Udfordringen i mit projekt er at enten skal jeg opsætte en streaming media server selv eller jeg skal købe mig til streaming media server funktionen hos en udbyder. At købe sig til funktionen er der ikke økonomiske ressourcer til, og at opsætte min egen server med streaming media server er der ikke tidsmæssige ressourcer til. Derfor er jeg blevet nødsaget til at skrue ambitionerne ned i forhold til at få min applikation til at kunne livestreame til hjemmesiden. Dette betyder at jeg i stedet fokuserer på progressiv streaming, som er et alternativ til livestreaming, og som vil kunne køres over en almindelig http server. Ift. min problemformulering ændres der ikke ved spørgsmål 1, da jeg stadig ønsker at undersøge dette felt, men spørgsmål 2 vil blive ændret til: 2. Med fokus på Progressiv streaming hvordan kan koden til henholdsvis applikationen/hjemmesiden se ud? Denne rapport vil derfor beskrive udviklingen af en applikation, der gør det muligt at optage en video på mobiltelefonen samt uploade den til en server, hvorfra den kan Progressiv streames til en hjemmeside. Dette gøres ved at beskrive de teknologier der bliver brugt og ved at kommentere kildekoden til applikationen og hjemmesiden. 1 RTSP og MMS er begge streaming protokoller, der bl.a. bruges til at håndtere data i stedet for HTTP. MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 6

7 Kravspecifikationer Der skal som tidligere nævnt laves en mobilapplikation og en hjemmeside for at få dette projekt op at kører. Jeg har valgt at kalde mobilapplikationen for MobilStream og hjemmesiden for MobilStream.dk. Dette er kun til intern brug i denne opgave, da mobilstream.dk allerede er et registreret domænenavn. Inden jeg går i gang med at udvikle MobilStream applikationen og den tilhørende hjemmeside, skal jeg have klarlagt hvilke krav, der stilles til disse enkelte elementer. Det er f.eks. vigtigt at vide, hvilket operativ system, der skal udvikles til, da der udvikles forskelligt i de forskellige OS. Eller om der skal være et login system til hjemmesiden, eller om det er valgfrit. Der skal også laves en tidsplan for udarbejdelsen for at strukturere arbejdsgangen og for at deadline bliver overholdt (tidsplan vedlagt som bilag 17.). Jeg har valgt at tage udgangspunkt i UML til dokumentation af software og vil supplere med relevante punkter fra It-kravspecifikation skabelon fra Kravspecifikation til MobilStream applikation Vision Min vision er at have en hjemmeside, hvor formålet er at brugere kan dele sine oplevelser og sin hverdag med sine venner og andre interesserede. Delingen kan bl.a. foregå ved at skrive blogs, uploade billeder og videoer. Jeg ønsker mig en mobilapplikation, der gør det muligt: 1. At tilgå videokamerafunktionen 2. At optage med videokamerafunktionen 3. At livestreame det, der optages, til min hjemmeside Figur 2 viser et statediagram over videokamerasidens recording og streamingfunktioner Det vil sige, at jeg skal kunne optage video på min mobil og samtidig livestreame det til serveren, sådan at videoen kan ses på min hjemmeside samtidig med, at den bliver optaget. Alternativt(hvis det ikke lykkes mig at livestreame til hjemmesiden): 1. At tilgå videokamerafunktionen 2. At optage med videokamerafunktionen 3. At sende den optagede fil til serveren MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 7

8 Figur 3 viser et statediagram for videokamerasidens alternative recording og "send en fil" funktioner Det vil sige at jeg skal kunne optage video på min mobil og gemme det i en fil, som så bliver sendt til serveren, sådan at videoen vil kunne blive afspillet på min hjemmeside. Krav De helt fundamentale krav til mobilapplikationens design er, at der skal være en startside og en side til videokameraet. Når applikationen er fuldt funktionsdygtig, vil det være oplagt at oprette en login side af sikkerhedsmæssige hensyn. Jeg forventer yderligere, at applikationen får et nemt og overskueligt bruger interface sådan, at stort set alle vil kunne bruge det uden at skulle have en større indsigt i brug af teknisk software. Startside Ikke-funktionelle krav - Startsiden skal have MobilStream-logo og en Velkomsttekst - Startsiden skal have en Start -knap Funktionelle krav - Start-knappen skal sende videre til kamera siden Figur 4 viser et sekvensdiagram for start-knappen på startsiden Videokameraside Ikke-funktionelle krav - Videokamerasiden skal have et layout til videokameraet - Videokamerasiden skal have en Record/Stream-, en Stop- og en Exit-knap Alternativt: - Videokamerasiden skal have et layout til videokameraet MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 8

9 - Videokamerasiden skal have en Record-, en Stop-, en Send- og en Exit-knap Funktionelle krav - Applikationen skal kunne vise et preview(preview()) - Record-knappen skal optage video, samt starte streaming af video til internettet - Stop-knappen skal stoppe optagelsen og streamingen - Exit-knappen skal afslutte MobilStream applikationen Figur 5 viser et sekvensdiagram for initialisering af preview på videokamerasiden samt for knapperne Record, Stop og Exit Alternativt: - Record-knappen skal optage video - Stop-knappen skal stoppe optagelse af video - Send-knappen skal sende videofilen til serveren - Exit-knappen skal afslutte MobilStream applikationen Figur 6 viser et sekvensdiagram for de alternative krav til Videokamerasiden MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 9

10 UML og use-cases En anden måde at beskrive kravene til MobilStream applikationen er ved at illustrere det med use-cases og specifikationer. Figur 7 Use-case diagram for MobilStream applikationen Figur 7 viser hvordan en mobiltelefonbruger(mobil User) kan starte MobilStream applikationen, kan starte optagelse og streaming til en webserver/hjemmeside, kan stoppe optagelsen og streamingen og kan afslutte applikationen. Derudover er der vist en bruger af hjemmesiden(web User) han har mulighed for at afspille den video, der bliver streamet fra mobiltelefonen. Figur 8 Alternativt Use-case diagram for MobilStream applikationen MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 10

11 Figur 8 viser, hvordan en mobiltelefonbruger(mobil User) kan starte MobilStream applikationen, kan starte optagelse af video, kan stoppe optagelsen, kan sende den optagede video til serveren og kan afslutte applikationen. Der skal laves specifikationer til hver enkelt use-case. Nedenunder er et eksempel på, hvordan specifikationerne for en use case kan se ud. Der er en kort beskrivelse af, hvad use casen går ud på, hvem aktørerne er, hvilke forhold, der skal være opfyldt før og efter use-casen er udført og en kort beskrivelse af, hvordan handlingen forløber. ID: 7 Alternativ Use case: Stop Recording Kort beskrivelse: Når der trykkes på Stop -knappen på Videokamerasiden, stopper optagelsen af video og filen sendes til serveren Primary User: Mobil User PreConditions: Start Recording skal kører. Main flow: 1. onclicklistener()->lytter om der trykkes på Stop - knappen. 2. onclick()->udfører instruktion: stop Record-funktion -> send videofil 3. Initialiser Preview() PostCondition: Optagelse er nu stoppet, filen er sendt til servern og Preview()-funktionen er kaldt igen. Alternative flows: Ingen. Tabel 1. Specifikation af den alternative use case Stop Recording. Der er vedlagt bilag med specifikationerne til de resterende use cases (bilag 1.). Tabel 1 viser, hvordan den alternative use case for Stop Recording forløber. Sammenligner vi tabel 1 med sekvens diagrammet i figur 5 fra tidligere, ser vi, at de har det samme flow, efter at stop knappen er blevet aktiveret. Yderligere krav Valg af videoformat Videoformat skal være 3gp med brug af MPEG-4 SP codec. Datahåndtering Streaming På rigtig mange smartphones er der Internt i dag en stor portion RAM til lagring af midlertidig data. Når der streames data, bliver data ikke gemt permanent, og det vil derfor være tilstrækkeligt at bruge RAM-lagret til at buffer data, der skal streames. MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 11

12 Alternativt En videofil i 3gp format vil typisk fylde ca Kb pr. min., dvs. c. 30 Mb i timen. I MP4 format vil filen fylde en del mere, typisk 20 Mb pr. min., altså 120 Mb i timen. Den typiske interne lagringsplads/brugerhukommelse på en mobiltelefon i dag vil ikke kunne rumme mere en 2-4 timers video i 3gp format og under 1 time i MP4 format. Samtidig vil det være en ekstra feature at kunne gemme videofilen sådan, at det er muligt at kunne se den på mobiltelefonen efter den er optaget Data skal derfor lagres på SD kort. Succeskriterium Kravet til applikationen er, at den skal kunne optage en video og livestreame videoen til en dertil indrettet server, så det er muligt at afspille streamen på en hjemmeside. Alternativet til dette krav er, at applikationen skal kunne optage en video, gemme den på SD kortet og sende den gemte fil til serveren, så det er muligt at afspille filen på en hjemmeside. MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 12

13 Kravspecifikation til MobilStream.dk Vision MobilStream.dk skal være en portal for brugere der har lyst til at dele sine oplevelser og sin hverdag med venner, familie og andre interesserede. Delingen skal foregå med bl.a. blogs, uploading af billeder og video samt livestreaming fra mobiltelefoner og webcams. Jeg ønsker mig en hjemmeside med følgende elementer: 1. En startside med velkomst 2. En streamingside hvor det er muligt at se en livestreaming fra en mobiltelefon Alternativt (hvis livestreaming ikke er muligt): 1. En startside med velkomst 2. En streamingside hvor det er muligt at se en fil fra serveren, som er uploaded fra en mobiltelefon Når disse ting er opnået og funktionsdygtige, ønsker jeg mig: - En login funktion med brugernavn og password - En blogside til hver bruger - En side med tumbnails fra egne videooptagelser - En side med tumbnails fra egne billeder - En side med nyheder - En side med kontaktoplysninger Krav Kravene til hjemmesiden er, at der startes op med 2 sider en startside og en streamingside. Efterfølgende vil der kunne udvides med andre sider med forskellige funktioner. Startside Ikke-funktionelle krav - Startsiden skal have MobilStream logo og en velkomsttekst - Startsiden skal have en menu med minimum 2 faner (en for startside og en for streamingside) Funktionelle krav - Menuen skal fungere som link til de respektive sider. Streamingside Ikke-funktionelle krav - Streamingsiden skal have MobilStream logo - Streamingsiden skal have en menu med minimum 2 faner (én for startside og én for streamingside) - Streamingsiden skal have link til en mobiltelefonstream (evt. link til en videofil på serveren) MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 13

14 - Streamingsiden skal have en videoafspiller(quicktime) - I Quicktime afspilleren skal man kunne stoppe afspilning af stream/fil Funktionelle krav - Aktivering af link til mobiltelefonstream/videofil skal starte Quicktime i browseren og afspille stream/fil UML og use-cases Figur 9 Use-case diagram over startsiden Den eneste funktion der er på startsiden er en menu. I denne menu skal man kunne vælge, hvilken side man vil ind på. ID: 1 Use case: UseMenu Kort beskrivelse: Menuen er en række faner som indeholder links til forskellige sider indenfor MobilStream.dk Primary User: Web User PreConditions: Man skal være inde på MobilStream.dk Main flow: 1. man trykker på én af fanerne 2. man bliver dirigeret hen til den side, man har valgt PostCondition: Man befinder sig nu på den valgte side Alternative flows: Ingen. MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 14

15 Figur 10 Use-case diagram over streamingsiden På streamingsiden kan man aktivere et link fra en stream/fil. Man kan stoppe streamen/filen, og man kan navigere i samme menu som på startsiden. Specifikationer til streamingsiden er vedlagt som bilag 2. Yderligere krav Udviklingsplatform Hjemmesiden skal udvikles i Microsoft Visual Studio Videoformat og afspiller Stream fra mobiltelefon bliver sendt i 3gp format med MPEG-4 SP codec, så afspiller på streamingsiden skal understøtte disse. Quicktime-afspiller understøtter standardmæssigt disse formater uden yderligere installationer eller plugins, derfor bliver Quicktime den foretrukne afspiller. Datahåndtering Streaming Ved livestreaming skal video data ikke gemmes på serveren. Alternativt Ved videoafspilning skal video data være gemt på serveren. Succeskriterium Udgangspunktet for succes er, at der laves en funktionsdygtig startside og en streamingside, hvor det er muligt at afspille en videostream fra en mobiltelefon. Alternativt skal streamingsiden kunne afspille en videofil, som ligger på serveren. Filen skal være uploaded fra en mobiltelefon. MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 15

16 Teknologier Når man vil lave en applikation til en mobiltelefon, skal man gøre sig det klart, hvilken telefon man kunne tænke sig at udvikle til. Man kan ikke forvente, at har man udviklet en applikation til én specifik telefon, at det så virker på alle andre. Dette skyldes bl.a. telefonernes forskellige operativsystemer. F.eks. bruger en HTC mobiltelefon typisk Android OS, og en Nokia mobiltelefon bruger typisk Symbian OS. Samtidig kan der udvikles i forskellige programmeringssprog indenfor de forskellige operativsystemer, og dette betyder, at der er mange forskellige retninger, man kan vælge at tage, hvor alle har fordele og ulemper. Jeg har derfor skullet træffe nogle valg, inden jeg kunne gå i gang med mit projekt. Disse valg drejer sig bl.a. om, hvilken mobiltelefon jeg kunne tænke mig at udvikle til, hvilket programmeringssprog, jeg kunne tænke mig at bruge, og hvilken streamingtype, der er bedst at bruge i mit tilfælde. Disse valg er helt afgørende for, hvilke forundersøgelser jeg skal foretage mig. Patenter og licenser Jeg har valgt at se bort fra både patenter og licenser til udviklingsplatform, mobiltelefon, programmeringssprog, videoformater og server, da dette projekt kun er til privat brug og kun vil blive brugt i forbindelse med dette projekt. Mobiltelefon Jeg har gennem mit uddannelsessted lånt en HTC Hero mobiltelefon. Denne telefon vil jeg bruge som udgangspunkt for udviklingen af min applikation. De vigtigste specifikationer for telefonen: Operativsystem: Android OS Hukommelse: ROM: 512 MB RAM: 288 MB Skærm: 3,2 tommers TFT-LCD touchskærm med HVGA opløsning(320 x 480 pixels) Kamera: Farvekamera på 5,0 megapixel med autofokus Understøttede lydformater: MP3, AAC, AMR-NB, WAV, MIDI OG Windows Media Audio 9 Understøttede MPEG-4, H.263, H.264 og Windows Media Video 9 videoformater: Resten af specifikationerne er vedlagt i bilag 3. MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 16

17 Operativsystem Jeg har under min uddannelse gennemgået et kursus i applikationsudvikling til mobiltelefon. Operativsystemet, vi er blevet undervist i, er Android OS, og det er derfor oplagt, at jeg laver en applikation til en mobiltelefon, der bruger dette system. Et andet argument for at udvikle til Android er, at Android er ved at få et rigtig godt fodfæste på markedet. Der findes rigtig mange analyser af smartphone markedet og rigtig mange vinkler at analysere ud fra. Figur 11 er en analyse fra admob lavet i februar 2010, som viser at Android OS er ved at være oppe på 25 % af markedet, dvs. at idag har næsten hver 4. mobiltelefon Android OS installeret. Andre analyser viser en noget mindre fremgang til Android OS på omkring 10 %, men det vigtige i analyserne er, at Android OS har en fremgang på markedet, og idet at Android OS kun er 2 år gammelt, er det utrolig hurtigt, at det har bidt sig fast. Denne popularitet kan skyldes, at det rent faktisk er et godt system eller måske bare har færre fejl og mangler end konkurrenternes systemer. Figur 11 Oversigt over mobiltelefon OS fordeling i februar 2010 Opbygning Android OS bygger på en modifikation af linux kernel 2. Det blev oprindeligt bygget af Android Inc. som senere blev opkøbt af Google og senest af Open Handset Alliance. Open Handset Alliance 3 er en sammenslutning af 65 forskellige firmaer inden for Hardware, Software og telekommunikation. Deres mål er at udvikle open standards til mobiltelefoner, dvs. de forsøger at globalisere et operativsystem uden omkostninger for udviklere og brugere. Android OS har været på markedet siden 2008 som open source med en Apache Licens 4, der giver udviklere og brugere mulighed for at bruge source koden og den frie eller åbne source software. Denne licens betyder bl.a., at udviklerne kan lave deres tilføjelser uden at skulle publicere dem til The Open Source Community 5. 2 Kilde: 3 Kilde: 4 Kilde: 5 Kilde: MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 17

18 Figur 12 Android Arkitektur diagram 6. Figur 12 viser arkitekturen i Android OS. Som sagt er kernen en modifikation af Linux kerne, hvilket bl.a. betyder, at alle driver til diverse hardware er inkluderet i kernen. Kernen fungerer også som abstraktionslag mellem hardware og software. Oven på kernelaget ligger et lag med forskellige biblioteker udviklet i C/C++, som bruges af forskellige komponenter i Android systemet. Samtidig ligger der et Android Runtime, som indeholder biblioteker udviklet i Java samt Dalvik Virtual Machine, som kan afvikle javakode. Ovenover ligger Applikations Framework laget, som indeholder forskellige APIs, der stiller funktioner til rådighed for Applikationerne i Applikationslaget. Det kan f.eks. være Content Provideren, der tager data fra Contacts og stiller til rådighed for opringning. I Applikationslaget ligger alle hovedfunktionerne så som SMS/MMS program, kalender, maps, browser, kontakter osv.. Alle disse programmer er udviklet i Java. Udviklings platform Den officielle og mest udbredte udviklingsplatform for Android er Eclipse IDE og den nyeste version hedder Galileo eller version 3.5. Eclipse Foundation, som er udviklerne bag Eclipse platformen, har lavet en licens EPL(Eclipse Public License 7 ) som er udarbejdet fra CPL(Common Public License) dette betyder kort sagt at der ikke er nogen problemer med at skrive programmer og applikationer, som skal distribueres og sælges. 6 Kilde: MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 18

19 Platformen virker dog ikke til udvikling af Androidapplikationer uden de nødvendige APIs og plugins. For at kunne udvikle skal Android SDK(Software Development Kit) installeres. Dette er et sæt værktøjer og APIs, som skal bruges for at kunne udvikle på Android platformen med Java programmeringssprog. Men inden SDK en installeres, er det nødvendigt at installere JDK(Java Development Kit) som er Javas SDK for at kunne bruge Java programmeringssproget samt Eclipse. Når disse to programmer er lagt ind på computeren, og Android SDK er installeret, mangler der bare et lille plugin til Eclipse. ADT(Android Development Tools) er et værktøj, der gør udvikling af applikationer til Androidmobiltelefoner hurtigere og nemmere. Sammen med dette værktøj skaber Eclipse et udviklingsmiljø med udvikling, running, debugger, emulator, editor og mange andre nyttige værktøjer. Udviklingssprog Eclipse platformen har mulighed for at bruge forskellige udviklingssprog. Det kan f.eks. være C, C++ eller Java. Jeg har valgt at programmere i Java, da jeg tidligere har arbejdet lidt med det. Fordelen ved Java er bl.a., at stort set alle styresystemer i dag kan afvikle programmer skrevet i Java, bare de har installeret en Java Virtuel Machine(JVM). På Android mobiltelefoner er Dalvik installeret. Dalvik er udviklet af Dan Bornstein 8 i samarbejde med bl.a. Google med henblik på at lave en virtuel maskine, der fungerer bedre og kan afløse JVM. Audio og Videoformat Der findes efterhånden en hel del forskellige lyd og videoformater (f.eks. AVI, MPEG, WMA, 3GPP, SWF). Alle er de udviklet til at afspille lyd og video i optimal kvalitet, men til forskellige medier (f.eks. DVD, mobiltelefoni, Videokonferencer) og forskellige medieafspillere (f.eks. Windows Media Player, Quicktime, VLC, RealPlayer, Flash osv.). Rigtig mange af disse formater kan i dag indeholde både lyd og video og bliver også kaldt multimediaformater. Disse multimediaformater er konstrueret til at indeholde forskellige typer informationer om f.eks. metadata, hvilket codec der er brugt, og hvordan de forskellige tracks skal synkroniseres samt forskellige datatyper. Informationer bruges typisk til at identificere filen, dens type og dens indhold. Dataene kan være videodata, audiodata eller tekst. Og informationerne om codec bliver brugt til at identificere hvilken codec, der skal bruges til at encode og decode data. Codec Et codec er typisk et stykke software, der bruges til at komprimere lyd og billededata, så det fylder mindst muligt men samtidig opretholder en kvalitet, der gør dataene brugbare til deres formål 9. Samtidig bruges codecet også den modsatte vej til at dekomprimere dataene igen. 7 Kilde: 8 Kilde: 9 Kilde: MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 19

20 Videokamera Optager Quicktime Afspiller Komprimere med H.263 videoformat Dekomprimer er med H.263 codec Optage video i 3gp filformat Afspiller 3gp video Figur 13 viser hvordan video kodes under optagelse og afkodes under afspilning Eksempel: Jeg har en 3gp videofil, der er komprimeret med H.263 videoformat. Denne skal afspilles i Quicktime afspilleren, men dette kan kun lade sige gøre, hvis Quicktime har installeret et codec, der indeholder dekomprimeringsalgoritmer til H.263 videoformatet. Eksempler på codec: Xvid, DivX, libtheora, FFmpeg. Valg af formater Androids styresystem yder support på nogle bestemte lyd og videoformater. Figur 14 viser lyd og videoformater der understøttes af Android OS Som det ses af figur 14 optages lyd og video i 3gp filformat og videoformaterne, der understøttes, er: H.263, H.264/AVC og MPEG-4 SP. MPEG-4 ISO(the International Organization for Standardization) har i samarbejde med IEC(International Electrotechnical Commision) dannet en gruppe af eksperter(mpeg: Moving Picture Experts Group) som står MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 20

21 bag udviklingen af MPEG standarderne 10. MPEG-4 11 er en samling af patenteret metoder/standarder, der hører under ISO/IEC Coding of audio-visual objects. Denne standard bygger videre på MPEG-1 og MPEG-2 teknologi og beskriver bl.a. komprimering af lyd, billede og video. Indtil videre består MPEG-4 af 25 dele(parts), som hver især beskriver en standard for hver deres område indenfor MPEG-4 spektret(bilag 4). Der opstår ofte forvirring, når MPEG-4 begrebet bliver brugt, da dette begreb både kan referere til MPEG-4 standarden, MP4 filformatet og MPEG-4 videoformatet. 3GP filformat Når der optages en video på HTC Hero, optages den i filformatet 3gp. Formatet 3gp 12 blev oprindeligt designet til GSM-telefoner og er senere udbygget fra ISO Base Media File Format også kaldet MPEG-4 part 12. ISO Base Media File Format 13 er et standardfilformat, som er udviklet fra Appel s Quicktime container format og som bl.a. 3gpp, 3gpp2 og MP4 bygges ud fra. 3gp filer kan optages i forskellige videoformater alt efter, hvad man skal bruge filen til. H.263 bruges typisk til videoer på mobiltelefoner og videokonferencer. MPEG-4 bruges typisk til video på internettet og har en bedre kvalitet og fylder mere(filstørrelse). Figur 15 forhold mellem MP4, 3GPP og 3GPP2 H.263 videoformat H.263 blev oprindeligt udviklet af ITU-T(Telecommunication Standardization Sector) med henblik på at lave en videokomprimerings- og dekomprimeringsstandard, der skulle være en forbedring af tidligere standarder så som H.261, MPEG-1 og MPEG-2. ITU-T T og MPEG har sidenhen i samarbejde lavet en ny standard kaldet H.264 eller MPEG-4 Part 10(AVC) 15, som er en mere avanceret udgave af H.263 og nogle mener, at denne standard er ved at gøre H.263 forældet. Årstal Standard Udgiver DRM-free Populær Implementationer 1984 H.120 ITU-T Yes 1990 H.261 ITU-T Yes Videokonference, Videotelefoni 1993 MPEG-1 Part 2 ISO, IEC Yes Video-CD 1995 H.262/MPEG-2 Part 2 ISO, IEC, ITU-T No DVD video, Blu-Ray, Digital Video Broadcasting, SVCD 1996 H.263 ITU-T Videokonference, Videotelefoni, Video på Mobiltelefoner(3GP) 1999 MPEG-4 Part 2 ISO, IEC No Video på Internet(DivX, Xvid, ) 2003 H.264/MPEG-4 AVC ISO, IEC, ITU-T No Blu-Ray, Digital Video Broadcasting, ipod 10 Kilde: 11 Kilde: 12 Kilde: 13 Kilde: -ISO/IEC : Kilde: 15 Kilde: MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 21

22 Tabel 1. Historisk oversigt over nogle videokomprimeringsstandarder 16 Video, HD DVD Tabel 1 viser en historisk oversigt over nogle af de standarder som ITU-T og ISO/IEC har udviklet gennem tiden. Der hvor H.263 udmærker sig i forhold til andre standarder på markedet er dens oprindelige funktion som lowbitrate komprimeringsformat, hvilket vil sige, at videodata er komprimeret ned til en så lav bitstørrelse, at det bliver muligt at sende denne data på et netværk med lav båndbredde (f.eks. ISDN). Denne komprimering foregår gennem komprimeringsalgoritmer indlejret i codecet. MPEG-4 SP(Simple Profile) MPEG-4 videoformat er beskrevet i ISO/IEC (MPEG-4 part 2). Dette format er delt op i ca. 21 forskellige profiler 17, som hver især retter sig mod forskellige applikationers krav. De mest almindelige profiler er Advanced Simple og Simple Profile. Simple Profile blev udviklet med henblik på at blive brugt af bl.a. mobiltelefoner 18. MPEG-4 part 2 ligner H.263 på mange områder, da MPEG-4 video oprindeligt bygger på H Der hvor de to formater adskiller sig fra hinanden er hovedsageligt i kvalitet, hvor MPEG-4 part 2 bruger flere kræfter end H.263. I specifikationerne til HTC Hero mobiltelefonen(bilag 3.) er det beskrevet, hvilke lyd- og videoformater der understøttes. Dette hører selvfølgelig sammen med, hvilke formater der understøttes af Androids styresystem, da det er dette operativsystem der ligger på mobiltelefonen. Streaming Når man skal streame på internettet, er der to ting, man skal vide noget om. Det drejer sig om, hvilket videoformat og hvilken streamingmetode man vil anvende. Videoformat har jeg gennemgået tidligere, så dette afsnit vil hovedsageligt handle om streamingmetoder. Streaming kan oversættes med en strøm af data altså data, der bliver sendt uafbrudt. Og når vi snakker om streaming media drejer det sig jo så om lyd- og videodata. Man kan have forskellige ønsker, når man vil streame. Ordet Livestreaming optræder ofte i denne forbindelse og bruges til at beskrive, hvordan man kan se video eller høre audio, mens det bliver optaget, altså i realtime. Dette kan dog ikke lade sig gøre i virkeligheden, da data sendt over netværk altid vil have en eller anden form for forsinkelse, selv om det kun drejer sig om sekunder - dette kaldes latency - så helt live bliver det aldrig. Der findes to hovedgrupper af streaming media på internettet i dag: Realtime Streaming og HTTP Streaming 20. Realtime Streaming filer leveres ved hjælp af en streaming server og HTTP Streaming filer leveres ved hjælp af en web(http) server, dette kaldes også Progressiv Streaming. 16 Kilde: 17 Kilde: 18 kilde: 19 Kilde: 20 kilde: MobilStream LiveStreaming fra Mobil til Web af Peter Ditlevsen Side 22