UDNYTTELSE AF SATELLITDATA - FOR ET BEDRE MILJØ COPERNICUS SATELLITBILLEDER OG KUNSTIG INTELLIGENS

Transkript

1 UDNYTTELSE AF SATELLITDATA - FOR ET BEDRE MILJØ COPERNICUS SATELLITBILLEDER OG KUNSTIG INTELLIGENS Karsten Ø. Noe Principal Visual Computing Specialist, Alexandra Instituttet [email protected]

2 HVEM ER ALEXANDRA Hjælper offentlige og private virksomheder med at udvikle innovative it-produkter og services, hvor vi kobler it-forskning, teknologi, kommerciel relevans og brugerinddragelse 100 ansatte i et tværfagligt miljø med højt kvalificerede specialister Mange fagligheder inden for softwareudvikling, interaktionsdesign, industrielt design, brugerinvolvering, etnografi, forretningsforståelse etc. Tæt på universiteterne og den nyeste viden og teknologi

3 RESULTATKONTRAKT Udnyttelse af rumsystemer til øget vækst Finansieret af Styrelsen for Forskning og Uddannelse Udvikle viden og services til gavn for dansk erhvervsliv Downstream Udnyttelse af satellitbaserede data Automatiserede visuelle analyser Web baserede data-services Positionering og tracking Internet-of-Things og smarte produktløsninger Nanosatellit-baserede løsninger Upstream Force og Delta Side 3

4 COPERNICUS-PROGRAMMET Side 4

5 SENTINEL 1 Synthetic aperture radar (SAR) Nye billeder hver 6. dag (samme bane) I DK overflyves samme sted ca. hver anden dag (forskellige baner) Signalet går igennem skyer Anvendelser Overvåge oliespild, havis og isbjerge Vind- og bølgeinformation til meteorologiske modeller Overvågning af ændringer indenfor landbrug / skovbrug (e.g. stormfald) Monitorering af sne, floder og is på søer Overvågning af store fartøjer til havs Overvågning af hævning/sænkning af land (interferometri) Til højre: Thyborøn Side 5

6 SENTINEL 2 Multispektrale optiske billeder (synligt lys + infrarød) 10x10m pixels i højeste opløsning Nye billeder hver 5. dag (2-3 dag i DK) Anvendelser (eksempler) Overvågning af arealanvendelser / ændringsudpegninger Overvågning til havs Overvågning af algeopblomstring Monitorering af afgrøder inden for landbruget NDVI afbilder plantevækst Afgrødetype Hvornår høstet/sået Side 6

7 UDFORDRINGER Sentinel 1: Meget støj (speckle) Mere udfordrende at fortolke end sentinel 2 Sentinel 2: Skyer (meget ofte i Danmark) Relativt lav opløsning (10x10 meter)

8 HVORDAN KOMMER MAN I GANG? Data fra Copernicus er gratis Kan hentes flere steder fra: Copernicus Open Access Hub (official source) Nationale spejlinger. f.eks. tyske CODE-DE eller svenske SWEA Amazon (S3 bucket of sentinel 2) Google Earth Engine Google Cloud Data Saccess.dk Data gennem 3 artier fra satellitterne Landsat, WorldView-2, SPOT-5 samt Sentinel-2 På vej: Copernicus Data and Information Access Services (DIAS) Sentinel 2: Husk atmosfærisk korrektion og sky-segmentering Programmer: Sen2cor, MAJA

9 KUNSTIG INTELLIGENS?

10 DEEP LEARNING Andrej Karpathy Director of AI at Tesla Nov 11, 2017 Software 2.0 Neural networks are not just another classifier, they represent the beginning of a fundamental shift in how we write software. They are Software 2.0. The classical stack of Software 1.0 is what we re all familiar with [ ] It consists of explicit instructions to the computer written by a programmer. In contrast, Software 2.0 is written in neural network weights. No human is involved in writing this code [ ] Instead, we specify some constraints on the behavior of a desirable program (e.g., a dataset of input output pairs of examples) and use the computational resources at our disposal to search the program space for a program that satisfies the constraints.

11 DEEP LEARNING OG COMPUTER VISION Farvelægge gråskala-billeder Generere billedtekst Forvandle heste til zebraer Forvandle billeder til Van Gogh-malerier Opdigte billeder af falske berømtheder Tracke menneskers bevægelser Kan vi anvende teknikkerne bag til jordobservation?

12 DEEP LEARNING - HVAD ER DET? Neurale netværk er maskinlæringsalgoritmer, som er inspireret af menneskehjernen Kraftig stigning i interessen for dybe neurale netværk i de sidste 5 år Baggrund: Big data + GPUer + nye algoritmer

13 DEEP LEARNING - HVAD ER DET? Alt man har brug for er masser af data og regnekraft! Database med billeder af biler

14 FUGLEGENKENDELSE Samarbejde med Institut for Bioscence, Aarhus Universitet Genkendelse af fugle i flyfotos i forbindelse med miljøundersøgelser Genkendelse på objekt-niveau Objekter fundet vha. pixel clustering Klassifikation vha Deep learning

15 MARKSEGMENTERING Ceptu: Portal for præcisionslandbrug Fieldsense: NDVI baseret markovervågning Vil gerne ind på nye (udenlandske) markeder Ingen markpolygoner som i Danmark Alexandra Instituttet hjælper med at segmentere marker (sentinel-2)

16 MARKSEGMENTERING: TILGANG To skridt vha. deep learning Lokalisere grænser mellem marker Beregne mark-sandsynlighedskort Brug af offentligt tilgængelige mark-polygoner (kortdata.fvm.dk) Trænings-eksempler (5 gange opskaleret ift. sentinel-2 opløsning):

17 MARKGRÆNSE-GENKENDELSE

18

19 MARK-SANDSYNLIGHEDSKORT Træning med fyldte polygoner i stedet for konturer

20 RASTERKORT TIL POLYGONER Connected component analyse Polygonisering

21 EXPERIMENT: BYGNINGSDETEKTOR Formål: træne et netværk, der kan genkende bygninger Samarbejde med SDFE Trænet på 50 quick-ortofotos (forår 2017) RGB+NIR Masker fra GeoDanmark polygoner (kortforsyningen.dk)

22 BYGNINGSDETEKTOR: TRÆNINGSEKSEMPLER

23 BYGNINGSDETEKTOR: RESULTATEKSEMPEL Resultat: Ground truth: Side 23

24 SEGMENTERING -> ÆNDRINGSUDPEGNING Idé: Træn på rasterdata og masker fra 2 forskellige tidspunkter Bed netværket om at udpege forskelle i masken Deep learning

25 GEOVISUAL SEARCH Samarbejde med DHI-GRAS Kraftigt inspireret af Descartes Labs geovisual search ( So ein Ding müssen wir auch haben! Udviklet egen version af teknologien Tilpasset danske datasæt Sentinel-2 satellitbilleder Offentligt tilgængelige flyfotos (kortforsyningen.dk) Side 25

26 GEOVISUAL SEARCH: TEKNOLOGIEN BAG Flyfotos over Danmark deles ind i 48 millioner udsnit af 224*224 pixels (20 cm/pixel) Et neuralt netværk bruges til reduktion af billeddata til 2048 tal per udsnit (393 GB) Dette kaldes en descriptor Et andet netværk (autoencoder) reducerer hver descriptor til 512 bit. (3 GB) Når man klikker på et område søges de 48 mio descriptors igennem og de descriptors, der ligner mest, returneres Side 26

27 GEOVISUAL SEARCH: EKSEMPLER Prøv det på denmark3d.alexandra.dk/geosearch

28 GEOVISUAL SEARCH: MULIGHEDER Overblik over store områder: Hvor er der vindmøller? Forbedring af søgnings-teknologien Søgning efter objekter i forskellige størrelses-ordener. Forfining af søgninger ved at afvise fejlagtige resultater Brug af teknologien til segmentering af store geografiske områder Arealanvendelse: hvor er der skov / hede m.m. Brug af teknologien til ændringsudpegning Sammenligne descriptors fra flere tidspunkter

29 VI SØGER CASES TIL VORES SATELLITPROJEKT Har du en ide til anvendelse af f.eks. nogle af de teknologier vi har præsenteret, så kontakt os! Vi har brug for virksomhedernes specifikke behov og ideer Vi tilbyder Deltagelse i idegenereringsworkshops og caseforløb Viden om opbygning af it services, deep learning, visualisering af store datamængder og meget andet.

30 Tak for opmærksomheden!