Outline The Kalman filter - and other methods Anders Rinaard Kristensen Filterin techniques applied to monitorin of daily ain in slauhter pis: Introduction Basic monitorin Shewart control charts MA and EWMA techniques DLM and the Kalman filter Simple case Seasonailty Online monitorin 1 2 E-kontrol, slatesvin Tilvækstresultater, slatesvin Kvartalsvis opørelse af produktionsresultater Præsenteres som en tabel Der vises resultater for de sidste 4 kvartaler o totalt for året Der kan sammenlines med forventede resultater Tilbydes af to hovedaktører: Dansk Landbrusrådivnin, Landscentret (det viste) AroSoft A/S Et af de vitiste: Tilvækst Vi har: 4 kvartalsresultater 1 årsresultat 1 forventet resultat Hvordan tolker vi det? Spørsmål 1: Hvordan fremkommer tallet? 4 Hvordan fremkommer tallet? Første iattaelse: Målefejl Grundprincippet er: Samlet væt af leverede svin i perioden: xxxx * Samlet væt af smårise indsat i perioden: xxxx ** Statusvæt ved periodens afslutnin: +xxxx *** Statusvæt ved periodens beyndelse: xxxx *** Total tilvækst i perioden yyyy Dali tilvækst = (Total tilvækst)/(antal foderdae) Hvor kommer tallene fra? * Slateri noenlunde præcist ** Brovæt anske præcist ***??? alt fra meet præcist til yderst usikkert Der er usikkerhed (fejl) på alle målinerne, men det er statusvætene, der betyder noet. Vi opstiller en (uhyre simpel) model: = t s + e m, hvor: er den berenede tilvækst (som den fremår af tabellen) t s er den sande tilvækst (den vi eentli er interesseret i) e m er målefejlen, som antaes normalfordelt N(0, σm 2) Modellens struktur (kvalitativ viden) er selve lininen Modellens parametre (kvantitativ viden) er værdien af σ m (spredninen på målefejlen). Den afhæner af målemetoden o må bestemmes i praksis. 5 1
Measurement error Anden iattaelse: Tilfældihed t s What we measure is What we wish to know is t s The difference between the two variables is undesired noise We wish to filter the noise away, i.e. we wish to estimate t s from De sande tilvækstresultater, t s, varierer som føle af rene tilfældiheder. Selv om vi havde præcist de samme forhold i to på hinanden følende kvartaler, kan vi ikke forvente samme resultat. Det kan vi kalde stikprøvefejl. Vi har, at t s = t u + e s, hvor e s er stikprøvefejlen, der udtrykker den tilfældie variation, som vi oså antaer er normalfordelt N(0, σ s 2) t u er det underliende permanente sande niveau Denne yderliere kvalitative viden indbyer vi i modellens struktur: = t s + e m = t u + e s + e m Modellens parametre: σ s o σ m 7 8 Sample error and measurement error Modellen i praksis, forudsætniner t u t s What we measure is What we wish to know is t u The difference between the two variables is undesired noise: Sample noise Measurement noise We wish to filter the noise away, i.e. we wish to estimate t u from Modellen er en absolut forudsætnin for meninsfyldt at kunne vurdere målte produktionsresultater. Spredninen på stikprøvefejlen, σ s, afhæner af hvor meet svins tilvækst varierer indbyrdes i en besætnin o besætninens størrelse. Spredninen på målefejlen σ m afhæner af målemetoden for statusvejniner. For tolkninen af målte resultater, er det den samlede usikkerhed, σ, der betyder noet (σ 2 = σ m 2 + σ s 2 ) Kvalificerede æt på σ ved forskellie målemetoder (1250 stipladser): Vejnin af alle svin: σ = Stratificeret stikprøve: σ = 7 Tilfældi stikprøve: σ = 20 Visuelt skøn: σ = 29 9 10 Different measurement methods Modellen i praksis: Tolknin t u t s En besætnin har målt en dali tilvækst på, hvor det forventede var 775. Skal vi være bekymrede? Det afhæner af målemetoden! En nedre bekymrinsrænse vil være det forventede minus 2 ane spredninen, altså 775 2σ Ved de 4 målemetoder fås følende bekymrinsrænser : Vejnin af alle svin: 775 2 x = 79 Stratificeret stikprøve: 775 2 x 7 = 71 Tilfældi stikprøve: 775 2 x 20 = 75 Visuelt skøn: 775 2 x 29 = 717 σ = σ =7 σ =20 σ =29 11 12 2
Tredje iattaelse: Forløb over tid Modellerin af tidsforløb 50 00 Dali tilvækst, slatesvin. kvartal 97 1. kvartal 98. kvartal 98 1. kvartal 99. kvartal 99 1. kvartal 00. kvartal 00 4 års tilvækstresultater for en besætnin. Er det odt eller skidt? 1. kvartal 01 2. kvartal 01 Vi udbyer vores model til at inddrae tid. Til tiden n forklares det målte resultat således: n = t s + e mn = t u + e sn + e mn Eneste ændrin er foreløbi, at vi opererer med en målt tilvækst for hvert kvartal. Vi kan berene bekymrinsrænser for hvert kvartal o plotte det hele som kurver. t u1 t s1 1 t u2 t s2 2 t u t s t u4 t s4 4 1 14 Simpelt plot over tid, vejnin af alle svin Dali Daily ain, tilvækst, slauhter slatesvin pis Simpelt plot over tid, visuelt skøn ved status Dali Daily ain, tilvækst, slauhter slatesvin pis 50 00 50 00. kvartal 97 1. kvartal 98. kvartal 98 1. kvartal 99. kvartal 99 1. kvartal 00. kvartal 00 1. kvartal 01 2. kvartal 01. kvartal 97 1. kvartal 98. kvartal 98 1. kvartal 99. kvartal 99 1. kvartal 00. kvartal 00 1. kvartal 01 2. kvartal 01 Observed Målt tilvækst ain Upper Øvre kontr. control rænse limit Expected Forventet Lower Nedre control kontr. Gr. limit 15 Observed Målt tilvækst ain Upper Øvre kontr. control rænse limit Expected Forventet Lower Nedre control kontr. Gr. limit 1 Konklusion på tidsforløb Mane flere iattaelser n = t u + e sn + e mn Der er noet alt! Mulie forklariner: Producenten har meet alvorlie problemer med svinende tilvækst. Modellen er forkert: Struktur vores kvalitative falie viden Parametre den kvantitative viden (spredninen) Den sande underliende tilvækst t u i besætninen kan ændre si over tid: Trend Sæsonvariation Stikprøvefejlen e s er mulivis autokorreleret: Midlertidie påvirkniner Målefejlen e m er helt sikkert autokorreleret: Statusvæt ultimo i kvartal n indår direkte som statusvæt primo i kvartal n+1 17 18
Tema: Tilvækst hyppiere måliner Tema: Tilvækst hyppiere måliner Dynamisk e-kontrol Dynamisk E-kontrol, resultater Udviklet o beskrevet af Madsen & Ruby (2000). Principper: Undå de arbejdskrævende statusvejniner. Berene tilvæksten efter hver leverin (d.v.s. typisk uentlit) Benytte en simpel dynamisk lineær model til overvåninen n = t un + e sn + e mn = t un + v n, hvor v n N(0, σ v 2 ) t un = t u,n-1 + w n, hvor w n N(0, σ w 2 ) Filtrere resultaterne for at fjerne tilfældit støj Rå data til venstre filtrerede til højre Fiurer fra Madsen & Ruby (2000) Stadi først resultater, når svinene er slatet 19 20 The Dynamic Linear Model (DLM) Example Observation equation n = t un + v n, v n N(0, σ v 2 ) System equation t un = t u,n-1 + w n, w n N(0, σ w 2 ) t u1 t s1 t u2 t s2 t u t s t u4 t s4 General, first order Observation equation Y t = µ t + v t, v n N(0, σ v 2 ) System equation µ t = µ t-1 + w n, w n N(0,σ w 2 ) µ 1 Y 1 µ 2 Y 2 µ Y µ 4 Y 4 Udbynin af model F n θ n er nu det sande niveau beskrevet som et vektorprodukt. Der indår et samlet niveau + 4 årstidsparametre. Ud fra modellen kan vi berene forventet tilvækst i næste kvartal! Så læne vi rammer præcist, forløber produktionen planmæssit! 1 2 4 21 22 Forventede o målte resultater Dali tilvækst Blå: Målt Pink: Forventet Analyse af fremskrivninsfejl Dali tilvækst 50 00 100 80 0 40 20 0-20 -40-0 -80-100 2 24 4
Tema: Tilvækst Den sidste model Dynamisk lineær model Modellens struktur (kvalitativ viden): Påstand om, at der kan være sæsonvariation (derimod inen påstand om størrelsen af denne). Påstand om, at såvel totalniveauet som sæsonvirkninerne kan ændre si over tid. Er disse påstande falit korrekte? Modellens parametre: Først o fremmest de fra før kendte spredniner, men nu oså systemvariansen. Modellen lærer undervejs o tilpasser si til observationerne. Sæsonvariation kan modelleres noet mere sofistikeret, som Thomas Nejsum Madsen har demonstreret i FarmWatch Morale Skal man analysere en besætnins tilvækst, skal man: Vide hvordan tallene fremkommer (målemetode) herunder hvad præcisionen er. Gøre si overvejelser om, hvordan forløbet naturlit vil se ud (baseret på fali viden). Uden fali viden kan man nå frem til hvad som helst. Uden modeller risikerer man alvorlie fejlfortolkniner. Gennem modellens struktur læer vi en fali viden ned over problemet. 25 2 Tema: Tilvækst on-line overvånin Tema: Tilvækst on-line overvånin On-line overvånin af tilvækst: PiVision Innovationsprojekt ledet af Landsudvalet for Svin: Danmarks JordbrusForsknin (både Foulum & Byholm) Firmaet Videometer (ekstern bistand) Firmaet Skov A/S KVL, IPH, Produktion & Sundhed Løbende overvånin af tilvæksten, mens svinene ror Mulihed for at reaere undervejs Mulihed for tilpasnin af leverinsstrateier PiVision: Principper Der ophænes et kamera over stien. Ved bevæelse i synsfeltet, optaes en serie billeder, der sendes til en computer. Computeren finder automatisk svinet på billedet (ved hjælp af en model) o berener dets areal set fra oven. Hvis computeren ikke tror på, at billedet forestiller en ris (ud fra en model) kasseres det. Arealet omrenes til væt (ved hjælp af en model). Ud fra mane billeder kan såvel ennemsnitsvæten som spredninen berenes til enhver tid. Fiur ved Teresia Heiskanen 27 28 Tema: Tilvækst on-line overvånin Hvad kan on-line vætberenin brues til? Overvånin af, om svinene vokser tilfredsstillende Opsamlin af viden om holdets vækstevne (lærin) Tilpasnin af leverinsstratei afhænit af, Om svinene vokser hurtit eller lansomt Om spredninen mellem de enkelte svin er stor eller lille Om der står et nyt hold smårise o venter på pladsen Prisforholdene Konkret udmøntnin af leveriner til slateri Tema: Tilvækst Beslutninstøtte vedrørende leverin Beslutninsstøttemodellen Hver ue observeres middelvæt o sprednin Efter hver observation opdateres estimaterne for Overordnet lansitet vækstevne, L Midlertidi afvielse, e(t) Vætsprednin i stien, ρ(t) Beslutniner baseres på Antal svin tilbae Estimaterne for de parametre Beslutnin udtrykkes som: Levér alle svin over en vis væt Usikkerheden med hensyn til, hvad vi véd er direkte repræsenteret i modellen 29 0 5
PiVision On-line weiht assessment On-line weiht assessment Objectives: Optimal delivery of slauhter pis Dynamic linear models Multi-level hierarchical Markov process Interaction with weiin equipment Illustration of results Pen with n pis is monitored. No identification of pis. At any time t we have: The precision 1/σ2 is assumed known 1 Objectives 2 Dynamic linear models Given the on-line weiht estimates to assin an optimal delivery policy for the pis in the pen. Sequential (weekly) decision problem with decisions at two levels: Slauhterin of individual pis (the price is hihest in a rather narrow interval) Terminatin the batch (slauhter all remainin pis and insert a new batch of weaners) A dynamic linear weiht model, I The scalin factor L Known averae herd specific rowth curve: In principle unknown and not directly observable Initial belief: The belief is updated each time we observe a set of live weihts from the pen. Let be the true averae weiht Then True weihts at time t distributed as: 5 4
Observation & system equation 1 Full observation equation for mean: Auto-correlated sample error (system eq.): Observation & system equation 2 Far more information available from the observed live weihts Sample variance not normally distributed. Use the 0.1 sample quantile: The symbol ρ(t) is the standard deviation of the observed values. System equation: 7 8 Tema: Tilvækst Beslutninstøtte vedrørende leverin Full equation set Lærin, lansitet vækstevne L = 1,00 L= L = 1,07 L = 1,12 9 40 Tema: Tilvækst Beslutninstøtte vedrørende leverin Lærin, vætsprednin Sprednin = Sprednin = 11 21 21 18 18 15 15 12 12 9 9 41 7