The Kalman filter - and other methods. Anders Ringgaard Kristensen

Transkript

1 The Kalman filter - and other methods Anders Ringgaard Kristensen 1

2 Outline Filtering techniques applied to monitoring of daily gain in slaughter pigs: Introduction Basic monitoring Shewart control charts MA and EWMA techniques DLM and the Kalman filter Simple case Seasonailty Online monitoring 2

3 Tema: Tilvækst - kvartalsopgørelse E-kontrol, slagtesvin Kvartalsvis opgørelse af produktionsresultater Præsenteres som en tabel Der vises resultater for de sidste 4 kvartaler og totalt for året Der kan sammenlignes med forventede resultater Tilbydes af to hovedaktører: Dansk Landbrugsrådgivning, Landscentret (det viste) AgroSoft A/S Et af de vigtigste: Tilvækst 3

4 Tema: Tilvækst - kvartalsopgørelse Tilvækstresultater, slagtesvin Vi har: 4 kvartalsresultater 1 årsresultat 1 forventet resultat Hvordan tolker vi det? Spørgsmål 1: Hvordan fremkommer tallet? 4

5 Tema: Tilvækst - kvartalsopgørelse Hvordan fremkommer tallet? Grundprincippet er: Samlet vægt af leverede svin i perioden: xxxx Samlet vægt af smågrise indsat i perioden: xxxx Statusvægt ved periodens afslutning: +xxxx Statusvægt ved periodens begyndelse: xxxx Total tilvækst i perioden yyyy Daglig tilvækst = (Total tilvækst)/(antal foderdage) Hvor kommer tallene fra? * Slagteri nogenlunde præcist ** Brovægt ganske præcist ***??? alt fra meget præcist til yderst usikkert * ** *** *** 5

6 Tema: Tilvækst - kvartalsopgørelse Første iagttagelse: Målefejl Der er usikkerhed (fejl) på alle målingerne, men det er statusvægtene, der betyder noget. Vi opstiller en (uhyre simpel) model: t b = t s + e m, hvor: t b er den beregnede tilvækst (som den fremgår af tabellen) t s er den sande tilvækst (den vi egentlig er interesseret i) e m er målefejlen, som antages normalfordelt N(0, σm 2 ) Modellens struktur (kvalitativ viden) er selve ligningen Modellens parametre (kvantitativ viden) er værdien af σ m (spredningen på målefejlen). Den afhænger af målemetoden og må bestemmes i praksis. 6

7 Measurement error What we measure is t b t s t b What we wish to know is t s The difference between the two variables is undesired noise We wish to filter the noise away, i.e. we wish to estimate t s from t b 7

8 Tema: Tilvækst - kvartalsopgørelse Anden iagttagelse: Tilfældighed De sande tilvækstresultater, t s, varierer som følge af rene tilfældigheder. Selv om vi havde præcist de samme forhold i to på hinanden følgende kvartaler, kan vi ikke forvente samme resultat. Det kan vi kalde stikprøvefejl. Vi har, at t s = t u + e s, hvor e s er stikprøvefejlen, der udtrykker den tilfældige variation, som vi også antager er normalfordelt N(0, σ s 2) t u er det underliggende permanente sande niveau Denne yderligere kvalitative viden indbygger vi i modellens struktur: t b = t s + e m = t u + e s + e m Modellens parametre: σ s og σ m 8

9 Sample error and measurement error What we measure is t b t u t s What we wish to know is t u The difference between the two variables is undesired noise: Sample noise Measurement noise We wish to filter the noise away, i.e. we wish to estimate t u from t b t b 9

10 Tema: Tilvækst - kvartalsopgørelse Modellen i praksis, forudsætninger Modellen er en absolut forudsætning for meningsfyldt at kunne vurdere målte produktionsresultater. Spredningen på stikprøvefejlen, σ s, afhænger af hvor meget svins tilvækst varierer indbyrdes i en besætning og besætningens størrelse. Spredningen på målefejlen σ m afhænger af målemetoden for statusvejninger. For tolkningen af målte resultater, er det den samlede usikkerhed, σ, der betyder noget (σ 2 = σ m2 + σ s2 ) Kvalificerede gæt på σ ved forskellige målemetoder (1250 stipladser): Vejning af alle svin: σ = 3 g Stratificeret stikprøve: σ = 7 g Tilfældig stikprøve: σ = 20 g Visuelt skøn: σ = 29 g 10

11 Different measurement methods t u t s t b t b t b t b σ =3 g σ =7 g σ =20g σ =29g 11

12 Tema: Tilvækst - kvartalsopgørelse Modellen i praksis: Tolkning En besætning har målt en daglig tilvækst på 750 g, hvor det forventede var 775 g. Skal vi være bekymrede? Det afhænger af målemetoden! En nedre bekymringsgrænse vil være det forventede minus 2 gange spredningen, altså 775 2σ Ved de 4 målemetoder fås følgende bekymringsgrænser : Vejning af alle svin: 775 g 2 x 3 g = 769 Stratificeret stikprøve: 775 g 2 x 7 g = 761 Tilfældig stikprøve: 775 g 2 x 20 g = 735 Visuelt skøn: 775 g 2 x 29 g =

13 Tredje iagttagelse: Forløb over tid Daglig tilvækst, slagtesvin kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal 01 g 2. kvartal 01 Tema: Tilvækst analyse over tid Periode 4 års tilvækstresultater for en besætning. Er det godt eller skidt?

14 Tema: Tilvækst analyse over tid Modellering af tidsforløb Vi udbygger vores model til at inddrage tid. Til tiden n forklares det målte resultat således: t bn = t s + e mn = t u + e sn + e mn Eneste ændring er foreløbig, at vi opererer med en målt tilvækst for hvert kvartal. Vi kan beregne bekymringsgrænser for hvert kvartal og plotte det hele som kurver. t u1 t u2 t u3 t u4 t s1 t s2 t s3 t s4 t b1 t b2 t b3 t b4 14

15 Tema: Tilvækst analyse over tid Simpelt plot over tid, vejning af alle svin Daily gain, slaughter pigs Daglig tilvækst, slagtesvin kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal 01 g Period Periode Observed gain Expected Målt tilvækst Forventet Upper control limit Lower control limit Øvre kontr. grænse Nedre kontr. Gr.

16 Tema: Tilvækst analyse over tid Simpelt plot over tid, visuelt skøn ved status Daglig Daily gain, tilvækst, slaughter slagtesvin pigs kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal 01 g Period Periode Observed gain Expected Målt tilvækst Forventet Upper Øvre kontr. control grænse limit Lower Nedre control kontr. Gr. limit

17 Tema: Tilvækst analyse over tid Konklusion på tidsforløb Der er noget galt! Mulige forklaringer: Producenten har meget alvorlige problemer med svingende tilvækst. Modellen er forkert: Struktur vores kvalitative faglige viden Parametre den kvantitative viden (spredningen) 17

18 Tema: Tilvækst analyse som tidsserie Mange flere iagttagelser t bn = t u + e sn + e mn Den sande underliggende tilvækst t u i besætningen kan ændre sig over tid: Trend Sæsonvariation Stikprøvefejlen e s er muligvis autokorreleret: Midlertidige påvirkninger Målefejlen e m er helt sikkert autokorreleret: Statusvægt ultimo i kvartal n indgår direkte som statusvægt primo i kvartal n+1 18

19 Tema: Tilvækst hyppigere målinger Dynamisk e-kontrol Udviklet og beskrevet af Madsen & Ruby (2000). Principper: Undgå de arbejdskrævende statusvejninger. Beregne tilvæksten efter hver levering (d.v.s. typisk ugentligt) Benytte en simpel dynamisk lineær model til overvågningen t bn = t un + e sn + e mn = t un + v n, hvor v n N(0, σ v2 ) t un = t u,n-1 + w n, hvor w n N(0, σ w2 ) Filtrere resultaterne for at fjerne tilfældigt støj 19

20 Tema: Tilvækst hyppigere målinger Dynamisk E-kontrol, resultater Rå data til venstre filtrerede til højre Figurer fra Madsen & Ruby (2000) Stadig først resultater, når svinene er slagtet 20

21 The Dynamic Linear Model (DLM) Example Observation equation t bn = t un + v n, v n N(0, σ v2 ) System equation t un = t u,n-1 + w n, w n N(0, σ w2 ) General, first order Observation equation Y t = µ t + v t, v n N(0, σ v2 ) System equation µ t = µ t-1 + w n, w n N(0,σ w2 ) t u1 t u2 t u3 t u4 µ 1 µ 2 µ 3 µ 4 t s1 t s2 t s3 t s4 Y 1 Y 2 Y 3 Y 4 t b1 t b2 t b3 t b4 21

22 Tema: Tilvækst analyse som tidsserie Udbygning af model F n θ n er nu det sande niveau beskrevet som et vektorprodukt. Der indgår et samlet niveau + 4 årstidsparametre. Ud fra modellen kan vi beregne forventet tilvækst i næste kvartal! Så længe vi rammer præcist, forløber produktionen planmæssigt! 22

23 Tema: Tilvækst analyse som tidsserie Forventede og målte resultater Daglig tilvækst g 2. kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal 00 Periode Blå: Målt Pink: Forventet

24 Tema: Tilvækst analyse som tidsserie Analyse af fremskrivningsfejl Daglig tilvækst g 2. kvartal kvartal kvartal kvartal kvartal kvartal kvartal kvartal 00 Periode

25 Tema: Tilvækst analyse som tidsserie Den sidste model Dynamisk lineær model Modellens struktur (kvalitativ viden): Påstand om, at der kan være sæsonvariation (derimod ingen påstand om størrelsen af denne). Påstand om, at såvel totalniveauet som sæsonvirkningerne kan ændre sig over tid. Er disse påstande fagligt korrekte? Modellens parametre: Først og fremmest de fra før kendte spredninger, men nu også systemvariansen. Modellen lærer undervejs og tilpasser sig til observationerne. Sæsonvariation kan modelleres noget mere sofistikeret, som Thomas Nejsum Madsen har demonstreret i FarmWatch 25

26 Tema: Tilvækst Morale Skal man analysere en besætnings tilvækst, skal man: Vide hvordan tallene fremkommer (målemetode) herunder hvad præcisionen er. Gøre sig overvejelser om, hvordan forløbet naturligt vil se ud (baseret på faglig viden). Uden faglig viden kan man nå frem til hvad som helst. Uden modeller risikerer man alvorlige fejlfortolkninger. Gennem modellens struktur lægger vi en faglig viden ned over problemet. 26

27 Tema: Tilvækst on-line overvågning On-line overvågning af tilvækst: PigVision Innovationsprojekt ledet af Landsudvalget for Svin: Danmarks JordbrugsForskning (både Foulum & Bygholm) Firmaet Videometer (ekstern bistand) Firmaet Skov A/S KVL, IPH, Produktion & Sundhed Løbende overvågning af tilvæksten, mens svinene gror Mulighed for at reagere undervejs Mulighed for tilpasning af leveringsstrategier 27

28 Tema: Tilvækst on-line overvågning PigVision: Principper Der ophænges et kamera over stien. Ved bevægelse i synsfeltet, optages en serie billeder, der sendes til en computer. Computeren finder automatisk svinet på billedet (ved hjælp af en model) og beregner dets areal set fra oven. Hvis computeren ikke tror på, at billedet forestiller en gris (ud fra en model) kasseres det. Arealet omregnes til vægt (ved hjælp af en model). Ud fra mange billeder kan såvel gennemsnitsvægten som spredningen beregnes til enhver tid. Figur ved Teresia Heiskanen 28

29 Tema: Tilvækst on-line overvågning Hvad kan on-line vægtberegning bruges til? Overvågning af, om svinene vokser tilfredsstillende Opsamling af viden om holdets vækstevne (læring) Tilpasning af leveringsstrategi afhængigt af, Om svinene vokser hurtigt eller langsomt Om spredningen mellem de enkelte svin er stor eller lille Om der står et nyt hold smågrise og venter på pladsen Prisforholdene Konkret udmøntning af leveringer til slagteri 29

30 Tema: Tilvækst Beslutningstøtte vedrørende levering Beslutningsstøttemodellen Hver uge observeres middelvægt og spredning Efter hver observation opdateres estimaterne for Overordnet langsigtet vækstevne, L Midlertidig afvigelse, e(t) Vægtspredning i stien, ρ(t) Beslutninger baseres på Antal svin tilbage Estimaterne for de 3 parametre Beslutning udtrykkes som: Levér alle svin over en vis vægt Usikkerheden med hensyn til, hvad vi véd er direkte repræsenteret i modellen 30

31 PigVision On-line weight assessment Objectives: Optimal delivery of slaughter pigs Dynamic linear models Multi-level hierarchical Markov process Interaction with weiging equipment Illustration of results 31

32 On-line weight assessment Pen with n pigs is monitored. No identification of pigs. At any time t we have: The precision 1/σ 2 is assumed known 32

33 Objectives Given the on-line weight estimates to assign an optimal delivery policy for the pigs in the pen. Sequential (weekly) decision problem with decisions at two levels: Slaughtering of individual pigs (the price is highest in a rather narrow interval) Terminating the batch (slaughter all remaining pigs and insert a new batch of weaners) 33

34 Dynamic linear models 34

35 A dynamic linear weight model, I Known average herd specific growth curve: True weights at time t distributed as: 35

36 The scaling factor L In principle unknown and not directly observable Initial belief: The belief is updated each time we observe a set of live weights from the pen. Let be the true average weight Then 36

37 Observation & system equation 1 Full observation equation for mean: Auto-correlated sample error (system eq.): 37

38 Observation & system equation 2 Far more information available from the observed live weights Sample variance not normally distributed. Use the 0.16 sample quantile: The symbol ρ(t) is the standard deviation of the observed values. System equation: 38

39 Full equation set 39

40 Tema: Tilvækst Beslutningstøtte vedrørende levering Læring, langsigtet vækstevne L = 1,00 L= 0,85 1,15 1,15 1,05 1,05 0, , ,85 0,85 Sand værdi Lært værdi Sand værdi Lært værdi L = 1,07 L = 1,12 1,15 1,15 1,05 1,05 0, , ,85 0,85 Sand værdi Lært værdi Sand værdi Lært værdi 40

41 Tema: Tilvækst Beslutningstøtte vedrørende levering Læring, vægtspredning Spredning = 3 Spredning = Sand værdi Lært værdi Sand værdi Lært værdi 41