Udvaskningsmodellen N-LES3 usikkerhed og validering

A A R H US Søren E Larsen, Kristian Kristensen U N I V ERS I T E T Udvaskningsmodellen N-LES3 usikkerhed og validering D et J o r d b r u g s v id e n s ka b elig e Fakul tet DJ F m a r k b r ug n r 13 o k to b e r 0 07

DJ F m a r k b r u g n r 13 o k to b e r 0 07 Udvaskningsmodellen N-LES3 usikkerhed og validering Søren E Larsen Danmarks Miljøundersøgelser Aarhus Universitet Kristian Kristensen Det Jordbrugsvidenskabelige Fakultet Aarhus Universitet Kirstinebjergvej 10 DK-579 Årslev Rapporterne indeholder hovedsagelig forskningsresultater og forsøgsopgørelser rettet mod danske forhold Endvidere kan de beskrive større samlede forskningsprojekter eller fungere som bilag til temamøder Rapporterne udkommer i serierne: Markbrug, Husdyrbrug og Havebrug Abonnenter opnår 5% rabat, og abonnement kan tegnes ved henvendelse til: Det Jordbrugsvidenskabelige Fakultet Postboks 50, 8830 Tjele Tlf 8999 108 Alle publikationer kan bestilles på nettet: wwwagrsciaudk Tryk: wwwdigisourcedk ISBN 87-91949-4-6

Indholdsfortegnelse Forord3 Sammenfatning4 Indledning 6 Del I8 Beskrivelse af N-LES 3 modellen8 Del II14 Estimation af usikkerheder ved modelanvendelse 14 Variation i mark og mellem enkeltceller14 Del III 3 Metode til modelvalidering 3 Metode brugt for seneste version af N-LES4 Konklusion og fremtidigt arbejde9 Referencer31

Forord Kvælstofudvaskning fra landbrugsarealer har stor indflydelse på vandmiljøet i Danmark For at begrænse omfanget af kvælstofudvaskningen er der blevet iværksat en række nationale handlingsplaner (Vandmiljøplan I, Handlingsplan for Bæredygtigt Landbrug, Vandmiljøplan II og III For at kunne vurdere effekten af disse indsatser er det nødvendigt at kunne estimere udvaskningen af kvælstof for forskellige landbrugsdriftstyper, jordbundstyper samt for forskellige klimatiske forhold (nedbør Udvaskninger af kvælstof kan eksempelvis estimeres ved anvendelse af den nyeste N-LES model, N-LES 3 Nærværende rapport omhandler dels usikkerheder på kvælstofudvaskninger estimeret ved anvendelse af N-LES 3 modellen samt en validering af N-LES 3 modellen N-LES 3 er en empirisk model og opsætningen af den bygger på udvaskningsdata fra mange år og mange forskellige kilder Rapporten indeholder tre dele Første del giver en beskrivelse af den seneste version af N-LES modellen Del II omhandler en metode til at beregne usikkerheder på N-LES 3 udvaskningsestimater Den giver beregningsformler og eksempler på størrelsen af usikkerheden for en række forskellige scenarier, med forskellige værdier af inputvariablene Et scenario repræsenterer udvaskningen for en enkelt mark Også usikkerheden på en ændring i udvaskning ved forskellige ændringer i dyrkningspraksis er estimeret Del III omhandler en validering af N- LES 3 modellen Det har været nødvendigt at fortage valideringen ved anvendelse af de samme empiriske data, som anvendes til modelopbygning på grund af at det ikke har været muligt at fremskaffe et datasæt med uafhængige data Forfatterne vil gerne sige tak til Ruth Grant, Gitte Blicher-Mathiesen, Uffe Jørgensen, Jørgen Djurhuus og Kurt Nielsen for værdifulde kommentarer og forslag til forbedringer af rapporten Arbejdet har været støttet af Skov og Naturstyrelsen, Danmarks Jordbrugsforskning (pr 1 januar 007, Det Jordbrugsvidenskabelige Fakultet (DJF, Aarhus Universitet samt Danmarks Miljøundersøgelser, (pr 1 januar 007, Aarhus Universitet 3

Sammenfatning Denne rapport omhandler N-LES 3 modellen og beregning af usikkerheder ved anvendelse af N-LES 3 modellen til prædiktion af kvælstofudvaskning fra rodzonen Alle usikkerhedskomponenter er omtalt og estimeret Rapporten indeholder også en statistisk validering af N-LES 3 modellen og stabiliteten af modellens parametre er analyseret Kvælstofudvaskning fra landbrugsarealer er af stor betydning for det danske vandmiljø Det er således vigtigt at kunne vurdere effekten af forskellige tiltag og virkemidler for at bringe udvaskningen ned Effekterne kan vurderes ved at modelestimere udvaskningen ved forskellige driftsformer N-LES modellen er empirisk, dvs modellen er fremkommet alene ved anvendelse af målte data Koncentrationen af kvælstof i rodzonen er målt på en lang række marker og forsøgsmarker over en lang årrække Kvælstofudvaskningen, som N-LES 3 prædikterer, er beregnet ud fra koncentrationer og beregnet nedsivning af vand (perkolation Som forklarende variable anvendes en række størrelser som beskriver dyrkningspraksis på marken, klima samt jordtype Vi har statistisk valideret N-LES 3 modellen ved anvendelse af en procedure, hvor det store empiriske datamateriale deles op i to grupper på forskellige måder Den ene gruppe af data anvendes til parameter estimation, den anden til prædiktion De prædikterede værdier sammenlignes derefter med de målte værdier Ideelt set burde der anvendes uafhængige data til modelvalidering, men det har ikke været muligt at fremskaffe data, hverken i Danmark eller i udlandet som svarede til de data, som er anvendt ved modelestimeringen Vi har i alt gennemført 0 valideringer, og de viser at N-LES 3 modellen er i stand til at prædiktere de udeladte data godt Prædiktionsspredningen er i gennemsnit 1-15 % større ved anvendelse af en delmængde af alle data end ved prædiktion af alle data med modellen baseret på hele det empiriske datamateriale Teoretisk set vil man forvente en stigning på 5-10 % alene på grund af modelopsætning med færre observationer Prædiktionen er dårligst når man prædikterer data fra en tidsperiode med en model opsat på data fra en anden tidsperiode Ved valideringer baseret på tilfældigt udvalgte datasæt stiger prædiktionsspredningen kun med 3-6 % Valideringerne viser ligeledes, at modellens parametre generelt er stabile, dog var parametrene, som angiver teknologieffekten, ustabile De mest varierende estimater fås, når man anvender forskellige tidsperioder til parameter estimation og til prædiktion Den anvendte valideringsmetode viser, hvordan en empirisk model kan valideres, når det ikke er muligt at fremskaffe et uafhængigt datasæt 4

I rapporten er der givet formler til beregning af usikkerheder ved estimation af kvælstofudvaskningen dels for beregning af udvaskning for enkelt mark og dels for en forskel mellem to modelestimater Rapporten indeholder beskrivelser af alle usikkerhedskomponenter Formlerne er anvendt til beregning af usikkerheden på estimater for kvælstofudvaskningen i forskellige realistiske scenarier Disse beregninger viser, at den relative usikkerhed på enkelt prædiktioner i de udvalgte scenarier er mellem 0-40% af den prædikterede udvaskning den relative usikkerhed på prædiktion af et gennemsnit af flere marker og/eller år er mindre og varierede for de udvalgte scenarier mellem 10-30% af den prædikterede udvaskning at de relative usikkerheder ikke er så store, at det helt er umuligt at påvise signifikant forskel i udvaskningen under forskellige driftsformer Rapportens beregninger viser, at modellen kan valideres tilfredsstillende og har stabile parametre Endvidere viser rapporten, at usikkerheden på udvaskningsestimaterne er størst ved store udvaskningsestimater 5

Indledning N-LES modellen, som tidligere kaldtes Simmelsgaard IIIB modellen, er en empirisk model til beregning af kvælstofudvaskningen fra rodzonen på landbrugsjorde Modellen estimeres på baggrund af målte kvælstofkoncentrationer, beregnet perkolation og få yderligere oplysninger Mere præcist drejer det sig om beregnet årlig kvælstofudvaskninger fra en lang række marker og forsøgsmarker målt over en lang årrække samt yderligere oplysninger om klima, jordbund og landbrugsdriften, såsom mængde og type af kvælstoftilførsel samt afgrøde Den årlige kvælstofudvaskning beregnes via de målte koncentrationer og den beregnede perkolation Den empiriske model N-LES har et krav til inputdata, som er beskedent i forhold til mekanistiske modeller, såsom SOILN og DAISY De mekanistiske modeller kræver en detaljeret beskrivelse af klima, jordforhold (fysik, kemi, arealanvendelse og dyrkningsprocedurer Nogle af disse oplysninger skal leveres på dagsniveau Derfor kan mekanistiske/deterministiske modeller være vanskeligere at anvende til estimeringer på stor skala, da kvaliteten til inputdata normalt ikke kan opfyldes for en større region Omvendt er en empirisk model normalt ikke i stand til at prædiktere kvælstofudvaskningen for et lille område tilstrækkeligt præcist, fordi de lokale forhold er komplekse og ikke kan beskrives ved en generel empirisk model En empirisk model er således særlig egnet til at beskrive den gennemsnitlige kvælstofudvaskning for et antal marker eller for et antal år (et sædskifte Empiriske modeller til estimering af kvælstofudvaskning fra landbrugsjorde blev første gang udviklet i Danmark i 1991 (Simmelsgaard, 1991 Denne model var påkrævet i forbindelse med handlingsplanen for et Bæredygtigt Jordbrug og først og fremmest beregnet til anvendelse på regionalt niveau og til beregning af økonomiske scenarier Der er siden blevet foretaget genberegninger af modellen og anvendt nye data i estimeringen (Simmelsgaard og Djurhuus, 1998 I 1998 udvikledes den første empiriske udvasknings model med multiplikative effekter (Simmelsgaard, 1998 Modellen blev udbygget og modificeret i 000 (Simmelsgaard et al, 000 I 00 blev der ligeledes foretaget en genberegning, som benævnes N-LES (Kristensen, 00 Denne revision blev hovedsageligt gennemført pga ændringer i viden om vandbalancen (Plauborg et al, 00 Den seneste genberegning (N-LES 3 (Kristensen et al, 003 blev foretaget i forbindelse med slutevalueringen af Vandmiljøplan II (Grant og Waagepetersen, 003 Genberegningen er baseret på væsentlig flere data (især data fra forsøg ved DJF, men også nyere data fra Landovervågningen og nogle drænvandsstationer samt ændringer i de forklarende variable og i modelopbygningen Parametrene i N-LES 3 er estimeret på baggrund af ialt 199 observationer Den samlede forklaringsgrad er 0,51 (R -værdi Forklaringsgraden begrænses af datasættets heterogenitet, samt stor variation på især mikroskala, dvs inden for en mark 6

Man kan altså forestille sig N-LES modellen anvendt til følgende formål: Estimation af kvælstofudvaskning på markniveau (1 år, bedriftsniveau/ejendomsniveau (1 år, markniveau (flere år/sædskifte, bedriftsniveau (flere år/sædskifte, mange marker/flere ejendomme (1 år, dvs på regionalt niveau En særdeles vigtig anvendelse af N-LES er prædiktion af effekten af ændringer i landbrugsdriften Dette gøres ved at beregne forskellen mellem to forskellige N-udvaskningsestimater, der fås ved henholdsvis den nuværende drift og den påtænkte fremtidige drift N-LES modellen og alle andre empiriske modeller kan kun anvendes til prædiktion af scenarier inden for måleområdet og ikke på scenarier som rækker ud over det Ekstrapolation kan være behæftet med stor usikkerhed Ved konkrete anvendelser af N-LES modellen til prædiktion er det nødvendigt at kunne beregne usikkerheden på prædiktionen Dette er især vigtigt, når N-LES skal anvendes til vurdering af effekter ved en ændret landbrugsdrift, dvs ændring i husdyrhold, ændring i gødningstilførelsen eller i gødningsstrategien samt ved ændring i afgrøder Beregningen af usikkerheden skal bidrage til vurderingen af effekten af ændringerne Der er således behov for usikkerhedsberegninger på udvaskningsestimater på forskellig skala (mark, ejendom og region og over flere år Del I af rapporten indeholder en beskrivelse af N-LES 3 modellen, og Del II hvorledes usikkerhedsberegninger kan udføres, når man anvender N-LES 3 modellen til prædiktion af udvaskninger Der er især fokus på usikkerheden ved prædiktion af udvaskning for nye inddata, dvs prædiktion og for ændringer som følge af ændret driftsform De udledte matematiske formler anvendes til beregning af usikkerhed i konkrete eksempler på sædskifter og på ændring i landbrugsdriften Del III indeholder en modelevaluering af N-LES 3 Tidligere versioner af N-LES er ikke valideret grundigt Modelevalueringen foregik ved en række modelestimeringer på delmængder af det samlede empiriske datamateriale og ikke på et nyt uafhængigt datamateriale Modelestimeringerne anvendes også til at undersøge stabiliteten af modellens parametre Til sidst i rapporten er der en konklusion og forslag til fremtidigt arbejde med N-LES modellen specielt med henblik på den fremtidige evaluering af VMP3 Arbejdet i denne rapport er en opfølgning på evalueringen af VMP, hvor N-LES blev genberegnet og den nye model blev anvendt til en modelberegning af kvælstofudvaskningen på landsplan for perioden 1984-00 N-LES 3 estimater med udgangspunkt i aktuel landbrugspraksis for 5 landovervågningsoplande blev endvidere opskaleret til landsplan 7

Del I Beskrivelse af N-LES 3 modellen Den seneste N-LES model, N-LES 3, er tredje version af en empirisk model til prædiktion af kvælstofudvaskning Modellen prædikter udvaskningen på markniveau og for et helt udvaskningsår på baggrund af hændelser i udvaskningsåret samt den del af sædskiftet, som beskrives af forfrugt og de forudgående 5 års kvælstoftilførsel N-LES 3 modellen er udviklet på grundlag af data fra både Danmarks JordbrugsForskning (DJF og Danmarks Miljøundersøgelser (se tabel 1 De målte udvaskninger er for det meste sugecellemålinger, men også målinger i drænvand er medtaget i modeludviklingen Kvælstofkoncentrationer (nitrat fra rodzonen måles normalt ved hjælp af sugeceller Sugecellerne er installeret i roddybde (80-100 cm For hver stationsmark (i Landovervågningsoplandene er der installeret 10 sugeceller dækkende et areal på i alt ca 100 m Der udtages en samleprøve fra cellerne hver uge i afstrømningsperioden, og kvælstofkoncentrationen i jordvandet bestemmes På lerjorde med høj grundvandsstand modelberegnes afstrømningen vha Daisy og på de øvrige jorde vha EVACROP Udvaskningen beregnes på ugebasis ved multiplikation af den ugentlige kvælstofkoncentration og den tilhørende afstrømning Dvs kvælstofudvaskningen beregnes ud fra måling af nitratkoncentrationen i jordens rodzone og mængden af vand, som passerer rodzonen Det totale antal observationer, som indgår i beregning af modellens parametre er 199 (se tabel 1 Gennemsnit og spredning på de benyttede observationer af udvaskning er henholdsvis 64 kg N ha -1 og 57 kg N ha -1 Mindste og største registrerede udvaskning er 0 kg N ha -1 og 446 kg N ha -1 N-LES 3 modellens basale struktur er dels en sum af additive parametre, dels nogle multiplikative parametre I Kristensen, Jørgensen og Grant (003 er den seneste genberegning af N- LES modellen udførligt beskrevet Dette notat indeholder også en beskrivelse af ændringer i forhold til tidligere modeller samt beskrivelser af forsøg på at få nye og flere forklarende variable med i modellen 8

Tabel 1: Oversigt over det empiriske datamateriale som anvendes ved N-LES3 modelestimeringen antal marker/led pr år Indberetningsår (startår for udvaskning = høstår for afgrøde 71 7 73 74 75 76 77 78 79 80 81 8 83 84 85 86 87 88 89 90 91 9 93 94 95 96 97 98 99 00 01 I alt Lokalitet/forsøg Loop nr 1 5 5 5 6 6 6 6 6 6 6 57 Loop nr 6 6 6 6 6 6 5 5 6 5 57 Loop nr 3 5 4 3 4 4 4 5 5 5 5 44 Loop nr 4 6 6 6 6 6 6 5 6 6 6 59 Loop nr 5 8 8 7 7 8 7 47 Loop nr 6 6 8 8 7 8 8 7 7 8 7 74 Drænvand 3 3 3 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 3 5 4 5 94 Kvadratnet 13 13 15 16 16 16 89 Efterafgrøde 8 8 8 8 8 40 Ompløjning af græs 5 5 10 10 10 5 5 45 Stigende N 4 4 4 4 4 8 8 8 8 8 8 7 8 8 8 8 111 Vårbyg, efterafgrøde xn 10 10 10 10 4 Vårbyg, Efterafgrøde xn 8 8 8 8 3 Sædskifte, Organisk stof 8 14 66 Sædskifte, 3xN 11 11 11 9 4 Grovfoder- sædskifte 8 8 8 8 3 Økologiske sædskifter 41 41 41 41 164 Økologisk vægbrugssædsk 4 4 4 4 96 Græs og kløver, eftervirk 18 18 18 54 TP II 6 6 6 18 Lavinput grovfodersædsk 9 9 9 9 36 I alt 3 3 7 8 8 9 8 1 1 16 1 1 1 11 1 1 8 49 75 77 11 10 69 73 70 69 1 100 104 83 5 199 9

Den statistiske metode, der er anvendt til modelestimeringen, er Restricted Maximum Likelihood (REML, Rao og Kleffe (1988 i en såkaldt mixed model Modellen indeholder både effekter som anses for at være systematiske og effekter, som anses for at være tilfældige De systematiske effekter er dem man enten kender eller kan kontrollere ved dyrkningspraksis på en valgt mark, dvs afstrømning, afgrøde, tilført mængde kvælstof og jordtype De tilfældige effekter kan ikke kontrolleres og kendes oftest ikke De tilfældige effekter er her effekter af de benyttede marker (bla placering i landet/landskabet og nogle jordbundparametre og år (bla vintertemperatur og nedbørsfordeling samt den enkelte mark i det enkelte år (bla variationer i marken, så- og høsttidspunkter, harvninger, afgrødens sundhedstilstand og ikke mindst usikkerhed på udvaskningsmålingen Dvs de marker som indgår i modelberegningerne betragtes som et random sample af alle mulige marker Det antages, at alle de tilfældige effekter er stokastisk uafhængige Vi kan skrive N-LES 3 modellen op på følgende form, hvor Y står for udvaskning: ˆ ˆ Y U V M, hvor ˆ ˆ 0 1 ˆ år, hvis T 0 U ˆ ˆ 0 1 år ˆ ˆ T,hvisT0, dog skal U mindst være 0, T, V 0,0001, hvis T 0 hvis T 0, T ˆ N ˆ N N ˆ N ˆ N ˆ N ˆ, 1 niveau forår fix 3 udbinding 4 j efterår fjernet afgrøde forfrugt 1 0 1 3 4 M 1 exp ˆ A exp ˆ A exp ˆ H exp ˆ L cˆ Her repræsenterer de græske bogstaver modellens parametre Symbolernes betydning og modellens estimater er som i Kristensen et al (003 og af praktiske grunde gengivet her (tabel og følgende tekst Denne seneste N-LES model, N-LES 3, forklarer i alt 53 % (R -værdi af den samlede varians i model datasættet Forklaringsgraden begrænses af lokale forskelle i landbrugsdriften og i lokale forhold på landbrugsmarken Afskæringen er en fiktiv værdi, som teoretisk prædikterer udvaskningen af kvælstof fra en mark med korn efterfulgt i efterfølgende vinter af bar jord, forfrugt korn, ærter, raps eller roer og med et ler og humusindhold på 0 procent, hvor der ikke er tilført kvælstof, og hvor afstrømningen har været uendelig stor henholdsvis 0 i indeværende og foregående udvaskningsår 10

Tabel : Estimater og spredning på additive effekter Parameter Parameterestimat Approks spredning Effekt Additive effekter Potens 1, - 0 Afskæring 59,6 4,6 1 Teknologieffekt 455 646 Teknologieffekt 196,,6 1 N-niveau 0,355 0,0515 N-forår 0,58 0,043 3 N-udbinding 0,3760 0,16 4s N-efterår (Sandjord 1,0749 0,3470 4l N-efterår (Lerjord 0,3539 0,1161 N-fjernet 0,1936 0,0471 Andel af negativ T, som benyttes i U 0,5466 0,0950 Afgrødegrupper 1 1 Frøgræs +Græs -165,7 6,3 Korn/udlæg +Korn/efterafgrøde eller vinterraps -98,6 15, 3 Græs-brak/vinterkorn +Roer +Vårraps -4,0 8,5 4 Korn/vinterkorn -7,6 7,6 5 Korn/bar jord +Ærter +Vinterraps/vinterkorn 0-6 Kartofler +Majs 8,8 16,6 Forfrugtsgrupper 1 1 og 3 års græs 34,7 11,0 Frøgræs +1 års græs +Majs +Korn/efterafgrøde eller vinter raps +Græsbrak/vinterkorn 14, 5,8 +Raps 3 Korn/udlæg +Korn/vinterkorn +Korn/bar jord +Roer +Ærter 0-4 Kartofler -38,5 14,8 Multiplikative effekter 1 Afstrømning i udvaskningsår 0,00150 0,00047 Afstrømning i foregående udvaskningsår 0,000554 0,000090 3 Humusindhold 0,1064 0,06 4 Lerindhold 0,035 0,0065 1 Afgrøde- og forfrugtseffekter er beregnet i forhold til den gruppe, som indeholder korn efterfulgt af bar jord (denne gruppe har per definition værdien 0 Teknologieffekt År er det årstal, hvor udvaskningsåret starter (eksempelvis er året 00 for det udvaskningsår, der starter i sommeren 00 og slutter efter vinteren 003 Denne effekt beskriver udviklingen i kvælstofudvaskningen i måleperioden, som ikke forklares af modellens andre effekter Effekten modellerer det generelle fald i udvaskningen som følge af bedre jordbearbejdning, plantebeskyttelse samt indførelse af nye sorter N-niveau: Er beregnet som den gennemsnitligt tilførte mængde kvælstof i de fem udvaskningsår, der går forud for det aktuelle udvaskningsår (i nogle tilfælde, hvor der ikke har været oplysninger om de fem forudgående år er der benyttet gennemsnitlig kvælstof i de fem første år med oplysninger Ved tilført mængde kvælstof forstås summen af total-n i handelsgødning, husdyrgødning, afsætning fra dyr på græs og fra biologisk N-fiksering 11

N-forår: Er beregnet som den tilførte mængde mineralsk kvælstof tilført i perioden mellem 15/ og 1/9 N-fikseret: Er den mængde kvælstof, som er fikseret af de afgrøder, der har været dyrket i udvaskningsåret Beregningerne er udført efter "Bedriftsløsningens Grønt Regnskab modul" eller Høgh-Jensen et al (003 N-udbinding: Er den totale mængde N, som er beregnet afsat på marken under afgræsning N-efterår: Er efterårsudbragt og vinterudbragt (1/9-15/ ammoniumkvælstof i husdyrgødning N-fjernet: Er den mængde kvælstof, som er fjernet med afgrøden i det pågældende udvaskningsår Mængden er beregnet ud fra mængden af fjernet tørstof (dvs også i fjernet halm og N-indholdet heri I de tilfælde, hvor disse ikke er registreret er der benyttet standardværdier Afgrødeeffekt: Effekten af afgrødegruppe er estimeret som mer- eller mindreudvaskning i forhold til gruppe 5, korn/ bar jord, ærter og vinterraps/vinterkorn Forfrugtseffekt: Effekten af forfrugtsgrupper er estimeret som mere- eller mindreudvaskning i forhold til gruppe 3, Korn/udlæg +Korn/vinterkorn +Korn/bar jord +Roer +Ærter Afstrømningen i indeværende udvaskningsår: Er modelberegnet og har en meget kraftig effekt på udvaskningen Ved meget store afstrømninger (hvor afstrømningen ikke sætter en begrænsning på udvaskningen bliver faktoren 1 Afstrømningen i foregående udvaskningsår: Er modelberegnet og har en mindre effekt på udvaskningen Ved meget små afstrømninger (hvor der næsten ikke har været nogen udvaskning sidste år er faktoren tæt på 1 og bliver så mindre jo større afstrømningen det foregående år har været Jordtype: Er beskrevet ved procent humus og ler i overjorden Ved en forøgelse af jordens husmus- og lerindhold nedsættes udvaskningen Ved estimering af parametrene (ved REML er logaritmen til udvaskningen modelleret ved følgende model: ln ln Y U V M A B E, m å 1

hvor A m er den tilfældige effekt af marken B å er den tilfældige effekt af året E er den tilfældige effekt af observationen A m, B å og E antages indbyrdes uafhængige og normalfordele med middelværdien 0 og varianserne henholdsvis, og m å r Restvariationen stammer primært fra usikkerheden på målingen (i felten pga begrænset antal sugeceller, metode og i laboratorium, lokale jordbundsforskelle mm i marken (mikro og makro skala samt fra forskelle i landmandens management, feks så- og høsttidspunkter, harvninger, sygdomme og skadedyr i afgrøden Endvidere bidrager måletidspunkter (sæson samt usikkerhed på beregning af perkolation til restvariationen Modellen forklarer som nævnt 53 % af variationen i datamaterialet Indeksværdien r angiver typen af data, som er: 1 Data fra drænvand eller forsøgsarealer med sugeceller Data fra sugeceller på mark uden græssende dyr i LOOP-oplande 3 Data fra sugeceller på mark med græssende dyr i LOOP-oplande Dvs at usikkerheden på logaritmen til kvælstofudvaskningen fra en given mark i et givet år følger en normalfordeling med en middelværdi, som bestemmes af de systematiske effekter i N-LES 3 modellen (se ovenfor og en varians, som er summen af tre komponenter Var lny, r 1,, 3 m å r 13

Del II Estimation af usikkerheder ved modelanvendelse Set fra et statistisk synspunkt er det vigtigt at skelne mellem om man skal estimere (en effekt eller prædiktere en værdi Man kan eksempelvis estimere en gennemsnitlig udvaskning (ligger på linien for givne værdier af de forklarende variable som indgår i modellen, og man kan prædiktere en enkelt udvaskningsværdi for givne nye værdier af de forklarende variable, så at sige gentage eksperimentet med at måle en udvaskning under givne forhold En prædiktion er altså en ny observation, men dens værdi er tilfældig Prædiktion giver større usikkerhed end estimation Men fælles for dem begge er, at værdien af de forklarende variable samt usikkerheden på deres effekter og kovariansen imellem dem indgår i usikkerheden Usikkerheden kommer derved til at afhænge af værdien af de forklarende variable og bliver større jo længere væk man bevæger sig fra de gennemsnitlige værdier af de forklarende variable Et præcist udtryk for variansen på en observation er svært at skrive ned, dels fordi modellen er ikke-lineær, dels fordi datasættet er ubalanceret Det sidste skyldes, at antallet af år for en given mark varierer, og at hvilke år der optræder i modellen er forskelligt fra mark til mark Endvidere er markerne næsten alle behandlet forskelligt (sædskifte, kvælstoftilførsel mm og har forskellige jordtyper N-LES 3 modellerne kan betragtes som en kombination af både variansanalyse og ikke-lineær regressionsanalyse på logaritmetransformerede udvaskninger Standardafvigelser i den transformerede skala svarer til relative standardafvigelser i den oprindelige skala Baseret herpå kan man beregne usikkerheden på såvel modellens estimater som estimater for andre ønskede udtryk ved en approksimativ metode (approksimativ, da modellen er ikke-lineær Usikkerheden på logaritmen til kvælstofudvaskningen fra en given mark i et givet år kan som tidligere nævnt skrives som er summen af tre komponenter Var lny, r 1,, 3 m Da modellen er en approksimation til virkeligheden, må det formodes at effekten af forhold som modellen ikke beskriver i nogen grad indgår i alle tre komponenter Det drejer sig om forskelle i klima, i dyrkningspraksis og forskelle i andre lokale forhold å r Variation i mark og mellem enkeltceller Varianskomponenten for restvariansen indeholder både variation mellem de enkelte sugecellemålinger, variation mellem områder i den samme mark og en rest (lack of fit 14

DMU har foretaget nogle enkeltcelleanalyser med hensyn til koncentrationen af NO 3 -N En mark i forbindelse med LOOP-programmet er typisk udstyret med et sugecellefelt som består af 10 sugeceller Normalt puljes jordvandet fra de 10 sugeceller før analyse i laboratoriet Men for visse målerunder har man også analyseret vandet fra hver enkelt celle Disse data kan anvendes til at give et bud på variationen mellem sugeceller I forbindelse med opsætning af N-LES modellen anvendes koncentrationen af NO 3 -N fra den puljede prøve Det vil sige, det svarer til X, hvor 1 X 10 10 X j j1 Altså gennemsnittet af koncentrationerne for de 10 enkelt sugecellemålinger For runder med enkelt cellemålinger er det muligt at få vurderinger af variationen mellem observationer fra enkelt celler Analyseusikkerheden i laboratoriet er lille set i forhold til andre usikkerhedskomponenter, så hvis den ikke medregnes kan variansen på den puljede prøve beregnes som 10 X j 10 X j1 V ar ˆ X 10 9 DJF har data, hvor der flere steder (parceller i samme mark er målt jordvandskoncentrationer med -4 sugeceller hvert sted Her er jordvandet fra de -4 sugeceller puljet, så disse data kan altså anvendes til at give et estimat for variationen mellem områder i den samme mark Ved hjælp af de her nævnte data dels fra DMU og DJF kan man få et estimat for usikkerheden på den gennemsnitlige udvaskning for en mark Lad os antage, at vi har modellen ln Y Q S, ij i ij hvor indeks i angiver de forskellige målte områder (parceller på marken, og j angiver de forskellige sugeceller for en givet parcel Vi antager endvidere at Q i ~ 0, Q S ~, ij N, N, 0 S hvor N angiver en normalfordeling De empiriske data viser, at de ovenfor nævnte varianskomponenter kan estimeres til ˆ Q 0,14 og ˆ S 0,18 15

Variansen på den gennemsnitlige udvaskning for en mark vil med 10 sugeceller i en parcel placeret tilfældigt på marken være på 0,164 Denne usikkerhed kan selvfølgelig reduceres betydeligt ved at måle i flere parceller For DJF data, hvor der typisk er benyttet 3 parceller med hver 3 sugeceller, vil den være på 0,07 Disse to værdier kan sammenlignes med r og hermed kan beregnes hvor meget af r, der ikke skyldes variation i marken (inkl variation mellem sugeceller Dette giver følgende værdier, idet den resterende del kaldes L : Lokalitet * r Variation i mark Rest (s, DJF 0,0 0,07 0,148 Rest (s, DMU uden afgræssende dyr 0,435 0,164 0,71 * Fra Kristensen et al (003 L I det følgende vil vi give formler for variansen af både observationer og estimater fra modellen samt ligeledes på differencen mellem to modelestimater 1 Variansen på en observation (logaritmen til kvælstofudvaskning for en given mark i et givet år: ln Y i modellen Dette er variabiliteten på enkeltobservationer fra det empiriske datamateriale Variansen er matematisk bestemt af den statistiske model som anvendes til beskrivelse af data, dvs N-LES modellen Fra ovenstående har vi Var Variansen på modellens estimater lny, r 1,, 3 m å Da modellen er ikke-lineær er variansen på modellens prædiktioner og kovariansen mellem disse beregnet approksimativt Kovariansmatrisen for samtlige parametre i modellen er givet ved den reciprokke Hessian matrice og betegnes i det følgende med bogstavet C Denne kan betragtes som en mellemregning og bliver anvendt i næste trin r 3 Variansen på den prædikterede udvaskning for givne værdier (for en aktuel mark eller for et valg af de forklarende variable Denne kan beregnes ud fra estimater for modellens parametre, kovariansmatricen og værdierne af de forklarende variable For N-LES 3 modellen kan beregningerne beskrives således: Var lnyˆ p J, CJ 16

hvor C er kovariansmatrisen for de q parametre i modellen p1, p,, pq og J er den såkaldte Jacobiant vektor defineret ved ln Y p i, for i 1,,, q Formlen er approksimativ fordi variansen for funktionen Y f p1, p,, pq kun kan beregnes tilnærmet ved udtrykket J CJ Et 95% konfidensinterval for ln Yˆ beregnes ved formlen ln Yˆ 1, 96 p Jacobiant vektoren kan skrives på følgende måde lny J, p i hvor de enkelte elementer i Jacobiant vektoren er givet ved Y 1 0 ( U V Y 1 1 1 ( år ( U V Y 1 1( år ( U V Y 1 1 1 V Nniveau ( U V Y 1 1 V ( N forår N fix ( U V Y 1 1 3 V Nudbinding ( U V Y 1 1 4s V Nefterår på sandjord ( U V Y 1 1 4l V Nefterår pålerjord ( U V Y 1 1 V N fjernet ( U V Y 1 min(0, T( U V Y 1 1 1 V a1( U V Y 1 1 V a( U V Y 1 1 3 V a3( U V Y 1 1 4 V a4( U V Y 5 0 Y 1 1 6 V a6( U V Y Y 1 1 1 V f1( U V 1 1 V f( U V Y 3 0 Y 1 1 4 V f4( U V Y 1 exp( A1exp( 3Hexp( 4Lexp( 1A0 A0 M Y A1 Y 3 H Y L 4 1 17

hvor a1, a,, a6 og f1, f, f 3, f 4 er indikatorvariable for hver af de 6 afgrødegrupper og 4 grupper af forfrugter, mens de øvrige latinske symboler er givet direkte eller indirekte ved de aktuelle værdier for de forklarende variable Bemærk, at den gruppe af data, som indeholder korn efterfulgt af bar jord ( a 5 og f 3 pr definition er parametriserede til værdien 0, dvs 5 3 0 For definition af parametrenes og symbolernes betydning henvises til Del 1 I ovenstående udtryk er det forudsat, at variansen på parameteren ˆ kan ignores Dvs, at vi antager, at usikkerheden på estimationen af ˆ er ubetydende set i forhold til de andre inkluderede usikkerheder (Kristensen et al, 003 Beregning af variansen på en differense mellem to estimater beregnes ved hvor Var lnyˆ lnyˆ V V 1 11 1 V V 1 V 11, D V V 1 V 1 J J CJ J 1 1, L med J 1 og J lig Jacobiant vektoren for de to forskellige strategier Her beregnes et 95% konfidens intervall for differensen ved lnyˆ lnyˆ 1, 96 D 1 4 Som nævnt tidligere er vi ved anvendelser af N-LES modellen interesseret i prædiktion af nye middeludvaskninger for en mark med givne værdier af de forklarende variable Idet vi ikke er interesseret i prædiktion lokalt på marken, skal usikkerhed på sugecelleniveau og lokal variation i marken ikke medtages Variationen fra mark til mark og fra år til år skal derimod indgå ved beregning af usikkerheden på en prædiktion Da udvaskningsestimater er beregnet på logaritme transformerede værdier kan estimaterne betragtes som relative værdier og vi får derfor at variansen for en ny mark i et enkelt år bliver Var ln ˆ Y X P * P M Å L 18

Variansen på forskellen mellem to estimater for gennemsnitlige udvaskninger kan også beregnes her For N-LES 3 kan denne varians skrives således: ˆ ˆ Var lny X lny 1 X D D L *, D L L hvor V 1 V 11 V 95% konfidensintervaller beregnes ved lnyˆ 1,96 * X lnyˆ lnyˆ 1,96 * P X1 X D Variansen forøges ved prædiktion set i forhold til variansen på estimering af en gennemsnitlig Y -værdi Eksempler på modelusikkerheder Der er defineret en række scenarier (16 i alt, som skal illustrere hvor store modelusikkerhederne estimeres til at være for forskellige værdier af inputvariablene Hvert scenario gælder for en enkelt mark For hvert scenario er der givet to sæt værdier Disse anvendes til at estimere usikkerheden på dels differensen og dels kvotienten mellem estimaterne for hvert variablesæt Det første sæt omtales som det originale det andet som alternativet I tabel 3 er gengivet værdierne for inputvariablene i de benyttede scenarier Tabelnoter: Alle N-mængder i Niveau, Forår+fix, Udbinding, Efterår, Fjernet og Predikteret, Udvaskning samt spredningerne er i kg ha -1 pr år Afstrømningerne i indeværende og foregående (A 0 og A 1 udvaskningsår er angivet i mm pr år Ler og humus indholdet er angivet i procent Afgrødenumrene er: 1: Frøgræs +Græs, : Korn/udlæg +Korn/efterafgrøde eller vinterraps, 3: Græs-brak/vinterkorn +Roer +Vårraps, 4: Korn/vinterkorn, 5: Korn/bar jord +Ærter +Vinterraps/vinterkorn, 6: Kartofler +Majs 19

Forfrugtsnumrene er: 1: og 3 års græs, : Frøgræs +1 års græs +Majs +Korn/efterafgrøde eller vinter raps +Græsbrak/vinterkorn +Raps, 3: Korn/udlæg +Korn/vinterkorn +Korn/bar jord +Roer +Ærter, 4: Kartofler Tabel 3 Oversigt over værdier i de benyttede scenarier, samt estimeret udvaskning og spredning herpå for en række scenarier For hver scenario er foruden det oprindelige scenario (øverste linie i hvert scenario også vist et alternativ scenario (nederste linie i hvert scenario Scenarieo nr Beskrivelse af scenario År Jordtype Niveau Forår +fix Udbind Efterår Fjernet Afgrøde Forfrugt A 0 A 1 Ler Humus 1 98 Sand 76 469 17 0 194 1 3 43 435 3,0,5 98 Sand 76 686 0 0 194 1 3 43 435 3,0,5 98 Sand 76 469 17 0 194 1 3 43 435 3,0,5 98 Sand 101 94 17 0 194 1 3 43 435 3,0,5 3 98 Sand 76 437 17 0 194 1 436 435 3,0,5 98 Sand 419 580 17 0 194 1 436 435 3,0,5 4 98 Sand 76 188 17 0 105 1 1 43 435 3,0,5 98 Sand 76 98 17 90 105 1 1 43 435 3,0,5 5 98 Sand 76 149 0 0 59 5 3 489 435 3,0,5 98 Sand 76 149 0 0 88 5 3 489 435 3,0,5 6 98 Sand 76 149 0 0 59 5 3 489 435 3,0,5 98 Sand 76 149 0 0 9 5 3 489 435 3,0,5 7 98 Sand 76 184 87 0 103 5 1 489 435 3,0,5 98 Sand 76 184 87 0 103 1 489 435 3,0,5 8 98 Sand 76 14 0 5 103 5 3 489 435 3,0,5 98 Sand 76 167 0 0 103 5 3 489 435 3,0,5 9 98 Sand 76 186 0 0 59 5 3 489 435 3,0,5 98 Sand 76 186 0 0 59 4 3 489 435 3,0,5 10 98 Sand 76 10 0 0 54 5 3 489 435 3,0,5 98 Sand 76 10 0 0 54 3 489 435 3,0,5 11 98 Sand 76 114 0 0 54 5 3 489 435 3,0,5 98 Sand 76 114 0 0 54 4 3 489 435 3,0,5 1 98 Sand 76 38 0 0 13 6 453 435 3,0,5 98 Sand 76 38 0 0 13 6 453 435 3,0 1,0 13 98 Sand 76 144 0 0 80 5 3 489 435 3,0,5 98 Sand 76 144 0 0 80 5 3 489 435 3,0 5,0 14 98 Sand 76 138 0 0 67 5 3 489 435 3,0,5 98 Sand 76 138 0 0 67 5 3 489 435 5,0,5 15 98 Ler 14 178 0 0 18 4 348 355,5 1,5 98 Ler 14 178 0 0 18 5 348 355,5 1,5 16 98 Ler 14 178 0 0 18 4 348 355,5 1,5 98 Ler 14 178 0 0 18 348 355,5 1,5 I tabel 4A og 4B er de prædikterede udvaskninger vist for original og alternativ værdisæt for alle scenarier Endvidere er kvotienten og differensen mellem estimatet for alternativ og originalt scenario beregnet I tabel 4A er beregnet 95% konfidensintervaller for middelværdien af de 4 parametre, dvs original, alternativ kvotient og differens Middelværdien skal opfattes som det gennemsnit man vil forvente, hvis der fandtes uendelig mange marker for hvert sce- 0

nario i uendelig mange år I tabel 4B er tilsvarende beregnet 95% konfidensintervaller, men nu for den værdi man må forvente i en enkelt ny mark med det pågældende scenario i et enkelt år Heraf ses at konfidensintervallerne er væsentlig større, når prædiktionen gælder en enkelt ny mark end når det gælder gennemsnittet af et stort antal marker i mange år Eksempelvis er konfidensintervallet for udvaskningsestimatet i det oprindelige scenario 1 på 105 kg N ha -1 år -1 beregnet til at ligge i intervallet 7-15 kg N ha -1 år -1 (tabel 4A, scenario 1, når det gælder middelværdien og til at ligge i intervallet 34-319 kg N ha -1 år -1 (tabel 4B, scenario 1, når det gælder prædiktionen i en enkelt ny mark i et enkelt år I scenario er differencen mellem den oprindelige og alternative scenario beregnet til 67 kg N ha -1 år -1 Middeldifferensen er beregnet til at ligge i intervallet 53-77 kg N ha -1 år -1 Den sande differens i en ny mark er beregnet til at ligge i intervallet 16-89 kg N ha -1 år -1 Konfidensintervallerne er generelt større jo større de prædikterede udvaskninger er, hvilket afspejler at store værdier generelt er mere usikre end små værdier Hvis forskellen mellem den oprindelige og alternative scenario er små er konfidensintervallet på differences generelt også små Tabel 4A Estimeret udvaskning, kvotient og differens mellem disse samt konfidensintervaller for middelværdien af disse (estimater og differencer angivet i kg N ha -1 år -1 Scenario Estimat 95 % konfidensinterval Nummer Original Alternativ Kvotient Differens Original Alternativ Kvotient Differens 1 105 81 0,77 4 7;15 61;108 0,50;1,1 -;53 105 38 0,36 67 7;15 31;46 0,6;0,49 53;77 3 111 194 1,75-83 78;158 150;5 1,55;1,98-109;-61 4 88 96 1,09-8 56;137 60;153 0,9;1,30-6;7 5 144 138 0,96 6 14;168 10;160 0,94;0,97 4;8 6 144 150 1,04-6 14;168 19;176 1,03;1,06-8;-4 7 0 113 0,51 107 180;68 86;148 0,44;0,59 90;1 8 143 140 0,98 3 13;165 11;16 0,94;1,0-3;8 9 154 146 0,95 8 133;180 13;174 0,85;1,05-8;3 10 133 45 0,34 88 114;155 36;56 0,8;0,41 79;95 11 136 18 0,94 8 117;158 107;153 0,84;1,06-8; 1 4 35 1,05-11 183;75 191;90 1,03;1,07-16;-7 13 139 18 0,9 11 10;161 11;146 0,89;0,95 7;15 14 140 113 0,81 7 10;16 96;133 0,74;0,88 16;36 15 63 67 1,07-5 5;76 58;78 0,93;1,3-15;4 16 63 5 0,40 38 5;76 1;30 0,33;0,48 33;4 1

Tabel 4B Estimeret udvaskning, kvotient og differens mellem disse samt konfidensintervaller for prædiktion af disse i en ny mark (estimater og differencer angivet i kg N ha -1 år -1 Scenario Estimat 95 % konfidensinterval nummer Original Alternativ Kvotient Differens Original Alternativ Kvotient Differens 1 105 81 0,77 4 34;319 7;41 0,3;,59-166;80 105 38 0,36 67 34;319 13;110 0,15;0,84 16;89 3 111 194 1,75-83 37;337 66;574 1,36;,5-139;-40 4 88 96 1,09-8 8;75 30;30 0,76;1,57-50;1 5 144 138 0,96 6 50;417 48;400 0,88;1,05-7;18 6 144 150 1,04-6 50;417 5;435 0,96;1,13-18;5 7 0 113 0,51 107 75;640 38;333 0,3;0,81 4;148 8 143 140 0,98 3 49;41 48;405 0,79;1, -3;30 9 154 146 0,95 8 53;446 50;44 0,55;1,63-97;69 10 133 45 0,34 88 46;384 15;13 0,15;0,76 3;113 11 136 18 0,94 8 47;393 44;37 0,5;1,69-94;65 1 4 35 1,05-11 77;654 81;687 0,97;1,13-9;6 13 139 18 0,9 11 48;400 44;369 0,78;1,10-13;31 14 140 113 0,81 7 48;404 39;37 0,51;1,9-41;69 15 63 67 1,07-5 ;183 3;195 0,54;,14-71;9 16 63 5 0,40 38 ;183 9;73 0,17;0,95 3;5

Del III Metode til modelvalidering Ved estimeringen af den første N-LES model fra 000 (Simmelsgaard et al, 000 anvendte man års data fra Landovervågningen til valideringen, hvoraf det ene år ikke indgik i estimeringen af modellens parametre Det var planen fra dette projekts start at gennemføre en modelvalidering ved brug af uafhængige data fra det sydlige Sverige eller fra England Dette blev dog opgivet dels fordi data fra andre lande ikke helt opfylder forudsætningerne og dels fordi det vil være umuligt at skaffe udvaskningsdata og forklarende data, som er registreret på samme måde, som i Danmark I stedet for at indhente uafhængige data fra andre lande blev det besluttet at foretage en grundig modelvalidering med de data, der er til rådighed Valideringen blev gennemført på en række udvalgte delmængder af det empiriske datamateriale I det efterfølgende vil vi give en beskrivelse af modelvalideringen Modelvalidering anvendes til en vurdering af en models prædiktionsevne, dvs for N-LES 3 vedkommende, hvor god er modellen til at estimere en kvælstofudvaskning for givne værdier af inputvariablene Det, at en model passer godt på det materiale, den er udviklet fra, medfører ikke nødvendigvis, at modellen er effektiv til prædiktion Dvs en god R -værdi og lav residualvarians reflekterer ikke nødvendigvis, hvor god modellen er til prædiktion Årsagen til dette er, at man ved modelestimeringen finder den kombination af variable og parameterværdier som stemmer bedst overens med de benyttede data Derfor vil modellen med stor sandsynlighed passe bedre på disse data, end den sande model vil, hvis den var kendt En model skal valideres efter, hvad den skal anvendes til, dvs for N-LES skal man tage udgangspunkt i de modelanvendelser, som er nævnt i rapportens indledning Ved en modelvalidering anvendes normalt følgende to kriterier: 1 Giver modellen centrale (unbiased prædiktioner af kvælstofudvaskningen Giver modellen prædiktioner, som er tæt på de observerede udvaskninger Disse kriterier er indbygget i beregningen af MSEP-størrelsen (Mean Squared Error of Prediction kvadreret middelfejl for prædiktioner Dvs, den gennemsnitlige forskel mellem uafhængige observationer og modelprædiktioner opløftet til anden potens En lav værdi af MSEP indikerer en empirisk model, som er meget anvendelig til prædiktion af nye værdier Ofte anvender man også kvadratroden af MSEP, som her kaldes prædiktionsspredningen 3

De data som tænkes anvendt til validering, skal afspejle anvendelsen af modellen til prædiktion Da det ofte er svært at finde et uafhængigt datasæt, som kan anvendes til validering, kan man gennemføre modelvalideringen udelukkende på det benyttede materiale ved at udelade en observation efter tur for derefter at benytte parameterestimater baseret på de resterende n-1 observationer til at prædiktere den udeladte observation Hvis det benyttede materiale er stort (som i tilfældet med N-LES, kan man alternativt opdele datasættet i to dele, og anvende den ene del til estimation og den anden til validering Derefter kan man bytte rollerne om, således at den første del nu anvendes til validering og anden del til estimation En anden ting som bør indgå i en modelevaluering er stabiliteten af modelparametrene Dette undersøges ved, fx at lave en række modelestimeringer ved at udelade en observation eller dele af data (datamaterialet deles op i to disjunkte grupper et antal gange Man skal være opmærksom på modelparametre som varierer meget og dermed er ustabile Disse parametre kan være med til at ændre modellen markant alt efter hvilke data der anvendes til modelopsætningen Metode brugt for seneste version af N-LES Med hensyn til validering af N-LES 3 så er det urealistisk af ressourcemæssige årsager at genestimere modellens parametre for hver enkelt observation (En oversigt over det empiriske data materiale fremgår af tabel 1 I stedet er det valgt at udføre et begrænset antal valideringer ved at opdele materialet på forskellige måder Følgende liste giver de opdelinger af det komplette empiriske data materiale, som er benyttet ved valideringen: 1 Alle data fra et Loop (Loop1 Loop6 eller alle data fra enten Agervig eller Stenderup anvendes efter tur til validering og de resterende observationer anvendes til modelestimation Svarer til 8 kørsler Perioden 197-1990 og perioden 1990-001 Med ombytning af roller, som er beskrevet ovenfor Svarer til kørsler I disse to sæt var der problemer med at estimere teknologieffekten, hvorfor denne her er ens for begge kørsler og lig de estimater man får når alle data benyttes Dette resultere i lidt mindre MSEP-værdier end man ville opnå, hvis det var muligt at estimere teknologieffekten korrekt 3 Opdeling af datamaterialet i 10 tilfældige grupper á ca 130 observationer, som efter tur benyttes som valideringsdatasæt, mens modellen estimeres på de resterende 9 grupper Dette giver i alt 0 forskellige valideringer For hver valideringsdatasæt blev de udvalgte observationer prædikteret på grundlag af modellen, hvis parametre er estimeret på basis af de resterende data fra det komplette empiriske datamateriale (tabel 1 For at evaluere valideringerne beregnes afvigelsen mellem observation og prædiktion for henholdsvis logaritmetransformerede udvaskninger samt utransformerede udvaskninger Endvidere beregnes den 4

gennemsnitlige, maksimale og minimale afvigelse mellem observerede og prædikterede værdier samt kvadratroden af MSEP-værdierne (prædiktionsspredningen, dvs s p n i1 n O P i i, hvor O i, P i og n er henholdsvis observeret værdi, prædikteret værdi og antal observationer i det pågældende sæt Resultater af modelevalueringen Tabel 5 indeholder resultaterne for hver af disse 0 valideringer, når de logaritmerede værdier benyttes, mens tabel 6 viser de tilsvarende værdier ved anvendelse af utransformerede data Det er væsentligt, at foretage valideringen både på logaritmerede værdier samt på værdier i den originale skala De logaritmerede værdier skal anvendes til den statistiske validering, dvs til kontrol af de statistiske forudsætninger, som børe være opfyldte Validerings resultater i original skala anvendes derimod til at give et overblik og spredningen i reelle udvaskningsværdier I alt blev 3055 observationer prædikteret med en model baseret på uafhængige observationer Alle observationer er således prædikteret -3 gange For logaritmetransformerede data findes de største afvigelser, når data fra 1991-00 prædikteres med en model med parametre estimeret på basis af 197-1990 Forklaringen herpå kan til dels være, at hovedparten af data er indsamlet i perioden 1991-00, og der derfor kun er 381 observationer bag de benyttede estimater Også data fra Loop 1 er blandt de, som prædikteres forholdsvis dårligt, men dette skal dog ses i forhold til at data fra Loop 1 også bliver prædikteret forholdsvis dårligt med en model med parametre estimeret på basis af alle data (Kristensen et al, 003 Blandt de undersøgte valideringssæt prædikteres data fra forsøgsstationerne Agervig og Stenderup bedst Prædiktionsspredningen er for alle 3055 observationer 0,7 Prædiktionsspredningen for de tilfældigt udvalgte valideringssæt er 0,64 Disse to værdier kan sammenlignes med den gennemsnitlige spredning for modellen med parametre estimeret på basis af alle data, som er 0,6 (Kristensen et al, 003 Nogenlunde samme mønster findes for de utransformerede data Også her findes den største afvigelse, når data fra 1991-00 prædikteres med en model med parametre estimeret på basis af 197-1990, og data fra Agervig og Stenderup er blandt dem, som prædikteres bedst Prædiktionsspredningen er for alle data 43, Prædiktionsspredningen for de tilfældig udvalgte valideringssæt er 37,6 Disse to værdier kan sammenlignes med at den gennemsnitlige spredning for modellen med parametre estimeret på basis af alle data, som er 35,4 (Kristensen et al, 003 5

Tabel 5 Gennemsnitlig, minimum og maksimum afvigelse samt prædiktionspredningen for de udeladte værdier i hver enkelt validering - beregnet på logaritmerede værdier Validering * n Gennemsnit Minimum Maksimum s p 197-1990 381-0,01 -,55 1,50 0,59 1991-00 918 0,4-3,37 4,05 0,87 Loop 1 57 0,30-3,37 3,17 1,19 Loop 57 0,8-1,19 1,57 0,69 Loop 3 44 0,06 -,11 1,60 0,89 Loop 4 59 0,09-1,03 1,03 0,4 Loop 5 47 0,6-1,63,49 0,7 Loop 6 74 0,19-1,39 1,79 0,73 Random 0 13 0,0-3,3 1,55 0,71 Random 1 119 0,17-1,6,56 0,67 Random 136 0,10 -,05 1,90 0,56 Random 3 16 0,11 -,49 1,50 0,58 Random 4 150 0,13-1,69 3,17 0,69 Random 5 133 0,09-1,93 1,05 0,58 Random 6 11 0,09-1,81 1,19 0,53 Random 7 130 0,0-1,60 1,48 0,59 Random 8 1 0,11-1,93 1,44 0,66 Random 9 130 0,04-3,10,36 0,73 Agervig 45 0,16-1,08 0,97 0,50 Stenderup 66-0,0-1,53 0,80 0,50 Alle 3055 0,1-3,37 4,05 0,7 * Data, som er prædikteret med estimater baseret på øvrige data Den gennemsnitlige prædiktionsspredning er for både logaritmetransformerede og utransformerede prædiktioner ca 1-15% højere end spredningen for prædiktion med en model baseret på alle data Prædiktionsspredningen for tilfældigt udvalgt valideringssæt stiger mindre, idet stigningen her ligger mellem 3% og 6% Som man kan se af tabel 5 og 6 så har N-LES 3 modellen en tendens til at underestimere udvaskningen Det kan man se ved at den gennemsnitlige afvigelse mellem observation og prædiktion, som regel er større end nul Årsagen hertil er at usikkerheden på estimaterne er større, når der regnes på en delmængde af data kombineret med at konstanten c ikke er genberegnet for de enkelte evaluerings datasæt Underestimeringen er således ikke et generelt problem for N-LES 3, men skyldes den måde evalueringen er beregnet på Når vi sammenligner prædiktionsspredningerne fra de 0 valideringer med den tilsvarende spredning beregnet ved N-LES 3 estimering baseret på alle data, så ser man at valideringerne stort set alle er sammenlignelige, og dermed er N-LES 3 modellen stabil 6

Tabel 6: Gennemsnitlig, minimum og maksimum afvigelse samt prædiktionspredningen for de udeladte værdier i hver enkelt validering - beregnet på utransformerede værdier Validering * n Gennemsnit Minimum Maksimum s p 197-1990 381,0-94,5 10,5 8, 1991-00 918 6,3-81,3 36,6 51,3 Loop 1 57 11,5-3,0 98,7 5,3 Loop 57 3,7-63,3 17, 63,4 Loop 3 44 1,0-44,0 15,3 50,5 Loop 4 59 8,8-50,5 69,9 6,4 Loop 5 47 3,3-97,5 198,5 66,1 Loop 6 74 36,5-9,4 06, 78,4 Random 0 13 11, -94,5 165,8 4,1 Random 1 119 15,5-90,0 10,7 44,7 Random 136 9,5-63,8 100,6 9,7 Random 3 16 1,5-103,6 15,5 38,4 Random 4 150 13,4-64,8 189,7 41,4 Random 5 133 11,8-43,9 145,1 31,7 Random 6 11 10,5-93,5 137,9 35,1 Random 7 130 8,3-84,3 05,0 38,4 Random 8 1 14,9-74,3 158,0 39,3 Random 9 130 9,6-36,4 177,6 36, Agervig 45 11, -41,1 130,7 7,9 Stenderup 66-4,7-36,1 30,0 14,6 Alle 3055 14,0-103,6 36,6 43, * Data, som er prædikteret med estimater baseret på øvrige data I tabel 7 er de estimerede parametre vist for hver enkelt valideringssæt mens linierne nederst i tabellen indeholder gennemsnittet, standardafvigelsen og CV for parameterestimaterner beregnet over alle validerings sæt Tabellerne viser, at for valideringssæt A1 (197-1990 og A (1991-001, får man estimater som afviger væsentligt fra estimaterne, som man får for de andre valideringssæt Ser man bort fra dette, så er det parameteren for N fjernet ( og især den første parameter i Teknologieffekten ( 1 som varierer mest, mens estimaterne for de multiplikative effekter ( 1,, 3 og 4 og N-efterår ( 4s og 4l er blandt dem, der varierer mindst Generelt kan man konkludere, at parametrene estimeres yderst stabilt, og kun i de to tilfælde hvor man deler det empiriske datamateriale op i to disjunkte perioder, får man problemer med stabiliteten Parameteren Teknologieffekt ( 1 er ifølge stabilitetsberegningerne problematisk og man bør se på denne parameter ved en ny genberegning af N-LES modellen En modelparameter er stabil, når dens estimat er lidt påvirket af udeladelser i det empiriske datamateriale 7