EnanalyseafprogrammetTxtAnalyser

Transkript

1 Enanalyseaf Forside Indledning Problemformulering ogmetode iforhold tilnlp Kortom NLP Om Grelerog Draschlers"Design framework" Enanalyseaf udfragrele. Enanalyseafprogrammet Afleveringsopgavetilvalgmodul:LearningAnalytics,MILefterår2016 Undervisere:UlaLundeRingtvedogprofessorMso.ThomasRyberg v/jacobkielberg,lindaravnogevapetropouleaschristensen ÅbnopgaveniTableauher: mbed=y&:display_count=yes

2 Enanalyseaf Forside Indledning Problemformulering ogmetode iforhold tilnlp Kortom NLP Om Grelerog Draschlers"Design framework" Enanalyseaf udfragrele. Indledning eretforholdsvistdyrtprogram (16.000kr.årligt)forskolerne,ogdeterderforvæsentligtatundersøge,hvorvidtdetrent faktiskstøttereleverneideresskriveproces,om dataene,som programmetopsamleroganvender,ervalide,ogom lærerenkanbruge dissedataogprogrammetsvisualiseringersom beskrevetivejledningen. TrykpåPlay-knappenforatseenkortgennemgangaf Hvordanifølgevejledningenhjælpereleven: (.)Vedatbenyttekanelevenfåhjælptilatidentificerehvoriteksten,derer grammatiskefejl,oghvordandeskalrettes.lærerenkanviaadministrationspanelettilpasseden enkelteelevsbehovforstøtteogvælgeom programmetløbendeskalunderretteelevenom eventuelefejlsamthvilkefejl,derskalunderrettesom.disseunderretningerkanindstilestilat havekarakterafhints,såelevernemotiverestilatsederesegentekstigennem forselvatfindedet sted,hvorderskalforetagesenrettelse.(.) LæsWizkidsvejledningtilher: Hvordanifølgevejledningenhjælperlæreren eretsproganalyse-ogkorrektionsværktøj,som automatiskkanmåleoganalysere eleversskriveudviklingog-kompetencer,fxmedhenblikpåatfastsætteindividuelelæringsmål fordenenkelteelev,som hervedfårstøtteogblivermålteftersitbehov.medkandu dannedigetoverblikoverskriveprocessenforhverelevsamtoverordnetforklassen,ogpåden mådekandenskriftligeprogressionanalyseresbådefordenenkelteelevogpåtværsaf klassetrin.idagligdagenkandetværesværtatse,om elevermedforskeligeforudsætningerfår detoptimaleudafundervisningen,menmedkandufåetoverblikover,om eleverne flyttersigsom forventet.(.)" (Voresfremhævelser)

3 Enanalyseaf Forside Indledning Problemformulering ogmetode iforhold tilnlp Kortom NLP Om Grelerog Draschlers"Design framework" Enanalyseaf udfragrele. Problemformuleringogmetode Problemformulering: Viønskeratundersøge,hvorvidtslæringsdataogvisualiseringerafdissekananvendessom beskrevetideres vejledning.idenforbindelsevilvirense,analysereogefterprøvedatavedhjælpaftableau.medudgangspunkti ønskervidesudenatdiskutereetiskeaspekteriforholdtilskolersbrugaftredjepartsprogrammer,som anvenderdatalogning. Metode: 1:Redegørelsefordetfelt,som hørerindunder 2:Dataanalyse: 2.1:Datahentesfrasom CSV-fil,indsættesiExcel,rensetforsum +opdeltikategorier(dataeraleredeanonymiseretidentilgængeligecsv-fil) 2.2:sformidlingsform efterprøvesogdataanalyseresitableaugennem andrevisualiseringer;hvilkeopdagelsergørvi,nårvibrugertableaus værktøjer?erderafvigelserogkanviudledefleredetaljer,endviser? 2.3:vurderesiforholdtilbrugbarhedforelevenoglæreren,samtværktøjetsdatagrundlagogvisualiseringer 3:Øvrigeaspektervedr.inddrages,herunderetiskeovervejelseroverbrugafdataopsamlendeværktøjeriskolesammenhænge 4:Konklusion Procesmodel: InspireretafGeorgeSiemens

4 Enanalyseaf Forside Indledning Problemformulering ogmetode iforhold tilnlp Kortom NLP Om Grelerog Draschlers"Design framework" Enanalyseaf udfra GrelerogDraschle. iforholdtilnlp placerersigifeltetfor NaturalLanguageProcessing(NLP).NLPdækkerkortbeskrevetoverenlangrækkeområder,som alebeskæftigersig medatgørevorestale-ogskriftsprogforståeligtforencomputer,herunderfxatkunneforståordklasserogsætningsstrukturer,udledenøgleordogmening, foretageautomatiskeoversættelserogresuméer,m.m.nlperendelafheleai-forskningen,hvormåleteratfåkunstiginteligenstilatkunneforståog uddragedemeninger,idéerogintentioner,som liggerbagvoresskriftogtale.nlpbrugesogsåidengrenaflearninganalytics,som omhandlerwriting Analytics,ogsom istigendegradimplementeresiforbindelsemede-læringskurserbl.a.foratstøttestuderendeogminimerefrafald.for s vedkommendeerdetakademiskefokusdogalenepådenliledelafnlp,som omhandlertextproofing,altsågrammatikogstavning.(sekilde1,2,6og11 bagerst). IforholdtilFæ lesmålerdetikkeetuvæsentligtområde,daelevernesom endelafafgangsprøvenisprogogsprogbrugvurderesiforholdtilnetopgrammatik ogstavning,menwriting-analytics-potentialerneinlperaltsålangtstørreend sområde,ogdækkerogsåoverværktøjer,som kanhjælpeelever medatformulereogpræciserederesindholdogtankeriskriveprocessen. Nårudviklerneivejledningenskriver,atdeteretsproganalyseværktøj,som kanmåleoganalysereskriveudviklingog-kompetencer,erdetaltsålidtafen tilsnigelse,dasproganalyse,skriveudviklingog-kompetencersamtskriftligprogressionikkekanreducerestilkunathandleom stavningoggrammatik,meni højgradogsåindebærerindholdsmæssigeparametre.

5 Enanalyseaf Indledning Problemformulering ogmetode iforhold tilnlp Kortom NLP Om Grelerog Draschlers"Design framework" Enanalyseaf udfra GrelerogDraschlers. Om vores datagrundlagfra EksempelpåNLP(NaturalLanguageProcessing)iWritingAnalytics InstituteofEducationalTechnologypåOpenUniversityharisamarbejdemedNLPeksperter fraoxforduniversitycomputersciencedepartmentudvikletetsystem -OpenEssayist-i forskningsprojektetsafesea(supportedautomatedfeedbackforshortessayanswers). Systemethjælperderesstuderendemedatskærpeindholdetogargumentationenideres essays,delsgennem løbendeanalyseogvejledningunderskriveprocessenogdelsgennem meningsfuldevisualiseringer,oggøridenforbindelsebrugafenrækkenlp-processer. De2kildernedenforviserhenholdsvisenkortgennemgang afopenessayistogenlængeregennemgangafprojektetog systemet FølgendepræmisserblevlagttilgrundforOpenEssayist. -systemetskulekunnetjekkeforståelsegennem "talkback",dvs.formulere systemets analyseafteksten-hvilkethovedindholdognøgleargumenter.dettegennem resuméerog udledningafnøgleordognøglesætningersom udtrykforhovedidéen. IndenselveNLP-værktøjerneaktiveres,skerderenforarbejdningafdataene.Nøgleord defineres;disseerikkedeord,som denstuderendeselvangiver,menord,som beskriver indholdetafdokumentet.deroprettesogsåfiltre,som fjerneruønskededeleafsproget(tal, modalverber,adverbier,symboler)ogstop-ord(ordmedlilebetydningsbæring,fxthe,of,som elersvilregistreressom nøgleordpga.deresfrekvensog"wordkeyness",som bl.a.betyder, atordmedensartetgrammatiskelersemantiskfunktionregistreres. DerefteranvendersystemetforskeligeNLP-værktøjertiludledningafnøgleord,bl.a: 1:Aletilbageværendebetydningsfuldeordblivertilnoderiengrafogtilstødendeord omdannestillinksmelem noderne 2:Enalgoritmekrydsergrafenogudlederkeywords-disseskaloptræde"isammenhænge medmangeord,deroptræderisammenhængemedmangeord,der." Dennealgoritmebenytterhverkeneneksternmodelelerreferencekildeogadskilersigfra simpelord-optæ lingogkolokationsoptæ ling-algoritmenopfangeristedetordets sammenhængmedheleteksten. Processenforudledningafnøglesætningerlignerdenfornøgleord.Systemetsfeedbacktilden studerendebestårudfradetteien dynamiskanalysemedhintsogforskeligevisualiseringer,som ansporerdestuderendetilselv atreflektereoverogredigerederestest.

6 Enanalyseaf Problemformuleri ngogmetode iforhold tilnlp Kortom NLP Om Grelerog Draschlers"Design framework" Enanalyseaf udfra GrelerogDraschlers. Om vores datagrundlagfra Visualiseringfra Om GrelerogDrachslers"DesignFramework" GrelerogDrachslerkalderselvderesmodelforet"DesignFramework",nårmandesignerenLearningAnalyticsproces.Denbeståraf6kritiskedimensioner, som alebørovervejesietdesignforatanvendelearninganalyticspåenkorrektmådetilatforbedreundervisningen. Dimensionerneerkritiske,fordihverdimensionbørhavemindstenrepræsentationindtænkt,foratetLearningAnalyticsdesignerkomplet. IfølgeGrelerogDrachslerforudsættesdesignereafanalytiskeprocesserikkeblotatdesigne,hvadderermuligt,menogsåattagehensyntilkonsekvenserne forsubjekternesamtatseholistiskpåudbyttetforinteressenterne. Kilde:GrelerogDrachsler:"TranslatingLearningintoNumbers:AGenericFrameworkforLearningAnalytics"

7 Enanalyseaf i forholdtilnlp Kortom NLP Om Grelerog Draschlers"Design framework" Enanalyseaf udfra GrelerogDraschlers. Om vores datagrundlagfra Visualiseringfra Dashboard:Antal fejlogtypefordelt pr.elev Enanalyseafgennem GrelerogDrachslers"DesignFramework" Interessenter:(Stakeholders):Disseopdelesidata-subjekter(dem,som afgiverdata)ogdata-klienter(de,som analysenerberegnetfor,ogsom forventesat agerepåden). Datasubjekter=elever. Dataklienter=elever,lærer,skole,samtWizkidsidetomfang,deanvenderdatatilfxatforbedrederesprodukt. (For)mål:(Objective):Refleksion.Gennem løbendeformativevalueringafelevernesgrammatik,stavningogtegnsætningsamthintstilrettelseraffejlsigter efteratforbedreeleverneskunnenindenforde3områder. Data: Som udgangspunkterdertaleom beskyttededata,iogmedatdetkunerlærerenogeleverne,derharadgangtildisse.vedhentningafdataicsv-fil anonymisereseleverneautomatiskafprogrammet. Relevanteindikatorer,som opsamles:elevernesfejlfordeltpåfejltyper,rettelsersamtbevidstignoreredeforslagtilrettelser. Tidsinterval,som dataopsamlesi:som udgangspunktaltid,nårprogrammeteraktiveret.lærerenkandogvedatopretteetholdangivestartogslutdatofor dataopsamlingen. Instrumenter: Dataopsamlesløbendegennem text-proofinginstrumenterogpræsenteresunderdenenkelteelevsprofilbådesom tekstogviaengraf.dettekansesaf bådelærerogdenenkelteelev.derudoverpræsenteresholdetssamlededataienfilogvisualiseresviaetcirkeldiagram,som kunlærerenkanse. Ydrebegrænsninger: Dedata,indsamler,viltilhøredatasubjekterneogdata-klienterne,herunderWizkidz.knyttestilelevernesUNI-Login.Dergives såledesikkesærligtsamtykketilsbrugafelevernesdata,dadenneformodesatliggeiforholdtiluni-loginoprettelsen.nåruni-loginbrugesaf eksternewebsider,henviserstiltildissesidersegnepolitikkerforhåndteringafprivateoplysninger.stilnævnerikkeeksterneprogrammerog hjælpeværktøjer,menvimågåudfra,atdetsammegørsiggældendeder.deterproblematisk,daderikkefindesoplysningerisvejledningvedr. deresdatabeskyttelse,ejhelerinformationom,hvaddervilskemedelevernesdata,hvisskifterejere.deteraltsåetåbentspørgsmål,om elevernesdataegentligerbeskyttet. Indrebegrænsninger: Indrebegrænsningerhandlerom,hvorvidtlærernehardefornødnekompetencertilattolkedata.forsøgermedsinevisualiseringeratomgå dettebehov.grelerogdrachslergøropmærksom på,atnetopflottevisualiseringerkanmedvirketil,atlærerenikkeserdenfuldepædagogiskevirkelighed. Pådekommendesidervilvivise,atsvisualiseringererproblematiske,hvilketstileryderligerekravtillærerenskompetenceriforholdtil datatolkning.

8 Enanalyseaf Kortom NLP Om Grelerog Draschlers"Design framework" Enanalyseaf udfra GrelerogDraschlers. Om vores datagrundlagfra Visualiseringfra Dashboard:Antalfejl ogtypefordeltpr.elev Nyedetaljermed søjlediagram Om voresdatagrundlagfra Voresdatagrundlageretudsnitafenklassepåialt26elever.De12data-subjekter,som indgår,ertilfældigtudvalgt,iogmedatdetvardeelever,som havde tilmeldtsig-holdetiheledentidsperiode,som viharundersøgt.vikanderforikkeværesikrepå,atdetbilede,derfremkommer,er repræsentativtforklassen.enovervejelsekunnevære,atdetentenerde"dygtige"elerde"svage",som hurtigsthartilmeldtsig. Dertilkommer,atdatagrundlageterforurenet,idet"elevnr.12"erlæreren.opretterautomatiskdenneprofil,nårenlæreropretterethold,og deterikkemuligtatfravælgedennefeature.deterhelerikkemuligtatudeladedenneprofilissamledevisualiseringforholdet,ogdermeder dennevisualiseringfrastartenforurenet.derforharviogsåværetnødttilatmedregneprofilnr.12ivoresbearbejdededatagrundlag,som vianvendertil andreformerforvisualiseringerviatableau,foratkunnesammenlignemedsvisualisering,menharhaftforøje,atvoresvisualiseringersamtidig skulekunne"demontere"denneprofil,dadetselvfølgeligerdetkorrekteatgøre. Enendnualvorligerefejlvedsdataer,atantalfejlikkeudregnesiforholdtilantalskrevneord.Derforerdetfaktisksletikkemuligtat sammenstiledeenkelteeleversresultater,daderkanværemegetstorforskelpå,hvormangeord,deegentligskriver.enelev,derersvaggrammatiskog stavemæssigt,ogsom iøvrigtskrivermegetkort,kanfxindgåmisvisendeidatagrundlaget,daelevenvilfremståmedmegetfåfejlogomvendt. Vedåbningafhverenkelttekstsstatistikkanmanseantaletaford,menopsamlersom udgangspunktdatapåalt,hvadeleverneskriver,ogsåi øvrigefagogandresammenhænge-vikanaltsåikkebareåbnedeafleverededanskopgaverfordenundersøgteperiodeogoptæ leord.derforharviikkehaft mulighedforatlavedenneberegningogse,om deenkelteeleversresultaterogplaceringdermedvileændresig. Enmåde,hvorpålærerenkanimødegådette,ervedatåbneetspecifiktholdietafgrænsettidsrum,fxskriftligfremstilingsopgaveover31/2time,lade eleverneskrive,ogderefterlukkeholdetigen.såkanelevernesfejlstatistikberegnesefterfølgendeaflærerenselviforholdtilsamletantalord.menså forsvinderetafformålenemed,nemligatsparelærerentid,ogdeterhelerikkehensigtsmæssigtatskuleopretteetnythold,hvergang eleverneskalbrugeværktøjet. Indenviergåetigangmedvoresvisualiseringerafdatagrundlaget,ervialtsåbevidsteom,atdetfaktiskikkeeranvendeligtiforholdtilatsigenogetom den enkelteelevsstandpunktiforholdtilklassenssamledeniveau.nårvialigevelharvalgtatarbejdemeddatagrundlagetsom om detvarbrugbart,erdetforat undersøge,hvordanvisualiseringeritableauvilkunnetilføjenyeindsigteriforholdtilsvisualisering. TrykpåPlay-knappenforatseenkortgennemgangafvoresrensningogforarbejdningafdata

9 Enanalyseaf Om Grelerog Draschlers "Designframew. Enanalyseaf udfra GrelerogDraschlers. Om vores datagrundlagfra Visualiseringfra Dashboard:Antalfejl ogtypefordeltpr.elev Nyedetaljermed søjlediagram Antalfejluden tastefejl Visualiseringfra Ivisualisereselevernesfejlietsamletcirkeldiagram.Ifølgeerdetetafdeværktøjer,som hurtigtgiverlærerenet indblikiklassensniveau.udfradiagrammetvildetværenærliggendeatreagerevedatarbejdeintensivtmedstavning,dastavefejl umiddelbarttegnersigforknap50% afholdetsfejl. Visavnerdogatkunnesehverenkeltelevsfordelingaffejltyper.Viharderforarbejdetmedetinteraktivtdashboard,som visualisererresultaterneviaet søjlediagram,som vimenererenmerehensigtsmæssigvisualisering.førstogfremmestgiversøjlediagram-visualiseringenmulighedforatisolere elev nr.12,som erlæreren.derudoverrummerdashboardetmulighedforatvisealeinformationerpåsammetid,dvs.denenkelteelevsscoreiforholdtilale fejltypersamtdennesplaceringpåholdet.itableaukanmandesudenmedetenkeltkliksortereefterfaldendeelerstigendeværdier,såelevenmedde flestefejlfxvisesførstogsåfremdeles.(herforudsættes,atfejlerberegnetiforholdtilantalordskrevetialt).deterogsåmuligtattil-ogfravælge fejltyperipanelettilhøjreogdermedkunfokuserepåetelerflereudvalgteelementer. Sedashboardpånæsteside

10 Enanalyseaf Enanalyseaf ud fragrelerogdr. Om vores datagrundlagfra Visualiseringfra Dashboard:Antalfejl ogtypefordeltpr.elev Nyedetaljermed søjlediagram Antalfejluden tastefejl Tastefejlisoleret Dashboard:Antalfejlogtypefordeltpr.elev Data Elev1 Elev2 Elev3 Elev4 Elev5 Elev6 Elev7 Elev8 Elev9 Elev10 Elev11 Elev Value Alefejl MeasureNames KongruensBestemthed(kendeord+navneord). KongruensBestemthed(kendeord+tilægsord). KongruensKøn(kendeord+navneord)fejl KongruensKøn(kendeord+tilægsord)fejl KongruensKøn(tilægsord+navneord)fejl KongruensTal(kendeord+navneord)fejl KongruensTal(kendeord+tilægsord)fejl KongruensTal(tilægsord+navneord)fejl KongruensUspecificeretfejl Nutidsr-rformegetfejl NutidsrMangler-rfejl SammensatteordForskeligeordklasserfejl SammensatteordNavneord+navneord(måske. SammensatteordNavneord+navneordfejl StavefejlFonetiskfejl StavefejlForvekslingsordfejl StavefejlTastefejlfejl StavefejlVersalerfejl StortbegyndelsesbogstavEgenavnfejl StortbegyndelsesbogstavStartafsætningfejl MeasureNames KongruensBest. KongruensBest. KongruensKøn(. KongruensKøn(. KongruensKøn(. KongruensTal(. KongruensTal(. KongruensTal(. KongruensUspe. Nutidsr-rfor. NutidsrMangle. Sammensatteo. Sammensatteo. Sammensatteo. StavefejlFoneti. StavefejlForvek. StavefejlTastef. StavefejlVersal. Stortbegyndels. Stortbegyndels. TegnsætningBl. TegnsætningBl. TegnsætningFl. TegnsætningGe. TegnsætningGe. TegnsætningLa. MedTableau-visualiseringenbliverdettydeligt,atselvom scirkeldiagram umiddelbart viser,atstavefejleretafdevæsentligsteproblemfelterforheleholdetatarbejdemed,sågælderdet altsåikkealeelever.elev1,4,9og11harfxikkesynderligeproblemerhverkenmedstavning(eler andet),sålærerenbøraltsåikketilrettelæggeekstra undervisningistavningmålrettetsamtligeelever. Søjlediagrams-visualiseringenindeholderaltsåvæsentligtfleredetaljerendcirkeldiagrammet.

11 Enanalyseaf Om vores datagrundlagfra Visualiseringfra Dashboard:Antalfejl ogtypefordeltpr.elev Nyedetaljermed søjlediagram Antalfejluden tastefejl Tastefejlisoleret Dashboard: "Clustering":En bedrevisualisering. Findtotalsum Detbliverogsåtydeligt,atsærligtelev7harbrugforenekstraindsats,dadennessamledefejlscoreermereend2,75gangstørre(2,77),endelev5, derharnæstflestfejl.densamledefejlscorefindesvedatklikkepådenønskedeelevsnavn,hvorefterenbokspopperfrem medinformationen.(se bileder).idettetilfældeharelev5samlet803fejlogelev7samlet2.227fejl.

12 Enanalyseaf Visualiseringfra Dashboard:Antalfejl ogtypefordeltpr.elev Nyedetaljermed søjlediagram Antalfejluden tastefejl Tastefejlisoleret Dashboard: "Clustering":Enbedre visualisering,hvism. Kritikaf sbrugaf data Antalfejludentastefejl Mulighedenforatkunnetil-ogfravælgefejltypergiveryderligereindsigt.Fxertastefejllangtdenstørstefejltypehoselev7.Hvismanfjernervisningenaf antaltastefejlisøjlediagrams-visualiseringen,seroversigtensåledesud: Herkanmanhurtigtse,atElevnr.7harmereenddobbeltsåmangefejlsom elevnr.5,derstadigharnæstflestfejl,mendiferencenervæsentligt formindsket.vedmarkeringafelev5ogelev7erdetsamledeantalfejlnuhenholdsvis593og1363.detsvarertil,atelev7har2,29gangeflerefejlendelev5. Diferenceneraltsåmindsketmed0,48.Ligeiforholdtildisse2elevergiverdettemåskeikkesåmeget,daelev7harrigtigmangeandrefejltyper repræsenteret,meninogletilfældekunnedetgodtværeinteressantatfjerneden/dehyppigstfremtrædendefejlforatse,om eleverneiøvrigtliggerpået sammenligneligtniveau.vipåpegerigen,atdetteblotertileksemplificeringaftableausmuligheder,daantalfejlikkeerberegnetiforholdtilantalskrevne ord,ogmanderforsletikkekansammenlignepådennemåde.

13 Enanalyseaf Dashboard:Antal fejlogtype fordeltpr.elev Nyedetaljermed søjlediagram Antalfejluden tastefejl Tastefejlisoleret Dashboard: "Clustering":Enbedre visualisering,hvism. Kritikafs brugafdata Elevernesegne vurderingeraf Isoleringaffejltype Deterogsåmuligtatisoleretastefejlforatundersøgedennefejltypenærmere.Såserdashboardetsåledesud: Herharelev7over4gangesåmangefejlsom elev5.dettekanskyldes,atelevenvitterligtharstaveproblemer,mendetkanogsåskyldes,atelevenskriver hurtigtog/elermegetlangtog/elerredigererogomskriversintekstfleregangeenddeøvrigeelever,ogderforogsåharlangtflereord,enddeøvrige,hvorder registrerestastefejl.igenerdetproblematisk,atikkesammenholderantalfejlmedantalskrevneordialt.

14 Enanalyseaf Nyedetaljermed søjlediagram Antalfejluden tastefejl Tastefejlisoleret Dashboard: "Clustering":Enbedre visualisering,hvism. Kritikafs brugafdata Elevernesegne vurderingeraf Om elevensbrugaf s værktøj Dashboard:"Clustering" Viharvalgtsøjlediagram-visualiseringen,fordiderertaleom etmegetlileantalelever,ogdetderforeroverskueligt.ienstørre elevgruppeviledetmåskeværemerehensigtsmæssigtatanvendeclusteringelerscatterplots.detkunnesesådanud: "Clustering":Enbedrevisualisering,hvismængdenafelevererstor? KongruensBestemthed(kendeord+navneor. KongruensBestemthed(kendeord+tilægso. KongruensKøn(kendeord+navneord)fejl KongruensKøn(kendeord+tilægsord)fejl KongruensKøn(tilægsord+navneord)fejl KongruensTal(kendeord+navneord)fejl KongruensTal(kendeord+tilægsord)fejl KongruensTal(tilægsord+navneord)fejl KongruensUspecificeretfejl Nutidsr-rformegetfejl NutidsrMangler-rfejl SammensatteordForskeligeordklasserfejl SammensatteordNavneord+navneord(må. SammensatteordNavneord+navneordfejl StavefejlFonetiskfejl StavefejlForvekslingsordfejl StavefejlTastefejlfejl StavefejlVersalerfejl StortbegyndelsesbogstavEgenavnfejl StortbegyndelsesbogstavStartafsætningf. TegnsætningBlanktegnefterkommafejl TegnsætningBlanktegnefterpunktum fejl TegnsætningFlereblanktegnfejl TegnsætningGenitivapostrof(apostroftilfø. TegnsætningGenitivapostrof(stilføjet)fejl TegnsætningLangesætningerfejl Value Data Elev1 Elev2 Elev3 Elev4 Elev5 Elev6 Elev7 Elev8 Elev9 Elev10 Elev11 Elev12 MeasureNames KongruensBestemthed. KongruensBestemthed. KongruensKøn(kendeo. KongruensKøn(kendeo. KongruensKøn(tilægs. KongruensTal(kendeor. KongruensTal(kendeor. KongruensTal(tilægso. KongruensUspecificere. Nutidsr-rformegetfejl NutidsrMangler-rfejl SammensatteordForsk. SammensatteordNavn. Data Elev1 Elev2 Elev3 Elev4 Elev5 Elev6 Elev7 Elev8 Elev9

15 Enanalyseaf Antalfejluden tastefejl Tastefejlisoleret Dashboard: "Clustering":Enbedre visualisering,hvism. Kritikafs brugafdata Elevernesegne vurderingeraf Om elevensbrugaf sværktøj Dashboard:Elevens brugaftxtanalysers værktøj Kritikafsbrugafdata Gennem visualiseringerneitableauerdetblevettydeligtforos,atscirkeldiagram ikketilnærmelsesvisleveroptilprogrammetsambitionom atgivelærerenethurtigtoverblikoverklassen.deterfaktiskdirektemisvisende,dadetfxangiver,atknap50% afholdetsfejlerstavefejl,menikkei visualiseringenrummerdetaljerom,atdetkunernogleelever,som tegnersigfordissefejl. Detersøjlediagram-visualiseringenenløsningpå,dadennetopkanvisedenenkelteelevsantalfejlfordeltpåfejltyperiforholdtilrestenafholdet.Meni ogmedatantalfejlikkekanudregnesiforholdtilantalskrevneord,erdennevisualiseringhelerikkereeltbrugbar. Deteneste,manderforreeltkanbrugedata'enetileratse,ihvilkengraddenenkelteelevformåratbrugeiforholdtilsineegnefejltyper,da detikkeerafhængigaf,hvormangeord,denpågældendeharskrevet.elevernesegneoplevelseraferindhentetviaenpadlet,ogkansespå næsteside.derefterharvilavetetdashboarditableauforatvise,hvaddatasigerom deresbrugafprogrammet.

16 Enanalyseaf Tastefejlisoleret Dashboard: "Clustering":Enbedre visualisering,hvism. Kritikafs brugafdata Elevernesegne vurderingeraf Om elevensbrugaf sværktøj Dashboard:Elevens brugaftxtanalysers værktøj Elevernesegnevurderingeraf Elevudsagn,hvoreleverneselvharskrevetderesoplevelseaf,viser,atdeselvopleverprogrammetsom engod hjælpiskriveprocessen.elevnr.6ogelevnr.9varikketilstede.derformanglerderesudsagn

17 Enanalyseaf Dashboard: "Clustering":En bedrevisualiseri. Kritikafs brugafdata Elevernesegne vurderingeraf Om elevensbrugaf sværktøj Dashboard:Elevens brugaftxtanalysers værktøj Om elevernesbrugafsværktøj Elevernemeneraltsåselv,atdeteretfintværktøjideresskriveproces.Deterværdudfradataatundersøge,hvorvidtelevernesårentfaktiskogsåbruger værktøjet,som detertiltænkt,ogisæriforholdtildeelever,derharflestfejl. Iprogrammetsdatafindesfaktiskinformationerom antalrettedeogignoreredefejlunderdenenkelteelevsstatistik.som lærerkanmanaltsågodtseden enkelteselevsgradafanvendelseafprogrammetiforholdtilhverenkeltfejltype,menderfindesikkeensamletvisualisering,hvorlærerenhurtigtkanse, hvilkeelever,derharenhøjgradafanvendelseoghvilkeelever,dermåskeharbrugforhjælptilatanvendeværktøjet(deterdogmuligtatdownloadeen samletcsv-fil). ITableauerdetmuligtatlaveensådanvisualisering,som viaetinteraktivtdashboardkankaldehverenkeltelevfrem ogviseantalfejl,rettelserog(bevidst) ignoreredefejlforaleelerudvalgtefejltyper.viharforoverblikketsskyldangivetfarvenrødtilfejl,farvengultilignoreredefejlogfarvengrøntilrettedefejli alekategorier.dashboardetfindespånæsteside Ibiledettilhøjreerelev2markeret,samtale fejltyperne.derermegetfågrønneogingengule markører.sammenholdtmedelevensegen vurdering(nedenfor)erderaltsåendiskrepans,da elevenifølgedatakunmegetsjældentanvender Tableauisinskriveproces.

18 Enanalyseaf Kritikaf s brugafdata Elevernesegne vurderingeraf Om elevensbrugaf sværktøj Dashboard:Elevens brugaftxtanalysers værktøj Dashboard:Elevensbrugaf KongruensBestemthed(ken. KongruensBestemthed(ken. KongruensBestemthed(ken. KongruensKøn(kendeord+n. KongruensKøn(kendeord+t. KongruensKøn(kendeord+t. KongruensKøn(tilægsord+. KongruensTal(kendeord+n. KongruensTal(kendeord+n. KongruensTal(kendeord+ti. KongruensTal(tilægsord+. KongruensTal(tilægsord+. KongruensUspecificeretign. Nutidsr-rformegetfejl Nutidsr-rformegetrettelser NutidsrMangler-rignoreret SammensatteordForskelig. SammensatteordForskelig. SammensatteordNavneord. SammensatteordNavneord. SammensatteordNavneord. StavefejlFonetiskignoreret StavefejlForvekslingsordfejl StavefejlForvekslingsordret. StavefejlTastefejlignoreret StavefejlVersalerfejl StavefejlVersalerrettelser StortbegyndelsesbogstavE. StortbegyndelsesbogstavSt. StortbegyndelsesbogstavSt. TegnsætningBlanktegnefte. TegnsætningBlanktegnefte. TegnsætningBlanktegnefte. TegnsætningFlereblankteg. TegnsætningGenitivapostro. TegnsætningGenitivapostro. TegnsætningGenitivapostro. TegnsætningLangesætning Value Elevensbrugaf Data Elev1 Elev2 Elev3 Elev4 Elev5 Elev6 Elev7 Elev8 Elev9 Elev10 Elev11 Elev12 MeasureNames KongruensKøn(kend. KongruensKøn(kend. KongruensKøn(kend. KongruensKøn(kend. KongruensKøn(kend. KongruensKøn(kend. KongruensKøn(tilæ. MeasureNames KongruensKøn(kend. KongruensKøn(kend. KongruensKøn(kend. KongruensKøn(kend. KongruensKøn(kend.

19 Enanalyseaf Elevernesegne vurderingeraf Om elevensbrugaf sværktøj Dashboard:Elevens brugaftxtanalysers værktøj Konklusion Kildetilwordcloud: NialSclater,Jisc,hariartiklen CodeofPracticeforLearningAnalytics sammensatenoversigtoverlearninganalytics etiskeoglovgivningsmæssige fremgangsmåderiendigitalkontekst.handefinererbegrebet etik iendigitalkontekstsåledes:. thesystematizationofcorrectandincorrectbehaviourinvirtualspacesaccordingtoalstakeholders DeetiskeaspekterafLearningAnalyticsharimplicitenunderstrøm afmenneskerettighederoganerkendtefilosoferstankerom etik.codeofpracticefor LearningAnalyticsnævnerbl.a.Fn smenneskerettighedsdeklaration,nürnberg-kodekset,samtaristoteles,kantogmil.netopmilvarenaf ophavsmændenebagutilitarismen,som ihøjgradprægertankegangenbaglearninganalytics:hvordandatakangøremestmulignytteforstørstmuligantal mennesker? Problemervilkunneopståidenhenseende,idetnytteværdienkanrisikereatovertrumfedetenkeltedatasubjektidenhøjeresagstjenesteiogmed,atderer enasymmetriskmagtbalancemelem Institutionen,lærerneogdelærende,derikkefalderudtildenlærendes/datasubjektetsfordel.Demåividudstræknin. SeNialSclatersartikel CodeofPractiseforLearning Analyticsher:

20 Enanalyseaf Om elevensbrug afs værktøj Dashboard:Elevens brugaftxtanalysers værktøj Konklusion Kilder -UNI-Login NårenelevstarteriskolentildelesdenneautomatisketUNI-Login.Om UNI-LoginskriverSTILsåledes: "UNI Loginerditpersonligelogintilenlangrækkenationalepædagogisketjenesterogwebsteder.Derudoverkanduhaveadgangtiltjenesterogonline læremidler,derkræverabonnement,institutionensnet,intranetogadministrativesystemer.menkunhvisduergivetrettildet.rettighederneerknyttettil ditpersonligelogin,som derforkunskalbrugesafdig." Nårlærerenanvenderetprogram som,derknyttesoppåuni-login,tilsidesættesdenne.ipraksisfungererdetsådan,atforældrenessamtykke udenderesvidendeudvidestilogsåatgældedetjenester,onlinelæremidlerogabonnementsprogrammer,som lærereninddrager.derindhentesikkesærlig samtykkeerklæring.endviderestårderpåstil'ssideunderafsnittetom håndteringafpersonligeoplysningerviauni-login: "ItogLæringhåndtererdepersonligeinformationer,derregistreresiforbindelsemedditlog-in,fxpåSkoDaoglogin.emu.dk.ForSkoleIntragældernogle særligeforhold.forøvrigewebsiderderbrugeruni Loginhenvisestilderespektivewebsidersegnepolitikkerforhåndteringafprivateoplysninger." Derefterfølgerenlængerebeskrivelseom,hvilkedata,deropsamlesfraSTILsside,menaltsåkuniforholdtilSkoDaoglogin.emu.dk.Selvom tekstenkun nævnerwebsider,måvigåudfra,atansvarsfraskrivelsenogsågældertjenester,onlinelæremidlerogabonnementsprogrammer.dermederdermed UNI-Login-system åbnetopfor,atelevernesdatakanbrugespåheltandremåder,endlærerenmåsketror,nårhan/hunudvælgerdigitaleværktøjertil klassen. Forsvedkommendeoplysesderintetom,hvorledesdehåndtererelevernespersonligedata-om defxkansælgestil/anvendesafandre,eler hvadderegentligvilskemedelevernesdatavedetevt.salgaftilandreaktører.deterenreelrisikomeddenstigendebrugafdataiskolen,at dataframangeforskeligekilderpåsigtkankoblessammentilenprofileringafdenenkelteelevogdermedpludseligbrugeslangtudoverdetformål,som de oprindeligtblevindsamlettil. Læsom UNI-Loginforlærereogeleverher: Læsom håndteringafpersonligeoplysningervia UNI-Loginher:

21 Enanalyseaf Om elevens brugaf. Dashboard:Elevens brugaftxtanalysers værktøj Konklusion Kilder -lovgivningen Problemstilingenerikkekunafetisk,menogsålovgivningsmæssigkarakter.Lovgivningensynesikkeatkunnefølgemeddenhastigeudviklingindenfor dataanalyseialmindelighed.fordanmarksvedkommendegældereuslovgivningenpåområdet,mendenbyggerpåetdirektivfra1995.(selinktildirektiv nedenfor).dereri2012igangsatenstørrereform,som kanmatcheudviklingen,mensom citatetnedenforviser,erdetenmegetlangsommeligprocesatlave regulativerpåområdet.selvom detnyedirektivertrådtikrafti2016,gælderdetførstfra2018-detharaltsåværet6årundervejs,førdetefektueres: "InJanuary2012,theEuropeanCommissionproposedacomprehensivereform ofdataprotectionrulesintheeu. On4May2016,theoficialtextsoftheRegulationandtheDirectivehavebeenpublishedintheEUOficialJournalinaltheoficiallanguages.Whilethe Regulationwilenterintoforceon24May2016,itshalapplyfrom 25May2018.TheDirectiveentersintoforceon5May2016andEUMemberStateshaveto transposeitintotheirnationallaw by6may2018. Theobjectiveofthisnew setofrulesistogivecitizensbackcontroloveroftheirpersonaldata,andtosimplifytheregulatoryenvironmentforbusiness.(.)". (Selinktilkildenedenfor) Udviklingentenderertil,atdatasubjekterskalhavestørremagtoverderesdata,dataportablilitysamtkunnefådem udleveretogslettet,hvisdetønskes. NårNialSclateri"CodeogPracticeforLearningAnalytics"bl.a.diskutereransvarlighed,transparens,samtykke,rettilegnedata,adgangtilegnedataog informationom deresbrug,m.m.,talerdetindidennekontekst.udfordringenliggerdogi,atudviklingengårsåstærkt,atdetlangthenafvejeneroptildem, som opsamlerdata,atudvise"goddataskik",ogderkan,som tidligerenævnt,opståeninteressekonflikt,hvorgevinsternevedopsamlingafdataskønnes størreendhensynettildetenkeltedatasubjekt. LinktilEU'sdirektivfra1995 LinktilEUartikelom reform afdirektiv

22 Enanalyseaf Om elevens brugaf. Dashboard:Elevens brugaftxtanalysers værktøj Konklusion Kilder Konklusionogafsluttendebemærkninger Vikankonkludere,atTxtanalysersynesatvirkefraelevvinkel,nårelevenvelatmærkegørbrugafprogrammet,menslærervinklenermangelfuldoggiver ikkelærerendethurtigeoverblikoverelevernesskrivekompetencerogprogression,som detgiverudtrykfor.vedatåbnehverenkeltelevsstatistik(eler downloadeensamletcsv-fil)kanlærerenfåadgangtilinformationom antalfejlfordeltpåfejltyper,rettedefejlogignoreredefejlsamtseenlinjegrafover elevensudvikling. Daprogrammetopsamlerdatakontinuerligtpåalt,hvadelevenskriver,erdetikkemuligtatsammenligneskrivesituationerelerberegneantalfejludfra antalskrevneordsamlet.lærerenmåselvindsamledenneviden,fxvedatopretteetnythold,hvergangeleverneskalbruge,ogderefterholde regnskabmed,hvormangeordhverelevharskrevetidetpågældendetidsrum.deterpåingenmådetidsbesparende. Udendeninformation sigerikkeretmegetom denenkelteelevsskrivekompetenceiforholdtildemålteparametre,dader-udoverskriftligt niveau-selvfølgeligogsåerensammenhængmelem antalskrevneordogantalfejl,ogsom lærervilmanihvertfaldikkekunnesammenligne elevernes niveauudfrasdata. Viharogsåundersøgtogfundetudaf,atsvisualiseringafholdetssamlederesultatviaetcirkeldiagram påingenmådekananvendes.fxkanfå elevermedmangefejlindenforetaffejlområdernefådettilatseudsom om,holdetgenereltharproblemermeddetpågældendeområde,ogdermedfå lærerentilattilrettelæggesinundervisningudfraenfejlagtigantagelse.enyderligereproblemstilingvedsdataer,atdenmedtagerlæreren som enelevprofil,dermedregnesidetsamlederesultat. ViaTableauharvivistatfxetsøjlediagram giveetlangthurtigereoverblikoverholdetsamlet,samtidigmedatdetrummerdetaljerom hverenkelts præstation.derudovererdetmuligtatbrugedetinteraktivedashboardtilhurtigtatfremkaldeyderligeredetaljer. Vierkommetfrem til,atdeteneste,detrigtigtgivermeningatbrugeelevernesdatatilideresnuværendeform,erenanalyseafdenenkeltesbrugaf værktøjet,altsåihvorhøjgraddenenkelteelevanvenderprogrammettilatretteelerbevidstignoreredefejl,som programmetregistrerer. Derudovererderenetiskproblemstilingi,atkoblesoppåelevernesUNI-Login,ogherigennem opnårforældrenessamtykkeudenderesvidende, menikkeangiverretningslinjerfor,hvorledesdehåndtererelevernespersonligedata,oghvaddervilskemeddissedatavedetevt.salgaftil andreaktører. Sidst,menikkemindst,erdetbekymrende,atderlovmæssigtersåstortetefterslæbogatreglerom beskyttelseafpersonligdataderforikkeer tidssvarende. Afsluttendebemærkninger Idisseårhvorapps,programmerogLMS'ertilskolenistigendegradanvenderdataopsamlingogvisualiseringerforatlettelærerensarbejde,hardetværet bekymrendegennem arbejdetmedopgavenatopdage,påhvordårligtetgrundlag,dettegøresivoreskonkreteeksempel.mankanfrygte,atdetteikkeeren enligsvale.forlærerprofessionenbetyderdet,atdataliteracyogenvisindsigtilearninganalytics-rentpraktisk,teoretiskogetisk-bliverenafgørende kompetenceiårene,derkommer,foratsikre,atlearninganalyticsimplementeresoganvendespåenredeligogetiskmåde.

23 Enanalyseaf Om elevens brugaf. Dashboard:Elevens brugaftxtanalysers værktøj Konklusion Kilder Kilder Applications,Vol.5,No.12, :Buckingham Shum,Simon;Knight,Simon;McNamara,Daniele;Alen,Laura;Bektik,DuyguandCrossley,Scott(2016).Criticalperspectivesonwriting analytics.in:lak 16ProceedingsoftheSixthInternationalConferenceonLearningAnalytics&Knowledge,ACM,New York,pp :EU:Directive95/46/ECoftheEuropeanParliamentandoftheCouncilof24October1995ontheprotectionofindividualswithregardtotheprocessingof personaldataandonthefreemovementofsuchdata 4:EU:ProtectionofPersonalData: 5:Greler,W.ogDrachsler,H:"TranslatingLearningintoNumbers:AGenericFrameworkforLearningAnalytics".EducationalTechnology&Society,15(3), http:/ifets.info/journals/15_3/4.pdf 6:Litman,Diane:NaturalLanguageProcessingforEnhancingTeachingandLearning,ProceedingsoftheThirtiethAAAIConferenceonArtificialInteligence (AAAI-16) 7:Sclater,Nial:CodeofPracticeforLearningAnalytics,JISC,2015https:/ 8:UVM,STIL:UNI-Loginforlærereogelever: 9:UVM,STIL:HåndteringafpersonligeoplysningerviaUNI-Loginhttp:/stil.dk/Arbejdsomraader/Administration-og-infrastruktur/UNI-Login/Haandteringaf-personlige-oplysninger-via-UNI-Login LASI2015-TestingOpenEssayist 11:WikipediaonNLP: MOOCS/Onlinecourses: Coursera:FundamentalsofVisualizationwithTableau, Coursera:EssentialDesignPrinciplesforTableau, Coursera:VisualAnalyticswithTableaum Tableau:TableauTrainingandTutorials: