HVORDAN SIKKER VIDEN BLIVER TIL ANVENDT VIDEN BRUG OG FORMIDLING AF VALIDEREDE REDSKABER I EVALUERINGER

Transkript

1 HVORDAN SIKKER VIDEN BLIVER TIL ANVENDT VIDEN BRUG OG FORMIDLING AF VALIDEREDE REDSKABER I EVALUERINGER LINE DYBDAL, BUSINESS MANAGER IAN KIRKEDAL NIELSEN, CHEFKONSULENT

2 FOKUSPUNKTER Konteksten pres for sikker viden Betingelser og implikationer for målinger Hvad er validerede måleinstrumenter? Udfordringer i praksis

3 PRES FOR MERE SIKKER VIDEN OG IMPLIKATIONER Evidens-dagsorden (politisk og topadministrativt pres) Gyldighedsområde Evalueringer, hvor ønsket er at skabe viden om effektive indsatser Praktisk konsekvens Øget krav til evalueringerne Krav om øget validitet og reliabilitet i vidensproduktionen Ønske om at kunne sammenligne på tværs af evalueringer for samme problem og målgruppe Træffe sikrere, bedre og mere effektive beslutninger Ønsket resultat Evidensbaseret politisk praksis

4 FORSKELLIGE RAMMER FOR MÅLING I FORSKNINGSPROJEKTER OG EVALUERINGER Fra klinisk setting til praksisfeltet Mindre specialistviden i testudførelse Øget fokus på praktisk relevans og anvendelighed af data Fra relativt små populationer til storskalaforsøg med store populationer (n >1000) Evt. fra studier af afgrænsede målgrupper til studier i normalpopulation Fra snævert outcome til brede og multiple outcome-mål

5 PRIORITETER I VALG AF MÅLEREDSKABER Hvad er det for en type viden, der skal tilvejebringes? Hvad er den sociale accept af måleredskabet? Hvor let lader resultater fra målinger sig kommunikere? Er subskalaer meningsfulde for modtagerne Indsamlingskonteksten Anvendelseskonteksten Hvad skal redskabet anvendes til? Hvad er de(t) centrale effektmål Hvad er redskabets psykometiske egenskaber? Hvor udbredt er redskabet i andre studier? Psykometrikonteksten Hvem skal gennemføre målinger? Hvor lange skemaer kan anvendes? Hvad er den økonomiske ramme til evt. licenser? Hvordan kan dataindsamling integreres i eksisterende arbejdsgange?

6 HVAD ER VALIDEREDE MÅLEREDSKABER - OG HVAD ER FORMÅLET MED DEM? Et valideret måleredskab er et standardiseret redskab til dataindsamling, eksempelvis vha. spørgeskema, test eller observation, der belyser et outcome for en given målgruppe og lever op til forskellige kvalitetskrav og som typisk har følgende formål: Screening - Har respondenten nogle kendte risikofaktorer? Hvem er hhv. raske og syge? Anvendes til identifikation af borgere med en særlig problematik Udredning - Hvordan kommer vanskelighederne til udtryk? Hvor omfattende er de? Skal der iværksættes en indsats? Anvendes til at stille diagnose og fastlægge intervention Progression - Hvilket funktionsniveau ses nu og her? Kan der ses en udvikling i borgerens funktionsniveau? Anvendes til at monitorere udviklingen og effekten hos borgeren

7 IDENTIFIKATION AF UDVIKLINGSFORSINKELSER HOS BØRN OG UNGE Uden screeningsredskaber Med screeningsredskaber Udviklingsvanskeligheder hos børn Psykiske lidelser hos børn 30% identificeret Palfrey et al, % identificeret Lavigne et al, % identifceret Squires et al, % identificeret Sturner, 1991

8 TESTTEORETISKE BEGREBER o Validitet (flere typer) o Måler testen det, vi tror, vi måler? o Reliabilitet o Hvor præcist måler testen? o Intern konsistens, test-retest, inter-tester o Normer o Danske kontra udenlandske, antal personer i normgruppen

9 CASE: FREMTIDENS DAGTILBUD, ET STORSKALA UDVIKLINGSPROJEKT Et randomiseret kontrolleret forsøg 14 kommuner, 145 dagtilbud og 64 dagplejegrupper (256 dagplejere) Indsats forankret i daglig praksis med fokus på målrettet pædagogisk didaktik og de seks læreplanstemaer Belyse effekt ift. børns trivsel, udvikling og læring, særligt inden for sprog og problemløsning

10 FREMTIDENS DAGTILBUD: UDFORDRINGERNE I VALG AF MÅLEREDSKABER Målgruppe Stort sample (n = 9000 børn) Normalpopulation Bredt aldersspænd (fra 0 til 6 år) Outcome Brede og multiple outcomes (trivsel, udvikling og læring) Halvårlige målinger Indsamling Skal kunne administreres af pædagoger og dagplejere

11 CASE: 15M UDVIKLING AF PARTNERSKABER Udvikling af partnerskaber mellem offentlige og private aktører 10 projekter med kommuner og private- og civilsamfundsforankrede organisationer Indsats med fysiske og sociale aktiviteter til unge og voksne med svære psykiske lidelser Belyse resultater via før- og eftermålinger og på parametrene trivsel, netværk, psykisk og fysisk helbred

12 UDFORDRINGER I VALG OG ANVENDELSE AF VALIDEREDE MÅLEREDSKABER 15M udvikling af partnerskaber Opbygning af ressourcer og recovery, som fokus i indsatsen, men stort marked for problemorienterede måleredskaber Svage, skrøbelige og sensitive borgere, hvor måleredskabet i sig selv kan initere kognitive processer, der kræver opfølgning Praktikernes bekymringer : Hvordan gør vi? Hvad nu hvis? Og det her spørgsmål dur ikke?

13 GRUPPEDRØFTELSE Vælg en af de to cases og diskutér den med din sidemand: Diskutér jeres perspektiv på udfordringerne Ser I andre umiddelbare udfordringer? Hvordan ville I prioritere de forskellige hensyn?

14 OPSAMLING Der er et øget pres for at tilvejebringe sikker viden i evalueringer Der er forskellige betingelser for at tilvejebringe sikker viden i forskning og evaluering Brugen af validerede redskaber styrker tilvejebringelsen af sikker viden Kvaliteten af den tilvejebragte viden handler ikke kun om de psykometriske kvaliteter af redskaberne, men også om datakvaliteten i evalueringen Derfor behov for balancering af de forskellige hensyn til tilbringelsen af data

15 Spørgsmål?

16 TAK FOR I DAG!