Fra øre til hjerne Tværfaglig forskning i hørelse og kognition. Jens Hjortkjær & Sébastien Santurette

Transkript

1 Fra øre til hjerne Tværfaglig forskning i hørelse og kognition Jens Hjortkjær & Sébastien Santurette

2 Indhold Hvem er vi? Baggrund: cocktail party problemet CAHR: auditory modelling, anvendt og klinisk forskning Hidden hearing loss Auditory profiling taleforståelse CHeSS: kognition og neurovidenskab Opmærksomhed: det kognitive høreapparat Neurovidenskab: naturlige lyde i kortex Kognitiv listening effort og pupilometri

3 Hvem er vi? Hearing Systems DTU Elektro Høresystemer og Kommunikation (HEA) Akustisk Teknologi (ACT)

4 Vigtigste motivationer I 2025 forventes mere end 100 millioner mennesker i Europa at have en moderat til kraftig hørenedsættelse, som kræver behandling. (Shield, 2006) Høretab forårsager betydelige problemer for mundtlig kommunikation i støj og efterklang. Mange mennesker har stadig store problemer (trods hjælp fra høreapparater) i sociale situationer. Dette fører til en tendens til at undgå verbal interaktion i grupper og til social isolation. Mange siger, at de kan høre talen (med forstærkning), men ikke forstå, hvad der bliver sagt.

5 Baggrund: Cocktail-party problemet Vores mål er at forstå (og løse!) cocktail-party problemet

6 Forskningsspørgsmål Hvorfor er det normale auditive system så robust i vanskelige lyttesituationer? Hvad er de grundlæggende principper for menneskelige lydopfattelse (fx adskillelse af lydobjekter)? Hvad er konsekvenserne af høretab (udover en formindsket følsomhed)? Hvorfor er et svækket auditive system nogenlunde robust i enkle lyttesituationer (uden støj) men ikke kan klare sig i komplekse lydmiljøer? Hvordan kan vi rette op på dette ved at indarbejde denne viden i høreapparater, cochlear implantater, talegenkendelse osv.?

7 Forskningstilgang Analyse af tre lydbehandlingssystemer : normal, hørehæmmet, aided. For hvert system sammenligner vi resultaterne af subjektive målinger, objektive fysiologiske målinger og beregningsmodeller.

8 Eksempler på forskningsmetoder

9 From lab to life Akustisk situation Laboratorium Mål: At optage og gengive realistiske akustiske scenarier, at overføre den akustiske virkelighed til laboratoriet Anvendelser: Undersøgelse af lydopfattelsen i komplekse miljøer Udvikling og afprøvning af høreapparater og kommunikationsteknologi

10 Forskningshypotese For at opnå effektiv kommunikation under ugunstige forhold, skal det auditive system præcist afkode de akustiske signaler fra taleren. Vigtigste stadier af lydens signalbehandling En mangel i et af disse auditive repræsentationer resulterer i en forringelse af ydeevnen af hele systemet.

11 To forskningscentre startet 2003 startet 2013 Anvendt høreforskning Grundlæggende høreforskning Samarbejde med industrien og audiologiske klinikker

12 Nyere EU-støttede initiativer Projekt Projekt Projekt Investigating Speech Processing In Realistic Environments Partnere: Nijmegen, Sheffield, London, York, Tampere, Baskerlandet, Leuven, Edinburgh og private virksomheder. Improved Communication through Applied Hearing Research Partnere: Bochum, Leuven, Southampton, Zürich, og private partnere. Reading the world with Two!Ears Partnere: Berlin, Bochum, Eindhoven, Paris, Sheffield, Toulouse. Horizon 2020: COCOHA A cognitively controlled hearing aid start januar 2015 Partnere: Paris, London, Zürich, DTU + Eriksholm.

13 Andre netværker/projekter Erasmus Mundus: Udvekslingprogram i auditory cognitive neuroscience. Støtter samarbejde med partnere i Nordamerika. Kognitiv Neurovidenskab: Samarbejde med Danish Research Centre for Magnetic Resonance (DRCMR) Neuroimaging metoder for at undersøge neurale mekanismer involveret i adskillelse af lyde igennem opmærksomhed Nye samarbejdsprojekter med Rigshospitalet, Bispebjerg og Gentofte Hospitaler om auditory profiling. Link med klinisk audiologisk forskning

14 Faciliteter

15 Eksempler på forskningstemaer Taleopfattelse og taleproduktion Adskillelse af lydkilder Optagelse, reproduktion og syntese af lyde Cochlear implantater Fysiologiske korrelater (EEG, otoakustiske emissioner, fmri, pupillometri) Spatial hørelse, binaural behandling af lyd Karakterisering og modellering af høretab Audiovisuel perception og kognitiv neurovidenskab

16 Karakterisering af høretab Højere tærskler (Gelfand, 2001) Nedsat sensitivitet, men også ændret: Frekvensopløsning Temporal behandling Opfattelse af lydstyrke Binaural funktion Kognitive funktioner Det er ikke nok at kompensere for tab af sensitivitet via forstærkning

17 Hvad betyder normal hørelse? Høj lydeksponering -> fald i høresensitivitet Tilbage til normal hørelse? (Mills et al., 1981)

18 Midlertidig forhøjelse af høretærsklen Høretærskler efter 100-dB støjeksponering: (Kujawa and Liberman, 2009)

19 Midlertidig forhøjelse af høretærsklen Tab af synaptiske forbindelser og auditive nerveceller: (Kujawa and Liberman, 2009) Neural degeneration trods normale tærskler à Hidden hearing loss

20 Karakterisering af høretab Audiogrammet er ikke nok til at karakterisere høretab. Hvordan kan man opdage hidden hearing loss? Hvad skal vi genoverveje? De fleste undersøgelser fokuserer på karakterisering af gennemsnitlige resultater i den hørehæmmede befolkning. Trods store individuelle forskelle! Tilgang: udnytte disse forskelle til at forstå, hvordan systemet fungerer og forbedre karakterisering af høretab (også i klinikken)

21 Individuelle forskelle Audiogrammer dårlig Frekvensdiskrimination vs taleforståelse Discrimination threshold (%) (Papakonstantinou et al., 2012) god Speech reception threshold (db) dårlig

22 Forhold mellem auditive funktioner Audiogrammer Frekvensopløsning Tidsmæssig signalbehandling og binaural funktion Taleforståelse i støj Hvad skal vi måle i klinikken udover audiogrammet? (Strelcyk and Dau, 2009)

23 Mere klinisk forskning Laboratorieundersøgelser begrænsede pga. lange forsøg samt få forsøgspersoner Samarbejde med audiologiske klinikker: Korte tests Flere forsøgspersoner (carlslife.ca) Først studie (med Rigshospitalet, Bispebjerg Hospital) Høresensitivitet Frekvensopløsning Temporal opløsning Lydstyrke Binaural funktion Taleforståelse Kognitiv funktion Oplevet handikap Gavn af høreapparat?

24 Eksempel: Listening in the dips Støj Tale Tale I støj Fluktuerende + = Stationær

25 Eksempel: Listening in the dips Taleforståelse i støj (HINT): dårlig Sensorineuralt høretab Normal hørelse god (Thorup, M.Sc. Thesis, 2014)

26 Frekvens- og tidsopløsning Ny forbedret version af F-T testen (Larsby and Arlinger, 1998) Hvor meget kan den enkelte udnytte frekvensmæssige og tidsmæssige huller i baggrundsstøjen? Hurtig test

27 Frekvens- og tidsopløsning Masking release: forskel i tærskel mellem stationær og fluktuerende støj Masking release F-T test Korrelation mellem masking release i F-T test og taleforståelse i støj Hidden hearing loss? Masking release HINT (Pelzer, B.Sc. Thesis, 2015)

28 Auditiv modellering Måling af grundlæggende auditive funktioner for at indhente data om forskellige problemer Høresensitivitet Frekvensopløsning Lydstyrke Temporal opløsning Binaural funktion Taleforståelse

29 Auditiv modellering Måling af grundlæggende auditive funktioner for at indhente data om forskellige problemer à Tilpasning af modellen Perifære stadier (Epp et al., 2010): Nedsat sensitivitet Ringere frekvensopløsning Forringet temporal behandling Senere stadier: Problemer med modulationsbehandling? Suboptimal informationsbehandling?

30 Taleforståelsestests Udvikling af danske sprogtests, som er mere "realistiske" end traditionelle tests og potentielt nyttige i klinikken I tæt samarbejde med Oticon, Widex og GN ReSound. CLUE test: Conversational Language Understanding Evaluation (Nielsen and Dau, 2009) HINT: Danish Hearing in Noise Test (Nielsen and Dau, 2011) DAT corpus: Speech material for speechon-speech masking experiments (Nielsen et al., 2014) En test med nonsense ord for at vurdere effekter af høreapparater på taleopfattelsen (Nielsen et al., in prep.)

31 Eksempler på forskningstemaer Taleopfattelse og taleproduktion Adskillelse af lydobjekter Optagelse, reproduktion og syntese af lyde Cochlear implantater Fysiologiske korrelater (EEG, otoakustiske emissioner, fmri, pupillometri) Spatial hørelse, binaural behandling af lyd Karakterisering og modellering af høretab Audiovisuel perception og kognitiv neurovidenskab

32 Anvendt høreforskning (CAHR) Modeller af ørets og hjernens signal-behandling forudsiger taleforståelse: Subband filtering Compressive non-linearity Envelope extraction Modulation filtering Forståelse God Dårlig Høj Støj Lav

33 Kognitive faktorer? (CHeSS) Bedre modeller af det auditive systems lydbehandling giver bedre høreapparater og bedre mulighed for individuel tilpasning Men hørehæmmede oplever stadig utilfredshed, særligt i støjfyldte omgivelser hvorfor?

34 Mod mere intelligente høreapparater?? LYD BEARBEJDET LYD

35 Cocktail party problemet: hvor er opmærksomheden?

36 EEG-afkodning af opmærksomhed? Neuralt signal

37 EEG-afkodning af opmærksomhed? Neuralt signal

38 EEG-mål for opmærksomhed Talelyd 1 Auditiv model.? EEG Signal Model G(f,n,t ) =[RR T ] [RR T + M] 1 RS T 1 RS T? Talelyd 2 Auditiv model.

39 EEG-mål for opmærksomhed Korrelation mellem EEG og talesignaler Avg. correlation Speech signal 1 Speech signal 2 Speech signal 1 Speech signal 2 Talelyd 1 Talelyd Attend to speaker Opmærksom på taler 2 Opmærksom på taler 1

40 EU-projekt COCOHA: Cognitive Control of a Hearing Aid

41 Funktionel MR-scanning D R C M R

42 Funktionel MR: kontekst-afhængig bearbejdning af lyde i kortex Handling slå rasle kaste glas x Materiale metal x træ x

43 Funktionel MR: kontekst-afhængig bearbejdning af lyde i kortex Mønstre af kortikal aktivitet identificerer hvilken lyd-kategori lytteren hører Auditorisk kortex repræsenterer lyd-kategorier dynamisk: kun den kategori-type som lytteren er opmærksom på repræsenteres Handlinger pstp contrast estimate Handlinger Relevante kategorier strike ra)le ra)le drop strike drop strike ra)le ra)le drop strike drop Irrelevante kategorier -8 L R 80 Action task Material task

44 Funktionel MR: kontekst-afhængig bearbejdning af lyde i kortex Sker der en dynamisk behandling af bestemte akkustiske parametre? For materiale-genkendelse er tonehøjde-information vigtig For handlings-genkendelse er temporal information vigtig Repræsentation af tonehøjde i kortex (tonotopi) Fo frekvens (Hz) Materialeopgave Handlingsopgave

45 Mål af den subjektive lytteoplevelse Audiogrammet forudsiger ikke altid taleforståelse i støj Realistiske modeller af ørets lydbehandling giver bedre forudsigelse af taleforståelse i støj Men selv forbedrede modeller fortæller ikke noget om, hvor anstrengende eller vanskeligt det opleves at lytte til tale i støj Kognitive elementer som f.eks. den sproglige kompleksitet også udfordre lytteren som forstærkes i støjfyldte omgivelser Hvordan måler vi denne subjektive oplevelse? en sheik går aldrig ikke over men kun når det fylder nok

46 Undersøgelser af sammenhængen mellem akustisk støj og sproglig kompleksitet Sætnings-genkendelse med forskellige grader af kompleksitet i forskellige niveauer af baggrunds-støj (-6/12 db SNR): Simpel sætning (subjekt først): Den sjove elefant vil sparke den stolte elg? Kompleks sætning (objekt først): Den sjove elefant vil den stolte elg sparke Subjektive mål: korrekt genkendelse ratings af 'vanskelighed' Objetive mål: pupilometri, EEG Let Svært

47 Pupilometri som mål for 'listening effort' Gennemsnit 20 normalthørende Kompleks syntaks Normaliseret pupilstørrelse Sætning Simpel syntaks Høj støj, høj kompleksitet Lav støj, høj kompleksitet Høj støj, lav kompleksitet Lav støj, lav kompleksitet Tid (ms) Komplekse sætninger kræver mere processering, men opleves kompleksiteten også som vanskelig eller anstrengende?

48 Støj og sproglig kompleksitet påvirker lytteoplevelsen forskelligt % korrekt Taleforståelse 100 Høj støj Lav støj meget svært 100 Oplevet sværhed Høj støj Lav støj Kompleks Simpel meget let 0 Kompleks Simpel Komplekse sætninger kræver mere processering, men støjen er en væsentlig faktor for hvor anstrengende det opleves

49 Afsluttende bemærkninger Auditive faktorer Kognitive faktorer Ørets sensitivitet Opmærksomhed Spektro-temporal processering Anstrengelse God Taleforståelse Dårlig Høj Støj Lav