Effect of concurrent natural auditory environment on semantic speech processing: an MEG study

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu | Master's thesis
Date
2020-06-15
Department
Major/Subject
Biomedical Engineering
Mcode
SCI3059
Degree programme
LST - Master's Programme in Life Science Technologies (TS2013)
Language
en
Pages
69+6
Series
Abstract
Modern neuroimaging techniques have provided significant improvements to our basic understanding of the cortical auditory processing. However, speech processing has so far mainly been studied with simplistic experimental designs. This thesis focuses on studying semantic speech processing in the human brain during natu- ral auditory environments, and especially on the effect of non-linguistic context produced by surrounding environmental sounds on semantic processing during sentences. Neural mechanisms of speech processing during concurrent, but unattended auditory surroundings were studied with magnetoencephalography (MEG). Speech stimuli were short Finnish sentences that were embedded with natural auditory scenes. Sentences were divided into conditions based on the expectance of the last word within a sentence (expected, improbable, semantically inappropriate) and whether the auditory scene matched the semantic content of the last word or not. Neural source modelling using minimum-norm estimates demonstrated that re- sponses from ∼350 ms onwards after the stimulus onset, were weaker when the last word was expected and matched the semantic context of the sentence. The auditory surroundings significantly affected the N400m responses: for sentences with improbable or semantically impossible endings, the N400m responses were weaker during an audio scene that semantically matched the sentence ending than during mismatching audio scene. The results suggest that the semantic context both from preceding sentential frame and from the auditory surroundings are used in parallel to generate a predictive hypothesis on the proceeding word. We hypothesize that although humans primarily utilize preceding speech to form the hypotheses on the following words, during reanalysis after incorrect prediction, the contribution of environmental auditory surrounding to the predictive hypothesis is quickly used to ease memory access and integration process.

Modernit kuvantamismenetelmät ovat merkittävästi lisänneet ymmärrystämme puheenkäsittelystä aivokuorella. Toistaiseksi puheenkäsittelyä on kuitenkin tutkittu lähinnä hyvin yksinkertaisin koeasetelmin, joita ei tavata arkielämässä. Jokapäiväinen kommunikointimme tapahtuu usein erilaisissa ääniympäristöissä. Tässä lopputyössä tutkitaan puheen merkityssisällön käsittelyä luonnollisissa ääniympäristöissä ja erityisesti ei-kielellisten ympäristöäänien merkityssisällön vaikutusta lauseiden merkityksen käsittelyyn. Kyseisiä hermoston mekanismeja tutkittiin magnetoenkefalografian (MEG) avulla. ääniärsykkeet olivat lyhyitä suomenkielisiä lauseita, joiden kanssa samanaikaisesti esitettiin merkityksellisiä taustaääniä. ärsykkeet luokiteltiin lauseiden viimeisen sanan odotettavuuden (odotettu, epätodennäköinen, merkitykseltään sopimaton) ja sen mukaan, miten ympäristönäänet sopivat viimeisen sanan merkitykseen. Lähdetasolla mallinnetut tulokset osoittivat odotetusti ns. N400-efektin: n. 350 ms lauseen viimeisen sanan alusta kuulovasteet olivat heikompia, kun sana sopi muuhun lauseeseen helpomman muistiedustuksesta hakemisen ja vähemmän vaativan integrointiprosessin takia. Samanaikaisesti esitetty ympäristönääni vaikutti merkittävästi vasteisiin: vasteet epätodennäköisiin ja merkitykseltään sopimattomiin viimeisiin sanoihin olivat merkittävästi heikompia, jos ympäristönääni sopi merkitykseltään viimeiseen sanaan kuin silloin, jos ympäristönääni sopi lauserunkoon muttei viimeiseen sanaan. Johtopäätöksemme on, että vaikka kuulija pääsääntöisesti hyödyntää edeltävää lauserakennetta ennakoidessaan seuraavien sanojen merkitystä, myös samanaikaisesti kuultuun ympäristönääneen liittyvää sisältöä hyödynnetään ennakoitaessa tulevaa sanaa helpomman muistihaun ja integraation tukemiseksi.
Description
Supervisor
Salmelin, Riitta
Thesis advisor
Renvall, Hanna
Keywords
auditory evoked response, environmental sound, magnetoencephalography, N400m, semantic processing, speech
Other note
Citation