Using electroencephalography signals to control acoustical processing
Tirkkonen, Esa-Petri (2016)
Kandidaatintutkielma
Tirkkonen, Esa-Petri
2016
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2016061320123
https://urn.fi/URN:NBN:fi-fe2016061320123
Tiivistelmä
Current hearing-assistive technology performs poorly in noisy multi-talker conditions. The
goal of this thesis was to establish the feasibility of using EEG to guide acoustic processing
in such conditions. To attain this goal, this research developed a model via the constructive
research method, relying on literature review. Several approaches have revealed
improvements in the performance of hearing-assistive devices under multi-talker conditions,
namely beamforming spatial filtering, model-based sparse coding shrinkage, and onset
enhancement of the speech signal.
Prior research has shown that electroencephalography (EEG) signals contain information
that concerns whether the person is actively listening, what the listener is listening to, and
where the attended sound source is. This thesis constructed a model for using EEG
information to control beamforming, model-based sparse coding shrinkage, and onset
enhancement of the speech signal. The purpose of this model is to propose a framework for
using EEG signals to control sound processing to select a single talker in a noisy environment
containing multiple talkers speaking simultaneously.
On a theoretical level, the model showed that EEG can control acoustical processing. An
analysis of the model identified a requirement for real-time processing and that the model
inherits the computationally intensive properties of acoustical processing, although the
model itself is low complexity placing a relatively small load on computational resources. A
research priority is to develop a prototype that controls hearing-assistive devices with EEG.
This thesis concludes highlighting challenges for future research. Tämänhetkinen kuulolaiteteknologia on suorituskyvyltään heikko meluisessa ympäristössä
kuunneltaessa yksittäistä puhujaa useamman puhujan puhuessa samaan aikaan. Työn tavoite
on todistaa aivosähkökäyrien käytön mahdollisuus akustisen prosessoinnin ohjaamisessa
edellä mainitussa olosuhteissa. Tätä varten raportissa kehitettiin malli aivosähkökäyrien
käyttämiseen akustisen prosessoinnin ohjaamisessa. Työssä luotu malli luotiin
konstruktiivisen tutkimusmenetelmän mukaan, kirjallisuuskatsaukseen perustuen. Akustisen
prosessoinnin metodeina käytettiin: keilanmuodostus tilasuodatusta, mallipohjaista
häviöllistä pakkausta ja puheen äänteen alun vahvistusmetodia.
Aiempi tutkimus osoittaa, että aivosähkökäyrät sisältävät tiedon siitä, kuunteleeko puhuja
aktiivisesti, mitä kuuntelija kuuntelee ja missä suunnassa kuunneltu äänilähde on puhujaan
nähden. Luotu malli käyttää tätä tietoa mahdollistamaan käytettyjen akustisen prosessoinnin
metodeiden käytön meluisessa ympäristössä kuunneltaessa yksittäistä puhujaa useamman
puhujan puhuessa samaa aikaa. Analyysin perusteella mallin havaittiin tarvitsevan
tosiaikaista prosessointia ja perivän käytettyjen akustisen prosessoinnin metodeiden
laskennallisen raskauden.
Luotu malli osoittaa teoriatasolla, että aivosähkökäyrien käyttäminen akustisen
prosessoinnin ohjaamisessa on mahdollista. Jotta aivosähkökäyriä voitaisiin hyödyntää
kuulolaiteissa, on jatkotutkimus tarpeen. Tämän raportin lopussa esitellään esille tulleet
mahdolliset tulevaisuuden tutkimus aiheet.
goal of this thesis was to establish the feasibility of using EEG to guide acoustic processing
in such conditions. To attain this goal, this research developed a model via the constructive
research method, relying on literature review. Several approaches have revealed
improvements in the performance of hearing-assistive devices under multi-talker conditions,
namely beamforming spatial filtering, model-based sparse coding shrinkage, and onset
enhancement of the speech signal.
Prior research has shown that electroencephalography (EEG) signals contain information
that concerns whether the person is actively listening, what the listener is listening to, and
where the attended sound source is. This thesis constructed a model for using EEG
information to control beamforming, model-based sparse coding shrinkage, and onset
enhancement of the speech signal. The purpose of this model is to propose a framework for
using EEG signals to control sound processing to select a single talker in a noisy environment
containing multiple talkers speaking simultaneously.
On a theoretical level, the model showed that EEG can control acoustical processing. An
analysis of the model identified a requirement for real-time processing and that the model
inherits the computationally intensive properties of acoustical processing, although the
model itself is low complexity placing a relatively small load on computational resources. A
research priority is to develop a prototype that controls hearing-assistive devices with EEG.
This thesis concludes highlighting challenges for future research.
kuunneltaessa yksittäistä puhujaa useamman puhujan puhuessa samaan aikaan. Työn tavoite
on todistaa aivosähkökäyrien käytön mahdollisuus akustisen prosessoinnin ohjaamisessa
edellä mainitussa olosuhteissa. Tätä varten raportissa kehitettiin malli aivosähkökäyrien
käyttämiseen akustisen prosessoinnin ohjaamisessa. Työssä luotu malli luotiin
konstruktiivisen tutkimusmenetelmän mukaan, kirjallisuuskatsaukseen perustuen. Akustisen
prosessoinnin metodeina käytettiin: keilanmuodostus tilasuodatusta, mallipohjaista
häviöllistä pakkausta ja puheen äänteen alun vahvistusmetodia.
Aiempi tutkimus osoittaa, että aivosähkökäyrät sisältävät tiedon siitä, kuunteleeko puhuja
aktiivisesti, mitä kuuntelija kuuntelee ja missä suunnassa kuunneltu äänilähde on puhujaan
nähden. Luotu malli käyttää tätä tietoa mahdollistamaan käytettyjen akustisen prosessoinnin
metodeiden käytön meluisessa ympäristössä kuunneltaessa yksittäistä puhujaa useamman
puhujan puhuessa samaa aikaa. Analyysin perusteella mallin havaittiin tarvitsevan
tosiaikaista prosessointia ja perivän käytettyjen akustisen prosessoinnin metodeiden
laskennallisen raskauden.
Luotu malli osoittaa teoriatasolla, että aivosähkökäyrien käyttäminen akustisen
prosessoinnin ohjaamisessa on mahdollista. Jotta aivosähkökäyriä voitaisiin hyödyntää
kuulolaiteissa, on jatkotutkimus tarpeen. Tämän raportin lopussa esitellään esille tulleet
mahdolliset tulevaisuuden tutkimus aiheet.