Classification of ultra-short-term ECG samples : studies on events containing violence
Ferdinando, Hany (2020-12-04)
https://urn.fi/URN:ISBN:9789526227818
Kuvaus
Tiivistelmä
Abstract
Violence is a serious global problem that may cause considerable distress with long lasting consequences. It affects all associated parties, including victims, perpetrators and witnesses. Studies on automatic violence detection using surveillance cameras have been conducted for about 20 years, but they are limited to the witness perspective.
This work aimed to approach the problem from the victims’ point of view. The main research question was: is it possible to classify events as violent or non-violent by analysing ultra-short-term ECG signals? Two specific objectives were set: 1) to collect a small-scale database containing synchronized ultra-short-term ECG signals from both physically violent and non-violent events based on simulations, and 2) to extract features from ECG signals to discriminate between violent and non-violent events indirectly and directly. In the indirect inference approach, emotion recognition served as a first step to separating between violent and non-violent events; this work was done using the Mahnob-HCI database. The direct inference approach, in contrast, classified signals as being indicative of either violent or non-violent events.
The main contributions are as follows: 1) For the indirect approach, methods were developed to extract useful features. These were mainly based on bivariate empirical mode decomposition, performed to obtain intrinsic mode functions, which were examined by spectrogram analysis to reveal dominant frequencies and by statistical analysis to expose oscillation characteristics. Enhancing these features with supervised dimensionality reduction achieved an accuracy of up to 70% for a 3-class problem in valence and arousal. 2) For the direct approach with the collected database, the same feature extraction method was applied to achieve an accuracy of up to 88% for a binary classification problem of discriminating between violent and non-violent events. Enhancing features with supervised dimensionality reduction failed to improve performance.
Experiences garnered during database collection highlighted the importance and challenges of collecting high quality data for violence studies. We expect that the proposed methods based on ultra-short-term ECG signals can be useful for other applications as well, including emotion tracking in affective computing and biofeedback techniques in gaming applications and clinical medicine.
Tiivistelmä
Väkivalta on vakava globaali ongelma, joka saattaa aiheuttaa kohteille huomattavaa kärsimystä ja pitkäaikaisia seuraamuksia. Se vaikuttaa kaikkiin osapuoliin: uhreihin, tekijöihin ja todistajiin. Automaattista väkivallan ilmaisua on tutkittu turvakameroita käyttäen noin 20 vuotta, mutta se on rajoittunut todistajan näkökulmaan.
Tässä työssä pyrittiin lähestymään ongelmaa uhrin näkökulmasta. Tärkein tutkimuskysymys oli: Onko mahdollista luokitella tapahtumia väkivaltaisiksi ja ei-väkivaltaisiksi analysoimalla ultralyhyitä EKG-näytteitä. Työssä asetettiin kaksi erityistavoitetta: 1) Kerätään pienen mittakaavan tietokanta, joka sisältää synkronoitua ultralyhyttä EKG-signaalia simuloiduista väkivaltaisista ja ei-väkivaltaisista tapahtumista, 2) irrotetaan EKG-signaalista piirteitä, joiden avulla väkivaltaisia ja ei-väkivaltaisia tapahtumia voidaan erotella toisistaan suoraan ja epäsuorasti. Epäsuorassa päättelyssä tunnetilojen tunnistaminen toimi ensiaskeleena väkivaltaisten ja ei-väkivaltaisten tapahtumien erottelussa; tutkimus tehtiin Mahnob-HCI-tietokantaa käyttäen. Suora päättely sen sijaan luokitteli signaalit suoraan väkivaltaisiin ja ei-väkivaltaisiin tapahtumiin liittyviksi.
Tärkeimmät kontribuutiot ovat seuraavat: 1) Epäsuoraa lähestymistapaa varten kehitettiin menetelmiä, joilla irrotetaan luokittelijalle hyödyllisiä piirteitä. Ne soveltavat pääosin bivariate empirical mode decomposition -menetelmää irrottamaan ultralyhyistä EKG-näytteistä muotofunktioita, joiden dominanttitaajuuksia tutkittiin spektrianalyysillä. Luokittelijan avainpiirteinä olivat dominoivien taajuuksien ja niiden ensimmäisten derivaattojen tilastolliset jakaumat. Tehostamalla näitä piirteitä ohjatulla dimensionaalisuuden vähentämisellä saatiin aikaan jopa 70 %:n tarkkuus valenssin ja arousalin 3-luokkaisessa asetelmassa. 2) Suorassa lähestymistavassa käytettiin samaa piirteenirrotusmenetelmää, jolla saatiin aikaan jopa 88 %:n tarkkuus väkivalta- ja ei-väkivaltatapahtumien erottelulle binäärisessä luokittelutilanteessa. Piirteiden tehostaminen ohjatulla dimensionaalisuuden vähentämisellä ei parantanut suorituskykyä.
Tietokannan kokoamisen aikana kerätyt kokemukset korostivat väkivaltatutkimuksen korkealaatuisen datan keräämisen tärkeyttä ja haasteita. Kehitetyt ultralyhyihin EKG-näytteisiin perustuvat menetelmät voivat olla hyödyllisiä myös muissa sovelluksissa, kuten tunnetilojen vaihtelujen seurannassa affektiivisessa laskennassa, bio-takaisinkytkennän tekniikoissa pelisovelluksissa ja kliinisen lääketieteen sovelluksissa.
Kokoelmat
- Avoin saatavuus [31907]