Micro-expression spotting based on supervised learning
Tran, Thuong-Khanh (2024-01-19)
© University of Oulu, 2024. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited. © Oulun yliopisto, 2024. Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
https://rightsstatements.org/vocab/InC/1.0/
https://urn.fi/URN:NBN:fi:oulu-202312123669
Kuvaus
Tiivistelmä
Micro-expressions are fast and involuntary facial expressions, which indicate concealed or suppressed emotions. Recently, micro-expression analysis has become an attractive topic. There have been many studies involved in this problem due to potential applications for assisting human-centered interactions and communication. However, there are still limitations, especially in micro-expression spotting. This is one task of micro-expression analysis for locating the temporal position of micro-expressions in video sequence.
This thesis is a thorough summary of the main topic which deals with exploring supervised learning for micro-expression spotting consisting of five publications. Firstly, the data preparation and benchmarking for micro-expressions spotting are presented, including video frame selection, face image alignment, and new benchmarks for micro-expressions spotting to standardize the evaluation of micro-expressions spotting. Secondly, machine learning models for facial expression analysis and micro-expressions spotting are introduced, from handcrafted features to deep learning techniques.
The contributions of this research are as follows. Firstly, I extend a spontaneous micro-expressions database to create a larger version to achieve better micro-expression spotting tasks. Additionally, I introduce new benchmarks for micro-expressions spotting to obtain a fair comparison for micro-expressions spotting techniques. Moreover, I introduce our findings to a new method based on the multi-modal approach to spot micro-expression in long videos. Finally, I summarize the contributions of the work and discuss future research directions and the potential applications of micro-expression spotting.
Mikroilmeet ovat nopeita ja tahdosta riippumattomia kasvonilmeitä, jotka viittaavat piilotettuihin tai tukahdutettuihin tunteisiin. Kiinnostus mikroilmeiden tutkimusta kohtaan on viime aikoina lisääntynyt huomattavasti. Aiheesta on tehty useita tutkimuksia sen tarjoamien ihmiskeskeisen vuorovaikutuksen ja viestinnän avustamiseen liittyvien mahdollisuuksien vuoksi. Erityisesti mikroilmeiden havaitsemiseen liittyy kuitenkin edelleen rajoitteita. Yksi mikroilmeiden analysoinnin tehtävistä onkin mikroilmeiden ajallinen paikantaminen videolla.
Tämä opinnäytetyö tarjoaa viiteen julkaisuun perustuvan kattavan yhteenvedon mikroilmeiden havainnoinnin ohjatusta oppimisesta. Aluksi esitellään mikroilmeiden havainnoinnissa käytettävien tietojen valmistelu- ja vertailutoimet, joihin kuuluvat esimerkiksi videoleikkeiden valinta, kasvokuvan kohdistus ja uusien vertailuarvojen määrittäminen mikroilmeiden havaitsemista varten, jotta voidaan luoda standardit mikroilmeiden havainnoinnin arvioinnille. Seuraavaksi esitellään kasvonilmeiden analysointiin ja mikroilmeiden havaitsemiseen käytettäviä koneoppimismalleja aina erityisvalmisteisista ominaisuuksista syväoppimistekniikoihin saakka.
Tutkimuksen tulokset ovat seuraavat. Ensinnäkin spontaania mikroilmetietokantaa laajennetaan suuremmaksi versioksi, joka mahdollistaa mikroilmeiden tehokkaamman havainnoinnin. Työssä on laadittu myös uusia mikroilmeiden havainnoinnin vertailuarvoja, jotka mahdollistavat mikroilmeiden eri havainnointitekniikoiden keskinäisen vertailun. Lisäksi tässä työssä esitellään uusi multimodaaliseen lähestymistapaan perustuva menetelmä mikroilmeiden havaitsemiseksi pitkissä videoissa. Lopuksi työ sisältää yhteenvedon tuloksista sekä keskustelua tulevista tutkimussuuntauksista ja mikroilmeiden havainnoinnin mahdollisista sovelluksista.
Original papers
-
Tran, T.-K., Hong, X., & Zhao, G. (2017). Sliding window based micro-expression spotting: A benchmark. In International Conference on Advanced Concepts for Intelligent Vision Systems (ACIVS 2017), 542–553. https://doi.org/10.1007/978-3-319-70353-4_46 https://doi.org/10.1007/978-3-319-70353-4_46
-
Tran, T.-K., Vo, Q.-N., Hong, X., & Zhao, G. (2019). Dense prediction for micro-expression spotting based on deep sequence model. Electronic Imaging, 31(8), 401-1-401–406. https://doi.org/10.2352/ISSN.2470-1173.2019.8.IMAWM-401 https://doi.org/10.2352/ISSN.2470-1173.2019.8.IMAWM-401
-
Tran, T.-K., Vo, Q.-N., Hong, X., Li, X., & Zhao, G. (2021). Micro-expression spotting: A new benchmark. Neurocomputing, 443, 356–368. https://doi.org/10.1016/j.neucom.2021.02.022 https://doi.org/10.1016/j.neucom.2021.02.022
-
Vo, Q. N., Tran, K., & Zhao, G. (2019). 3D facial expression recognition based on multi-view and prior knowledge fusion. 2019 IEEE 21st International Workshop on Multimedia Signal Processing (MMSP), 1–6. https://doi.org/10.1109/MMSP.2019.8901797 https://doi.org/10.1109/MMSP.2019.8901797
-
Tran, T.-K., Vo, Q.-N., & Zhao, G. (2021). DynGeoNet: Fusion network for micro-expression spotting. Proceedings of the 2021 International Conference on Multimodal Interaction, 745–749. https://doi.org/10.1145/3462244.3479958 https://doi.org/10.1145/3462244.3479958
Osajulkaisut
-
Tran, T.-K., Hong, X., & Zhao, G. (2017). Sliding window based micro-expression spotting: A benchmark. In International Conference on Advanced Concepts for Intelligent Vision Systems (ACIVS 2017), 542–553. https://doi.org/10.1007/978-3-319-70353-4_46 https://doi.org/10.1007/978-3-319-70353-4_46
-
Tran, T.-K., Vo, Q.-N., Hong, X., & Zhao, G. (2019). Dense prediction for micro-expression spotting based on deep sequence model. Electronic Imaging, 31(8), 401-1-401–406. https://doi.org/10.2352/ISSN.2470-1173.2019.8.IMAWM-401 https://doi.org/10.2352/ISSN.2470-1173.2019.8.IMAWM-401
-
Tran, T.-K., Vo, Q.-N., Hong, X., Li, X., & Zhao, G. (2021). Micro-expression spotting: A new benchmark. Neurocomputing, 443, 356–368. https://doi.org/10.1016/j.neucom.2021.02.022 https://doi.org/10.1016/j.neucom.2021.02.022
-
Vo, Q. N., Tran, K., & Zhao, G. (2019). 3D facial expression recognition based on multi-view and prior knowledge fusion. 2019 IEEE 21st International Workshop on Multimedia Signal Processing (MMSP), 1–6. https://doi.org/10.1109/MMSP.2019.8901797 https://doi.org/10.1109/MMSP.2019.8901797
-
Tran, T.-K., Vo, Q.-N., & Zhao, G. (2021). DynGeoNet: Fusion network for micro-expression spotting. Proceedings of the 2021 International Conference on Multimodal Interaction, 745–749. https://doi.org/10.1145/3462244.3479958 https://doi.org/10.1145/3462244.3479958
Kokoelmat
- Avoin saatavuus [32049]