Reaaliaikainen katseen suunnan estimointi sulautetussa järjestelmässä
Majabacka, Samu (2022-12-15)
Majabacka, Samu
S. Majabacka
15.12.2022
© 2022 Samu Majabacka. Tämä Kohde on tekijänoikeuden ja/tai lähioikeuksien suojaama. Voit käyttää Kohdetta käyttöösi sovellettavan tekijänoikeutta ja lähioikeuksia koskevan lainsäädännön sallimilla tavoilla. Muunlaista käyttöä varten tarvitset oikeudenhaltijoiden luvan.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:oulu-202212153782
https://urn.fi/URN:NBN:fi:oulu-202212153782
Tiivistelmä
Viime vuosina syväoppiminen on mullistanut useita tietokonenäkötehtäviä, kuten ulkonäköön perustuvaa katseen suunnan estimointia. Katseen suunnan estimointitutkimus on viime vuosina keskittynyt enenevissä määrin ulkonäköön perustuviin menetelmiin, sillä ne tuovat useita etuja verrattuna perinteisempiin menetelmiin. Ulkonäköön perustuvat menetelmät eivät vaadi erityisiä laitteita, ja ne ovat huomattavasti vakaampia ympäristön muutoksille. Syväoppimisen avulla ulkonäköön perustuvat menetelmät ovat toimineet hämmästyttävän tarkasti myös haastavissa olosuhteissa. Tutkimuksissa käytettävien menetelmien ja sulautettuihin järjestelmiin sovellettavissa olevien menetelmien välillä on kuitenkin suuri kuilu.
Suurin osa nykyisistä konenäön tutkimuksista tehdään tehokkailla tietokoneilla. Parhaimpia tuloksia saavuttaneet, tietokoneilla kehitetyt, menetelmät eivät kuitenkaan usein ole käyttökelpoisia sulautetuilla järjestelmillä. Sulautetuilla järjestelmillä on usein hyvin rajallinen muisti, alhainen laskentateho ja ne toimivat usein akkujen avulla verkkovirran sijaan. Lisäksi sulautetut järjestelmät eivät välttämättä tue toimintoja tai menetelmiä, joilla on saavutettu parhaimpia tuloksia. Laskentateho on hyvin rajallista sulautetuissa järjestelmissä, joten laitevalmistajien on usein hyödynnettävä optimointimenetelmiä suorituskyvyn parantamiseksi. Tämän takia sulautetut järjestelmät eivät välttämättä tue kaikkia tietokoneilla toimivia menetelmiä.
Tässä opinnäytetyössä testattiin useiden viimeaikaisten katseen suunnan estimointimenetelmien suorituskykyä ja mahdollista käyttöä sulautetuilla järjestelmillä. Lisäksi katseen suunnan estimointitutkimuksen ja sulautettujen järjestelmien välisen kuilun pienentämiseksi, tässä työssä kehitettiin konvoluutioneuroverkko käyttämällä vain neuroverkkojen yksinkertaisia ja hyvin tunnettuja rakennuspalikoita. Tulosten perusteella työssä kehitetty menetelmä on useiden vertailtujen menetelmien joukosta ainoa, joka toimii sulautetuilla järjestelmillä kilpailukykyisellä tarkkuudella. Lisäksi kehitetty menetelmä osoitti kyvyn toimia reaaliajassa muistirajoitteisessa, vähäisen laskentatehon omaavassa sulautetussa laitteessa. In recent years, deep learning has revolutionized several computer vision tasks, including appearance-based gaze estimation. Over the past few years, the emphasis of gaze estimation research has shifted more and more to appearance-based methods, as they bring several advantages compared to more traditional methods. Appearance-based methods do not require dedicated devices, and they are significantly more robust to environmental changes. Thanks to deep learning, appearance-based methods have achieved astonishing accuracy in gaze estimation, even in challenging environments. However, there is a large gap between methods used in research and the methods that are applicable to embedded systems.
Most research is carried out on powerful computers, whereas embedded systems have several limitations. Embedded systems often have very limited memory, low computing power and rely on batteries. In addition, embedded systems may not support functions or methods that have been utilized in studies leading to the best accuracies. Computing power is limited in embedded systems, so manufacturers must implement optimization methods to improve performance. Thus, embedded systems may not be able to perform all the functions or methods supported by desktop computers.
In this thesis, the performance of several recent gaze estimation methods and whether they can be used with embedded systems was tested. Furthermore, a convolutional neural network using only the simple and well-known building blocks of convolutional neural networks was developed to reduce the gap between gaze estimation research and embedded systems. Based on the results, the method developed in the thesis was the only one among several compared methods that works with embedded systems while achieving competitive accuracy. In addition, the developed method demonstrated the ability to run in real-time in a memory-constrained, low-computing embedded device.
Suurin osa nykyisistä konenäön tutkimuksista tehdään tehokkailla tietokoneilla. Parhaimpia tuloksia saavuttaneet, tietokoneilla kehitetyt, menetelmät eivät kuitenkaan usein ole käyttökelpoisia sulautetuilla järjestelmillä. Sulautetuilla järjestelmillä on usein hyvin rajallinen muisti, alhainen laskentateho ja ne toimivat usein akkujen avulla verkkovirran sijaan. Lisäksi sulautetut järjestelmät eivät välttämättä tue toimintoja tai menetelmiä, joilla on saavutettu parhaimpia tuloksia. Laskentateho on hyvin rajallista sulautetuissa järjestelmissä, joten laitevalmistajien on usein hyödynnettävä optimointimenetelmiä suorituskyvyn parantamiseksi. Tämän takia sulautetut järjestelmät eivät välttämättä tue kaikkia tietokoneilla toimivia menetelmiä.
Tässä opinnäytetyössä testattiin useiden viimeaikaisten katseen suunnan estimointimenetelmien suorituskykyä ja mahdollista käyttöä sulautetuilla järjestelmillä. Lisäksi katseen suunnan estimointitutkimuksen ja sulautettujen järjestelmien välisen kuilun pienentämiseksi, tässä työssä kehitettiin konvoluutioneuroverkko käyttämällä vain neuroverkkojen yksinkertaisia ja hyvin tunnettuja rakennuspalikoita. Tulosten perusteella työssä kehitetty menetelmä on useiden vertailtujen menetelmien joukosta ainoa, joka toimii sulautetuilla järjestelmillä kilpailukykyisellä tarkkuudella. Lisäksi kehitetty menetelmä osoitti kyvyn toimia reaaliajassa muistirajoitteisessa, vähäisen laskentatehon omaavassa sulautetussa laitteessa.
Most research is carried out on powerful computers, whereas embedded systems have several limitations. Embedded systems often have very limited memory, low computing power and rely on batteries. In addition, embedded systems may not support functions or methods that have been utilized in studies leading to the best accuracies. Computing power is limited in embedded systems, so manufacturers must implement optimization methods to improve performance. Thus, embedded systems may not be able to perform all the functions or methods supported by desktop computers.
In this thesis, the performance of several recent gaze estimation methods and whether they can be used with embedded systems was tested. Furthermore, a convolutional neural network using only the simple and well-known building blocks of convolutional neural networks was developed to reduce the gap between gaze estimation research and embedded systems. Based on the results, the method developed in the thesis was the only one among several compared methods that works with embedded systems while achieving competitive accuracy. In addition, the developed method demonstrated the ability to run in real-time in a memory-constrained, low-computing embedded device.
Kokoelmat
- Avoin saatavuus [32041]