From motion capture to performance synthesis: A data based approach on full-body animation

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2015-10-09
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2015
Major/Subject
Mcode
Degree programme
Language
en
Pages
75 + app. 64
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 90/2015
Abstract
Human motions such as walking or waving a hand can be performed in many different styles. The way the perceived styles are interpreted can vary depending on the context of the motions. The styles can be described as emotional states such as aggressiveness or sadness, or as physical attributes such as being tense or slow. This thesis studies synthesis of expressive styles and real-time interaction between autonomous characters in order to enable controllable performance synthesis. Presented research relies on motion capture as it enables reproduction of realistic human motion in off-line animations, and recording expressive performances with talented actors. The captured motions can then be used as inputs for several motion synthesis methods that enable real-time animations with actions that can adapt to changing surroundings. While the main field of this thesis is computer animation, building an understanding of motion style is also related to fields of perception, psychology and semantics. Furthermore, to recognize and to enable control of created styles, methodology from the field of pattern recognition has been used. In practice, the research includes implementations and evaluations of proof-of-concept systems, and questionnaires where varying motion styles have been rated and described. Both quantitative analysis of answers of the questionnaires, and visualizations of the data have been made to form a qualitative understanding of motion style.In the context of single character motion, the main result is in enabling accurate verbal control of motion styles. This was found to be possible when the styles are modeled as continuous attributes that are allowed to vary independently, and when individual styles are numerically defined through comparisons between motions. In the context of expressive interaction between characters, the research builds on the observation that motions can be interpreted as expressive behaviors when portrayed as reactions to an action. The main contribution here is a new method for authoring expressive interaction through recorded actions and reactions. The results of the dissertation are useful for development of virtual characters as many existing systems do not take full advantage of bodily motions as an expressive medium. More specifically, the presented methods enable creating characters that can interact fluidly while still allowing the expressiveness to be controlled.

Ihmisen liikkeitä kuten kävelyä tai käden heilutusta voi esittää monella tyylillä, joiden tulkinta voi vaihdella riippuen siitä millaisessa tilanteessa liikkeet esitetään. Liikkeiden tyylit voidaan tulkita tunnetiloina, kuten aggressiivisuutena tai surullisuutena, tai fyysisinä ominaisuuksina, kuten jäykkyytenä tai hitautena. Tässä väitöksessä on tutkittu liikkeiden tuottamista ja reaaliaikaista vuorovaikutusta autonomisten hahmojen välillä, jotta voidaan luoda ilmeikkäitä kehollisia esityksiä. Esitetty tutkimus hyödyntää liikkeenkaappausta, koska se mahdollistaa todenmukaisten liikkeiden toistamisen animaatioelokuvissa, ja ilmeikkäiden esitysten tallentamisen. Kaapattuja liikkeitä voidaan käyttää lähtömateriaalina liikesynteesimetodeille, jotka mahdollistavat reaaliaikaisen animaation ja liikkeiden mukautumisen muuttuvaan ympäristöön. Väitöksen päätutkimusala on tietokoneanimaatio, mutta tyylien ymmärtämiseksi on käytetty menetelmiä myös havaintotutkimuksen, psykologian ja semantiikan aloilta. Tyylien tunnistamiseksi ja säädeltävyyden mahdollistamiseksi käytössä on myös menetelmiä, jotka liittyvät hahmontunnistukseen. Käytännössä tutkimus sisältää esimerkkijärjestelmien toteuttamista ja arviointia. Lisäksi on tehty kyselyitä, joissa osallistujat ovat arvioineet tyylejä ja kuvailleet niitä omin sanoin. Kyselyiden vastauksia on analysoitu määrällisesti, ja dataa on visualisoitu laadullisen kuvan luomiseksi tyyleistä. Yksittäisen hahmon tapauksessa päätulos on, että on mahdollista säätää tyylejä kielellisten kuvausten perusteella, kun eri tyylejä käsitellään jatkuvina ominaisuuksina, joiden annetaan vaihdella toisistaan riippumattomasti, ja kun yksittäiset tyylit määritellään numeerisesti liikkeiden vertailuihin pohjautuen. Hahmojen vuorovaikutuksen tapauksessa liike voidaan tulkita ilmeikkääksi, jos se esitetään vastauksena tiettyyn toimintaan. Päätulos tässä yhteydessä on uusi menetelmä luoda ilmeikästä vuorovaikutusta näyteltyjen liikkeiden ja niiden herättämien reaktioiden pohjalta. Väitöksen tuloksia voidaan käyttää hyväksi kehitettäessä animaatiohahmoja ilmaisuvoimaisemmiksi kehollisten tyylien avulla, mihin useat olemassa olevat järjestelmät eivät anna tukea. Esitetyillä menetelmillä voi tuottaa hahmoja, jotka voivat olla sujuvassa vuorovaikutuksessa samalla kun niiden ilmeikkyyttä säädellään.
Description
Supervising professor
Takala, Tapio, Prof., Aalto University, Department of Computer Science, Finland
Thesis advisor
Takala, Tapio, Prof., Aalto University, Department of Computer Science, Finland
Keywords
computer animation, motion capture, human motion, motion style, tietokoneanimaatio, liikekaappaus, ihmisen liike, liikkeen tyyli
Other note
Parts
  • [Publication 1]: Klaus Lehtonen and Tapio Takala. Evaluating Emotional Content of Acted and Algorithmically Modified Motions. In 24th International Conference on Computer Animation and Social Agents (CASA 2011), Chengdu, China, Transactions on Edutainment VI, Lecture Notes in Computer Science, Volume 6758, pages 144-153, May 2011.
    DOI: 10.1007/978-3-642-22639-7_15 View at publisher
  • [Publication 2]: Roberto Pugliese and Klaus Lehtonen. A Framework for Motion Based Bodily Enaction with Virtual Characters. In 11th International Conference on Intelligent Virtual Agents (IVA 2011), Reykjavik, Iceland, Lecture Notes in Computer Science, Volume 6895, pages 162-168, September 2011.
    DOI: 10.1007/978-3-642-23974-8_18 View at publisher
  • [Publication 3]: Klaus Förger, Tapio Takala and Roberto Pugliese. Authoring Rules for Bodily Interaction: From Example Clips to Continuous Motions. In 12th International Conference on Intelligent Virtual Agents (IVA 2012), Santa Cruz, USA, Lecture Notes in Computer Science, Volume 7502, pages 341-354, September 2012.
    DOI: 10.1007/978-3-642-33197-8_35 View at publisher
  • [Publication 4]: Klaus Förger, Timo Honkela and Tapio Takala. Impact of Varying Vocabularies on Controlling Motion of a Virtual Actor. In 13th International Conference on Intelligent Virtual Agents (IVA 2013), Edinburgh, UK, Lecture Notes in Computer Science, Volume 8108, pages 239-248, August 2013.
    DOI: 10.1007/978-3-642-40415-3_21 View at publisher
  • [Publication 5]: Klaus Förger and Tapio Takala. Animating with Style: Defining Expressive Semantics of Motion. The Visual Computer, Online First Articles, February 2015.
    DOI: 10.1007/s00371-015-1064-4 View at publisher
Citation