Usability Evaluation with Children - Case: Poetry Machine

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2014-12-01
Department
Major/Subject
Usability and User Interfaces
Mcode
IL3011
Degree programme
Tietotekniikan koulutusohjelma
Language
en
Pages
90 + 25
Series
Abstract
This thesis presents a case study of a usability evaluation of a creative poetry writing tool conducted with Peer tutoring and Group Testing methods in a Finnish 3rd year class. The Peer Tutoring method has previously been used for usability testing with children, but the Group Testing method is new. Additionally a new, experimental feedback gathering method, called the Feedback Game was designed to be used as a part of the Group Testing. The goals of the evaluation were to produce a list of usability errors, evaluate the enjoyability and usefulness of the concept as well as produce descriptive feedback and improvement ideas for the program concept. This thesis focuses on evaluating the testing methods for their performance against these goals, as well as their reliability, coverage, quality of analysis, and suitability for testing with children. The Peer Tutoring method was found to work well for practical usability evaluation with children. This approach, involving pairs of children, instead of individual children was seen beneficial in producing enjoyable test conditions, but the tasks used were too abstract for the participants. The Group Testing was only useful for validating the most severe problems found with Peer Tutoring. However the Feedback Game used with the Group Testing worked as well as the post task interview of the Peer Tutoring method for eliciting new ideas, although its results were similar to those found with Peer Tutoring. As a benefit the Feedback Game needs less resources compared to the Peer Tutoring method. Additional research about the effectiveness of the Peer Tutoring method with different audiences and tasks are needed. The usefulness of the Group Testing method should be re-evaluated in more thoroughly recorded conditions. The Feedback Game needs more research in order to prompt more discussion between peers during the game.

Tässä diplomityössä sovellettiin vertaistutoroingimetodia ja ryhmätestimetodia lapsille suunnatun luovan runonkirjoitustyökalun prototyypin käytettävyyden arviointiin. Käytettävyystestaukseen osallistui erään etelä-suomalaisen koulun kolmannen luokan oppilaita. Vertaistutorointimetodia on aiemmin sovellettu lasten kanssa tehtävään käytettävyystestaukseen, mutta käytetty ryhmätestimetodi on uusi. Ryhmätestiä varten suunniteltiin uusi kokeellinen palautteenkeräysmetodi, palautepeli. Testauksen tavoitteena oli tuottaa kattava lista käytettävyysongelmista, arvioida konseptin hauskuutta ja hyödyllisyyttä, sekä tuottaa deskriptiivistä palautetta ja kehitysideoita ohjelmakonseptin parantamiseksi. Työssä keskitytään metodien arviointiin näiden tavoitteiden saavutuksen suhteen, lisäksi arvioidaan niiden luotettavuutta, kattavuutta, analyysin laatua ja soveltuvuutta lapsille. Vertaistutorointimetodin todettiin toimivan hyvin käytännön arviointityössä, ja testin pariluonteesta havaittiin merkittävää etua miellyttävän testikokemuksen aikaansaamisessa, mutta testitehtävä osoittautui liian abstraktiksi osallistujille. Ryhmätestauksen tulokset olivat hyödyllisiä ainoastaan vakavimpien käytettävyyslöydösten validoinnissa. Käytetty palautepeli toimi kuitenkin vertaistutorointiin nähden yhtä tehokkaasti uusien ideoiden keräämiseen, vaikka sen kautta kerätyt ideat olivatkin samankaltaisia, kuin vertaistutoroinnissa kerätyt. Palautepeliin tarvitut resurssit, kuten analyysiaika, olivat kuitenkin pienemmät. Lisätutkimusta vertaistutorointimetodin tehokkuudesta erilaisten testitehtävien ja osallistujien kanssa tarvitaan. Ryhmätestin hyödyllisyyttä tulisi arvioida uudelleen tehokkaamman datankeräyksen kanssa. Entistä rikkaamman lastenvälisen keskustelun kehittämistä palautepelin avulla on tutkittava lisää.
Description
Supervisor
Nieminen, Marko
Thesis advisor
Riihiaho, Sirpa
Tyllinen, Mari
Keywords
usability, user-centered design, usability testing, children
Other note
Citation