Ontologiaperustaisen WebExplorer-tiedonhakujärjestelmän käyttäjätestaus eduskunnan sisäisessä tietopalvelussa ja kirjastossa
KESKIMAA, ANNE (2010)
KESKIMAA, ANNE
2010
Informaatiotutkimus - Information Studies
Informaatiotieteiden tiedekunta - Faculty of Information Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2010-02-09
Julkaisun pysyvä osoite on
https://urn.fi/urn:nbn:fi:uta-1-20333
https://urn.fi/urn:nbn:fi:uta-1-20333
Tiivistelmä
Tutkimuksessa tutkittiin sitä, miten hyödyllisenä testikäyttäjät pitävät Tampereen yliopiston informaatiotutkimuksen ja interaktiivisen median laitoksella kehitteillä olevaa WebExplorer-tiedonhakujärjestelmää ja sen toimintoja (ontologiaperustainen yksikielinen ja kieltenvälinen tiedonhaku, tiivistelmien tuottaminen, hakutulosten klusterointi, luokittaminen ja kirjanmerkkaus sekä RSS-syötteet). Lisäksi tutkittiin, miten testikäyttäjät tekevät annetut tehtävät WebExplorerilla. Käyttäjätestaus toteutettiin eduskunnan sisäisessä tietopalvelussa ja kirjastossa kahdessa vaiheessa: toukokuussa 2009 oli itsenäinen testausvaihe ja noin kuukautta myöhemmin havainnoitu -vaihe.
Ensimmäiseen testausvaiheeseen osallistui neljä testikäyttäjää, joille käytiin esittelemässä WebExplorer. Testikäyttäjille lähetettiin sähköpostitse viiden päivän ajan suuntaa-antavia tehtäviä. Jokaisella päivällä oli oma teemansa, jotta tärkeimmät toiminnot tulisi testattua. Testikäyttäjiltä kysyttiin myös hakuaiheeseen ja mahdollisiin ongelmiin liittyviä kysymyksiä. Viimeisenä päivänä kysyttiin yleisempiä kysymyksiä järjestelmästä ja sen toiminnoista. Ensimmäisestä testausvaiheesta tallentui lokitietoa, jonka tulkitsemisessa olivat apuna testikäyttäjien sähköpostivastaukset. Toiseen testausvaiheeseen osallistui yhteensä kahdeksan testikäyttäjää, joista puolet oli osallistunut myös ensimmäiseen testausvaiheeseen. Toisessa testausvaiheessa käyttäjätestit toteutettiin siten, että testikäyttäjille esiteltiin järjestelmä ja heille annettiin tehtäväksi yksi tai kaksi simuloitua tietopalveluun liittyvää työtehtävää. Tehtävien teosta tallentui lokitietoa. Testitilanteet nauhoitettiin, jotta erityisesti hyödyllisyyteen liittyvät kommentit saataisiin tallennettua myöhempää analyysiä varten. Testikäyttäjät täyttivät käyttäjätestin alussa esitietolomakkeen ja jokaisen tehtävän jälkeen tehtävää koskevan kyselyn sekä testitilanteen lopuksi loppukyselyn. WebExplorerin hyödyllisyyttä koskeva aineisto analysoitiin aineistolähtöisen sisällönanalyysin keinoin. Monivalintakysymysten vastaukset muodostivat kuitenkin poikkeuksen, jolloin laskettiin joko vastausten mediaani tai niiden jakautuminen eri vastausvaihtoehtoihin. Tehtävien tekotapoja koskevaan tutkimuskysymykseen vastattiin lokitietojen ja niitä selittävän aineiston, kuten sähköpostivastausten, avulla.
Tutkimustulokset osoittivat, että WebExploreria pidettiin melko hyödyllisenä, vaikka sen käyttöliittymässä nähtiin puutteita, ja järjestelmän käytön oppimisen arvioitiin vievän aikaa. Toiminnoista hyödyllisin ja pidetyin oli ontologiaperustainen tiedonhaku sekä yksikielisenä että kieltenvälisenä. Toiminnon nähtiin auttavan sopivien hakuavaimien löytämisessä, varsinkin uuteen aiheeseen perehdyttäessä. Tiivistelmien hyödyllisyyttä sitä vastoin epäiltiin niiden puutteellisen laadun vuoksi. Kaiken kaikkiaan WebExplorerin arviointi oli kuitenkin melko positiivinen sille annettujen kouluarvosanojen keskiarvon ollessa noin 7. Toisaalta vain kaksi testikäyttäjää kahdeksasta (2/8) oli valmis ottamaan WebExplorerin kaltaisen työkalun käyttöönsä. Suurin osa, viisi kahdeksasta (5/8) valitsi vaihtoehdon ”En osaa sanoa”. Epävarmojen vastausten merkittävä osuus saattaisi johtua verrattain lyhyestä testausajasta. Jatkotutkimukseen kannattaisikin varata enemmän aikaa kuin mitä omassa tutkimuksessani tehtiin. WebExploreria olisi tutkimustulosten valossa myös syytä kehittää helppokäyttöisemmäksi, ja mahdollisesti räätälöidä vastaamaan jonkin tietyn käyttäjäryhmän, vaikkapa tietyn aiheen parissa työskentelevien tutkijoiden, tarpeita.
Asiasanat:käyttäjätutkimus, ontologiat, tiedonhakujärjestelmät
Ensimmäiseen testausvaiheeseen osallistui neljä testikäyttäjää, joille käytiin esittelemässä WebExplorer. Testikäyttäjille lähetettiin sähköpostitse viiden päivän ajan suuntaa-antavia tehtäviä. Jokaisella päivällä oli oma teemansa, jotta tärkeimmät toiminnot tulisi testattua. Testikäyttäjiltä kysyttiin myös hakuaiheeseen ja mahdollisiin ongelmiin liittyviä kysymyksiä. Viimeisenä päivänä kysyttiin yleisempiä kysymyksiä järjestelmästä ja sen toiminnoista. Ensimmäisestä testausvaiheesta tallentui lokitietoa, jonka tulkitsemisessa olivat apuna testikäyttäjien sähköpostivastaukset. Toiseen testausvaiheeseen osallistui yhteensä kahdeksan testikäyttäjää, joista puolet oli osallistunut myös ensimmäiseen testausvaiheeseen. Toisessa testausvaiheessa käyttäjätestit toteutettiin siten, että testikäyttäjille esiteltiin järjestelmä ja heille annettiin tehtäväksi yksi tai kaksi simuloitua tietopalveluun liittyvää työtehtävää. Tehtävien teosta tallentui lokitietoa. Testitilanteet nauhoitettiin, jotta erityisesti hyödyllisyyteen liittyvät kommentit saataisiin tallennettua myöhempää analyysiä varten. Testikäyttäjät täyttivät käyttäjätestin alussa esitietolomakkeen ja jokaisen tehtävän jälkeen tehtävää koskevan kyselyn sekä testitilanteen lopuksi loppukyselyn. WebExplorerin hyödyllisyyttä koskeva aineisto analysoitiin aineistolähtöisen sisällönanalyysin keinoin. Monivalintakysymysten vastaukset muodostivat kuitenkin poikkeuksen, jolloin laskettiin joko vastausten mediaani tai niiden jakautuminen eri vastausvaihtoehtoihin. Tehtävien tekotapoja koskevaan tutkimuskysymykseen vastattiin lokitietojen ja niitä selittävän aineiston, kuten sähköpostivastausten, avulla.
Tutkimustulokset osoittivat, että WebExploreria pidettiin melko hyödyllisenä, vaikka sen käyttöliittymässä nähtiin puutteita, ja järjestelmän käytön oppimisen arvioitiin vievän aikaa. Toiminnoista hyödyllisin ja pidetyin oli ontologiaperustainen tiedonhaku sekä yksikielisenä että kieltenvälisenä. Toiminnon nähtiin auttavan sopivien hakuavaimien löytämisessä, varsinkin uuteen aiheeseen perehdyttäessä. Tiivistelmien hyödyllisyyttä sitä vastoin epäiltiin niiden puutteellisen laadun vuoksi. Kaiken kaikkiaan WebExplorerin arviointi oli kuitenkin melko positiivinen sille annettujen kouluarvosanojen keskiarvon ollessa noin 7. Toisaalta vain kaksi testikäyttäjää kahdeksasta (2/8) oli valmis ottamaan WebExplorerin kaltaisen työkalun käyttöönsä. Suurin osa, viisi kahdeksasta (5/8) valitsi vaihtoehdon ”En osaa sanoa”. Epävarmojen vastausten merkittävä osuus saattaisi johtua verrattain lyhyestä testausajasta. Jatkotutkimukseen kannattaisikin varata enemmän aikaa kuin mitä omassa tutkimuksessani tehtiin. WebExploreria olisi tutkimustulosten valossa myös syytä kehittää helppokäyttöisemmäksi, ja mahdollisesti räätälöidä vastaamaan jonkin tietyn käyttäjäryhmän, vaikkapa tietyn aiheen parissa työskentelevien tutkijoiden, tarpeita.
Asiasanat:käyttäjätutkimus, ontologiat, tiedonhakujärjestelmät