Assessment Technologies in Online Learning

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2020-08-18
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
68
Series
Abstract
Online learning assessment methods, such as browser submitted exercises, are becoming more and more a curriculum staple in universities. However, even many programming courses still use traditional paper based exams as their final assessment method. Many feel that especially programming on paper is not the best way to evaluate programming skills, and does not represent an authentic environment. That said, the transition to an electronic system is not straightforward. Some courses have removed a final summative exam altogether, relying only on exercises done during the course. This requires different kind of approach to authenticating student work. What are the problems that arise technically and othe rwise? The goal of this thesis is to analyze the current challenges facing implementations of online assessment in the context of Computer Science courses. Some of the main themes included are assesssment types, exercise feedback, invigilation, authentication and control. Using current theory on assessment as background, the experiences and attitudes regarding online assessment of both teachers and students are probed and contrasted with each other. A literature review was conducted to look at recent use-case studies, from which different types of assessment and exam methods are compared and evaluated. Student opinions were collected through an online questionnaire, and teachers interviewed with a semi-structural interview method. Finally, the findings are reported and discussed in the context of Aalto University. Results agree with earlier literature, in that both students and teachers have a preference for online assessment. We find that strict authentication is considered problematic and ineffective by most teachers as well as students. Strict control, such as cameras and keyboard logging, should be done on University hardware and locations. Also, scalability in electronic exams is a problem yet to be solved.

Digitaaliset oppimismetodit, kuten selaimen kautta palautettavat tehtävät, ovat yhä yleisemmin osa opetushjelmaa yliopistoissa. Kuitenkin ohjelmoinnissakin usein vielä käytetään perinteistä paperitenttiä lopullisena arvostelumetodina. Monien mielestä paperilla ohjelmointi ei ole paras tapa evaluoida oppilaan osaamista, eikä se luo autenttista ympäristöä. Siitä huolimatta, siirtyminen täysin digitaalisiin systeemeihin ei ole suoraviivaista. Jotkin kurssit ovat poistaneet lopullisen summatiivisen tentin kokonaan, koostaen arvostelun vain kurssin aikana tehdyistä tehtävistä. Tämänlainen lähestymistapa vaatii aivan erilaiset tavat varmentaa opiskelijan oma työ. Minkälaisia ongelmia tästä syntyy teknisesti tai muulla tavalla? Tämän diplomityön tavoitteena on analysoida online arvostelujärjestelmien tämän hetken haasteita tietotekniikan opetuksessa. Pääteemoihin kuuluvat erilaiset arvostelumenetelmät, palaute, valvonta, autentikaatio ja kontrolli. Käyttäen tämänhetkistä arvioinnin teoriaa taustatietona, opettajien ja oppilaiden asenteita online oppimisesta tutkitaan ja vertaillaan toisiinsa. Kirjallisuuskatsauksessa tarkastellaan viimeaikaisia case-tutkimuksia, ja tutustutaan erilaisiin järjestelmiin sekä vertaillaan niitä. Opiskelijoiden ajatuksia kerättiin web-kyselyn avulla, ja opettajia haastateltiin puolistrukturoidulla haastattelumenetelmällä. Lopuksi tulokset esitellään ja tarkastellaan Aalto yliopiston kontekstissa. Tulokset yhtyvät aiemman kirjallisuuden kanssa siinä, että sekä opettajat, että opiskelijat suosivat digitaalisia arvostelumenetelmiä. Tiukassa autentikaatiossa on useita ongelmia ja molemmat osapuolet kokivat ne jokseenkin tarpeettomiksi ja tehottomiksi. Kamerat ja näppäindatan tallennus tulisi rajata yliopiston tiloihin ja laitteisiin. Tämän hetken sähköiset tentit eivät myöskään taivu nykyisiin opiskelijamääriin.
Description
Supervisor
Ari, Korhonen
Thesis advisor
Malmi, Lauri
Keywords
online learning, computer science education, learning, electronic examination, assessment
Other note
Citation