Oppimisanalytiikka on ajankohtainen koulutuksen, opetuksen ja oppimisen ilmiö. Digiohjaaja cMOOCilla haluttiin valjastaa oppimisanalytiikka laadukkaan ohjauksen tueksi. Tämän lisäksi oli tarve ymmärtää paremmin oppimista cMOOC toteutuksilla. Miten oppimisanalytiikkadataa sitten hyödynnettiin digiohjaaja cMOOCilla ja millainen rooli sillä oli verkkototeutuksen suunnittelussa, toteutuksen aikana sekä toteutuksen päätyttyä? Kirjoituksessa kuvataan myös, miten dataa on kerätty, miten dataa on hyödynnetty ja mitä havaintoja kerätystä datasta on tehty.

KUVA: one_photo/Shutterstock.com

cMOOC toteutettiin Oulun ammattikorkeakoulun (Oamk) Moodle verkko-oppimisympäristössä (Blackboard Open LMS). Samalla pilotoitiin myös ympäristöön asennetun Intelliboard analytiikkalisäosan käyttöä. Osa visualisoinnista on tehty Excel-ohjelmalla Moodle-alustalta saatavan lokitiedon pohjalta, jossa on mukana aikaleima (päiväys ja kellonaika).

Suunnitteluvaihe: Digijalanjäljet ja datapisteet – pedagoginen muotoilu (Learning design)

Digiohjaaja cMOOCin suunnitteluvaiheessa ja pedagogisessa muotoilussa (kuvio 1) huomioitiin oppimisanalytiikan käyttö. Myös osallistujille kerrottiin jo ilmoittautumisvaiheessa anonymisoidun datan käyttämisestä oppimisanalytiikassa. Toteutuksen rakenne muotoiltiin niin, että oppimispolku tehtiin näkyväksi aktiviteetteihin kiinnitetyn seurannan avulla. Tietoa esimerkiksi opiskelijoiden edistymisestä tai sitoutumisesta saadaan, kun huomioidaan Moodlessa:

• Kurssipohjan päätasolla on riittävä määrä seurattavia oppimistapahtumia
• Suoritusten seuranta on päällä (Completion tracking)
• Suoritusten seuranta on päällä halutuissa aktiviteeteissa
• Mitkä aktiviteetit (esimerkiksi tehtävän palautukset) arvioidaan ja minkälaista asteikkoa niissä käytetään
• Kurssin suoritus on päällä (Course completion)

Opiskelijan oppimisen polun etappien ja datapisteiden kautta halutiin saada ohjaajille ja opiskelijoille tietoa muun muassa etenemisestä, eli esim. hidastumisesta ja aikataulussa pysymisestä. Etappien saavuttaminen antoi myös automatisoitua palautetta osallistujille, jonka tavoitteena oli kannustaa ja motivoida.

KUVIO 1. Pedagogisen muotoilun avulla määriteltiin oppimisen teot (tapahtumat), joista kertyvän tiedon avulla pyritään laadukkaamman datan saamiseen oppimisanalytiikan näkökulmasta

Toteutusvaihe: Oppimisprosessin aikana opiskelijan toiminnasta kertyneen datan hyödyntäminen ohjauksessa cMOOC-opintojaksolla

cMOOC toteutettiin Moodle verkko-oppimisympäristössä (Blackboard Open LMS) ja ohjaajilla oli käytössä toteutuksen aikana verkko-oppimisympäristön omat työkalut osallistujien opintojen etenemisen seuraamiselle (kuvio 2). Ohjaajat saivat kaiken varalta opastuksen ympäristön omien työkalujen käyttöön. Pääasiassa ohjaajat käyttivät aktiiviteettien suoritus -raporttinäkymää seuratessaan ryhmien edistymistä.

KUVIO 2. Suoritusten seuranta auttaa hahmottamaan etenemisen seurantaa Moodlessa

Tässä vaiheessa cMOOC toteutusta Intelliboard-analytiikkalisäosaa ei vielä osattu hyödyntää, koska sen pilotointia vasta aloiteltiin.

Toteutusvaiheen loputtua, cMOOCin jälkeen: Parempi ymmärrys oppimisesta ja oppimisympäristöstä

Yksi oppimisanalytiikan käytön tavoitteista oli saadun tiedon pohjalta pyrkimys ymmärtää paremmin oppimista ja oppimisympäristöä toiminnan kehittämisen ja ehkä myös tehostamisen näkökulmasta. Tavoitteena oli kuvata ja analysoida kertynyttä dataa, sekä tunnistaa sen pohjalta esim. malleja, miten oppimisprosessi eteni. Näiden tulosten pohjalta saadaan tietoa siitä, miten seuraavat MOOC-tyyppiset toteutukset kannattaa toteuttaa ja miten oppijoita ja ohjaajia voidaan palvella paremmin eri oppimisympäristöissä.

Alku alkoi rytinällä

Kuten aikaisemmin on jo todettu, oli ilmoittautuneita yhteensä 425. Ilmoittautuneista cMOOC-oppimisalustalle kirjautui 350, joista 189 suoritti MOOCin loppuun. Yleensä MOOCien läpäisyprosentti on 10 % luokkaa, joten tässä tapauksessa 54 % läpäisy ylitti odotukset. Monesti MOOC ympäristössä käydään kurkkaamassa sisällöt ja haetaan vinkkejä tai poimitaan itseä eniten kiinnostavat asiat.

Yksi mielenkiintoinen tulos on se, että osallistujien motivaatio pysyi korkealla, vaikka alussa oli ennakkotehtävä. Yli 80 % kurssille rekisteröityneistä osallistujista jatkoi opiskelua ensimmäisen osion jälkeen. Kuvassa kolme on kuvattu ryhmittäin (R1=Ryhmä 1, R2=Ryhmä 2, jne.), miten osallistujat ovat tehneet seurattavia kohteita loppuun eli suorittaneet aktiviteetteja. Solussa on aina yhden osallistujan tekemien aktiviteettien määrä. Vihreä väri korostaa ne osallistujat ryhmistä, jotka tekivät koko kurssin loppuun. Keltaisella on korostettu ryhmästä ne osallistujat, jotka ovat suorittaneet kymmenen tai enemmän aktiviteetteja, mutta eivät ole suorittaneet kurssia loppuun. (Kuvio 3.) Näissä osallistujissa on muutamia, joilta on jäänyt puuttumaan vain muutamia tehtäviä. Olisiko siis jokin ohjaava toimenpide voinut vaikuttaa suoritusten loppuun saamiseksi? Palautteessa selvisi, että syy on ollut yksinkertaisesti ajan puute.

KUVIO 3. Suoritettujen aktiviteettien määrä / opiskelija. Pystysarake on aina yksi ryhmä (R1, R2, jne.) ja yksi solu on opiskelija ja luku kertoo opiskelijan tekemien suoritusten määrän

Päiväkohtainen aktiivisuus

Moodlen lokidatan avulla selvitettiin muun muassa sitä, milloin opiskelijat olivat aktiivisimmillaan. Lokidatassa on mukana aikaleima (päivämäärä ja kellonaika), jolla saatiin kuvattua ajallinen jakauma aktiivisimmista ”piikeistä” ja myös ne kohdat, jolloin oli hiljaisempaa.

Kuviossa 4 näkyy selvästi, että uusien osioiden ja aihepiirien auetessa, aktiivisuus oli selvästi suurempaa. Tähän on pyritty suunnitteluvaiheen pedagogisella muotoilulla eli tietynlainen uteliaisuus on saatu pidettyä yllä, koska osioiden sisältöihin pääsi perehtymään vasta silloin, kuin osio oli ajastettu aukeamaan. Tämä on toiminut siis myös motivoivana tekijänä palata kurssiympäristöön.

Voidaan myös todeta, että ajankäyttökuorma on jakaantunut tasaisesti koko kurssin ajalle. Vaikka ruuhkapiikkejä matkalla näkyykin, jakaantuvat ne tasaisesti koko ajanjaksolle.

KUVIO 4. Lokitapahtumien päivittäinen määrä ja ajallinen jakauma kurssipäivinä. Väreillä korostetaan osioiden, eli uusien aihekokonaisuuksien alkamista ja loppumista

Osallistujat olivat sitoutuneita opiskeluun

Yksi osallistujien sitoutuneisuutta kurssilla kuvaa suoritettujen aktiviteettien määrä. Voidaan todeta, että cMOOCille osallistuneiden sitoutuneisuus opiskeluun on ollut erinomainen, kun asiaa tarkastellaan määriteltyjen suorituksien kautta. Tämä tieto pohjautuu suoritusten seurantaan, jonka käyttö suunniteltiin cMOOCin pedagogisessa muotoilussa. Kaikkia aktiviteetteja ja aineistoja ei toki määritelty mukaan suoritusten seurantaan.

Kuviossa 5 kuvataan sitä, kuinka suuren määrän sisällöistä ja tehtävistä osallistujat tekivät prosentteina. Kuvasta näkee, että puolet (54 %) on tehnyt 100 % tehtävistä loppuun. Lokidatan perusteella huomataan myös se, että yli kaksisataa osallistujaa on tehnyt puolet tehtävistä loppuun ja noin kaksisataa on tehnyt 80 % tehtävistä loppuun. Suuri osa siis lopetti kurssin kesken ihan loppuvaiheessa. Tähän löytyi syy palautteesta, eli aika ei riittänyt. Voisiko siis seuraava toteutus olla ajallisesti hieman lyhempi? Ehkä joitain kehittämisajatuksia tästä oppimisanalytiikkatiedosta nousee esille.

KUVIO 5. Osallistujien suoritukset prosentteina

Ryhmät työskentelivät samaan tahtiin

Edellä on todettu, että koko cMOOCin läpäisyprosentti oli 54 %. Kuviossa 6 on yksilöityä tietoa ryhmäkohtaisesti siitä, miten ryhmissä on saatu suoritukset tehtyä loppuun. Ryhmittäin tässä ei ole eroja, vaan kuvaaja mukailee koko osallistujamäärän suorituksia, jota kuvattiin kuviossa 5.

Onko ryhmäohjaajien menetelmät ja heidän ohjaukseensa käyttämä aika olleet aika lailla samanlaiset, kun ryhmät ovat niin samankaltaisia suoritusten määrän suhteen? Tätä ei kuitenkaan kertyneen lokidatan pohjalta selvitetty, vaikka opettajista ja ohjaajista kertyy ympäristöihin tietoa samalla tavalla kuin opiskelijoistakin.

KUVIO 6. Edistyminen ryhmittäin

Löytyykö eroja ryhmien aktiivisuuden suhteen? Kuviossa 7 on ryhmäkohtainen kuvaaja aktiivisuudesta. Kuvaaja perustuu Moodlen lokidataan, kuten myös kuviossa 4. Kuvaajat on muodoltaan hyvin samanlaisia, eli eroavaisuuksia ei ole. Opiskeluun käytetty aika on hyvin pitkälle samanlainen. Toki joitain piikkejä tai notkahduksia tapahtumien määrissä löytyy. Täytyy myös huomata, että ryhmät ovat eri kokoisia.

KUVIO 7. Ryhmäkohtainen aktiivisuus

cMOOC-sisällöt kiinnostivat opiskelijoita

Etenemisen seurantaan mukaan otettujen kohteiden käyttöä voidaan seurata muutamilla valmiilla kuvaajilla, jotka saadaan suoraan Intelliboardin tuottamista raporteista. Kuviossa 8 nähdään, että esimerkiksi ennakkotehtävän palautus -keskustelualueella on käynyt yli 95 % osallistujista. Ennakkotehtävän palautus tehtiin keskustelualueelle. Tällaisella kuvaajalla voidaan etsiä osallistujien eniten ja vähiten kiinnostavia kohteita. Nämä kohteet voivat olla aineistoja tai aktiviteetteja. Kuvaajasta voidaan todeta, että cMOOC toteutuksessa opiskelijat olivat sitoutuneita kaikissa ydin osioissa, jotka muodostivat sisältökokonaisuudet.

KUVIO 8. Opiskelijoiden sitoutuminen eri kohteissa prosentteina (Intelliboard)

KUVIO 9. Aktiviteeteissa käytetty aika (Intelliboard)

Oppimisympäristön kehittämisen näkökulmia ja löydöksiä

Oppimisanalytiikan avulla tavoitteena oli myös oppimisympäristön kehittäminen. Tästä näkökulmasta löytyy yksi esimerkki kuviosta 10. Moodlessa on paljon vuorovaikutusta lisääviä ja tukevia aktiviteetteja. Ympäristöstä löytyy myös useita menetelmiä viestiä ja kommunikoida opiskelijoiden kanssa niin ryhmissä, kuin ohjaajan ja opiskelijan kesken. Suunnitteluvaiheessa todettiin, ettei olemassa olevat työkalut riitä, koska verkkototeutuksen luonteen takia ennakoitiin, että tarvitaan erillinen lisäosa opiskelijan ja ohjaajien väliseen kommunikointiin. Moodlen oma viestintäväline ei riittänyt. Kyseinen työkalu oli dialogi-aktiviteetti, jolla oppilaat ja opettajat voivat aloittaa kahdenkeskisen keskustelun haluamansa henkilön kanssa.

Kuvassa 10 nähdään selvästi, että ”keskustelu pienryhmäohjaajasi kanssa” -aktiviteetin käyttöön on sitoutunut 84 % opiskelijoista. Analytiikalla voidaan todeta, että sijoitus kannatti. Itse taisin tätä hankintaa ensin vähän epäillä.

Samasta kuvasta näkee korostettuna myös, kuinka vähän on osallistuttu online-päivystyksiin ennakkotehtäväviikolla. Itse ennakkotehtävään sitoutui 95% osallistujista, mutta online-päivystykseen vain 14 % osallistujista. Tämä mukailee aika paljon opettajien kokemuksia siitä, että online-päivystyksiä toivotaan, mutta osallistuminen on niihin vähäistä myös yleisesti monimuotototeutuksilla. Kannattaako siis tällaiseen toimintaan jatkossa sitoa aikaa?

KUVIO 10. Oppimistekoihin sitoutuminen prosentteina (Intelliboard)

Suunnitteluvaiheessa tehtyä toteutuksen muotoilua voidaan pitää onnistuneena, mikäli sitä tarkastellaan osallistujien ajan käytön suhteen. Kuviossa 11 nähdään, että osioiden eli aihepiireissä käytetty aika jakaantuu aika lailla tasaisesti kurssin keston aikana. Osio pitää sisällään eri aiheiden aineistot ja aktiviteetit.

KUVIO 11. Eri osioissa käytetty aika (Intelliboard)

Yhteenveto

Oppimisanalytiikan käyttö on aika uusi asia opetuksessa, vaikka opettajat ovat näitä asioita miettineet ja havainnoineet aina. Oppimisanalytiikka on myös yksi ajankohtaisista koulutuksen, opetuksen ja oppimisen ilmiöistä kansallisesti ja kansainvälisesti. Tarvitaan vielä paljon tutkimusta ja rohkeaa pilotointia muun muassa siitä, miten analytiikka auttaa opettajaa arkipäivän työssä, kun oppimista tapahtuu yhä enemmän digitaalisissa ympäristöissä digitaalista aineistoa hyödyntämällä.

Oppimisanalytiikan määrittelyn taustalla Digiohjaaja-hankkeessa on esimerkiksi LAK 2011 -konferenssissa vuonna 2011 tehty kuvaus oppimisanalytiikasta. Tämän määrittelyn mukaan oppimisanalytiikalla tarkoitetaan oppijoista ja heidän toimintaympäristöstään kerättävää tietoa, mittaamista, analysointia ja raportointia, jonka pohjalta yritetään ymmärtää ja optimoida oppimista ja oppimisympäristöjä (ks. esim. Society for Learning Analytics Research, SoLAR).

Mikäli oppimisanalytiikan aihe kiinnostaa laajemminkin suosittelen tutustumaan seuraaviin sivustoihin ja blogeihin. Yksi näistä on APOA-hanke (Avain parempaan oppimiseen amkeissa), jossa Oamk on myös mukana. APOAn blogista löytyy myös oamkilaisten kirjoittama postaus aiheesta ”Oppimisanalytiikan digitaaliset ympäristöt: Intelliboard Moodlessa ja Pepin datan visualisointi”.

• APOA
• AnalytiikkaÄly
• Oppimisanalytiikka LinkedIn-ryhmä
• eAMK-hankkeen oppimisanalytiikkaryhmä
• Analytiikkajaosto

Kurttila Jukka
lehtori, eKampus
Oulun ammattikorkeakoulu

Lähteet

What is Learning Analytics. Society for Learning Analytics Research (SoLAR). Hakupäivä 1.11.2019.  https://www.solaresearch.org/about/what-is-learning-analytics/

Pysyvä osoite: http://urn.fi/urn:nbn:fi-fe2019121247811