Credtwi : a research tool for social media credibility analysis
Huusko, Eetu (2022-09-14)
Huusko, Eetu
E. Huusko
14.09.2022
© 2022 Eetu Huusko. Ellei toisin mainita, uudelleenkäyttö on sallittu Creative Commons Attribution 4.0 International (CC-BY 4.0) -lisenssillä (https://creativecommons.org/licenses/by/4.0/). Uudelleenkäyttö on sallittua edellyttäen, että lähde mainitaan asianmukaisesti ja mahdolliset muutokset merkitään. Sellaisten osien käyttö tai jäljentäminen, jotka eivät ole tekijän tai tekijöiden omaisuutta, saattaa edellyttää lupaa suoraan asianomaisilta oikeudenhaltijoilta.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:oulu-202209143408
https://urn.fi/URN:NBN:fi:oulu-202209143408
Tiivistelmä
In recent years, social media platforms have solidified their position as major information-sharing networks. People now also proactively look for information online and on social media for their everyday problems. There is a more sinister side to this development as well, as organizations and malevolent actors have taken the opportunity to spread false information and fake news online. For these reasons, it has become increasingly important to research the credibility of shared information.
In this thesis, we designed and implemented a generalizable crowdsourcing research tool in the form of a browser plugin. Our tool, Credtwi, injects credibility questionnaires into the user’s Twitter feed. These customizable questionnaires are attached to each tweet. Utilizing Credtwi, we carried out a week-long field study where participants assessed the credibility of tweets on certain topics. Analysing these assessments and the accompanying onboarding and post-experiment questionnaires, we identified which elements affect the participants’ perceived credibility. These include factors such as the author’s verification status, the linked information source, and the author’s relevance to the topic. The participant’s perception of Twitter as an information source, in general, had lowered statistically significantly after using Credtwi for a week.
Pulling together the results, the analysis, and the discussion at the end of this thesis, we contribute a timely piece of research to the domain of online content credibility. Further, we propose implications for crowdsourced credibility research with browser plugins including using a multi-dimensional credibility scale and adding cognitive load to the assessment process. Viime vuosina sosiaalisen median alustat ovat vakiinnuttaneet asemiaan merkittävinä tiedon jakamisverkostoina. Nykyään ihmiset myös ennakoivasti etsivät tietoa verkosta ja sosiaalisesta mediasta heidän jokapäiväisiin ongelmiinsa. Tähän kehitykseen liittyy myös pahaenteisempi puoli, kun organisaatiot ja pahantahtoiset toimijat ovat hyödyntäneet tämän mahdollisuuden levittääkseen valheellisia uutisia sekä tietoja verkossa. Näistä syistä on enenevässä määrin tärkeää tutkia jaetun tiedon uskottavuutta.
Tässä diplomityössä suunnittelimme ja toteutimme joukkoustamistutkimus yleistyökalun selain lisäosan muodossa. Työkalumme, Credtwi, lisää kyselyitä uskottavuudesta käyttäjän Twitter syötteeseen. Nämä muokattavat kyselyt on yhdistettynä jokaiseen tviittiin. Credtwiä käyttäen toteutimme viikon pituisen kenttätutkimuksen, jossa osallistujat arvioivat valittujen aiheiden tviittien uskottavuutta. Näistä arvioista sekä alku- ja loppukyselyistä tunnistettiin mitkä elementit vaikuttavat havaittuun uskottavuuteen esimerkiksi tviitin kirjoittajan verifikaatio tila, linkitetty tiedonlähde sekä tviitin kirjoittajan asiaankuuluvuus aiheeseen. Osallistujien havaitsema uskottavuus Twitteristä yleisenä tiedonlähteenä laski tilastollisesti merkittävästi heidän käytettyään Credtwiä viikon ajan.
Yhdistettynä tulokset, analyysit sekä loppukeskustelut edesautamme verkkosisällön uskottavuuden tutkimusalaa ajankohtaisella tutkimuksella. Lisäksi ehdotamme seuraamuksia tulevaisuuden joukkoustamistutkimuksiin, jotka hyödyntävät selain lisäosia. Näitä seuraamuksia ovat esimerkiksi moniulotteisen uskottavuusasteikon käyttö sekä kognitiivisen kuorman lisäys arviointiprosessiin.
In this thesis, we designed and implemented a generalizable crowdsourcing research tool in the form of a browser plugin. Our tool, Credtwi, injects credibility questionnaires into the user’s Twitter feed. These customizable questionnaires are attached to each tweet. Utilizing Credtwi, we carried out a week-long field study where participants assessed the credibility of tweets on certain topics. Analysing these assessments and the accompanying onboarding and post-experiment questionnaires, we identified which elements affect the participants’ perceived credibility. These include factors such as the author’s verification status, the linked information source, and the author’s relevance to the topic. The participant’s perception of Twitter as an information source, in general, had lowered statistically significantly after using Credtwi for a week.
Pulling together the results, the analysis, and the discussion at the end of this thesis, we contribute a timely piece of research to the domain of online content credibility. Further, we propose implications for crowdsourced credibility research with browser plugins including using a multi-dimensional credibility scale and adding cognitive load to the assessment process.
Tässä diplomityössä suunnittelimme ja toteutimme joukkoustamistutkimus yleistyökalun selain lisäosan muodossa. Työkalumme, Credtwi, lisää kyselyitä uskottavuudesta käyttäjän Twitter syötteeseen. Nämä muokattavat kyselyt on yhdistettynä jokaiseen tviittiin. Credtwiä käyttäen toteutimme viikon pituisen kenttätutkimuksen, jossa osallistujat arvioivat valittujen aiheiden tviittien uskottavuutta. Näistä arvioista sekä alku- ja loppukyselyistä tunnistettiin mitkä elementit vaikuttavat havaittuun uskottavuuteen esimerkiksi tviitin kirjoittajan verifikaatio tila, linkitetty tiedonlähde sekä tviitin kirjoittajan asiaankuuluvuus aiheeseen. Osallistujien havaitsema uskottavuus Twitteristä yleisenä tiedonlähteenä laski tilastollisesti merkittävästi heidän käytettyään Credtwiä viikon ajan.
Yhdistettynä tulokset, analyysit sekä loppukeskustelut edesautamme verkkosisällön uskottavuuden tutkimusalaa ajankohtaisella tutkimuksella. Lisäksi ehdotamme seuraamuksia tulevaisuuden joukkoustamistutkimuksiin, jotka hyödyntävät selain lisäosia. Näitä seuraamuksia ovat esimerkiksi moniulotteisen uskottavuusasteikon käyttö sekä kognitiivisen kuorman lisäys arviointiprosessiin.
Kokoelmat
- Avoin saatavuus [31657]