What constitutes conversational AI chatbot success? : an investigation into finding the KPIs to measure overall performance
Hedvall, Anna (2023)
Hedvall, Anna
2023
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2023110628627
https://urn.fi/URN:NBN:fi:amk-2023110628627
Tiivistelmä
As investment into Conversational AI chatbots (CAI) surges in the aftermath of Large Language Models LLM becoming a worldwide phenomenon, research and practice are still looking for a unified way to evaluate the business performance of commercial CAI.
This thesis contributes to the development of a standard set of objectives and KPIs measuring the success of commercial CAI, for a Finnish growth firm (Front AI Oy) to support and develop its business processes and client-facing activities.
To identify the optimal set of KPIs for evaluating CAI success, a review of the literature along with in-depth interviews with Front AI clients is conducted. In the development of a prototype of the standard, the thesis takes a design thinking and service design approach to produce a prototype. An investigation into the end user is conducted using service design tools such as contextual interviews, empathy map canvas, and persona. Customer journey mapping and user testing are used to ensure a user-centric result.
The results present a standard set of objectives and KPIs tailored to Front AI’s context. The final prototype serves as a visualized guide for Front AI employees in the process of identifying enterprise-level objectives and suitable KPIs for any CAI.
The thesis has both practical and theoretical implications, presenting the field with a set of standard KPIs for commercial Conversational AI chatbots that are yet to emerge. ChatGPT:n ja laajojen kielimallien nousu aiheutti syksyllä 2022 maailmanlaajuisen murroksen. Keskustelevaan tekoälyyn pohjautuvien chattibottien investointien lisääntyessä, tutkijat ja käytännön tekijät etsivät entistä enemmän tapaa, jolla kaupallisten virtuaalisten assistenttien arvoa ja vaikutusta liiketoimintaan voisi mitata.
Tämä opinnäytetyö tutkii kaupallisen virtuaalisen assistentin menestystä mittaavan standardin kehittämistä. Suomalaiselle kasvuyritykselle (Front AI) kehitetyn suorituskykymittariston tavoitteena on tukea yrityksen liiketoimintaprosesseja ja asiakaslähtöistä toimintaa. Optimaalisen tunnuslukumittariston kehittämisessä hyödynnettiin kirjallisuuskatsausta ja syväluotaavia asiakashaastatteluita. Prototyypin suunnittelussa käytettiin muotoiluajattelua ja asiakaslähtöisiä palvelumuotoilun menetelmiä. Prototyypin tuotannossa sovellettiin suunnittelun työkaluja, kuten haastatteluja, empatiakarttaa, persoonatyökalua, ja palvelupolkua. Käyttäjäkeskeisen tuloksen varmistamiseksi prototyyppi testattiin loppukäyttäjällä.
Tulokset esittelevät joukon tavoitteita, tunnuslukuja ja mittareita, jotka on räätälöity Front AI:n kontekstiin sopiviksi. Lopullinen prototyyppi toimii visualisena oppaana Front AI -työntekijöille, heidän määritellessään yritystason tavoitteita ja sopivia mittareita virtuaalisille assistenteille.
Opinnäytetyöllä on sekä käytännöllisiä että teoreettisia vaikutuksia. Työ esittelee alalle joukon virtuaalisten assistenttien kaupallista arvoa mittaavia tunnuslukuja, joita ei juurikaan tutkimuksissa ja käytännössä olla vielä kiteytetty.
This thesis contributes to the development of a standard set of objectives and KPIs measuring the success of commercial CAI, for a Finnish growth firm (Front AI Oy) to support and develop its business processes and client-facing activities.
To identify the optimal set of KPIs for evaluating CAI success, a review of the literature along with in-depth interviews with Front AI clients is conducted. In the development of a prototype of the standard, the thesis takes a design thinking and service design approach to produce a prototype. An investigation into the end user is conducted using service design tools such as contextual interviews, empathy map canvas, and persona. Customer journey mapping and user testing are used to ensure a user-centric result.
The results present a standard set of objectives and KPIs tailored to Front AI’s context. The final prototype serves as a visualized guide for Front AI employees in the process of identifying enterprise-level objectives and suitable KPIs for any CAI.
The thesis has both practical and theoretical implications, presenting the field with a set of standard KPIs for commercial Conversational AI chatbots that are yet to emerge.
Tämä opinnäytetyö tutkii kaupallisen virtuaalisen assistentin menestystä mittaavan standardin kehittämistä. Suomalaiselle kasvuyritykselle (Front AI) kehitetyn suorituskykymittariston tavoitteena on tukea yrityksen liiketoimintaprosesseja ja asiakaslähtöistä toimintaa. Optimaalisen tunnuslukumittariston kehittämisessä hyödynnettiin kirjallisuuskatsausta ja syväluotaavia asiakashaastatteluita. Prototyypin suunnittelussa käytettiin muotoiluajattelua ja asiakaslähtöisiä palvelumuotoilun menetelmiä. Prototyypin tuotannossa sovellettiin suunnittelun työkaluja, kuten haastatteluja, empatiakarttaa, persoonatyökalua, ja palvelupolkua. Käyttäjäkeskeisen tuloksen varmistamiseksi prototyyppi testattiin loppukäyttäjällä.
Tulokset esittelevät joukon tavoitteita, tunnuslukuja ja mittareita, jotka on räätälöity Front AI:n kontekstiin sopiviksi. Lopullinen prototyyppi toimii visualisena oppaana Front AI -työntekijöille, heidän määritellessään yritystason tavoitteita ja sopivia mittareita virtuaalisille assistenteille.
Opinnäytetyöllä on sekä käytännöllisiä että teoreettisia vaikutuksia. Työ esittelee alalle joukon virtuaalisten assistenttien kaupallista arvoa mittaavia tunnuslukuja, joita ei juurikaan tutkimuksissa ja käytännössä olla vielä kiteytetty.