Metaevaluaation mahdollisuudet Euroopan unionin rakennerahastoarviointien kehittämisessä
KAKKO, JUHO (2008)
KAKKO, JUHO
2008
Finanssihallinto ja julkisyhteisöjen laskentatoimi - Financial Administration and Public Sector Accounting
Kauppa- ja hallintotieteiden tiedekunta - Faculty of Economics and Administration
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2008-06-04
Julkaisun pysyvä osoite on
https://urn.fi/urn:nbn:fi:uta-1-18539
https://urn.fi/urn:nbn:fi:uta-1-18539
Tiivistelmä
Arvioinnin laatu ja sen asettamat haasteet ovat olleet yhtenä teemana 2000–2006 rakennerahastokaudella. Arviointien muodostuttua osaksi rakennerahastotoimintaa tarvitaan sen kehittämiseksi systemaattista tutkimusta. Metaevaluaatio voi olla yksi tapa tämän toteuttamiseen. Metaevaluaatio on vasta viime vuosina tunnustettu omaksi arviointimuodokseen ja vain pieni osa arviointijulkaisuista käsittelee sitä. Metaevaluaatio on kumulatiiviselta pohjalta tarkoitettu parantamaan arvioinnin laatua, uskottavuutta ja tilivelvollisuuden toteutumista.
Tutkimusnäkökulmana on tutkiva tapaustutkimus. Metaevaluaatiota käsitellään tutkimuksessa nominalistisella ajatuksella eli sille ei pyritä antamaan yhtä ainoata määritelmää, vaan etsitään erilaisia reaalisia käyttötarkoituksia ja mahdollisuuksia. Lähtökohta on valittu metaevaluaation kontekstisidonnaisuuden takia. Tutkimuksen tarkoituksena on pohtia, miten metaevaluaatiolla voi kehittää arviointikäytäntöjä, mitä eri käyttömahdollisuuksia sillä voi olla rakennerahastoarvioinneissa, ja mitä erityispiirteitä siitä tulee ottaa huomioon. Tutkimuksen empiirinen aineisto perustuu kuuteen kaudella 2000–2006 tehtyyn rakennerahasto-ohjelmienväliarviointien loppuraporttiin.
Metaevaluaatiolla tarkoitetaan kahta luonteeltaan erilaista toimintaa, arvioinnin laadun arviointia ja meta-analyysiä. Arvioinnin laadun arvioinnin tarkoituksena on paljastaa arvioinnin virheet ja arvioida sen onnistuneisuus. Meta-analyysin tarkoitus on yhdistää samantyyppisten arviointien tulokset ohjelmien kokonaisvaikutusten selvittämiseksi. Metaevaluaatio voidaan luokitella sen tehtävän, suoritusajankohdan, toteuttajan arvioinnin kontekstin tai vaiheen mukaan.
Rakennerahastoarviointiraporttien analyysiin tarkoituksena oli saada yleiskuva niiden tekotavoista. Raportteja tulkittiin niiden läpinäkyvyyden ja metodologian esiintuomisen kannalta. Lisäksi verrattiin esitettyjen metaevaluaatio -mallien soveltamista raportteihin. Havaintoyksiköinä laadullisessa analyysissä käytettiin raporteissa esille tuotuja arviointikysymyksiä, arviointien teknisiä valintoja, metodologiaa ja arviointikehyksiä sekä Euroopan unionin ohjeistuksen vaikutuksia. Havaintoina oli, että kaikissa arvioinneissa oli käytetty moninaisia aineistoja, mikä vaikuttaa meta-analyysin käyttömahdollisuuksiin. Raporttien arviointikysymykset oli esitetty ja ne olivat toistensa kaltaisia ja pääsääntöisesti Euroopan unionin ohjeistuksien mukaisia. Metodologian esitystavoissa oli puutteita ja eroavaisuuksia, joka heijastuu raporttien luotettavuuteen ja metaevaluaation käyttömahdollisuuksiin.
Avainsanat: metaevaluaatio, meta-analyysi, ohjelma-arviointi, rakennerahastot
Tutkimusnäkökulmana on tutkiva tapaustutkimus. Metaevaluaatiota käsitellään tutkimuksessa nominalistisella ajatuksella eli sille ei pyritä antamaan yhtä ainoata määritelmää, vaan etsitään erilaisia reaalisia käyttötarkoituksia ja mahdollisuuksia. Lähtökohta on valittu metaevaluaation kontekstisidonnaisuuden takia. Tutkimuksen tarkoituksena on pohtia, miten metaevaluaatiolla voi kehittää arviointikäytäntöjä, mitä eri käyttömahdollisuuksia sillä voi olla rakennerahastoarvioinneissa, ja mitä erityispiirteitä siitä tulee ottaa huomioon. Tutkimuksen empiirinen aineisto perustuu kuuteen kaudella 2000–2006 tehtyyn rakennerahasto-ohjelmienväliarviointien loppuraporttiin.
Metaevaluaatiolla tarkoitetaan kahta luonteeltaan erilaista toimintaa, arvioinnin laadun arviointia ja meta-analyysiä. Arvioinnin laadun arvioinnin tarkoituksena on paljastaa arvioinnin virheet ja arvioida sen onnistuneisuus. Meta-analyysin tarkoitus on yhdistää samantyyppisten arviointien tulokset ohjelmien kokonaisvaikutusten selvittämiseksi. Metaevaluaatio voidaan luokitella sen tehtävän, suoritusajankohdan, toteuttajan arvioinnin kontekstin tai vaiheen mukaan.
Rakennerahastoarviointiraporttien analyysiin tarkoituksena oli saada yleiskuva niiden tekotavoista. Raportteja tulkittiin niiden läpinäkyvyyden ja metodologian esiintuomisen kannalta. Lisäksi verrattiin esitettyjen metaevaluaatio -mallien soveltamista raportteihin. Havaintoyksiköinä laadullisessa analyysissä käytettiin raporteissa esille tuotuja arviointikysymyksiä, arviointien teknisiä valintoja, metodologiaa ja arviointikehyksiä sekä Euroopan unionin ohjeistuksen vaikutuksia. Havaintoina oli, että kaikissa arvioinneissa oli käytetty moninaisia aineistoja, mikä vaikuttaa meta-analyysin käyttömahdollisuuksiin. Raporttien arviointikysymykset oli esitetty ja ne olivat toistensa kaltaisia ja pääsääntöisesti Euroopan unionin ohjeistuksien mukaisia. Metodologian esitystavoissa oli puutteita ja eroavaisuuksia, joka heijastuu raporttien luotettavuuteen ja metaevaluaation käyttömahdollisuuksiin.
Avainsanat: metaevaluaatio, meta-analyysi, ohjelma-arviointi, rakennerahastot