Vaikuttavuuden arviointi on liikkuvaan maaliin tähtäämistä
Tutkimuksen vaikuttavuudesta puhuttaessa nousee keskusteluihin usein kysymys siitä, miten tätä voidaan arvioida. Yleensä pohdinta koskee erityisesti yhteiskunnallisen vaikuttavuuden arviointia, mikä on akateemiseksi luokitellun vaikuttavuuden ulkopuolella ja mihin ei ole selkeitä ohjenuoria korkeakoulujen meritointijärjestelmissä. Selkeyden vuoksi todettakoon, että kyse on nyt vaikuttavuudesta, johon englanniksi viitataan impact-sanalla.
Vaikuttavuuden arvioinnista kysyttäessä olen usein todennut, että se on vaikeaa ja juuri sen vuoksi niin mielenkiintoista. Arviointi sisältää ennakoinnin, menneen ja tulevan vertailun sekä riskienhallinnan tulkinnan lisäksi alojen erilaisia tapoja hahmottaa logiikkaa. Vaikuttavuuden arvioinnissa onkin usein käytössä vastaava SMART-malli kuin hakemusten tarkastelussa, mutta käänteisesti. Jälkikäteinen vaikuttavuusarviointi sisältääkin usein toimintalogiikan jäljitystä. Jos tavoitteet ja toimenpiteet on asetettu SMART-mallin mukaisesti, ne ovat riittävän tarkkoja (Specific), mitattavia (Measurable), saavutettavissa (Attainable), tarkoituksenmukaisia (Relevant) ja oikea-aikaisia tai aikaan sidottuja (Timely/Time-based). Kun toiminta on lisäksi suunniteltu niin, että tavoitteet vastaavat selkeisiin, tunnistettuihin tarpeisiin, saadaan sen eri osien yhteisvaikutuksesta aikaiseksi vaikuttavuuden aihioita.
Ei siis riitä, että kertoo, mitä vaikuttavuutta tavoitellaan tai mitä tehdään vaan arvioitsija kaipaa tietoa siitä, millaisia askeleita tämä käytännössä tarkoittaa ja miten mahdollisia yllätyksiä huomioidaan.
Käytännön tasolla arvioinnissa kiinnitetään usein huomio siihen, miten asioita aiotaan tehdä tai on tehty. Arvioitsija pyrkii ymmärtämään, millä keinoilla hankkeessa toteutetaan tai on toteutettu luvattuja asioita, miten ja miksi nämä keinot on valittu, milloin ja missä järjestyksessä toimia tehdään sekä miten mahdollisista muutoksista päätetään ja kenen kanssa päätökset tehdään. Ei siis riitä, että kertoo, mitä vaikuttavuutta tavoitellaan tai mitä tehdään vaan arvioitsija kaipaa tietoa siitä, millaisia askeleita tämä käytännössä tarkoittaa ja miten mahdollisia yllätyksiä huomioidaan. Kun hakemuksessa sanotaan, että toiminnan vaikuttavuus on X, etsii arvioitsija tietoa siitä, miten eri työvaiheissa ja työpaketeissa tai osahankkeissa toteutetaan asioita, jotta luvatut vaikuttavuuspolut todella materialisoituvat.
Mikä ero vaikutusten ja vaikuttavuuden välillä siis oikein on? Asia selvenee, kun sitä lähestyy prosessimaisesti ja aikaan sitoen. Yksi keino tähän on IOOI-malli, jossa vaikuttavuusketjua tarkastellaan panoksen (I, input), toiminnan (O, output), tulosten tai vaikutusten (O, outcome) ja vaikuttavuuden (I, impact) jatkumona. Muutaman vuoden hankkeen aikana saavutetaan yleensä tuloksia ja voidaan osoittaa vaikutuksia. Jos nämä ovat kestäviä ja niiden suhde muihin toimintaympäristössä tapahtuviin asioihin on harkittu, voidaan saada aikaan vaikuttavuuspolkuja. Varsinaisen vaikuttavuuden aikaansaaminen tarkoittaa kuitenkin pidempiaikaisia muutoksia toimintatavoissa ja -rakenteissa, käytöksessä tai asenteissa. Näitä taas tapahtuu useiden eri toimien ristivaikutuksesta. Yhden toimijan tai hankkeen vaikuttavuuden osoittaminen edellyttäisi siis tällaisten väliintulevien tekijöiden vaikutusten arviointia. Olennaisempaa on useimmiten osoittaa, millaisia polkuja pitkin näihin vaikuttavuuksiin voidaan päästä ja miten muiden tahojen kanssa tehdään yhteistyötä yhteisesti tavoiteltavien muutosten aikaansaamiseksi. Vaikuttavuuden aikaansaaminen on mitä suurimmissa määrin yhteispeliä.
Arvioitsija voi kuitenkin tarttua vain siihen, mikä on tehty näkyväksi. Rivien väliin ei kannata jättää mitään, minkä voi kuvata kunnolla.
Vaikuttavuutta arvioiva asiantuntija tarttuu loogisen päättelyn ketjuihin ja prosessien systemaattisuuteen. Hän tarkastelee tapoja, joilla vaikuttavuutta edistävät toimet on kytketty osaksi hankkeen niin sanottua ydintoimintaa. Arviointi on mahdollista, vaikka vaikuttavuuden aikaansaaminen on lähtökohtaisesti epävarmaa ja tarkasteltavat ajanjaksot pitkiä. Arvioitsija voi kuitenkin tarttua vain siihen, mikä on tehty näkyväksi. Rivien väliin ei kannata jättää mitään, minkä voi kuvata kunnolla. Vaikka epävarmuustekijöitä saa olla näkyvissä, piiloon jätetyt asiat kielivät usein systemaattisen otteen puutteesta tai hankkeen heikosta kytkennästä toimintaympäristöön. Vahvasti rakennettu hanke sen sijaan tunnistaa avoimesti riskitekijät, mahdollisuudet ja tylsältäkin vaikuttavan hallinnollisen puurtamisen. Se pystyy rakentamaan näiden ympärille uskottavan kokonaisuuden, jonka hallituista ristivaikutuksista syntyy laajempaa, kestävää vaikuttavuutta.
Vaikuttavuutta arvioivan asiantuntijan täytyy tehdä työnsä tietoisena siitä, että asetetut maalit liikkuvat toteutuksen aikana. Toimintaympäristöt voivat muuttua, uusia kumppaneita löytyä tai konsortio oivaltaa jotakin ennakoimatonta. Näihin tarttuminen on tavoitteisiin pääsemisen ja vaikuttavuuden aikaansaamisen kannalta usein hyvästä. Se siirtää maaleja, mutta kun keinot muutosten hallintaan ovat kunnossa ja toiminnan logiikka kestää muutoksetkin, voidaan vaikuttavuutta arvioida luotettavasti.