SOTETIE-hankkeessa kehitettiin koulutuksen vaikutuksen ja vaikuttavuuden arviointiin liittyviä käytänteitä ja menetelmiä. Tässä koulutuksen vaikuttavuuden ja vaikutusten ennakoinnin kuvauksessa on hyödynnetty palvelumuotoilun menetelmillä kerättyjä materiaaleja seuraavasti:
- Asiakasymmärryksen kuvaus, helmi-maaliskuu 2020, kohderyhmänä koulutuksessa tällä hetkellä olevat ERKO-opiskelijat ja ERKO-koulutuksista valmistuneet opiskelijat, opiskelijoiden esimiehet, opettajat. Menetelmä ja aineisto: haastattelut.
- Koulutuksien vaikutuksien ja vaikuttavuuden ideointi ja konseptointi. Tavoitteena löytää tietoa koulutuksesta syntyvän osaamisen tunnistamisesta, arvioinnista ja todentamisesta työelämässä. Menetelmä työpajat x 5. Touko-kesäkuussa 2020, kohderyhmänä ERKO-koulutuksen opiskelijat, opettajat ja opiskelijoiden esimiehet. Työpajoista kerätyt aineistot (työpajojen tallenteet, tuotetut materiaalit ja muistiinpanot).
- Asiantuntijoiden arvio syksy 2020, kohderyhmänä erikoistumiskoulutuksen opiskelijaryhmä 2020-2021. Menetelmä työpajat, joista kansallisia oli 3 ja alueellisia 1. Työpajoissa opiskelijat täydensivät vaikutusten arviointi -kanvaasimallin mukaista taulukkoa (© Saila Tykkyläinen, Vaikuttava yritys) aikaisemmista aineistoista nostettujen teemojen ja kehittämiskohteiden pohjalta.
Seuraavaksi kuvataan esimerkkinä hankkeessa toteutettua koulutuksen vaikuttavuuden ennakoinnin kehittämistä, jossa alustana toimivat kolme sosiaali- ja terveysalan erikoistumiskoulutusta. Toimijoina kehittämisessä olivat työyhteisöjen esimiehet, koulutuksiin osallistuvat tai osallistuneet työntekijät ja koulutusorganisaatioiden opettajat.
Asiakasymmärrys
Toteutus
Asiakasymmärryksen selvittämisvaiheessa tiedon keruu tehtiin haastatteluin, jotka kohdennettiin Sairaanhoitajan vastaanottotoiminnan, Mielenterveys- päihdehoitotyön ja Asiakas- ja palveluohjaus -erikoistumiskoulutuksien opiskelijoille, opettajille ja opiskelijoiden esihenkilöille tai mentoreille (N=24). Haastateltavat olivat Uudeltamaalta, Pohjois-Pohjanmaalta ja Lapista. Osa heistä oli suorittanut tai suorittamassa yllä mainittua erikoistumiskoulutusta, osa tarkasteli asiaa yleisesti työelämän näkökulmasta, ja osa oli ollut erikoistumiskoulutuksen opettajana.
Haastattelut olivat yksilöhaastatteluja pois lukien yksi haastattelu, joka tehtiin ryhmähaastatteluna
Teemoina olivat kiinnostus erikoistumiskoulutukseen, koulutuksen vaikutukset ja vaikuttavuus sekä koulutuksen vaikutuksen ja vaikuttavuuden arviointi. Haastattelut toteutuivat helmi-huhtikuussa 2020.
Tulokset
Haastattelujen mukaan opiskelijoille, opettajille ja työelämän edustajille koulutuksen vaikutukset ja vaikuttavuus merkitsivät erilaisia asioita ja vaikutuksen ja vaikuttavuuden eroa oli vaikea määritellä. Koulutuksen vaikutuksia ja vaikuttavuutta tarkasteltiin koulutuksen kehitysvaiheiden mukaisesti eli koulutuksen suunnitteluvaiheessa, koulutuksen toteutuessa ja koulutuksen jälkeen. Joka tapauksessa koulutuksen vaikutuksella ja vaikuttavuudella tarkoitettiin tavoitteellista muutosta. Vaikutukset ilmaistiin helposti käytännössä todennettavina muutoksina, kun taas vaikuttavuuden todistamisen nähtiin edellyttävän suunnitelmallista mittausta ja tutkimusta. Ajallisesti koulutuksen vaikutus näytti olevan lyhytkestoisempaa ja nopeammin ilmenevää kuin vaikuttavuus, jota puolestaan kuvattiin pitkäkestoiseksi ja vasta myöhemmin havaittavaksi ilmiöksi.
Taustamateriaalit
Kantola T., Ranta L. & Sarja J. (2019). Näkökulmia koulutuksen vaikutuksen ja vaikuttavuuden arviointiin. Jatkuvaa oppimista työyhteisössä.
Sarja, Kantola & Ranta (2019). Koulutuksen vaikuttavuuden arviointi taloudellisesta näkökulmasta.
Ranta, L. Kantola, T. & Saranki-Rantakokko, S. 2020. Mitä koulutuksen vaikutus ja vaikuttavuus ovat? -erikoistumiskoulutusten opettajien, opiskelijoiden ja työelämän kokemuksia.
Saranki-Rantakokko, S., Kantola, T. Ranta, L., 2020. Erikoistumiskoulutuksien vaikutus ja vaikuttavuus – Asiakasymmärrystä etsimässä.
Ideointi
Toteutus
Koulutuksen vaikutusten ja vaikuttavuuden menetelmien ja mittareiden tunnistamiseksi toteutettiin toukokuussa 2020 viisi työpajaa, joista kolme oli ideointityöpajoja ja kaksi konseptointiin liittyviä työpajoja. Digitaaliset työpajat suunniteltiin yhdessä SOTETIE ja SotePeda -hankkeiden toimijoiden kanssa ja olivat rakenteeltaan ja sisällöltään samanlaisia. Osallistujat olivat erikoistumiskoulutuksen käyneitä opiskelijoita, opettajia tai opiskelijoiden esihenkilöitä tai mentoreita. Osallistujat olivat Suomen eri alueilta henkilöitä (N 31). Ensimmäisessä työpajassa hahmoteltiin ideaalimallia koulutuksen vaikuttavuuden ja vaikutusten arvioinnille. Jälkimmäisessä työpajassa ryhmän tehtävänä oli määritellä koulutuksen vaikutuksien ja vaikuttavuuden arvioinnin kohteet ja menetelmät sekä roolit arvioinnissa. Keskustelu tiivistettiin sanomiksi, jotka kiinnitettiin matriisiin toimijaa kuvaavan sanan (opiskelija, opettaja, työelämän edustaja) ja koulutusprosessiin sijoittumisen (ennen koulutusta, koulutuksen aikana, koulutuksen jälkeen) mukaisesti. Työpajat nauhoitettiin ja niissä tehtiin muistiinpanoja analysointia varten.
Tulokset
Koulutuksen vaikutusten ja vaikuttavuuden ennakointia tarkasteltiin opiskelijan, työelämän edustajan ja koulutuksen toteuttajan näkökulmista. Opiskelijat ennakoivat koulutuksen vaikuttavuuden syntyvän urapolkua edistävästä asiantuntijuudesta ja asiantuntijuudesta saavutettavasta arvostuksesta. Heidän ennakkokäsityksensä perustui aikaisemmin vastaavan koulutuksen käyneiden kokemuksiin, markkinointimateriaaleihin ja koulutuksen hakijamääriin. Työyhteisöissä koulutuksen ennakoiva vaikuttavuuden arviointi pohjautui arvioon asiantuntijaosaamisen tarpeista sekä organisaation ja yksikön toimintasuunnitelmiin. Lisäksi arviointi perustui henkilöstön osaamistarpeisiin, kehityskeskusteluihin, asiakaspalautteisiin ja muihin toimintaa kuvaaviin mittareihin ja raportteihin. Koulutuksen vaikuttavuuden keskeisenä tekijänä pidettiin koulutuksen vastaavuutta työelämän tarpeisiin ja yhteissuunnittelua. Koulutuksen järjestäjä ennakoi koulutuksen vaikuttavuutta opiskelijoiden ja työelämän tarpeiden näkökulmasta, joita käsiteltiin työelämäyhteyksissä ja verkostoissa. Koulutuksen vaikuttavuutta ennakoitiin aikaisempien opiskelija- ja työelämäpalautteiden perusteella sekä hakijamäärien kehityksestä.
Taustamateriaalit
Saranki-Rantakokko, S. 2020. Alueellisten toimijoiden näkemyksiä Erikoistumiskoulutuksien vaikutuksien ja vaikuttavuuden arvioinnista keväällä 2020.
Ranta, L. & Kantola, T. 2020. Ideointia koulutuksen vaikutuksen ja vaikuttavuuden arvioinnin kehittämiseksi.
Kantola, T., Ranta, L., Juvonen, S. & Pöyry-Lassila, P. 2021. Sosiaali- ja terveysalan hankkeet avoimen oppimisen ja yhteiskehittelyn alustana. Teoksessa Helariutta, A., Fred, M., Kangastie, H., Merimaa, M. & Päällysaho, S. (toim.) 2021. Avoin TKI-integroitu oppiminen – toteuttamistapoja ja oppimisympäristöjä.
Asiantuntijoiden arviot
Toteutus
Asiantuntija-arviot toteutettiin Laurean koordinoimana kolmessa työpajassa eri puolilla Suomea (6.10.2020, 15.10.2020 ja 13.11.2020). Niihin osallistui sote-alan eri erikoistumiskoulutuksista 35 opettajaa ja 5 opiskelijaa. Lisäksi Laurea toteutti työyhteisöä osallistavan työpajan (1.12.2020), jossa oli mukana 11 osallistujaa, työyhteisön esimiehiä ja johtoa. Lapin ammattikorkeakoulun 16.11.2020 työpajaan osallistui 10 työelämässä mukana olevaa erikoistumiskoulutuksen opiskelijaa. Työpajat toteutettiin verkko-oppimisympäristöissä. Asiantuntijat ideoivat konkreettisia käytänteitä ja menetelmiä aiemmin kehittämisprosessissa tuotetuista aineistoista analysoituihin kehittämiskohteisiin aivoriihiperiaatteella. He myös nimesivät kehittämiskohteisiin sovellettavia mittareita.
Tulokset
Koulutuksen ennakoitiin tuottavan asiantuntijuutta, joka vastasi koulutuksen osallistujan ja myös organisaatioiden osaamistarpeisiin. Koulutuksen ennakoitiin lisäävän myös osallistujan itseluottamusta, rohkeutta ja asiantuntijuuteen liittyvää varmuutta. Koulutuksen alueellisen saatavuuden ennakoitiin alentavan koulutuksen kokonaiskustannuksia ja lisäävän koulutuksen tärkeyden tiedostamista työyhteisössä. Koulutuksen vaikutuksia ja vaikuttavuutta todettiin ennakoitavan ja seurattavan organisaatioissa käytössä olevilla menetelmillä ja mittareilla, joiksi esimerkkinä nimettiin näyttötestit, toimenkuvat, kehityskeskustelut, erikoistumiskoulutuksen todistus, asiakkaan palveluaika, asiakaskäyntimäärät, potilaspalautteet.
Taustamateriaalit
Sarja, J. Saranki-Rantakokko, S., 2021. Opiskelijoiden määrittelyjä erikoistumiskoulutuksen vaikutusten mittareista koulutuksen aikana.
Ranta, L. & Kantola, T. 2020. Koulutuksen vaikutuksen ja vaikuttavuuden arviointia jo koulutuksen suunnitteluvaiheessa.
Ranta, L. & Kantola, T 2020. Koulutuksen vaikutuksia ja vaikuttavuutta näkyväksi koulutuksen jälkeen.
