Blogit
Arvioinnin kirjava kartta
SOTETIE –hankkeen työpaketti 5.1 tehtävänä teimme syksyllä 2019 kyselyn jatkuvan oppimisen koulutuksen (JOK) toimijoille. Teemoina olivat näkemykset JOK:een sisällytettävistä koulutuksista, koulutusten tavoitteista ja arviointikäytänteistä sekä työelämän ja JOK:n yhteyksistä. Kyselyyn vastasi yhteensä 17 ammattikorkeakoulun tai yliopiston jatkuvan oppimisen koulutuksen vastuuhenkilöä (N=17). Tässä blogissa jaamme arvioinnista esiinnousseita ajatuksia sekä kyselyn tulosten että kirjallisuuden pohjalta. JOK:n arviointi jakaantui osaamisen arviointiin ja itse koulutuksen toteutuksen arviointiin. Arvioinnista on kirjallisuudessa varsin vähän mainintoja, mutta maininnoissa painotus on osaamisen arvioinnissa. Vaikuttavuuden arvioinnin tarve tuodaan esiin kirjallisuudessa, mutta konkreettisesti toimintaa on yllättävän vähän (Kukkonen 2017, 13).
Arviointi jakaantui osaamisen arviointiin ja itse koulutuksen toteutuksen arviointiin.
Jatkuvan oppimisen koulutuksissa arviointi vaihtelee ilman yhtenäisiä arviointikäytäntöjä. Kysymys koulutuksen arvioinnista näyttää johtavan usein opiskelijoiden arviointiin ja arvosanojen antamiseen eikä itse koulutuksen arviointiin. Opetuksen aikaisen arvioinnin lisäksi palautteita kerätään joissakin oppilaitoksissa opiskelijoilta jopa 1−5 vuotta koulutuksen päätyttyä. Vasta tällöin todellisista koulutuksen koetuista hyödyistä voidaan puhua, kun on saatu kokemus koulutuksessa hankitun uuden tiedon ja taidon hyödyntämisestä työelämässä.
Kyselyn mukaan arviointikäytännöt kukin korkeakoulu valitsee pääsääntöisesti tilanteen mukaan. Yleisimmin arviointikäytäntöinä ilmaistiin erilaiset opiskelijapalautteet, joita organisaatiokohtaisesti kerättiin opinnoista välipalautteina tai opintojen lopussa palautteena koko koulutuksesta. Koulutuksen arvioiminen vaikuttavuusarviointeineen jää yleisesti toteuttamatta. Joissakin erikoistumisopinnoissa on valtakunnallisesti toteutettuja yhteisiä ja yhteisesti suunniteltuja arviointeja.
Koulutuksen arvioiminen vaikuttavuusarviointeineen jää yleisesti toteuttamatta.
Arviointi nähdään monella tavalla merkittävänä suunnittelun, markkinoinnin ja kehittämisen työvälineenä, ja yksittäisiä arvioinnin kehittämishankkeita löytyy. Valtaosa vastanneista piti itse samoin kuin koki omassa organisaatiossaan JOK –arviointia pidettävän tärkeänä tai erittäin tärkeänä. Mielenkiintoista oli se, että tärkeänä pitäminen ei kuitenkaan johtanut organisaatioissa toimenpiteisiin tai enempiin keskusteluihin.
Opintosuoritusten arviointi
Valtaosa JOK-opinnoista nähdään normaaleina tutkinto-opintoina, jotka toteutetaan avoin AMK/yliopisto- tai Campus Online –opintoina. Opetussuunnitelmissa on määritelty arviointikriteerit ja -tapa (joko numeerinen arviointi tai hyväksytty/hylätty). Valtaosin opiskelija-arvioinnit toteutuvat numeerisina opintosuoritusten arviointeina. Muina oppimisen arviointikäytäntöinä mainitaan kirjalliset kehittämistehtävät, vertaisarvioinnit, itsearvioinnit, oppimispäiväkirjat, opettajan ja opiskelijan väliset arviointi- ja palautekeskustelut. Oman oppimisen reflektointi on joissakin koulutuksissa osa opintosuoritusta. Erikoistumiskoulutuksissa on OPS-rakenne ja arviointikäytänteet sovittu ennen koulutusten aloittamista valtakunnallisissa verkostoissa.
Opintojen arviointikäytännöt ovat kytköksissä koulutusmuotoon ja koulutukselle asetettuihin tavoitteisiin. Tilauskoulutukset voivat olla lyhytkestoisia, ja silloin arviointi usein kohdistuu asiakaskokemukseen liittyen koulutuksen järjestelyihin ja asiakkaan kokemukseen koulutuksen sisällöistä ja hyödyllisyydestä. Samalla kysytään aina toiveita, millaista koulutusta asiakas haluaa jatkossa toteutettavan. Tällä palautetiedolla pyritään kehittämään koulutustarjontaa vastaamaan paremmin työelämän tai koulutukseen haluavien tarpeisiin.
Palautetiedolla pyritään kehittämään koulutustarjontaa vastaamaan paremmin työelämän tai koulutukseen haluavien tarpeisiin.
Kirjallisuudenkin mukaan erikoistumiskoulutusten (yliopisto ja ammattikorkeakoulut) arviointikäytännöt vaihtelevat. Koulutuksen koordinointi lisää mahdollisuutta yhteisiin arviointikäytäntöihin, mutta suunnitteluvaiheen jälkeinen arviointi todettiin vähäiseksi lukuun ottamatta opetuksen antamista. (Rauhala & Urponen 2019, 34−54, 49.)
Opiskelijapalautteet
Yleisimpänä koulutusten arviointikäytäntönä mainitaan opiskelijapalautteiden kerääminen koulutusten päätyttyä, opintojaksokohtaiset palautteet tai opiskelijoilta kerättävät väliarvioinnit/palautteet koulutuksen toteutuksen puolivälissä. Koulutuksia saatetaan arvioida myös oppimistehtävinä opiskelijoiden oman oppimisen reflektoinnin kautta. Vain jokunen vastanneista mainitsee palautteissa kysyttävän opiskelijan arviointia koulutuksen vaikuttavuudesta omaan työhön.
Vain jokunen vastanneista mainitsee palautteissa kysyttävän opiskelijan arviointia koulutuksen vaikuttavuudesta omaan työhön.
Optimoitu sote-ammattilaisten koulutus- ja osaamisuudistus –selvitys (Kangasniemi, Hipp, Häggman-Laitila, Kallio, Karki, Kinnunen, Pietilä, Saarnio, Viinamäki, Voutilainen ja Waldén, 2018) on tavallaan koko julkaisu arviointia osaamistarpeista ja niiden toteutumisesta eri koulutuksissa. Osaamisen muutoksen arvioinnin osalta pääasialliset arviointimenetelmät olivat palautekyselyt (46%) ja itsearvioinnit (25%). Julkaisun mukaan tavoite asiakkaiden osallistumisesta sote-koulutuksen suunnitteluun, toteuttamiseen ja arviointiin on tarpeen asiakaslähtöisyyden toteutumiseksi ja palvelupolkujen oppimiseksi ja kehittämiseksi. Koulutusorganisaatioiden ja työelämän toteuttaman osaamisen kehittämisen hanketyöskentely on vilkasta, mutta vain välttävästi dokumentoitua ja arvioitua. Julkaisu toteaa myös osaamisen muutoksen mittaaminen puuttuvan.
Työelämäpalautteet
Suullisia tai kirjallisia työelämäpalautteita koulutuksista mainitsee säännöllisesti kerättävän vain neljä 17:stä vastanneesta (23,5%). Työelämäpalautteita kerätään yhteisissä tapaamisissa, asiakaskyselyillä ja uraseurantakyselyillä.
Tutkintoon johtavan koulutuksen kehittämistarpeina on mainittu osaamisen kehittäminen ja siihen liittyen osaamisen arviointi- ja seurantajärjestelmä. Lähinnä kyseessä on tavoite työelämän ja koulutuksen järjestäjien yhteisten käytäntöjen laatimisesta. (OKM 2019, 16.)
Kliinisen hoitotyön erikoisosaamisen tarkastelussa asetetaan keskeisiksi tavoitteiksi yhtenäisten osaamistavoitteiden ja osaamisen arviointimenettelyiden määrittely. Koulutuksen arviointiin ei julkaisussa oteta kantaa. (STM 2016, 15.)
Määrällinen arviointi
Määrällistä tietoa jatkuvan oppimisen koulutusten arvioimiseksi kerätään lähinnä korkeakoulujen rahoitusmallin edellyttämillä mittareilla: opintopistekertymät, koulutuksen suorittaneiden/valmistuneitten määrä, tutkintojen määrä, koulutuksen taloudellinen tuotto sekä tuotospanos –suhteet. Markkinaehtoisen täydennys- ja tilauskoulutuksen määrällinen arviointi keskittyy siitä saataviin tuottoihin ja tuotospanos -suhteisiin ja toteutuneiden kauppojen määriin.
Asiakas- ja opiskelijapalautekyselyistä saadaan myös numeerista tietoa, minkä avulla seurataan koulutusten saamien arviointien kehittymistä. Vain yksi 17:sta vastaajasta mainitsee käytössä olevan organisaation sisäisen arvioinnin ja reaaliaikaisen tavoite- ja tulosinfon, joka kootaan analysoiden kerätyt työyhteisöpalautteet, opettajien kanssa käydyt keskustelut, tutkintojen määrät, jatkuvan oppimisen opintopisteet, liiketoiminnan eurot ja toteutuneet kaupat.
Virityksiä seurantajärjestelmän kehittämiseksi on meneillään joissakin oppilaitoksissa. Tämän tapainen kehittämistyö on järkevää tehdä yhdessä ja sopii tämän hankkeen tehtäväksi. Järkevää lienee jättää riittävästi joustavuutta kunkin oppilaitoksen ja toteutuksen omalle kehittämiselle. Tarve JOK-arvioinnin kehittämiseen tiedostetaan yleisesti, ja arviointitietojen systemaattisempi hyödyntäminen nähdään tärkeäksi.
Tarve JOK-arvioinnin kehittämiseen tiedostetaan yleisesti, ja arviointitietojen systemaattisempi hyödyntäminen nähdään tärkeäksi.
Koulutuksen vaikuttavuuden arviointi
Käytänteiden kirjavuus näkyy myös kysyttäessä vaikuttavuuden arviointia, joka yleisesti pidetään tärkeänä. Opiskelijapalautteiden lisäksi vaikuttavuuden arvioinnissa keinoina näyttäytyvät eri työelämäyhteistyöfoorumit. Pääasiallisesti vaikuttavuuden arviointi toteutuu työelämän edustajien ja opiskelijoiden koulutuksesta antamien palautteiden avulla ja työelämäyhteistyön eri foorumeilla (neuvottelukunnat, ohjausryhmät, säännölliset työelämätapaamiset). Palautteissa tarkastellaan esim. koulutukselle asetettujen tavoitteiden saavuttamista.
Muina yksittäisinä vaikuttavuuden arvioinnin menetelminä mainittiin koulutustuotteen kysynnän seuraaminen, korkeakoulujen rahoitusmalliin liittyen suoritettujen opintopisteiden määrät sekä koulutuksen jälkeen työllistyminen. Neljä vastaajista mainitsee toteutettavan koulutuksen suorittaneille kohdennettuja osaamisen hyödyntämisen kyselyitä 1−5 vuotta koulutuksesta. Lapissa hankkeena toteutuva maakunnallinen ennakointiklusteritoiminta arvioi ja suunnittelee JOK:een liittyviä osaamis- ja kehittämistarpeita sekä arvioi JOK vaikuttavuutta maakunnallisella tasolla osana ennakointityöskentelyä urakyselyin, työelämäpalauttein ja koulutuksen kysynnän kartoituksilla.
Neljä vastaajista mainitsee toteutettavan koulutuksen suorittaneille kohdennettuja osaamisen hyödyntämisen kyselyitä 1−5 vuotta koulutuksesta.
Tilauskoulutuksissa (markkinaehtoinen täydennyskoulutus) koulutuksen vaikuttavuutta arvioidaan yhdessä koulutuksen tilaajan kanssa. Miten vaikuttavuutta tarkasti ottaen arvioidaan, ei vastauksista tarkemmin ilmene. Koulutustuotteiden konseptointi ja siihen liittyen koulutusten vaikuttavuuden arvioinnin mittarien laatiminen on kehittämishankkeena käynnistetty yhdessä kyselyymme osallistuneessa yliopistossa.
Yhteensä kahdeksan 17:stä vastaajasta toteaa, että JOK vaikuttavuutta ei arvioida lainkaan, ei ainakaan systemaattisesti, tai vastaajalla ei ole tiedossa, miten sitä arvioitaisiin. Johtopäätöksenä voitaneen todeta, että JOK vaikuttavuuden arviointi kaipaa selkeää mittaristoa ja vaikuttavuuden arvioinnin motivoimista.
JOK vaikuttavuuden arviointi kaipaa selkeää mittaristoa ja vaikuttavuuden arvioinnin motivoimista.
Tunnistettuja kehittämistarpeita ja ehdotuksia hankkeelle
Kehittämistarpeet kiteytyvät systemaattisen jälkiseurannan tarpeisiin siihen soveltuvien yhteisten mittareiden ja valtakunnallisten kriteerien puuttumisen vuoksi. Jokunen vastaaja mainitsi organisaatiossaan otetun käyttöön tai olevan suunnitteilla systemaattisen seurantajärjestelmän. Myös kerättyjen arviointitietojen systemaattinen hyödyntäminen organisaatiossa nousee kehittämistarpeeksi.
Kerättyä arviointitietoa hyödynnetään suurelta osin vain rahoitusmalliin liittyvinä tilastotietoina ja organisaatiokohtaisesti koulutuksen sisällöllisessä ja markkinoinnin suunnittelussa.
Opintojen aikainen tuki vaihtelee. Erikoistumisopinnoissa etenemistä seurataan ja keskeyttämisiin puututaan. Tutorointia on syytä kehittää yhtenäisempään suuntaan. Erityisesti kiinnostus alalta poistuneiden tukemiseen voisi olla suurempaa. Tämä koskee hankkeen kohteena olevaa SOTE –alaa, jossa on lähivuosina tarpeen saada alan koulutusta käyneet jäämään alalle ja poistuttuaan palaamaan. Työvoiman tarve on suuri ja ratkaisuja on etsitty mm. tuomalla hoitajia tai hoitoalan opiskelijoita ulkomailta. Tämä on niin iso asia, että se voisi olla mukana myös valtakunnallisessa rahoitusmallissa, jossa ollaan kiinnostuneita alalla työllistyvistä muttei työhön palaavista.
Arviointitiedoilla olisi merkitystä koulutusten vertailtavuudelle mm. opiskelijoiden tai heidän työnantajiensa tehdessä valintoja koulutusten suhteen. Nyt tämmöinen tieto puuttuu. Voi kuvitella valinnan tapahtuvan yksittäisten kokemusten levitessä omia teitään. Yksittäisiä kehittämishankkeita mm. mittariston kehittämiseksi on menossa. Tällöin ajaudutaan helposti tilanteeseen, jossa kehitetyt mallit eivät jalkaudu koko maata kattaviksi ja niiden tuottama hyöty jää vajavaiseksi. Tämän hankkeen tuottaman sähköisen tiekartan on sisällettävä koulutuksista saatava, vertailtava palautetieto helposti hyödynnettävässä muodossa ja sen mahdollisuuden levittämisen on hoidettava hyvin. Nyt tätä keskustelua käydään paljolti muodollisilla foorumeilla, eikä tieto ole käytettävissä tässä ja nyt valintoja tehtäessä. Kyselyn perusteella tälle on selvää tilausta niin, että myös tämä kehittämistyön haastavuus tiedostetaan.
Arviointitiedoilla olisi merkitystä koulutusten vertailtavuudelle mm. opiskelijoiden tai heidän työnantajiensa tehdessä valintoja koulutusten suhteen.
Arvioinnin yhdenmukaistamisen puolesta on herätelty keskustelua mm. SITRAN taholta. Todetaan, että tutkimusta vaikuttavuudesta on liian vähän, ja että vaikuttavuuden arvioinnin suunnitelma tulisi olla mukana jo koulutusten suunnitteluvaiheessa. Tarvitaan arviointi oppimisesta, osaamisen kehittämisestä ja koulutuksesta. Sitra mainitsee myös, että on määriteltävä oppimisen toteutumisen ja onnistumisen seurantaindikaattorit. Toiminnan vaikuttavuutta on arvioitava ennalta määriteltyjen kriteerien mukaan. (Sitra 2019, 3, 17, 29, 47.)
Sitra peräänkuuluttaa tarvetta määritellä oppimisen toteutumisen ja onnistumisen seurantaindikaattoreita (SITRAN selvityksiä 150, 2019, 29). Tämä liittyy myös huoleen opintojen tason laskusta. Jos kiinnitämme huomiota pääsääntöisesti opiskelijamääriin ja valmistumisiin, voidaan sitä tehdä myös tehdä ilman että huolehditaan varsinaisesti osaamisen kehittymisestä. Kauppakamarin selvityksessä jo vuonna 2012 työelämän edustajat ovat herätelleet keskustelua asiasta, joten tämä lienee ollut huolena myös muualla kuin SOTE –alueella. Jos tämä tiukkuuden puute alkaa jo tutkintovaiheesta ja jatkuu jatkuvan oppimisen koulutuksessa, ollaan pettävällä jäällä. Mittarit ovat tehokkaita instrumentteja suuntaan jos toiseenkin. Myös opiskelijat ovat ottaneet kantaa opetuksen laatuun (Helsingin Sanomat, 18.1.2020). Voisi ajatella, että myös tutkintoon johtavan koulutuksessa tehtävät ratkaisut nostavat haasteita jatkuvalle koulutukselle.
Näyttäisi siltä, että arviointi on pääosin “summittaista koputtelua tuuralla jään pintaan” kun pitäisi mitata koko ajan missä mennään. Yhteenvetona voimmekin todeta, että arvioinnin pitäisi olla systemaattista. Puhuttaessa arvioinnista on tarpeen tietää mistä arvioinnista kulloinkin on kysymys. Systemaattisen arviointikäytännön kehittämiseksi tulee olla erikseen menetelmät opiskelijoiden osaamisen arvioimiseksi, koulutuksen arvioimiseksi ja koulutuksen vaikuttavuuden arvioimiseksi.
Arviointi on pääosin “summittaista koputtelua tuuralla jään pintaan” kun pitäisi mitata koko ajan missä mennään.
Kirjoittajat
Tapio Myllymaa, KM SHO, lehtori, Satakunnan ammattikorkeakoulu
Andrew Sirkka, KT THM, yliopettaja, Satakunnan ammattikorkeakoulu
Ulla Isosaari, HTT, yliopettaja, Vaasan ammattikorkeakoulu
SOTETIE on Euroopan sosiaalirahaston ja Pohjois-Pohjanmaan ely:n rahoittama hanke.
Lähteet
Helsingin sanomat. Olen pettynyt opetuksen tasoon ammattikorkeakoulussa. Nimimerkki, 18.1.2020. https://www.hs.fi/mielipide/art-2000006375994.html
Kangasniemi, M, Hipp, K, Häggman-Laitila, A Kallio, H, Karki, S, Kinnunen, P, Pietilä, A-M, Saarnio, R, Viinamäki, L, Voutilainen, A, Waldén, A (2018-05-29). Optimoitu sote-ammattilaisten koulutus- ja osaamisuudistus. Valtioneuvoston selvitys- ja tutkimustoiminnan julkaisusarja 39/2018. http://urn.fi/URN:ISBN:978-952-287-545-7
Kukkonen, T (2017) (toim.) Uutta erikoisosaamista korkeakoulutetuille: Sosiaali-, terveys-, liikunta- ja kauneudenhoitoalan erikoistumiskoulutustarpeiden kartoittaminen 2016. In: Karelia-ammattikorkeakoulun julkaisuja B, Oppimateriaaleja ja kokoomateoksia: 47, Karelia-ammattikorkeakoulu. URN:ISBN:978-952-275-223-9. Saatavissa: http://www.theseus.fi/handle/10024/122346.
OKM. (2019). Tutkintoon johtavan koulutuksen kehittäminen tukemaan sosiaali- ja terveyspalvelujen uudistamista. OKM julkaisuja 24. Saatavissa: https://julkaisut.valtioneuvosto.fi/bitstream/handle/10024/161661/OKM_24_2019_Tutkintoonjohtavakoulutus.pdf?sequence=4&isAllowed=y
Rauhala P. & Urponen H. (2019) Selvitys korkeakoulutettujen erikoistumiskoulutuksista. Opetus- ja kulttuuriministeriön julkaisuja 2019:17. Saatavissa: http://julkaisut.valtioneuvosto.fi/bitstream/handle/10024/161577/OKM_2019_17_Selvitys_korkeakoulutettujen_erikoistumiskoulutuksesta.pdf
Sitra. (2019). Kohti elinikäistä oppimista. Yhteinen tahtotila, rahoituksen periaatteet ja muutoshaasteet. Sitran selvityksiä 150. Helsinki. Sitra. Saatavissa: www.sitra.fi
STM. (2016). Kliinisen hoitotyön erikoisosaaminen. Kehittämisehdotukset tukemaan työelämän muutosta. STM raportteja ja muistioita 61. Saatavissa: http://julkaisut.valtioneuvosto.fi/bitstream/handle/10024/78989/STM_raportti.pdf?sequence=1&isAllowed=y
