Viikon vinkki 6/2024

Vertaisarviointi ja -palaute Moodlen työpajatyökalulla

Yliopistopedagogisten opintojen järjestämissä case-klinikoissa on tällä viikolla ollut aiheena vertaisarviointi ja -palaute.

Vielä kerkeää ilmoittautua perjantain 16.2. taitoklinikalle, jossa tutustutaan eLearn-Moodlen työpajatyökaluun! UEFlainen: ilmoittaudu tänään 15.2. puoleenpäivään mennessä tästä linkistä: https://calendar.contio.fi/uef/Calendar?d=Lslv9oSk0HM%253d.

Taina Rytkönen-Suontausta: ”Työpaja on Moodlessa ainoa aktiviteetti, jossa voi automatisoidusti rakentaa vertais- ja itsearvioinnin polun. Tätä käydään tarkemmin (ja teknisestikin) läpi taitoklinikassa perjantaina 16.2.”

Vertaisarviointi vai vertaispalaute – kumpi ompi parempi?

Kansainvälisten tutkimusten mukaan yksilötentit ovat globaalisti vallitsevin arviointitapa yliopistoissa. Me arvioinnin tutkijat kyseenalaistamme ehtimiseen tätä hegemoniaa. Vaikka tenteillä on paikkansa, vähempikin riittäisi, eikä tenttien muuttaminen sähköisiksi (esim. Moodle-, Exam- tai SEB-tentti) paranna niiden lähtökohtaista kyvyttömyyttä  e-d-i-s-t-ä-ä  oppimista eteenpäin katsomisen merkityksessä. Vaikka hyvä arviointi ei ole arviointimenetelmillä temppuilemista, oppimisen ja osaamisen tunnistamismenetelmiä vaihtelemalla opiskelijoista saadaan ongittua esille erilaisia tietotaitoja. Yksi hyvä vaihtoehtoehdokas on vertaisarviointi tai -palaute.

Vertaisarviointi ja vertaispalaute eivät ole synonyymeja. Vertaisarviointi (peer assessment) perustuu arviointi-sanan kapeimpaan määritelmään, että se on arvosanan antamista. Silloin se on luonteeltaan toteavaa ja summatiivista. Esimerkiksi esseen tai esitelmän arvioinnissa opettajan antama arvosana tai pisteet voivat muodostaa opintojakson kokonaisarvosanasta 75 %, ja loppu neljännes tulee opiskelijakaverin näkemyksestä. Tutkimusten mukaan opiskelijat ovat tyytyväisiä noin 20–30 prosentin osuuteen, mutta vastuunjako on viime kädessä opettajan ja opiskelijoiden välinen sopimus. Vaikka avoin vuorovaikutus on aina tavoiteltavampaa kuin salailu, tutkimuksista tiedetään arviointia vinouttavia persoonallisia riskitekijöitä, joten on hyvä turvata anonyymiin vertaisarviointiin, jos se vaikuttaa lopulliseen arvosanaan. Tätä voi sujuvoittaa digitaalisilla apuvälineillä.

Vertaisarviointi saattaa houkutella ajatukseen, että opettaja voisi kipata koko arviointityönsä opiskelijoille ja toimia vain tuloslistan Peppi-naputtelijana. Näin ei sopisi menetellä siksi, että opintojohtosääntö asemoi opettajan arvioinnista vastaavaksi henkilöksi. Vaikka joskus opintojaksojen tavoitteiden mukaan voi olla mahdollista antaa opiskelijoiden päättää koko arvosanasta, on viisasta yhdistää opettajan ja opiskelijoiden arvioinnit. Perustelu on yksinkertainen: yliopiston opettaja tietää opettamastaan asiasta keskimäärin enemmän kuin opiskelija. Tutkimusten mukaan opiskelijatkin odottavat opettajan kannanottoa ja ovat taipuvaisia epäilemään vertaistensa havaintojen oikeellisuutta.

Oppimisen ja sen taitojen edistämisessä vertaispalaute (peer feedback) on pitkällä aikavälillä vaikuttavampi kuin vertaisarviointi. Vertaispalaute ei tarkoita osallistumista arvosanan antamiseen, vaan opiskelijakaverin tekemän tuotoksen kommentointia laadullisesti ja mieluiten vaiheessa, jolloin tuotosta voi palautteen perusteella vielä kehittää. Silloin opiskelijat saattavat vertaispalautteen antajina olla isojen opiskelijamäärien arviointityösuossa tarpovan opettajan oivia apulaisia ja opiskelukavereidensa ponnistelujen sparraajia.

Apulaiseksi asemoiminen ei ole suinkaan pääasia. Oppimisprosesseja nimensä mukaisesti muotoileva formatiivinen vertaispalaute auttaa opiskelijoita ymmärtämään, mitä palaute yliopisto-opiskelussa tarkoittaa, miten sitä kannattaa antaa, ja millaisia palautteen vastaanottamisen taitoja itse kukin tarvitsee. Vertaisen palautetta saattaa olla psykologisesti helpompi ottaa vastaan opettajan kommentointiin verrattuna. Toisinaan ikätoveri onnistuu pukemaan sanoiksi kehittämiskohteet informaalimmin ja ymmärrettävämmin kuin tieteellisesti meritoitunut opettaja, joka voi olla tahtomattaan erikoissanastonsa sokaisema. Palautteen sulatteleminen voi aiheuttaa voipuneen olon, joten ei ole suotavaa altistaa ketään koko opetusryhmän samanaikaisen palautepommituksen kohteeksi.

Jos opiskelija huomaa, ettei kaveri ottanut hänen huolellisesti miettimäänsä palautetta onkeensa, hän oivaltaa itseään palvelevalla tavalla, että hyödyntämättä jätetty palaute ei auta ketään eikä mitään. Näin tullaan edistäneeksi opiskelijan palauteosaamista (student feedback literacy), joka on kansainvälisesti innokkaasti tutkittu nykyaihe. Hyödyllinen palaute on kahden kauppa, koska hyvät oppimisprosessit ja -tulokset eivät yleensä putoa syliin vain tuurilla. Ajatus palautteesta opettajan lahjana opiskelijalle on arviointitutkimuksen näkökulmasta niin sanotusti ”last season”.

Valittiinpa vertaisarviointi tai vertaispalaute, avain osuvaan ja oppimista edistävään arviointiin on arviointikriteerien käyttö. Jos opettaja ja opiskelijat kommentoivat opiskelun tuotoksia tai niiden väliversioita niin sanotusti omasta päästään, tuloksena on mielipiteiden rytöläjä. Opintojakson tavoitteista johdetut arvioinnin kriteerit tarkoittavat kuvauksia, millainen arvioitavan tuotoksen pitää olla, että ansaitsee esimerkiksi laatusanan ”perusteellinen” eikä ”pintapuolinen” tai numeerisen arvosanan neljä kolmosen sijasta. Kirjalliset arviointikriteerit pitää olla ennakkoon tiedossa, ja niiden käyttöä pitää harjoitella yhdessä. Esimerkkejä käyttäen varmistetaan, että myös opiskelijat osaavat tehdä oikeita ja oikeudenmukaisia päätelmiä, vaikka heiltä puuttuu opettajan yleensä tuntuvasti rikkaampi tietoperusta.

Kansainvälisistä opiskelijatutkimuksista ilmenevä kriittisyys vertaisarviointiin tai -palautteeseen selittyy pitkälti juuri harjoittelun ja tottumuksen puutteella. Sama tulos valottui tuoreesta UEF-opiskelija-aineistostanikin. Jos aikataulu suinkin sallii, vielä merkittävämpiin oppimaan oppimisen taitojen kehitysvoittoihin päästään, jos opiskelijat voivat osallistua arviointikriteerien tekemiseen. Samalla opettaja viisastuisi havaitessaan, millaisina hänelle tutut arvioinnin kohteet ja prosessit näyttäytyvät ne ensi kertaa kohtaaville opiskelijoille. Näin vedettäisiin yksi mystisyyden verho sen edestä, mistä palaute ja arviointi lopulta putkahtavat, ja mitä niistä täytyy asiantuntevasti ja ennakoivasti miettiä.

Hankin huhtikuussa 2023 satunnaisotannalla Itä-Suomen yliopiston kaikki tiedekunnat kattavan opiskelija-aineiston (väh. 100 op suorittaneita vastaajia 772). Kyselyssä tiedustelin eräiden arviointitapojen koettua hyödyllisyyttä oppimisen kannalta. Asteikolla 1–4 (1 = erittäin hyödytön, 4 = erittäin hyödyllinen) vertaisarvioinnin itsearvioidun oppimishyödyn keskiarvo oli 2,4. Kun tämä tieto yhdistetään siihen, että opiskelijat pitivät sanallista palautetta oppimiselleen hyvin hyödyllisenä (ka = 3,2), vertaispalautteen voima on ilmeinen. Opiskelijoiden osallisuudesta pelkkään numeeriseen loppuarviointiin ei ole yhtä isoa iloa kuin laadullisten huomioiden keskinäisestä jakamisesta. Vaikka vertaispalautteeseen harjaannuttamiseen ja toteuttamiseen kuluu aikaa, se palaa yhteiseen aikapankkiimme opiskelijoiden karttuneina geneerisinä taitoina.

Tutkijana lisään vielä hieman kierroksia arviointikoneeseen ja tarjoan palaute-sanan kaveriksi edisteen. Palaute on kirjaimellisesti taaksepäin syöttämistä (feedback), eli käsitellään jo taakse jääneen työskentelyn aikaansaamaa tuotosta. Siitäkin noheva opiskelija osaa päätellä, mihin kannattaa kiinnittää huomiota opintojen seuraavissa vaiheissa, mutta kaikille opiskelijoille ei käy yhtä onnekkaasti. Oppimisen kannalta tehokkaampaa – joskin sekä opettajan että vertaisen kannalta kiistatta hieman vaativampaa – on tunnistaa eteenpäin suuntaavia edisteitä (feedforward). Miten sanoittaisin arviointikriteerien avulla huomioni niin, että vältän juuttumisen menneiden (virheiden) kaiveluun ja virittelen vaikkapa esseen kirjoittajan ajatuksia kriittisempään, monipuolisempaan tai tieteellisempään suuntaan antamatta valmiita vastauksia? Tässä, jos missä, arvoonsa nousevat opintojakson tavoitteet ja yhdessä harjoitellut arviointikriteerit.

Kirjoittaja Päivi Atjonen on kasvatustieteen professori ja arvioinnin tutkija