Viikon vinkki 4/2024

Tervetuloa oppimisen ja osaamisen arvioinnin klinikoille!

Yliopistopedagogisen koulutuksen, UEF-fasilitaattoreiden ja eOppimisen tukipalveluiden yhteistyönä toteutetaan klinikoita, jotka rakentuvat oppimisen ja osaamisen arvioinnin case-esimerkeistä (caseklinikat) sekä case-esimerkkien toteuttamiseksi tarvittavien digitaalisten työvälineiden esittelystä (taitoklinikat).

Vko 6: Yksilötentit, itsearviointi

  • ti 6.2. klo 9.00-11.00 caseklinikka
  • to 8.2. klo 12.00-14.00 taitoklinikka

vko 7: Vertaisarviointi, ryhmämenetelmät

  • ke 14.2. klo 9.00-11.00 caseklinikka
  • pe 16.2. klo 9.00-11.00 taitoklinikka

vko 8: Arviointi massakursseilla, jatkuva arviointi, monivalintatentit

  • ti 20.2. klo 9.00-11.00 caseklinikka
  • to 22.2. klo 12.00-14.00 taitoklinikka

Ilmoittautuminen henkilöstökoulutuskalenterissa, valitse lajiksi ”tieto- ja viestintätekniikan opetuskäyttö”. Osallistumislinkki lähetetään ilmoittautuneille. Klinikoita ei tallenneta.

Lämpimästi tervetuloa! Jaetaan samalla kokemuksiamme ja askarrutuksiamme!

Vinkkaajana klinikoiden järjestäjät

Viikon vinkki 23/2023

Tekoäly- ja arviointipohdintoja – Miten tekoäly otetaan huomioon oppimisen arvioinnissa?

UEF:ssa on käynnissä erilaisia pohdintoja ja paljon keskustelua siitä, miten tekoäly pitäisi ottaa jatkossa huomioon opetuksessa ja oppimisessa. Näihin keskusteluihin ja pohdintoihin on hyvä myös liittää näkökulmia muualta.

Tässä esimerkkinä australialaisen Deakin Universityn CRADLEn (Centre for Research in Assessment and Digital Learning) juuri julkaistu ohjeistus CRADLE suggests… Assessment and genAI.

Miksikö valitsin tähän juuri CRADLEn ohjeistuksen? Seuraavista syistä:

  1. Se ottaa kokonaisvaltaisen perspektiivin oppimiseen ja opetukseen.
  2. Se huomioi sosiaalisen oikeudenmukaisuuden, kriittisen digitaalisen pedagogiikan ja digitaalisen lukutaidon näkökulmia.
  3. Se korostaa oppimisprosessia ja formatiivista arviointia sekä palautetta.
  4. Se sisältää hyödyllisiä lähteitä jatkopohdintoja varten.

Vertaisarviointi vai vertaispalaute – kumpi ompi parempi?

Kansainvälisten tutkimusten mukaan yksilötentit ovat globaalisti vallitsevin arviointitapa yliopistoissa. Me arvioinnin tutkijat kyseenalaistamme ehtimiseen tätä hegemoniaa. Vaikka tenteillä on paikkansa, vähempikin riittäisi, eikä tenttien muuttaminen sähköisiksi (esim. Moodle-, Exam- tai SEB-tentti) paranna niiden lähtökohtaista kyvyttömyyttä  e-d-i-s-t-ä-ä  oppimista eteenpäin katsomisen merkityksessä. Vaikka hyvä arviointi ei ole arviointimenetelmillä temppuilemista, oppimisen ja osaamisen tunnistamismenetelmiä vaihtelemalla opiskelijoista saadaan ongittua esille erilaisia tietotaitoja. Yksi hyvä vaihtoehtoehdokas on vertaisarviointi tai -palaute.

Vertaisarviointi ja vertaispalaute eivät ole synonyymeja. Vertaisarviointi (peer assessment) perustuu arviointi-sanan kapeimpaan määritelmään, että se on arvosanan antamista. Silloin se on luonteeltaan toteavaa ja summatiivista. Esimerkiksi esseen tai esitelmän arvioinnissa opettajan antama arvosana tai pisteet voivat muodostaa opintojakson kokonaisarvosanasta 75 %, ja loppu neljännes tulee opiskelijakaverin näkemyksestä. Tutkimusten mukaan opiskelijat ovat tyytyväisiä noin 20–30 prosentin osuuteen, mutta vastuunjako on viime kädessä opettajan ja opiskelijoiden välinen sopimus. Vaikka avoin vuorovaikutus on aina tavoiteltavampaa kuin salailu, tutkimuksista tiedetään arviointia vinouttavia persoonallisia riskitekijöitä, joten on hyvä turvata anonyymiin vertaisarviointiin, jos se vaikuttaa lopulliseen arvosanaan. Tätä voi sujuvoittaa digitaalisilla apuvälineillä.

Vertaisarviointi saattaa houkutella ajatukseen, että opettaja voisi kipata koko arviointityönsä opiskelijoille ja toimia vain tuloslistan Peppi-naputtelijana. Näin ei sopisi menetellä siksi, että opintojohtosääntö asemoi opettajan arvioinnista vastaavaksi henkilöksi. Vaikka joskus opintojaksojen tavoitteiden mukaan voi olla mahdollista antaa opiskelijoiden päättää koko arvosanasta, on viisasta yhdistää opettajan ja opiskelijoiden arvioinnit. Perustelu on yksinkertainen: yliopiston opettaja tietää opettamastaan asiasta keskimäärin enemmän kuin opiskelija. Tutkimusten mukaan opiskelijatkin odottavat opettajan kannanottoa ja ovat taipuvaisia epäilemään vertaistensa havaintojen oikeellisuutta.

Oppimisen ja sen taitojen edistämisessä vertaispalaute (peer feedback) on pitkällä aikavälillä vaikuttavampi kuin vertaisarviointi. Vertaispalaute ei tarkoita osallistumista arvosanan antamiseen, vaan opiskelijakaverin tekemän tuotoksen kommentointia laadullisesti ja mieluiten vaiheessa, jolloin tuotosta voi palautteen perusteella vielä kehittää. Silloin opiskelijat saattavat vertaispalautteen antajina olla isojen opiskelijamäärien arviointityösuossa tarpovan opettajan oivia apulaisia ja opiskelukavereidensa ponnistelujen sparraajia.

Apulaiseksi asemoiminen ei ole suinkaan pääasia. Oppimisprosesseja nimensä mukaisesti muotoileva formatiivinen vertaispalaute auttaa opiskelijoita ymmärtämään, mitä palaute yliopisto-opiskelussa tarkoittaa, miten sitä kannattaa antaa, ja millaisia palautteen vastaanottamisen taitoja itse kukin tarvitsee. Vertaisen palautetta saattaa olla psykologisesti helpompi ottaa vastaan opettajan kommentointiin verrattuna. Toisinaan ikätoveri onnistuu pukemaan sanoiksi kehittämiskohteet informaalimmin ja ymmärrettävämmin kuin tieteellisesti meritoitunut opettaja, joka voi olla tahtomattaan erikoissanastonsa sokaisema. Palautteen sulatteleminen voi aiheuttaa voipuneen olon, joten ei ole suotavaa altistaa ketään koko opetusryhmän samanaikaisen palautepommituksen kohteeksi.

Jos opiskelija huomaa, ettei kaveri ottanut hänen huolellisesti miettimäänsä palautetta onkeensa, hän oivaltaa itseään palvelevalla tavalla, että hyödyntämättä jätetty palaute ei auta ketään eikä mitään. Näin tullaan edistäneeksi opiskelijan palauteosaamista (student feedback literacy), joka on kansainvälisesti innokkaasti tutkittu nykyaihe. Hyödyllinen palaute on kahden kauppa, koska hyvät oppimisprosessit ja -tulokset eivät yleensä putoa syliin vain tuurilla. Ajatus palautteesta opettajan lahjana opiskelijalle on arviointitutkimuksen näkökulmasta niin sanotusti ”last season”.

Valittiinpa vertaisarviointi tai vertaispalaute, avain osuvaan ja oppimista edistävään arviointiin on arviointikriteerien käyttö. Jos opettaja ja opiskelijat kommentoivat opiskelun tuotoksia tai niiden väliversioita niin sanotusti omasta päästään, tuloksena on mielipiteiden rytöläjä. Opintojakson tavoitteista johdetut arvioinnin kriteerit tarkoittavat kuvauksia, millainen arvioitavan tuotoksen pitää olla, että ansaitsee esimerkiksi laatusanan ”perusteellinen” eikä ”pintapuolinen” tai numeerisen arvosanan neljä kolmosen sijasta. Kirjalliset arviointikriteerit pitää olla ennakkoon tiedossa, ja niiden käyttöä pitää harjoitella yhdessä. Esimerkkejä käyttäen varmistetaan, että myös opiskelijat osaavat tehdä oikeita ja oikeudenmukaisia päätelmiä, vaikka heiltä puuttuu opettajan yleensä tuntuvasti rikkaampi tietoperusta.

Kansainvälisistä opiskelijatutkimuksista ilmenevä kriittisyys vertaisarviointiin tai -palautteeseen selittyy pitkälti juuri harjoittelun ja tottumuksen puutteella. Sama tulos valottui tuoreesta UEF-opiskelija-aineistostanikin. Jos aikataulu suinkin sallii, vielä merkittävämpiin oppimaan oppimisen taitojen kehitysvoittoihin päästään, jos opiskelijat voivat osallistua arviointikriteerien tekemiseen. Samalla opettaja viisastuisi havaitessaan, millaisina hänelle tutut arvioinnin kohteet ja prosessit näyttäytyvät ne ensi kertaa kohtaaville opiskelijoille. Näin vedettäisiin yksi mystisyyden verho sen edestä, mistä palaute ja arviointi lopulta putkahtavat, ja mitä niistä täytyy asiantuntevasti ja ennakoivasti miettiä.

Hankin huhtikuussa 2023 satunnaisotannalla Itä-Suomen yliopiston kaikki tiedekunnat kattavan opiskelija-aineiston (väh. 100 op suorittaneita vastaajia 772). Kyselyssä tiedustelin eräiden arviointitapojen koettua hyödyllisyyttä oppimisen kannalta. Asteikolla 1–4 (1 = erittäin hyödytön, 4 = erittäin hyödyllinen) vertaisarvioinnin itsearvioidun oppimishyödyn keskiarvo oli 2,4. Kun tämä tieto yhdistetään siihen, että opiskelijat pitivät sanallista palautetta oppimiselleen hyvin hyödyllisenä (ka = 3,2), vertaispalautteen voima on ilmeinen. Opiskelijoiden osallisuudesta pelkkään numeeriseen loppuarviointiin ei ole yhtä isoa iloa kuin laadullisten huomioiden keskinäisestä jakamisesta. Vaikka vertaispalautteeseen harjaannuttamiseen ja toteuttamiseen kuluu aikaa, se palaa yhteiseen aikapankkiimme opiskelijoiden karttuneina geneerisinä taitoina.

Tutkijana lisään vielä hieman kierroksia arviointikoneeseen ja tarjoan palaute-sanan kaveriksi edisteen. Palaute on kirjaimellisesti taaksepäin syöttämistä (feedback), eli käsitellään jo taakse jääneen työskentelyn aikaansaamaa tuotosta. Siitäkin noheva opiskelija osaa päätellä, mihin kannattaa kiinnittää huomiota opintojen seuraavissa vaiheissa, mutta kaikille opiskelijoille ei käy yhtä onnekkaasti. Oppimisen kannalta tehokkaampaa – joskin sekä opettajan että vertaisen kannalta kiistatta hieman vaativampaa – on tunnistaa eteenpäin suuntaavia edisteitä (feedforward). Miten sanoittaisin arviointikriteerien avulla huomioni niin, että vältän juuttumisen menneiden (virheiden) kaiveluun ja virittelen vaikkapa esseen kirjoittajan ajatuksia kriittisempään, monipuolisempaan tai tieteellisempään suuntaan antamatta valmiita vastauksia? Tässä, jos missä, arvoonsa nousevat opintojakson tavoitteet ja yhdessä harjoitellut arviointikriteerit.

Kirjoittaja Päivi Atjonen on kasvatustieteen professori ja arvioinnin tutkija

Viikon vinkki 22/2023

Arviointi, arviointi, arviointi

Usein käy niin, että emme opettajina aina kerkeä ajatella arviointia muulloin kuin kurssien alussa ja kurssien lopussa. Menemme usein tutuksi koetulla sapluunalla tai ”kuten viime vuonnakin”, ja sitä edellisenä, ja sitä edellisenä… Tästä saan ainakin itseni kiinni silloin tällöin.

Miten olisi hieman ammatillista kertausta tai täydennyskoulutusta itsellemme sopivana ajankohtana ennen seuraavan lukukauden alkua? Hieman ajatusten tuuletusta?

Itä-Suomen yliopiston kasvatustieteen professori Päivi Atjosen avoimella YouTube-kanavalla ”Atjonen puhuu arvioinnista” on mistä valita, 6-30 minuutin pituisissa tallenteissa. Atjonen käsittelee niissä niin arvioinnin ydinkäsitteitä ja perusteita, digitalisoituvaa arviointia, arviointiin liittyviä eettisiä kysymyksiä kuin arvioinnin tulkitsemistakin.

Sivuston englanninkielisellä puolella Tips of the Week tarjoaa linkkejä webinaareihin, joissa keskustellaan tekoälyn vaikutuksesta oppimiseen, opettamiseen ja arviointiin korkeakoulukontekstissa. Vaihda kieleksi englanti sivun yläreunasta, niin pääset selaamaan englanninkielistä sisältöämme.

Viikon vinkki 21/2023

Why do we assess the way we do?

Assessment, assessment, assessment. All of us teachers do it, but do we give enough thought to what it is we are actually doing?

As UEF Professor of Education Science Päivi Atjonen has put it, when discussing what students will focus on in our courses: “Sitä saat mitä tilaat”. That is, literally translated, ”You get what you order”, with the meaning of ”You reap what you sow”. To put it simply, students will focus their effort on what will be assessed (and graded).

So, to use Atjonen’s metaphor, what kind of orders are we placing to students in our courses? Have you recently reflected on your own assessment and grading practices?

Why not listen to Juuso Nieminen’s interview titled Toward Assessment Utopias for the podcast Teachers Going Gradeless as your end-of-semester personal and professional development. In the interview, Nieminen (an Assistant Professor at the Faculty of Education, University of Hong Kong, a Banting Fellow at Ontario Tech University, Canada, as well as an Honorary Research Fellow at Deakin University, Australia) discusses for example his own personal experiences as a teacher when trying to put into practice co-created assessment rubrics with his students.

While listening to the podcast, why not also take a look at Nieminen’s article Assessment for inclusion: rethinking inclusive assessment in higher education, published in Teaching in Higher Education in 2022.

PS: Finnish-language speakers: Have you noticed how many useful resources on assessment Professor Atjonen has online, for example her channel on YouTube? Not to mention our UEF Digiopettajan starttipaketti, the audiovisual guide available online (in Finnish at the moment, will be published in English, too), and the links within its section on assessment to Atjonen’s resources.

Viikon vinkki 7/2022

Digiopettajan starttipaketti: Arviointi = palaute

”Opiskelija opiskelee sitä, mitä arvioidaan. Opiskelijat asettavatkin tavoitteensa ja valitsevat opiskelustrategiansa arviointikäytännöistä tekemiensä tulkintojen avulla (Lindblom-Ylänne & Nevgi 2009). Arviointi ohjaa opiskelua ja oppimista enemmän kuin mikään muu tekijä oppimistilanteessa (Virtanen, Postareff & Hailikari 2015). Arviointi kannattaa siten suunnitella huolella.”

Edellinen lainaus on Digiopettajan starttipaketin vaiheesta 5, joka keskittyy arvioinnin kysymyksiin. Niihin on paneuduttu myös keväällä 2021 ja 2022 järjestetyillä UEFin arviointiklinikoilla, ja aihepiiristä keskustelu jatkunee myös kahdella palauteklinikalla, 31.3. (UEFlainen, ilmoittaudu tästä) ja 5.4. (UEFlainen, ilmoittaudu tästä). Arviointihan on palautetta, ja palaute on arviointia. Vai mitä?

Arviointiklinikoilla on pohdittu sellaisiakin kysymyksiä, että miksi ylipäätään arvioimme ja arvostelemme. Ja mitä oikeastaan arvioimme. Arvioimmeko sitä, mitä luulemme arvioivamme. Entä jos… emme arvioisikaan enää ”kuten aina ennenkin on tehty” tai ”koska niin on aina ennenkin tehty”? Mitä siitä seuraisi? Näitä kysymyksiä voi olla varsin hedelmällistä pohtia opiskelijoidenkin kanssa.

Entä jos arviointiin saisi mukaan muutakin kuin lopputuotoksen?

Teksti: Designing Recess in Difficult Times/ DeBay & Laser. Keveyden merkitys nimenomaan psykologisesti kuormittavina aikoina; rento asenne, läsnäolo; kokeilemalla oppiminen; tulevaisuusorientaatio; keskeneräisyyden estetiikka ja holistinen ihmiskäsitys: saa mokata! Miten nämä saisi mukaan arviointiin?

”Jotta oppimisen arviointi toimisi myös oppimista sparraavana palautteena (assessment for learning, Atjonen 2019), ota oppimisen arviointia käyttöön oppimisprosessin aikana. Näin opiskelija itse sekä sinä opettajana saatte palautetta osaamisen kehittymisestä, kun opetus on vielä käynnissä.” (Lainaus Digiopettajan starttipaketin vaiheesta 5.)

Vinkin muotoili Susanna

Viikon vinkki 22/2021

Oppimisen ja osaamisen arvioinnin monet muodot – itseopiskelumateriaali

Kaipaatko tukea oppimisen ja osaamisen arvioinnin kehittämisessä? Mitä pedagogisia ja teknisiä työvälineitä arvioinnin toteuttamiseen on digitaalisissa oppimisympäristöissä?

Tervetuloa tutustumaan Oppimisen ja osaamisen arvioinnin monet muodot – itseopiskelumateriaaliin Moodlessa (vaatii UEF-kirjautumisen, mutta ei avainta).

Voit perehtyä materiaaliin itsenäisesti tai yhdessä opettajakollegoittesi kanssa. Muistathan, voit pyytää tukea pohdintoihin myös meiltä fasilitaattoreilta sekä OPIn asiantuntijoilta! Millaisia kehittämiskohteita asettaisit oppimisen arvioinnin kehittämiseksi omassa opetuksessasi ?

Hyvää ja rentouttavaa kesää kaikille! Viikon vinkit jatkuvat taas syksyllä viikolla 33.

Viikon vinkki 19/2021

Mitä arvioinnilla sais, jos osais tilata?

Kiinnostuitko aiheesta? Tule kuuntelemaan professori Päivi Atjosen esitystä Oppimisympäristöwebinaariin 25.8.2021.

Oppimisympäristöwebinaari pidetään tulevana syksynä 25.-26.8.2021 – laita päivät kalenteriisi! Seminaari on suunnattu UEFin henkilökunnalle ja opiskelijoille. Ilmoittautuminen aukeaa lähempänä.

Lämmittelynä aiheeseen voit katsoa Päivi Atjosen videon Akateeminen arviointi, palaute ja ohjaus.

Viikon vinkki 18/2021

Oletko jo tutustunut DigiCampukseen?

DigiCampus.fi on OKM:n rahoittamassa kehittämishankkeessa tuotettu korkeakoulujen yhteinen oppimisympäristö, jossa on korkeakoulujen yhteisiä kursseja, kaikille avoimia kursseja (esim. moocit) sekä korkeakoulujen omia kursseja. DigiCampus.fi-ympäristön käyttöä tukee monikanavaista palvelua tarjoava DC-help -tukipalvelu, joka on hankkeen aikana tuotettu yhteistyössä viiden eri korkeakoulun kanssa.

Hanke päättyy, mutta DigiCampus.fi jatkaa. Oppimisympäristö ja sen loppukäyttäjien tukipalvelu jatkuu Mediamaisterin ylläpitämänä palveluna 1.7.2021 alkaen. Itä-Suomen yliopisto on sitoutunut palvelun käyttöön, joten voit edelleen käyttää DigiCampus.fi-ympäristöä esim. MOOC-kurssien tai verkostojen yhteisten kurssien tuottamiseen.

DigiCampus.fi järjestää myös koulutuksia. Seuraavaa koulutus on Pedagogisesti hyvä tentti ja sen käytännön toteutus, jonka aikataulu muuttui; se järjestetään 17.6.2021 klo 9.00-10.45.

Paikka: Zoomissa. Kirjaudu Haka-tunnuksillasi (tai vierailijana) DigiCampukseen. Linkki on kohdassa DigiCampus-koulutukset ja Spring 2021 training sessions.

Ilmoittautuminen: Koulutukseen ei tarvitse ilmoittautua. Tilaisuus tallennetaan ja tallenne jää saataville DigiCampus-koulutukset sivustolle.

Kohderyhmä: Arviointia toteuttava opetushenkilöstö.

Oppimistavoite: Koulutuksen jälkeen osallistuja ymmärtää eri tenttikysymystyyppien vahvuuksia ja heikkouksia ja osaa laatia tenttikysymyksen Moodlella. Osallistuja saa yleiskuvan Moodlen arviointikirjan käytöstä kurssilla.

Ohjelma:

  • Pedagogisesti hyvä tenttikysymys, eri kysymystyyppien vahvuuksia ja heikkouksia (essee, monivalinta, lyhytvastauskysymys) / Sanna Siirilä
  • Tenttikysymysten laatiminen Moodlessa (essee, monivalinta, lyhytvastaus jne) / Perttu Suhonen
  • Moodlen arviointikirja / Viivi Seppänen

Vinkin tarjoili Sari Tervonen OPIsta