Ennakkojutut plenarypuhujista 2022
Vaikuttavuuden tutkimuksen päivillä pureudutaan vaikuttavuuden mittaamisen mittareihin, menetelmiin ja työkaluihin
Vuoden 2022 Vaikuttavuuden tutkimuksen päivillä pääpuhujina (plenary) ovat professori Matthew D. Adler (Duke University), professori Martin Webber (University of York, UK), ylilääkäri Jonna Salonen (Terveyden ja hyvinvoinnin laitos) ja yhteiskuntatieteiden tohtori, dosentti Sakari Kainulainen (Diakonia-ammattikorkeakoulu).
Lisäksi keynote-puheenvuorot pitävät apulaisprofessori Paulus Torkki (Helsingin yliopisto) ja tutkimusjohtaja Eila Kankaanpää (Itä-Suomen yliopisto).
Vaikuttavuuden tutkimuksen päivät on monitieteinen keskustelufoorumi hyvinvointiin ja terveyteen liittyvän vaikuttavuuden tutkijoille ja asiantuntijoille sekä jokaiselle, joka kokee tarvitsevansa työssään uusinta tutkimustietoa vaikuttavuudesta.
”I believe that we can improve our assessment of policy effectiveness, by using the “social welfare function” (SWF) framework to evaluate governmental policies, rather than cost-benefit analysis.”
PhD Matthew D. Adler, Duke University
What is your perspective on measuring effectiveness?
Cost-benefit analysis is a standard indicator of the effectiveness of governmental policies. This methodology is used in much academic research and, in some governments, as an official test for approving policies. Cost-benefit analysis measures policy impacts in monetary terms; impacts on individual well-being are converted into monetary equivalents, by estimating what individuals would be willing to pay (insofar as a policy improves individual well-being along some dimension) or willing to accept (insofar as it reduces well-being).
I believe that we can improve our assessment of policy effectiveness, by using the “social welfare function” (SWF) framework to evaluate governmental policies, rather than cost-benefit analysis. The SWF framework employs an interpersonally comparable well-being indicator, rather than money, as the core metric for quantifying policy impacts. A given policy is conceptualized as a distribution of well-being, among the population of concern. Some rule is then used to measure the “goodness” of this distribution, such as the utilitarian rule (adding up well-being) or a prioritarian rule that gives greater weight to the well-being of the worse off.
What are the key challenges in measuring effectiveness from the perspective of your own research?
The SWF framework itself is well understood. See, e.g., Adler, Measuring Social Welfare (Oxford University Press 2019) for an overview. A key challenge is developing and improving models and techniques for implementing the framework in different areas of governmental policy choice. Adler and Norheim, eds., Prioritarianism in Practice (Cambridge U Press 2022), employs utilitarian and prioritarian SWFs in a number of different policy domains: tax policy, health policy, fatality risk regulation, education, climate change, and the COVID-19 pandemic.
How could the measurement of effectiveness be supported?
Governmental use of the SWF framework, in tandem with cost-benefit analysis or other standard policy assessment tools, would not only help in selecting beneficial governmental policies, but would build our knowledge base about the framework.
”Particular support needs to be provided in the development and evaluation of outcome measures for complex social interventions.”
PhD Martin Webber, University of York
What is your perspective on measuring effectiveness?
The effectiveness of complex social interventions cannot be measured using a single outcome measure. It is insufficient to conclude that an intervention is not effective if no change is detected on a primary outcome measure. If there are positive findings on other outcome measures in a trial, for example, it may indicate that the intervention has different effects than originally conceived. In addition, interventions within social systems such as families and communities require outcome measurement at levels beyond the individual. While in the social sciences we may borrow evaluation methodologies from medicine, they require adaptation to become fit for purpose as the complexity of the social world makes measuring effectiveness much more complex.
What are the key challenges in measuring effectiveness from the perspective of your own research?
Large samples are required to detect small, yet meaningful, changes. Recruitment in trials requires a large number of sites and a dedicated workforce of researchers, which is expensive for research funders. Making the case for the evaluation of complex social interventions is more difficult as outcomes are less certain, making it more challenging to obtain funding for this kind of research. In addition, if you are evaluating the effectiveness of workers (in health or social care, for example) doing something different, it often requires systemic change to modify an individual’s behaviour. If they are not adequately supported, they will not do it. Therefore, intervention fidelity is difficult to maintain unless you have a dedicated workforce to deliver the intervention.
How could the measurement of effectiveness be supported?
Particular support needs to be provided in the development and evaluation of outcome measures for complex social interventions. This work is difficult to fund, though is vital to ensure we have a range of valid and reliable measures at our disposal. In addition, support needs to be provided in workplaces which are hosting the testing of novel interventions. Staff need support to implement new approaches and methods in their work, and this requires organisational and systemic support to make it happen effectively. Underpinning this should be a good understanding of the importance of effectiveness evidence. More support is required to ensure that there is good public understanding of the reasons for effectiveness research and the rationale for the methods used.
”Vaikuttavuusperustaisuus pitäisi nähdä investointina meidän kaikkien hyväksi.”
Ylilääkäri Jonna Salonen, Terveyden ja hyvinvoinnin laitos
Mikä on näkökulmasi vaikuttavuuden mittaamiseen?
Johdan Terveyden ja hyvinvoinnin laitoksella (THL) kansallisen laaturekisteritoiminnan käynnistämistä. Laaturekistereihin kerätään tietoa, jonka avulla seurataan sekä kehitetään järjestelmällisesti asiakas- ja potilasryhmäkohtaista laatua ja vaikuttavuutta. Johtamassani projektissa on mukana yhdeksän kansallista laaturekisteriä. THL:n pysyvä kansallinen laaturekisteritoiminta saadaan todennäköisesti alkuun vuoden 2023 aikana. Jokaisella yksittäisellä laaturekisterillä tulee olemaan omat vaikuttavuustavoitteensa ja omat seurannassa käytettävät mittarit ja/tai indikaattorit. Laaturekisterien tietoja käytetään esimerkiksi sote-ammattilaisten vertaiskehittämistoiminnassa. Kyse on siis hyvin konkreettisesta toiminnasta, jolla muun muassa tuetaan sote-ammattilaisia tekemään omaa työtään vaikuttavasti.
Mitä ovat vaikuttavuuden mittaamisen keskeiset haasteet laaturekisteritoiminnan näkökulmasta?
Oleellista on saada sovittua kansallinen konsensus siitä, mitkä ovat kunkin asiakas- ja potilasryhmän tärkeimmät laatu- ja vaikuttavuustavoitteet. Näiden tavoitteiden perusteella suunnitellaan ja sovitaan seurattavat indikaattorit ja mittarit. Niiden valinnassa ja tulkinnassa tarvitaan viisautta, sillä ne ohjaavat sote-ammattilaisten toimintaa ja niiden tuomia tietoja tullaan mahdollisesti jatkossa käyttämään myös hyvinvointialueiden ohjauksessa. Indikaattorien ja mittarien valinnassa pitää ottaa myös huomioon se, miten helppoa tai vaikeaa niiden muodostamiseksi tarvittavien tietojen kerääminen on.
Kun kyse on kansallisesta toiminnasta, tarvitaan paljon suunnittelua ja työtä, jotta kerättävät tiedot ovat keskenään yhdenmukaisia ja vertailukelpoisia. Lisäksi tavoitteena on, ettei tietojen tuottaminen ole liian työlästä ja kallista. Kansallisten laaturekisterien niin sanottu tietotuotanto on iso kokonaisuus, joka liittyy saumattomasti muuhun kansalliseen sote-tietotuotantoon eli riippuvuuksia on hyvin paljon.
Laaturekisterityö on pitkäjänteistä ja vaatii monen alan asiantuntemusta. Laaturekisteritoiminnalla saadaan aikaan vaikuttavuuttavain, jos se tehdään kunnolla ja laaturekisteritietoa myös hyödynnetään aktiivisesti kentällä. Kansalliseen laaturekisteritoimintaan investoiminen on tähän mennessä ollut vielä aika vähäistä suhteutettuna sen kustannusvaikuttavuuspotentiaaliin Meillä on jo nyt viitteitä laaturekisteritoiminnan tuomasta huomattavista kustannussäästömahdollisuuksista. Diabetesrekisterissä laskettiin vertaiskehittämisen tuomien tulosten perusteella, että panostus laaturekistereihin maksaa itsensä takaisin viimeistään muutamassa vuodessa.
Miten vaikuttavuuden mittaamista voitaisiin tukea?
Ymmärrystä ja osaamista hoidon ja terveydenhuollon vaikuttavuudesta tarvitaan vielä lisää myös tutkijayhteisöjen ulkopuolella. Asiaa kannattaa siis pitää aktiivisesti esillä. Vaikuttavuuden tutkimuksen päivien kaltaiset tilaisuudet ovat hyvin tervetulleita, samoin koulutukset, kuten Itä-Suomen yliopiston verkkokurssi. Sote-ammattilaiset saadaan parhaiten mukaan sillä, että heidän oman toimintansa vaikuttavuus tehdään näkyväksi. Tärkeää on myös panostaa sujuviin kirjaamisen ja mittaamisen käytäntöihin. Toiminnan muutokset eivät synny itsestään, vaan niiden toteutumiseksi tarvitaan työtä ja siksi myös resurssia. Vaikuttavuusperustaisuus pitäisi nähdä investointina meidän kaikkien hyväksi.
”Tarvitaan pitkittäisaineistoja muutosten seuraamiseen.”
Erityisasiantuntija, YTT Sakari Kainulainen, Diakonia-ammattikorkeakoulu
Mikä on näkökulmasi vaikuttavuuden mittaamiseen?
Olen tottunut tarkastelemaan asioita ihmisen näkökulmasta. Tutkimustyössäni olen kiinnostunut esimerkiksi ihmisten hyvinvoinnin kokemuksista ja niiden muutoksista. Vaikuttavuuden kohdalla tämä näkökulma tarkoittaa sitä, että interventiolla saadaan haluttu pysyvä vaikutus ihmisen elämässä. Olen tutkinut enemmän vaikuttavuuden edellytyksenä olevia vaikutuksia.
Mitä ovat vaikuttavuuden mittaamisen keskeiset haasteet oman tutkimuksesi näkökulmasta?
Kun tutkitaan ihmisten kokemuksia, niiden yhteyttä interventioihin ja niiden pysyvyyttä ajan kuluessa, niin ajallinen seuranta on välttämätöntä. Tarvitaan siis pitkittäisaineistoja muutosten seuraamiseen. Mitä pidemmäksi ajallinen seuranta käy, sitä vaikeampaa on erottaa intervention ulkopuolisten tekijöiden yhteyttä pysyvään muutokseen. Vaikutuksia kyllä saadaan esiin, mutta vaikuttavuuden todentaminen ihmisten arjessa on hankalampaa.
Miten vaikuttavuuden mittaamista voitaisiin tukea?
Ensimmäinen askel on saada koottua kokemuksellista tietoa: kuinka ihmiset arjessaan selviävät (vaivoineen) ja miten he sen kokevat. Näkisin, että tätä tietoa pitäisi syntyä palveluissa ihmisiä kohdatessa. Toki tämä haastaa ammattilaisten tapoja keskittyä tapaamisessa vain siihen asiaan, johon heillä oletettavasti on ratkaisu valmiina. Jos ei ole mahdollista kysyä asiakkaalta tai potilaalta että ”mitä kuuluu” ja antaa aikaa mahdollisesti pitkällekin vastaukselle, niin voitaisiin käyttää erilaisia ihmisen hyvinvointia kartoittavia nopeita mittareita. Yhdistyneenä interventiotietoon ja ajalliseen seurantaan voitaisiin päästä kiinni vaikuttavuuteenkin.
Keynote-puhujat
”Liian monimutkaiset ratkaisut mittarien ja mittaristojen muodostamisessa on yksi arkivaikuttavuuden arvioinnin haaste.”
Apulaisprofessori Paulus Torkki, Helsingin yliopisto
Mikä on näkökulmasi vaikuttavuuden mittaamiseen?
Näkökulmani on toiminnan kehittäminen ja johtaminen, jonka vuoksi erityisesti kiinnostaa seuraava dilemma. Yhtäältä vaikuttavuus on erittäin vaikea ilmiö ja tarkka vaikuttavuuden arviointi vaatii työläitä ja huolellisesti suunniteltuja tutkimusasetelmia. Toisaalta on käytännön tarve saada nopeasti ja helposti käyttökelpoista tietoa tosielämässä saavutetuista tuloksista. Miten nämä kaksi näkökulmaa voidaan yhdistää, jotta mittarien tarjoama tieto on riittävän luotettavaa, mutta mittaaminen myös ketterää ja toiminnan kehittämistä palvelevaa.
Mitä ovat vaikuttavuuden mittaamisen keskeiset haasteet oman tutkimuksesi näkökulmasta?
Keskeiset haasteet arkivaikuttavuuden arvioinnissa ovat yhä 1) systemaattisen hoitotulostiedon keräämisen vähäisyys, 2) liian monimutkaiset ratkaisut mittarien ja mittaristojen muodostamisessa sekä se, että 3) vaikuttavuuden arvionti usein edellyttää tietoa useista eri lähteistä tai rekistereistä, mistä seuraa lainsäädännön vuoksi pitää tehdä erilaisia virityksiä mittaamisen toteuttamiseen. Osin nämä haasteet liittyvät toisiinsa.
Miten vaikuttavuuden mittaamista voitaisiin tukea?
Pitää rohkaista lähtemään yksinkertaisesti liikkeelle: 1) asetetaan aluksi rajallinen määrä selkeästi mitattavissa olevia tavoitteita, 2) aloitetaan seuranta muutamalla keskeisellä tavoitetta kuvaavalla mittarilla, 3) lähdetään kokeilevalla ja oppivalla asenteella likkeelle ja kehitetään mittaamista sitä mukaa, kun ymmärrys lisääntyy. 4) Pyritään edistämään vaikuttavuuden mittaamiseen ja arviointiin liittyvää kulttuuria.
”Vaikuttavuuden arviointi on vaativaa. Ja tärkeää.”
Tutkimusjohtaja Eila Kankaanpää, Itä-Suomen yliopisto
Mikä on näkökulmasi vaikuttavuuden mittaamiseen?
Puhun mieluummin vaikutusten arvioinnista. Toivon, että vaikuttavuustutkimuksessa satunnaistetut ja kontrolloidut tutkimusasetelmat säilyvät, sillä ne ovat edelleen paras tutkimusasetelma vaikuttavuuden osoittamiseen. Pelkkä tehon osoittaminen ei riitä. Tutkimukseen osallistujien tulisi kuvastaa sitä väestöä, jolle hoito tai palvelu on tarkoitettu.
Vaikuttavuuden ”mittareiden” tulee olla valideja. Tulosten tulkinnassa tulisi käyttää potilaan tai asiakkaan näkökulmasta merkityksellistä muutosta eikä rajoittua ainoastaan tilastollisen merkittävyyden tarkasteluun.
Vaikuttavuuden mittaaminen liittyy palveluiden ydintavoitteeseen, potilaan ja asiakkaan tilanteen parantamiseen, huononemisen estämiseen tai hidastamiseen. Olen kuitenkin hieman huolissani siitä, että tosielämän tietoon perustuvien (RWD/RWE) ”mittareiden” tulosten perusteella päätettäisiin resurssien kohdentamisesta. Ensin tarvitaan laadukkaalla tutkimusasetelmalla osoitettu vaikuttavuus. Oman toiminnan tuloksia verrattaan vaikuttavuustutkimusten tuloksiin. Oman toiminnan vaikuttavuudesta tuotettu ja vertailutieto muista yksiköistä auttaa kehittämään toimintaa. Oman toiminnan seuranta kuvaa myös miten vaikuttavien toimien käyttöönotossa on onnistuttu.
Mitä ovat vaikuttavuuden mittaamisen keskeiset haasteet oman tutkimuksesi näkökulmasta?
Terveystaloustieteessä on kehitetty laatupainotettu elinvuosi -mittari (QALY) taloudelliseen arviointitutkimukseen. Tavoitteena on ollut tehdä vertailukelpoisiksi eri sairauksien ja tarpeiden erilaiset hoidot ja palvelut. Tätä tarvitaan, jos halutaan käyttää tietoa kustannusvaikuttavuudesta resurssien kohdentamiseen. Käytännössä meillä ei ole koskaan käytettävissä tietoa kaikkien toimien kustannusvaikuttavuudesta.
Usein kustannusvaikuttavuustutkimuksen aikajänne ja tulokset kuvastavat lyhyen ajan vaikuttavuutta. Päätöksenteon kannalta pitkän ajan vaikutukset ja kustannukset ovat tärkeimmät. Tätä paikataan terveystaloustieteessä osittain mallintamalla, mutta myös mallinnusten pohjaksi olisi hyvä olla pitkiä vaikuttavuustutkimuksia ja seurantatietoa.
QALY tulkitaan usein objektiiviseksi mittariksi. Se on kuitenkin ihmisten luoma käsitteellinen rakennelma. QALY-mittareita on useita ja ne tuottavat erilaisia tuloksia.
Miten vaikuttavuuden mittaamista voitaisiin tukea?
Tutkimuksessa tarvitaan menetelmänkehitystä: validointia, vertailua samantyyppisten ”mittareiden” välillä sekä potilaille ja asiakkaille merkityksellisen muutoksen ymmärrystä. Tutkijayhteisön ja/tai säätelijän tulisi tehdä sopimukset ja suositukset käytettävistä menetelmistä. Tämä helpottaisi eri tutkimusten tulosten yhteen vetämistä.
Rahoittajat voisivat yhdistää voimansa ja rahoittaa hyviä, laajoja ja riittävän pitkäkestoisia tutkimuksia. Tarvitaan vähemmän tutkimushankkeita ja laadukkaampaa tietoa.
Käytännön työssä vaikuttavuuden seuraaminen vaatii paljon tietojärjestelmiltä sekä henkilöstöltä tarkkuutta ja rakenteista kirjaamista. Tämä vaade voi tehdä järjestelmän käyttämisen aikamoisen haasteelliseksi. Se taas vaikuttaa data laatuun. Tietotarpeiden priorisointi ja karsinta voisi auttaa. Lisäksi tarvitaan palvelujen käyttäjien halukkuutta ja kykyä arvioida toiminnan vaikutuksia omaan hyvinvointiinsa helpolla tavalla.