Understanding the societal impact of research through productive interactions and realist theory-based evaluation: Select cases of agricultural research in South Africa
Date
2019-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: The study explored the concept of societal impact of research (SoIR) in four agricultural research projects in South Africa, as well as in a survey of the two commodity companies that funded those projects. Three objectives guided the study: (1) to investigate the SoIR by focussing on the productive interactions and effects as identified through the SIAMPI approach; (2) to use the logic of realist evaluation to assign value to productive interactions by using them to build theories of change, impact pathways and indirectly context-mechanism-outcome (CMO) configurations; and (3) to view the productive interactions and effects through the lens of research impact literacy. The study relied on four conceptual underpinnings, namely the SIAMPI approach, realist evaluation, theories of change and impact literacy.
The SIAMPI approach uses productive interactions to understand the effecting of research impact. Realist evaluation is concerned with understanding social programmes through CMO configurations. Theories of change are instruments that visualise the logic of how a programme builds impact. Lastly impact literacy looks at how impact works through the combination of ‘what’ is being aimed for (final impact), ‘how’ it is to be achieved, and ‘who’ will be engaging in activities to achieve ‘what’.
The research followed an exploratory sequential mixed methods design, comprising three phases. In the first phase, four agricultural research projects, funded by the two commodity companies, were selected as case studies. As part of the case study execution, semi-structured interviews were conducted with case study participants. Project-specific documents were also collected and analysed. From these productive interactions were identified. The second phase involved the development of a theory of change for each of the four case studies, built from the productive interactions. From the theories of change, research impact pathways were identified. Follow-up semi-structured interviews with the primary investigators were used to validate the accuracy of the theories of change and to explore the impact pathways further. The third phase of the research made use of the theories of change, coupled with the concept of impact literacy, to explore the understanding of SoIR among research funders. A survey was used to assess research funders’ views on SoIR. The findings were used to develop a Classification framework for research impact and to show the viability of building CMO configurations from the data produced through SIAMPI.
It was found that productive interactions can be used to develop coherent visualisations of research processes through theories of change. This showed that it is possible to make use of SIAMPI as a method within realist evaluation, though it is not recommended due to the myriad of possible different productive interactions that would need to be tested. Arguably most importantly the
research showed that CMO configurations applicable to research can be constructed based on information gathered through the SIAMPI method. Productive interactions can be used to build an understanding of the context in which research impact is effected (along with the outcomes and impacts) allowing for the development of CMO configurations.
Finally, the research produced the Classification framework for research impact. It provides a novel way of ‘defining’ research impact. The research recommends that, based on the value of productive interactions demonstrated in the dissertation, funders of research should consider including instruments in research reporting that are able to capture research interactions.
AFRIKAANSE OPSOMMING: Hierdie studie het die begrip, ‘sosiale impak van navorsing’ (SoIN) ondersoek, deur vier landbounavorsingsprojekte in Suid-Afrika te bestudeer en ʼn opname te doen van die twee kommoditeitsorganisasies wat die bestudeerde projekte befonds het. Drie doelstellings het die ondersoek gelei: (1) om die SoIN te ondersoek deur op sogenaamde produktiewe interaksies en effekte, soos geïdentifiseer deur die SIAMPI-benadering, te fokus; (2) om die logika van realistiese evaluering te gebruik om waarde toe te ken aan produktiewe interaksies deur dit te gebruik om teorieë van verandering, impakroetes en indirek ook konteks-meganisme-uitkoms (KMU) konfigurasies te bou; en (3) om die produktiewe interaksies en effekte deur die lens van navorsingsimpakgeletterdheid te bestudeer. Die studie is op vier konseptuele begrippe gegrond, naamlik die SIAMPI-benadering, realistiese evaluering, teorieë van verandering en impakgeletterdheid. Die SIAMPI-benadering gebruik produktiewe interaksies om die bewerkstelliging van navorsingsimpak te verstaan. Realistiese evaluering probeer van sosiale programme sin maak deur middel van KMU-konfigurasies. Teorieë van verandering is instrumente wat die logika van hoe ’n program tot impak lei, visueel voorstel. Impakgeletterdheid fokus op wat met impak bedoel word, asook hoe dit werk, op grond van ʼn kombinasie van drie kernbegrippe: ‘wat’ bereik moet word (eindimpak), ‘hoe’ dit bereik moet word, en ‘wie’ aan aktiwiteite sal moet deelneem om ‘wat’ te bereik. Die studie het van ’n ondersoekende opeenvolgende gemengde-metode-ontwerp gebruik gemaak, wat uit drie fases bestaan. In die eerste fase is vier landbounavorsingsprojekte, wat deur die twee kommoditeitsorganisasies gefinansier is, as gevallestudies gekies. Die gevallestudies is uitgevoer deur semi-gestruktureerde onderhoude met belanghebbendes in die gekose gevalle te voer. Projek-spesifieke dokumente is ook ingesamel en ontleed. Die ontleding het tot die identifisering van stelle produktiewe interaksies vir elke projek gelei. Die tweede fase het die ontwikkeling van ’n teorie van verandering vir elk van die vier gevallestudies behels. Hierdie teorieë is uit die produktiewe interaksies gebou. Die teorieë van verandering, op hul beurt, het weer tot die identifisering van impakroetes gelei. Opvolgonderhoude (semi-gestruktureerd) is met die primêre ondersoekers van die gevallestudies gevoer en gebruik om die akkuraatheid van die teorieë van verandering te bekragtig en om die impakroetes verder te ondersoek. Die derde fase van die navorsing het gebruik gemaak van die teorieë van verandering, tesame met die idee van impakgeletterdheid, om die begrip van SoIN onder befondsers van navorsing verder te ondersoek. ’n Opname is gebruik om die menings van befondsers oor SoIN te bekom. Die bevindinge is gebruik om ’n Klassifikasieraamwerk vir Navorsingsimpak te ontwikkel en om die lewensvatbaarheid van die bou van KMU-konfigurasies uit die data wat deur SIAMPI gegenereer is, te toon. Daar is gevind dat produktiewe interaksies gebruik kan word om samehangende visualiserings van navorsingsprosesse te ontwikkel, deur die gebruik van teorieë van verandering. Hierdie bevinding het daarop gedui dat dit moontlik is om SIAMPI as ’n metode binne ’n realistiese evaluering te gebruik. Dit word egter nie aanbeveel nie, as gevolg van die magdom verskillende produktiewe interaksies wat in die proses getoets sal moet word. Van groter belang is die bevinding dat KMU-konfigurasies, wat van belang is vir die bewerkstelliging van navorsingsimpak, saamgestel kan word deur inligting wat deur die SIAMPI-metode gegenereer en versamel word. Produktiewe interaksies kan gebruik word om die verstaan van die konteks waarin navorsingsimpak bewerkstellig word (tesame met die uitkomste en impakte) te versterk, en ook om die ontwikkeling van KMU-konfigurasies binne ’n navorsingskonteks moontlik te maak. Laastens het die navorsing ’n Klassifikasieraamwerk vir Navorsingsimpak opgelewer. Dit bied ’n unieke manier om navorsingsimpak te ‘definieer’. Op grond van die waarde van produktiewe interaksies soos in die proefskrif gedemonstreer, beveel hierdie studie aan dat die befondsers van navorsing dit moet oorweeg om instrumente wat navorsingsinteraksies vaslê, in hul navorsingsverslagdoening in te sluit.
AFRIKAANSE OPSOMMING: Hierdie studie het die begrip, ‘sosiale impak van navorsing’ (SoIN) ondersoek, deur vier landbounavorsingsprojekte in Suid-Afrika te bestudeer en ʼn opname te doen van die twee kommoditeitsorganisasies wat die bestudeerde projekte befonds het. Drie doelstellings het die ondersoek gelei: (1) om die SoIN te ondersoek deur op sogenaamde produktiewe interaksies en effekte, soos geïdentifiseer deur die SIAMPI-benadering, te fokus; (2) om die logika van realistiese evaluering te gebruik om waarde toe te ken aan produktiewe interaksies deur dit te gebruik om teorieë van verandering, impakroetes en indirek ook konteks-meganisme-uitkoms (KMU) konfigurasies te bou; en (3) om die produktiewe interaksies en effekte deur die lens van navorsingsimpakgeletterdheid te bestudeer. Die studie is op vier konseptuele begrippe gegrond, naamlik die SIAMPI-benadering, realistiese evaluering, teorieë van verandering en impakgeletterdheid. Die SIAMPI-benadering gebruik produktiewe interaksies om die bewerkstelliging van navorsingsimpak te verstaan. Realistiese evaluering probeer van sosiale programme sin maak deur middel van KMU-konfigurasies. Teorieë van verandering is instrumente wat die logika van hoe ’n program tot impak lei, visueel voorstel. Impakgeletterdheid fokus op wat met impak bedoel word, asook hoe dit werk, op grond van ʼn kombinasie van drie kernbegrippe: ‘wat’ bereik moet word (eindimpak), ‘hoe’ dit bereik moet word, en ‘wie’ aan aktiwiteite sal moet deelneem om ‘wat’ te bereik. Die studie het van ’n ondersoekende opeenvolgende gemengde-metode-ontwerp gebruik gemaak, wat uit drie fases bestaan. In die eerste fase is vier landbounavorsingsprojekte, wat deur die twee kommoditeitsorganisasies gefinansier is, as gevallestudies gekies. Die gevallestudies is uitgevoer deur semi-gestruktureerde onderhoude met belanghebbendes in die gekose gevalle te voer. Projek-spesifieke dokumente is ook ingesamel en ontleed. Die ontleding het tot die identifisering van stelle produktiewe interaksies vir elke projek gelei. Die tweede fase het die ontwikkeling van ’n teorie van verandering vir elk van die vier gevallestudies behels. Hierdie teorieë is uit die produktiewe interaksies gebou. Die teorieë van verandering, op hul beurt, het weer tot die identifisering van impakroetes gelei. Opvolgonderhoude (semi-gestruktureerd) is met die primêre ondersoekers van die gevallestudies gevoer en gebruik om die akkuraatheid van die teorieë van verandering te bekragtig en om die impakroetes verder te ondersoek. Die derde fase van die navorsing het gebruik gemaak van die teorieë van verandering, tesame met die idee van impakgeletterdheid, om die begrip van SoIN onder befondsers van navorsing verder te ondersoek. ’n Opname is gebruik om die menings van befondsers oor SoIN te bekom. Die bevindinge is gebruik om ’n Klassifikasieraamwerk vir Navorsingsimpak te ontwikkel en om die lewensvatbaarheid van die bou van KMU-konfigurasies uit die data wat deur SIAMPI gegenereer is, te toon. Daar is gevind dat produktiewe interaksies gebruik kan word om samehangende visualiserings van navorsingsprosesse te ontwikkel, deur die gebruik van teorieë van verandering. Hierdie bevinding het daarop gedui dat dit moontlik is om SIAMPI as ’n metode binne ’n realistiese evaluering te gebruik. Dit word egter nie aanbeveel nie, as gevolg van die magdom verskillende produktiewe interaksies wat in die proses getoets sal moet word. Van groter belang is die bevinding dat KMU-konfigurasies, wat van belang is vir die bewerkstelliging van navorsingsimpak, saamgestel kan word deur inligting wat deur die SIAMPI-metode gegenereer en versamel word. Produktiewe interaksies kan gebruik word om die verstaan van die konteks waarin navorsingsimpak bewerkstellig word (tesame met die uitkomste en impakte) te versterk, en ook om die ontwikkeling van KMU-konfigurasies binne ’n navorsingskonteks moontlik te maak. Laastens het die navorsing ’n Klassifikasieraamwerk vir Navorsingsimpak opgelewer. Dit bied ’n unieke manier om navorsingsimpak te ‘definieer’. Op grond van die waarde van produktiewe interaksies soos in die proefskrif gedemonstreer, beveel hierdie studie aan dat die befondsers van navorsing dit moet oorweeg om instrumente wat navorsingsinteraksies vaslê, in hul navorsingsverslagdoening in te sluit.
Description
Thesis (PhD)--Stellenbosch University, 2019.
Keywords
Sustainable development -- South Africa, Agricultural research -- South Africa, Agriculture -- Research -- South Africa, Societal impact -- Research -- South Africa, UCTD