Aligning the clinical assessment practices with the assessment practices
Date
2011-12
Authors
Maart, Ronel
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Removable Prosthetic Dentistry (PRO400) is a fourth year module of the undergraduate dentistry programme which consists of a large clinical component. After reviewing relevant literature and conducting module evaluations, clinical tests were introduced and implemented in 2008 as an additional clinical assessment method. The intention of introducing the clinical tests was an attempt to ensure that students were assessed fairly, that their theoretical knowledge and the ability to apply it clinically were properly assessed, and to provide feedback on their clinical performance.
The purpose of this concurrent mixed methods study was to compare the relationship between the students‟ performance in the clinical tests and daily clinical grades with their theoretical performance in the PRO400 module. The second part of the study explored the academic staff s‟ perceptions of the clinical test as clinical assessment tool in the PRO400 module.
The case study design enabled the researcher to explore the question at hand in considerable depth. The mixed methods approach was useful to capture the best of both the qualitative and quantitative approaches. For the quantitative data-collection, record reviews of the results of fourth-year dental students‟ who completed the PRO400 module at the end of 2007 were used, and included 110 students. For the qualitative component three full-time lecturers within the Prosthetic department were interviewed.
The clinical test marks and clinical session marks of all the students (n=109) in PRO400 were compared to their theory mark of that year. The tests marks were entered into a spreadsheet in Microsoft Excel and the data analysis was done with the assistance of a statistician.
The analytical abstraction method was used to assist with the qualitative data analysis; first the basic level of analysis was done in the narrative form, followed by second higher level of data analysis. The basic and higher levels of analysis were discussed under the following themes: clinical tests, student performances, alignment of theory and clinical assessment and personal influence on supervisors‟ assessment practices and attitude. Role-taking and the supervisors‟ perceptions and concerns regarding the students were explored as emergent themes. The quantitative findings were displayed using tables and graphs. Forty five students. clinical marks were 10% higher than their theory mark, while only 8 students. theory marks were 10% higher than their clinical test mark. There appeared to be hardly any relationship between the students. clinical daily grade assessment marks and their theory marks. The average theory mark was 47%, the average clinical test marks were 55% and the average daily clinical grade was 63%. Integration of the data obtained from the different data collection methods was done at the level of data interpretation.
The clinical test as an assessment tool is well accepted by the supervisors and they agreed that it is more reliable and accurate than the clinical daily grade assessment method. The quantitative findings relate well to other reported studies that concluded that the daily grade was poorly correlated with the competency exams (a similar phenomenon in the clinical test of the PRO400 module). From the findings of this study it appeared that there is a better correlation of the clinical test mark and the theory mark, than clinical daily mark and the theory mark. This finding related well with the lecturers. views that the clinical tests were more reliable as a clinical assessment tool than the daily clinical mark.
AFRIKAANSE OPSOMMING: "Removable Prosthetic Dentistry (PRO400)" is 'n vierdejaar-module in die voorgraadse tandheelkundeprogram wat 'n groot kliniese komponent bevat. Na 'n oorsig gedoen is van die relevante literatuur, en nadat die module-evaluering afgehandel is, is kliniese toetse in 2008 ingevoer en geimplementeer as 'n bykomende metode van kliniese assessering. Die kliniese toetse is ingestel in 'n poging om te verseker dat studente se teoretiese kennis en hul vermoe om dit klinies toe te pas op . regverdige wyse geassesseer word en om terugvoer te kan gee oor die studente se kliniese prestasie. Die doel van hierdie studie, waarin gelyktydige gemengde metodes gebruik is, was om die verband tussen die studente se prestasie in die kliniese toetse, asook hul daaglikse kliniese punte en hul teoretiese prestasie in die PRO400-module vas te stel. Die tweede deel van die studie het ondersoek ingestel na die akademiese personeel se persepsies van die kliniese toets as 'n instrument vir kliniese assessering in die PRO400-module. 'n Dwarssnit-gevallestudie-ontwerp is gebruik en 'n gemengdemetode-benadering was nuttig om sowel kwalitatiewe as kwantitatiewe data in te samel. Vir die kwantitatiewe data-insamelingverslae is die uitslae van 109 vierdejaar-tandeheelkundestudente in die PRO400-module aan die einde van 2007 gebruik. Vir die kwalitatiewe data-insameling is onderhoude gevoer met drie voltydse dosente in die Prostetiese Tandheelkunde-departement. Die kliniese toetspunte en die kliniese sessiepunte van al die studente (n=109) in die PRO400-module is met hul teoriepunte van daardie jaar vergelyk. Die toetspunte is op 'n sigblad in Microsoft Excel ingevoer en die data-analise is met die hulp van 'n statistikus gedoen. Die analitiese abstraksiemetode is vir die analise van die kwalitatiewe data gebruik. Die basiese vlak van data-analise in die narratiewe vorm is eerste gedoen. Dit is gevolg deur 'n tweede, hoervlak-data-analise. Die basiese en hoer vlakke van analise is onder die volgende temas bespreek: kliniese toetse, studenteprestasie, ooreenstemming van teorie en kliniese assessering, en persoonlike invloed op studieleiers se assesseringspraktyke en houding. Rol-aanneming en die studieleiers se persepsies, asook kwessies rakende die studente is as ontluikende temas ondersoek. Die resultate van hierdie studie het aangetoon dat die kliniese punte van 45 studente 10% hoër was as hul teoriepunte, en dat slegs agt studente se teoriepunte 10% hoër as hul kliniese toetspunte was. Dit het geblyk dat daar feitlik geen verband was tussen die studente se kliniese daaglikse assesseringspunte en hul teoriepunte nie. Die gemiddelde teoriepunt was 47%, die gemiddelde kliniese toetspunt was 55% en die gemiddelde daaglikse kliniese punt was 63%. Al die studieleiers het die kliniese toets as assesseringsinstrument goed aanvaar en hulle het saamgestem dat dit meer betroubaar en akkuraat is as die daaglikse kliniese assesseringsmetode. Die kwantitatiewe bevindings hou goed verband met dié van soortgelyke studies waarin daar bevind is dat die daaglikse prestasie swak gekorreleer het met die bevoegdheidseksamen (ʼn soortgelyke beginsel as die kliniese toets van die Pro400). Dit het ook uit die bevindings van hierdie navorsing geblyk dat daar ʼn beter korrelasie is tussen die kliniese toetspunt en die teoriepunt as tussen die daaglikse kliniese punt en die teoriepunt. Hierdie bevinding het ʼn duidelike verband getoon met die dosente se siening dat die kliniese toetse as ʼn kliniese assesseringsinstrument meer betroubaar is as die daaglikse kliniese punt in die PRO400-module in die Tandheelkunde-program.
AFRIKAANSE OPSOMMING: "Removable Prosthetic Dentistry (PRO400)" is 'n vierdejaar-module in die voorgraadse tandheelkundeprogram wat 'n groot kliniese komponent bevat. Na 'n oorsig gedoen is van die relevante literatuur, en nadat die module-evaluering afgehandel is, is kliniese toetse in 2008 ingevoer en geimplementeer as 'n bykomende metode van kliniese assessering. Die kliniese toetse is ingestel in 'n poging om te verseker dat studente se teoretiese kennis en hul vermoe om dit klinies toe te pas op . regverdige wyse geassesseer word en om terugvoer te kan gee oor die studente se kliniese prestasie. Die doel van hierdie studie, waarin gelyktydige gemengde metodes gebruik is, was om die verband tussen die studente se prestasie in die kliniese toetse, asook hul daaglikse kliniese punte en hul teoretiese prestasie in die PRO400-module vas te stel. Die tweede deel van die studie het ondersoek ingestel na die akademiese personeel se persepsies van die kliniese toets as 'n instrument vir kliniese assessering in die PRO400-module. 'n Dwarssnit-gevallestudie-ontwerp is gebruik en 'n gemengdemetode-benadering was nuttig om sowel kwalitatiewe as kwantitatiewe data in te samel. Vir die kwantitatiewe data-insamelingverslae is die uitslae van 109 vierdejaar-tandeheelkundestudente in die PRO400-module aan die einde van 2007 gebruik. Vir die kwalitatiewe data-insameling is onderhoude gevoer met drie voltydse dosente in die Prostetiese Tandheelkunde-departement. Die kliniese toetspunte en die kliniese sessiepunte van al die studente (n=109) in die PRO400-module is met hul teoriepunte van daardie jaar vergelyk. Die toetspunte is op 'n sigblad in Microsoft Excel ingevoer en die data-analise is met die hulp van 'n statistikus gedoen. Die analitiese abstraksiemetode is vir die analise van die kwalitatiewe data gebruik. Die basiese vlak van data-analise in die narratiewe vorm is eerste gedoen. Dit is gevolg deur 'n tweede, hoervlak-data-analise. Die basiese en hoer vlakke van analise is onder die volgende temas bespreek: kliniese toetse, studenteprestasie, ooreenstemming van teorie en kliniese assessering, en persoonlike invloed op studieleiers se assesseringspraktyke en houding. Rol-aanneming en die studieleiers se persepsies, asook kwessies rakende die studente is as ontluikende temas ondersoek. Die resultate van hierdie studie het aangetoon dat die kliniese punte van 45 studente 10% hoër was as hul teoriepunte, en dat slegs agt studente se teoriepunte 10% hoër as hul kliniese toetspunte was. Dit het geblyk dat daar feitlik geen verband was tussen die studente se kliniese daaglikse assesseringspunte en hul teoriepunte nie. Die gemiddelde teoriepunt was 47%, die gemiddelde kliniese toetspunt was 55% en die gemiddelde daaglikse kliniese punt was 63%. Al die studieleiers het die kliniese toets as assesseringsinstrument goed aanvaar en hulle het saamgestem dat dit meer betroubaar en akkuraat is as die daaglikse kliniese assesseringsmetode. Die kwantitatiewe bevindings hou goed verband met dié van soortgelyke studies waarin daar bevind is dat die daaglikse prestasie swak gekorreleer het met die bevoegdheidseksamen (ʼn soortgelyke beginsel as die kliniese toets van die Pro400). Dit het ook uit die bevindings van hierdie navorsing geblyk dat daar ʼn beter korrelasie is tussen die kliniese toetspunt en die teoriepunt as tussen die daaglikse kliniese punt en die teoriepunt. Hierdie bevinding het ʼn duidelike verband getoon met die dosente se siening dat die kliniese toetse as ʼn kliniese assesseringsinstrument meer betroubaar is as die daaglikse kliniese punt in die PRO400-module in die Tandheelkunde-program.
Description
Thesis (MPhil)--Stellenbosch University, 2011.
Keywords
Clinical assessment -- Dentistry students, Constructive alignment, Dental students -- South Africa -- Stellenbosch, Prosthetic dentistry, Theses -- Curriculum studies, Dissertations -- Curriculum studies