Reliability of Self-Assessment among Medical Students at Walailak University
Keywords:
การประเมินตนเอง, ความแม่น, การสะท้อนคิด, การให้ข้อมูลป้อนกลับ, ไทย, Self-assessment, accuracy, reflective practice, feedback, ThaiAbstract
ความน่าเชื่อถือของการประเมินตนเองในนักศึกษาแพทย์มหาวิทยาลัยวลัยลักษณ์
วีรเธียร ถวัลย์วงศ์ศรี1*, ธารินทร์ เพ็ญวรรณ1
1 สำนักวิชาแพทยศาสตร์ มหาวิทยาลัยวลัยลักษณ์ ประเทศไทย
หลักการและวัตถุประสงค์: การสะท้อนคิดและการให้ข้อมูลป้อนกลับเป็นวิธีหนึ่งที่เพิ่มความแม่นในการประเมินตนเอง ซึ่งในประเทศไทยมีการศึกษาในประเด็นนี้น้อย งานวิจัยมีวัตถุประสงค์เพื่อ 1) ประเมินประสิทธิผลของกิจกรรมสะท้อนคิดและการให้ข้อมูลป้อนกลับต่อการส่งเสริมความแม่นในการประเมินตนเองและผลลัพธ์การเรียนรู้ของนักศึกษาแพทย์มหาวิทยาลัยวลัยลักษณ์ 2) ประเมินทัศนคติของ นศพ. ต่อกิจกรรมสะท้อนคิดและการให้ข้อมูลป้อนกลับ
วิธีการศึกษา: เป็นการศึกษาไปข้างหน้าชนิดไม่มีกลุ่มควบคุม ปีการศึกษา 2560 มหาวิทยาลัยวลัยลักษณ์ นศพ. ปีที่ 3 อาสาสมัครเข้าร่วมการศึกษา ทำแบบสอบถามก่อนสอบ ทำข้อสอบปรนัย 100 ข้อ จำนวน 2 ครั้ง รวมทั้งร่วมกิจกรรมหลังจากการทำข้อสอบชุดแรก เก็บวิเคราะห์ข้อมูลลักษณะพื้นฐาน คะแนนที่คาดหมาย รายวิชาที่คาดว่าได้คะแนนมากสุดและน้อยสุด และคะแนนที่ได้จริง
ผลการศึกษา: มีอาสาสมัครเข้าร่วม 38 ราย (ร้อยละ 77.6) ส่วนใหญ่เป็นเพศชาย (ร้อยละ 57.9) อายุเฉลี่ย 20.6 ± 0.6 ปี หลังจากกิจกรรมสะท้อนคิดและการให้ข้อมูลป้อนกลับ ความแตกต่างระหว่างคะแนนที่คาดหมายกับคะแนนที่ทำได้จริงลดลงอย่างมีนัยสำคัญทางสถิติ (p < 0.05) คะแนนที่ทำได้จริงสูงขึ้นร้อยละ 20.7 (95%CI 15.3-26.0) อย่างมีนัยสำคัญทางสถิติ (p < 0.001) และอาสามสมัครส่วนใหญ่ (ร้อยละ 57.9) เห็นว่ากิจกรรมดังกล่าวมีประโยชน์
สรุป: การสะท้อนคิดและการให้ข้อมูลป้อนกลับช่วยส่งเสริมความแม่นในการประเมินตนเองและผลลัพธ์การเรียนรู้ใน นศพ. ไทย อย่างไรก็ตามควรศึกษเพิ่มเติมว่าผลการศึกษานี้สามารถนำไปใช้ในโรงเรียนแพทย์ไทยแห่งอื่นได้หรือไม่
Background and Objective: Owning to self-assessment limitations, reflective practice and feedback is one of the methods help improving self-assessment accuracy. So far, there is little evidence in its practicability in Thai medical students. The aims of this study were (1) to investigate the effectiveness of the reflective practice and feedback on improving self-assessment accuracy and learning outcomes in medical students at Walailak University; (2) to explore participants’ perspectives on the reflective practice and feedback.
Methods:This prospective uncontrolled study was conducted in the academic year 2017 at Walailak University. Third-year students voluntarily enrolled into the study. Surveys were contributed before the twoexaminations that consisted of one-hundred multiple choice questions. Reflective practice and feedback session was held after the first examination. Baseline characteristics, self-estimated scores, declared strengths and weaknesses, and actual scores were used for data analysis.
Results:We had 38 volunteers (77.6%) with male predominance (57.9%) in participants. The mean age was 20.6 ± 0.6 years.After the reflective practice and feedback, the difference between the median of self-estimation score and the median of actual score decreased significantly (p < 0.05). The actual scores increased by 20.7 percent (95%CI 15.3-26.0) significantly (p < 0.001). Majority of participants (57.9%) agreed that the reflective practice and feedback was helpful.
Conclusions: Reflective practice and feedback improve self-assessment accuracy and learning outcome in Thai medical students. Further work needs to be carried out to investigate whether the results are transferable to other Thai medical schools or not.
References
Fitzgerald JT, White CB, Gruppen LD. A longitudinal study of self-assessment accuracy. Med Educ 2003; 37: 645-9.
French JC, Colbert CY, Pien LC, Dannefer EF, Taylor CA. Targeted Feedback in the Milestones Era: Utilization of the Ask-Tell-Ask Feedback Model to Promote Reflection and Self-Assessment. J Surg Educ 2015; 72: 274-9.
Colthart I, Bagnall G, Evans A, Allbutt H, Haig A, Illing J, et al. The effectiveness of self-assessment on the identification of learner needs, learner activity, and impact on clinical practice: BEME Guide no. 10. Med Teach 2008; 30: 124-45.
Ward M, Gruppen L, Regehr G. Measuring self-assessment: current state of the art. Adv Health Sci Educ Theory Pract 2002; 7: 63-80.
Davis DA, Mazmanian PE, Fordis M, Van Harrison R, Thorpe KE, Perrier L. Accuracy of physician self-assessment compared with observed measures of competence: a systematic review. JAMA 2006; 296: 1094-102.
Hodges B, Regehr G, Martin D. Difficulties in recognizing one's own incompetence: novice physicians who are unskilled and unaware of it. Acad Med 2001; 76: 87-9.
Sawdon M, Finn G. The 'unskilled and unaware' effect is linear in a real-world setting. J Anat 2014; 224: 279-85.
Langendyk V. Not knowing that they do not know: self-assessment accuracy of third-year medical students. Med Educ 2006; 40: 173-9.
Hulsman RL, van der Vloodt J. Self-evaluation and peer-feedback of medical students’ communication skills using a web-based video annotation system. Exploring content and specificity. Patient Educ Couns2015; 98: 356-63.
Tweed M, Purdie G, Wilkinson T. Low performing students have insightfulness when they reflect-in-action. Med Educ 2017; 51: 316-23.
Naidu T, Kumagai AK. Troubling Muddy Waters: Problematizing Reflective Practice in Global Medical Education. Acad Med 2016; 91: 317-21.
Faul F, Erdfelder E, Buchner A, Lang AG. Statistical power analyses using G*Power 3.1: tests for correlation and regression analyses. Behav Res Methods 2009; 41: 1149-60.
Thorpe K. Reflective learning journals: From concept to practice. Reflective practice 2004; 5:327-43.
Sugerman DA. Reflective learning: Theory and practice: Kendall Hunt; 2000.
Eva KW, Regehr G. Self-assessment in the health professions: a reformulation and research agenda. Acad Med 2005; 80: 46-54.
Metcalfe J. Cognitive optimism: self-deception or memory-based processing heuristics? Pers Soc Psychol Rev 1998; 2: 100-10.
Tawanwongsri W, Phenwan T. Examination preparedness for the Medical Competency Assessment Test for National License step I: pilot study. Journal of Learning Innovations Walailak University 2017; 3: 17-37.
Abdulghani HM, Al-Drees AA, Khalil MS, Ahmad F, Ponnamperuma GG, Amin Z. What factors determine academic achievement in high achieving undergraduate medical students? A qualitative study. Med Teach 2014; 36 (Suppl 1): 43-8.
Pelgrim EA, Kramer AW, Mokkink HG, van der Vleuten CP. Reflection as a component of formative assessment appears to be instrumental in promoting the use of feedback; an observational study. Med Teach 2013; 35: 772-8.
