Formal Assessment of Orthopaedic Trauma Surgical Skills (FAOT) for Orthopaedic Residents
Keywords:
orthopaedic trauma, assessment tool, surgical skillAbstract
Background and Objectives: To demonstrate the process and evaluate the outcomes of the newly-developed “Formal Assessment of Orthopaedic Trauma Surgical Skills (FAOT) for Orthopaedic Residents” for evaluating Orthopaedic trauma surgical skills during orthopaedic residency training.
Methods: The FAOT assessment tool was designed and applied for the evaluation of orthopaedic trauma surgical competency of orthopaedic residents at Khon Kaen hospital, consisting of preoperative and intraoperative parts, in which 12 residents participated between November, 2015 and October, 2016. Comparisons of both pre- and post-study in-training examination scores were reported.
Results: Twelve orthopaedic residents; three of second-year, four of third-year, and five of fourth-year residents were enrolled. Each passed the minimal passing level of the preoperative parts with a mean score of 81.0. The highest and lowest scores were the description of indication for surgery, and the giving of patient information, with mean scores of 9.2 and 7.4 points, respectively. The mean score of the intra operative part was 87.7; and the highest and lowest scored parts were the operative notes report and the steps of operation, with mean scores of 18.7 and 16.4 points, respectively. The mean post-study in-training examination score (76.1 ± 8.3) was slightly higher than the pre-study (75.7 ± 9.8) with 0.47 mean difference (95% CI, -3.22 to 2.29) but there was no statistical significance (p = 0.717).
Conclusion: The FAOT assessment tool was effectively applied for the evaluation of surgical skill competency of each orthopaedic resident.
การประเมินทักษะการผ่าตัดทางการบาดเจ็บทางออร์โธปิดิกส์ของแพทย์ประจำบ้านออร์โธปิดิกส์
วันจักร พงษ์สมัครไทย*, สุธี ทระกุลพันธ์, อรุณ วรนุช, อุดมศิลป์ สิงห์แจ่ม
กลุ่มงานออร์โธปิดิกส์ โรงพยาบาลขอนแก่น
หลักการและวัตถุประสงค์: เพื่อแสดงถึงขั้นตอนในการประเมินและผลการประเมินทักษะในการผ่าตัดทางการบาดเจ็บทางออร์โธปิดิกส์ของแพทย์ประจำบ้านออร์โธปิดิกส์โดยการใช้ “Formal Assessment of Orthopaedic Trauma Surgical Skills (FAOT) for OrthopaedicResidents”
วิธีการศึกษา: นำเครื่องมือประเมิน FAOT มาใช้ในการประเมินทักษะในการผ่าตัดการบาดเจ็บทางออร์โธปิดิกส์ในแพทย์ประจำบ้านออร์โธปิดิกส์ทั้งหมด 12 ราย ในช่วงระหว่างเดือนพฤศจิกายน พ.ศ.2558 ถึง เดือนตุลาคม พ.ศ.2559 และทำการเปรียบเทียบผลการสอบในช่วงก่อนและหลังทำการศึกษา
ผลการศึกษา: แพทย์ประจำบ้านออร์โธปิดิกส์ จำนวน 12 ราย (ปี 2-4 จำนวน 3,4 และ 5 ราย ตามลำดับ) สามารถผ่านเกณฑ์การประเมินในช่วงก่อนผ่าตัดด้วยคะแนนเฉลี่ย 81.0 หัวข้อประเมินที่ได้คะแนนมากที่สุดและน้อยที่สุด คือ ข้อบ่งชี้ในการผ่าตัดและการให้ข้อมูลผู้ป่วย โดยได้คะแนนเฉลี่ย 9.2 และ7.4 คะแนน ตามลำดับ คะแนนเฉลี่ยในช่วงผ่าตัดเท่ากับ 87.7 คะแนน ส่วนที่ได้คะแนนมากที่สุดและน้อยที่สุด คือ แบบบันทึกการผ่าตัดและขั้นตอนการผ่าตัด โดยได้คะแนนเฉลี่ย 18.7 และ 16.4 คะแนนตามลำดับ ผลคะแนนสอบเฉลี่ยหลังทำการศึกษาเท่ากับ 76.1 ± 8.3 คะแนนซึ่งมากกว่าผลคะแนนสอบเฉลี่ยก่อนทำการศึกษา (75.7 ± 9.8 คะแนน) โดยมีค่าความแตกต่างของค่าเฉลี่ยเท่ากับ 0.47 คะแนน (ช่วงเชื่อมั่น 95% ระหว่าง -3.22 ถึง 2.29) แต่ไม่มีนัยสำคัญทางสถิติ (p = 0.717)
สรุป: เครื่องมือประเมินทักษะการผ่าตัดทางการบาดเจ็บทางออร์โธปิดิกส์สามารถนำมาใช้ประเมินศักยภาพด้านการผ่าตัดของแพทย์ประจำบ้านออร์โธปิดิกส์ได้อย่างมีประสิทธิภาพ
References
Mock C, Cherian MN. The Global Burden of Musculoskeletal Injuries: Challenges and Solutions. Clin Orthop 2008; 466: 2306–16.
Stern PJ, Albanese S, Bostrom M, Day CS, Frick SL, Hopkinson W, et al. Orthopaedic Surgery Milestones. J Grad Med Educ 2013; 5(Suppl 1): 36–58.
The Royal College of Orthopaedics Surgeons of Thailand. Residency Training Program in Orthopaedic Surgery of Thailand, 2015.
Darzi A, Mackay S. Assessment of surgical competence. Qual Health Care QHC 2001; 10 (Suppl 2): ii64-ii69.
Szalay D, MacRae H, Regehr G, Reznick R. Using operative outcome to assess technical skill. Am J Surg 2000; 180: 234–7.
Swing SR, Clyman SG, Holmboe ES, Williams RG. Advancing Resident Assessment in Graduate Medical Education. J Grad Med Educ 2009; 1: 278–86.
Toprak A, Luhanga U, Jones S, Winthrop A, McEwen L. Validation of a novel intraoperative assessment tool: The Surgical Procedure Feedback Rubric. Am J Surg 2016; 211: 369–76.
Faulkner H, Regehr G, Martin J, Reznick R. Validation of an objective structured assessment of technical skill for surgical residents. Acad Med J Assoc Am Med Coll 1996; 71: 1363–5.
Gofton WT, Dudek NL, Wood TJ, Balaa F, Hamstra SJ. The Ottawa Surgical Competency Operating Room Evaluation (O-SCORE): a tool to assess surgical competence. Acad Med J Assoc Am Med Coll 2012; 87: 1401–7.
Darzi A, Datta V, Mackay S. The challenge of objective assessment of surgical skill. Am J Surg 2001; 181: 484–6.
Winkel AF, Gillespie C, Hiruma MT, Goepfert AR, Zabar S, Szyld D. Test of Integrated Professional Skills: Objective Structured Clinical Examination/Simulation Hybrid Assessment of Obstetrics-Gynecology Residents’ Skill Integration. J Grad Med Educ 2014; 6: 117–22.
Anderson DD, Long S, Thomas GW, Putnam MD, Bechtold JE, Karam MD. Objective Structured Assessments of Technical Skills (OSATS) Does Not Assess the Quality of the Surgical Result Effectively. Clin OrthopRelat Res 2015; 474: 874–81.
Martin JA, Regehr G, Reznick R, Macrae H, Murnaghan J, Hutchison C, et al. Objective structured assessment of technical skill (OSATS) for surgical residents. Br J Surg 1997; 84: 273–8.
Chuan A, Graham PL, Wong DM, Barrington MJ, Auyong DB, Cameron AJD, et al. Design and validation of the Regional Anaesthesia Procedural Skills Assessment Tool. Anaesthesia 2015; 70: 1401–11.
Bould MD, Crabtree NA, Naik VN. Assessment of procedural skills in anaesthesia. Br J Anaesth 2009; 103: 472–83.
Winkel AF, Lerner V, Zabar SR, Szyld D. A Simple Framework for Assessing Technical Skills in a Resident Observed Structured Clinical Examination (OSCE): Vaginal Laceration Repair. J Surg Educ 2013; 70: 10–4.
VanHeest A, Kuzel B, Agel J, Putnam M, Kalliainen L, Fletcher J. Objective Structured Assessment of Technical Skill in Upper Extremity Surgery. J Hand Surg 2012; 37: 332–7.e4.
Smith N, Harnett J, Furey A. Evaluating the reliability of surgical assessment methods in an orthopedic residency program. Can J Surg 2015; 58: 299–304.
Middleton RM, Baldwin MJ, Akhtar K, Alvand A, Rees JL. Which Global Rating Scale? J Bone JtSurg Am 2016; 98: 75–81.
Hopmans CJ, den Hoed PT, van der Laan L, van der Harst E, van der Elst M, Mannaerts GHH, et al. Assessment of surgery residents’ operative skills in the operating theater using a modified Objective Structured Assessment of Technical Skills (OSATS): A prospective multicenter study. Surgery 2014; 156: 1078–88.
