연세대학교 의과대학 실기교육위원회(위원장 강희택)는 지난 7월 7일(화) 종합관 6층 교수회의실에서 「2026학년도 모의실기시험 준거설정(Standard Setting) 워크숍」을 개최하였다. 이번 워크숍은 교내 실기평가의 공정성과 신뢰도를 확보하기 위한 평정자 교육의 일환으로, 준거설정의 원리와 방법론을 공유하고2026학년도 모의실기시험의 분할점수(cut score) 설정 타당성을 제고하는 것을 목적으로 하였다. 워크숍에는 임범진 교육부학장, 김혜원 교육부장을 비롯하여 실기교육위원회 위원, 임상과 실습담당교수 및 교직원 등 총24명이 참석하였다.

"학생 간 비교가 아닌 최소역량 도달 여부를 판단해야"

첫 번째 발제를 맡은 조준호 실기교육부위원장(응급의학교실)은 '모의실기시험에서의 준거설정 - Pass or Fail, 누가 결정하는가?'를 주제로 준거참조평가의 중요성을 강조하였다. 조 부위원장은 실기시험이 성과 달성 여부를 확인하는 평가인 만큼, 학생 간 상대적 비교보다 최소역량 도달 여부에 대한 판단이 핵심임을 설명하였다. 아울러 본교가 2016년 절대평가 도입 이후 Modified Angoff Method를 활용하여 통과점수를 설정해 왔음을 소개하며, 최소역량보유자(Minimally Competent Candidate; MCC)에 대한 정의가 평정자 간에 공유되지 않을 경우 통과점수가 실제보다 높게 설정될 수 있다는 점을 지적하였다.

ﾠ

2023 결과 분석을 통한 준거설정 타당성 검증

이어 강유림 연구강사(연세동곡의학교육원)는 2023학년도 [임상실기 1] 과목 CPX 9개 항목을 대상으로 수행한 준거설정 타당도 연구 결과를 발표하였다. 의학과 3학년 126명의 시험 결과와 평정교수 11명의 1·2차 평정 자료를 분석한 결과, 2차 평정에서 평정자 간 차이가 전반적으로 감소하였으며 모든 항목에서 패널 간 일치도(ICC)가 .803 이상으로 나타나 수용 가능한 수준의 합의도를 확인하였다.

또한 LOPO(Leave-One-Person-Out) 분석과 Bootstrap 분석을 통한 분할점수 안정성 검증에서는 특정 평정자1인에 의해 결과가 크게 좌우되지 않고 전반적으로 안정적인 분할점수가 산출되는 것으로 나타났다. 다만 일부 항목에서는 평정자 집단에 따른 변동 가능성과 실제 학생 수행 수준과의 괴리가 확인되어, 평정자 교육 강화와 해당 항목의 재검토 필요성이 제기되었다.

ﾠ

실시간 공동 평정 체계로의 전환

세 번째 발제에서는 2026학년도 3·4학년 모의실기시험 항목에 대한 1차 평정 결과가 공유되었으며, 평정자 간 편차가 큰 항목에 대한 패널토의를 거쳐 2차 평정작업이 진행되었다. 특히 이번 워크숍부터는 기존의 개별 엑셀파일 회람ﾷ취합 방식에서 벗어나 Teams 기반 공유 스프레드시트를 활용한 공동작업 방식을 도입하였다. 이를 통해 데이터 취합 시간을 단축하고 입력 오류를 실시간으로 확인ﾷ수정할 수 있게 되었으며, 2차 평정 시 1차 결과를 즉시 대조하며 논의할 수 있어 평정작업의 질적 향상이 기대된다.

ﾠ

향후 과제: Hofstee Method 등 보완적 방법 검토

종합토의에서 참석자들은 준거설정의 핵심이 최소역량보유자에 대한 공통의 합의에 있다는 점에 공감하고, 평정작업 전 평가대상 학생의 임상실습 학습 수준에 대한 정보 제공, 일부 항목의 체크리스트 수정 및 보완, 정기적 평정자 교육을 통한 평정자 풀(pool) 확보 등을 향후 과제로 논의하였다. 아울러 전문가 평정과 학생의 실제 수행 수준을 함께 반영할 수 있는 Hofstee Method를 보완적 준거설정 방법으로 활용하는 방안도 검토하기로 하였다.

강희택 실기교육위원장은 이번 워크숍이 2026학년도 모의실기시험 준거설정의 객관성과 타당성을 확보하기 위한 중요한 과정이었다고 평가하며, 향후에도 평정자 교육을 정기적으로 시행하여 평가의 신뢰도를 지속적으로 제고해 나갈 계획임을 밝혔다.