Ⅰ. 서 론
임상능력을 갖춘 전문가를 배출하기 위해서 국가 시험은 실제 직무상황에서 문제해결능력을 가지고 있 는지를 평가할 수 있어야 한다. 현재 지필시험에서 사용하고 있는 선택형 시험문항은 직무를 수행하는 데 필요한 관련지식을 기억하거나 이해하고 있는지를 평가하고 있고, 문제해결능력은 임상사례(증례) 또는 직무 상황을 텍스트 형태 또는 사진자료로 문항줄기 에 제시하여 평가하고 있다. 임상사례형 문항은 직무 상황과 유사하게 출제(well-structured problem well-defined problem)함으로써 직무능력을 평가할 수 있는 좋은 방법이지만 이 경우도 현장에서의 문제 (real world problem) 상황을 표현하는데 제한점이 있어 수험자의 역량을 예측하는 데는 한계가 있다. 이러한 한계점을 극복하고자 우리나라에서는 의사국 가시험을 비롯하여 응급구조사, 치위생사 국가시험이 직접실기시험의 형태로 시행하고 있으며, 외국에서도 다양한 직종에서 직접실기시험이 시행되고 있다.
우리나라 안경사와 유사한 직종인 검안사의 경우, 미국과 독일 등에서는 직접실기시험이 시행되고 있 다. 미국검안시험위원회 주관으로 진행되는 미국의 검안의 임상실기시험(clinical skills examination)은 실기시험센터가 직접실기 시험방식으로 운영되고 있 는데,1) 정해진 임상 실기시험장에서 섭외된 피검사자 를 대상으로 진행되며 많은 인원이 동시에 시험에 응 할 수 없어 연중으로 시행되고 있다. 독일의 안경사 시험2)의 경우, 실기시험은 임상과제를 해결하는 능력 과 전문 토론 능력을 평가하는 형식으로 진행된다. 우리나라 안경사 국가시험 실기과목은 직접실기를 시 행하지 않고 직무와 밀접한 관계가 있는 내용에 대해 서 해석형 문항이나 문제해결형 문항으로 개발하여 필기형 시험으로 출제하고 있는데, 문항줄기에 기술 된 문제 상황이 충분히 설명되지 못하는 경우와 기술 된 내용이 수험자에게 정확하고 전달되기 어려운 경 우가 있으며, 실제 현장에서 필요한 임상수행능력과 문제해결능력을 제대로 평가할 수 있는가 하는 점에 대해서는 우려의 목소리가 있어 왔고 이에 대한 개선 요구가 제기되었다.
이에 강 등3)은 2015년 “안경사 실기시험 제도개선 실행방안 연구”를 통하여 안경광학과 교수 및 안경사 를 대상으로 설문조사한 결과 안경사 국가시험에서 실기시험이 임상 중심으로 시행되어야 한다는 의견에 70% 이상이 찬성하였고, 실기시험이 직접실기시험으 로 바뀌게 되면 실무능력이 크게 보완될 것이라 점에 서 긍정적이라고 발표하였다. 또한 임상형 직접실기 샘플문항을 개발하고 모의평가를 통하여 심도 있는 연구를 진행한 결과 평가자의 주관적 채점 기준, 시 험용 장비 종류에 대한 문제, 직접 실기 문항개발 등 에서 한계성이 노출되어 이러한 문제점을 해결하기 위해서는 많은 연구와 정책 지원이 지속적으로 필요 한 것으로 평가되어 실기시험의 도입은 2020년 이후 에나 가능할 것이라고 예측하였다.
직접실기 시험의 경우에도 제한적인 문제 상황으로 다양한 문제해결능력을 평가할 수 없고, 기구조작 능 력의 평가도 한정적이라는 점에서 문제점이 노출되고 있다. 이러한 직접실기시험의 문제점을 해결하기 위 하여 컴퓨터를 이용한 간접실기시험이 임상수행능력 을 평가하는 방안이 도입되었고, 미국의 경우 NBME (National Board of Medical Examiners)는 2007년 부터 컴퓨터를 기반으로 하는 시험(computer-based test, CBT)에 임상사례의 실제성(authenticity)을 보 강한 멀티미디어(multimedia) 문항을 출제하고 있다. 멀티미디어 문항(multimedia assessed test, MAT) 은 정보를 제공하는 매체에 텍스트, 소리, 이미지, 그 래픽, 애니메이션, 비디오, 3차원 표상 등을 포함하는 것으로 수험자와 상호작용(쌍방향성)이 가능하며 디 지털로 저장과 표현이 이루어지는 형태를 의미한다. 따라서 지필시험에서 사진 자료를 제시하는 자료 제시 형 시험문항은 텍스트와 이미지만 사용 가능하지만, MAT에서는 다양한 매체가 동시에 정보를 제공할 수 있어 현장맞춤형 문항의 개발이 가능하다고 평가되고 있다.4-5) CBT 기반 평가는 지필평가에 비해 시간과 장소의 제약을 받지 않는 편리성이 장점으로 1980년대 초반부터 평가에 사용되기 시작하였고1), Educational Testing Service(ETS)의 TOEFL의 경우 1998년부터 컴퓨터기반 TOEFL을 시행되었으며, 2005년부터는 웹 기반의 TOEFL(iBT)을 시행해 왔다. 1970년대 CBT 도입 후 여러 교육 분야에서 지필평가와 비교한 연구에서는 컴퓨터 기반 평가가 긍정적이라는 결과가 나타나,2-10) 영어평가 영역에서 다른 영역의 평가에까 지 확대되고 있다.
그러나 CBT의 경우 보안상의 문제, 정전 등의 환경 적 문제 등 예측할 수 없는 상황에서 발생할 수 있어, 오프라인 기반으로 무선 네트워크를 사용하지 않아 보 안취약점이 없는 스마트 기반 평가 시스템(Smart Based Test, SBT)이 도입되었다. SBT는 시험장 마다 각각 개별 단위로 한 장비 관리가 가능하며, 응시자 부인방 지 기능, 기타 편의기능 등이 지속적으로 도입되면서 시스템 완성도가 높아져 보건의료인 국가시험에 활용 될 예정이라고 발표하였다. 이에 1998년부터 현재까 지 지필시험 체제로 진행된 보건의료인 국가시험 체제 에 익숙한 응시생들에게 스마트 기반 시험체제로의 전 환은 시험체제나 심리적인 면에서 많은 논란이 제기되 었다. 1급 응급구조사의 경우, 2017년 국가시험에 SBT 체제 도입을 앞두고 산하 협회, 학회, 교수협의회 등의 단체에서 SBT 시험에 대한 타당성과 도입 필요 성에 대한 근거 제시 요구가 끊이지 않았으며, 임상병 리사 교육기관에서는 2015년 ‘임상병리사 실기시험 중장기 개선방안 연구’를 통하여 SBT에 대한 실효성 과 실행가능성에 대하여 의문점을 제기한 바 있다. 이 러한 문제점을 해결하기 위하여 1급 응급구조사 국가 시험은 2014년부터 멀티미디어 시험문항을 개발하여 3회의 모의시험을 시행하고 2017년에 국가시험을 SBT 시스템으로 전환하여 시행하였으며, 2020년에는 의사국가시험, 2021년에는 임상병리사 국가시험에 적 용될 예정으로 있다.
한국보건의료인 국가시험원이 향후 보건의료직종별 국가시험에 SBT 또는 CBT 평가 시스템을 계속 도입할 계획에 있고, 지필시험의 경우에는 국가시험 문제지가 수험생에게 제공될 예정이지만, SBT나 CBT는 시험 후 수험생에게 컴퓨터나 스마트 기기를 제공할 수 있는 여 건이 아니기 때문에 국가시험 문항이 수험생에게 공개 되지 않게 된다. 안경사 국가시험의 경우 2019년부터 국가시험 문제지가 수험생에게 공개되는 시점에서 안 경사 국가시험에 대해서도 SBT 실행에 대한 체계적인 조사연구와 타당성 검토가 필요하다고 생각된다. 이에 본 연구에서는 안경광학과 교수, 임상전문가(안경사) 및 안경광학과 재학생을 대상으로 SBT 체제에 대한 인 식을 조사하고자 하였다.
Ⅱ. 연구대상 및 방법
1. 연구대상
SBT에 대한 연구대상은 안경광학과 교수, 안경광 학 전공 재학생 및 안경사로 지필평가방식과 스마트 기반 멀티미디어 문항이 포함된 SBT 평가방식에 대 한 인식을 조사하였다. 연구 대상은 2017년 국시원 보고서 자료5) 중 안경광학 전공 관련 내용에 포함된 안경광학과 교수 31명, 현장 업무를 수행하고 있는 안경사 90명, 안경광학과 재학생 60명의 설문자료를 바탕으로 하였으며, 분석은 결측치가 많은 응답지를 제외하고 총 171명의 설문지를 중심으로 진행하였다.
2. 연구방법
안경광학과 전공 학생, 교수, 안경사들의 스마트 기반 멀티미디어 문항이 포함된 평가방식에 대한 타 당성을 알아보기 위한 측정도구 설문지는 인구통계학 적 특성을 묻는 질문 2개, 스마트기기 관련 일반적 사항을 묻는 질문 7개, SBT에 대한 인식을 묻는 질문 8개와 멀티미디어 문항 효과에 관련 질문 8개의 총 25개 질문으로 구성하였다.
각 설문의 하위내용 변수 값은 ‘전혀 아니다’ 1점, ‘아니다’ 2점, ‘보통이다’ 3점, ‘그렇다’ 4점, ‘매우 그 렇다’ 5점으로 Likert 5점 척도로 구성하였다.
3. 자료분석
본 연구문제를 검정하기 위해 수집된 자료의 분석 은 PASW Statistics 18.0 프로그램을 사용하였다. 인식조사에 대한 설문지의 신뢰도를 확보하기 위해 Cronbach'α 값을 산출하였고, 연구대상자의 일반적 특성을 파악하기 위해 빈도와 백분율을 산출하였으 며, 수집된 자료를 설명하기 위하여 평균, 표준편차 를 산출하였다. 또한 교수, 안경사, 안경광학과 재학 생의 스마트 기반 멀티미디어문항이 포함된 평가방식 에 대한 인식차이를 분석하기 위하여 일원배치분산분 석(One-way ANOVA)을 실시하였다.
Ⅲ. 연구결과 및 고찰
1. 대상자 특성
지필방식과 SBT 평가방식에 대한 교수, 안경사, 안경광학과 재학생 171명의 일반적 사항은 2016년에 보고서5) 내용을 활용하였다. 대상자 중 교수 집단에 비해 안경사와 학생 집단의 경우 스마트기기를 이용 한 시험 경험과 현재 스마트 기기 사용 비율이 더 많 았고, 대상자 대부분이 스마트기기를 매일 사용하며 대부분 스마트기기를 SNS 통신과 검색에 주로 활용 하는 것으로 나타났다(Table 1).
2. 설문지 신뢰도 결과
학생과 전문가들의 스마트 기반 시험에 대한 인식 과 멀티미디어 문항이 포함된 평가방식에 대한 인식 을 확인하기 위하여 사용한 설문문항의 신뢰도를 분 석한 결과, 스마트 기반 시험에 대한 인식을 묻는 문 항의 신뢰도 Cronbach’α 값은 .860, 멀티미디어 문 항이 포함된 평가방식에 대한 인식을 묻는 문항의 신 뢰도는 Cronbach’α 값은 .918로 높은 신뢰도를 나타 냈다(Table 2).
3. SBT에 대한 인식
교수, 안경사, 안경광학과 재학생으로 구성된 집단 의 스마트 기반 시험에 대한 인식을 묻는 문항에서 ‘장기적으로 시험실시에 따르는 경비절감에 기여할 수 있다’와 ‘시험에 소요되는 시간을 단축할 수 있다’ 는 것에 긍정적으로 인식하여 SBT의 긍정적인 면으 로 시험에 소요되는 시간 단축을 최대 장점으로 인식 하는 것으로 나타났다(Table 3). 안경관련 전문가 집 단의 SBT에 대한 인식은 2.94점으로 임상병리사 3.47점, 의사 3.32점, 방사선사 3.29점보다 낮아 안 경사가 다른 보건의료직종의 전문가 집단보다 SBT에 대한 선호가 낮은 것으로 나타났다.5)
SBT에 대한 교수, 안경사, 안경광학과 재학생의 인 식 차이를 분석한 결과, 집단 간 인식차이가 있는 것으 로 나타났다. 특히, ‘스마트 기반 시험은 공정하고 정확 한 결과를 얻을 수 있다’(F=3.28, p=.040), ‘스마트 기 반 시험은 시험에 대한 동기를 유발 시킨다’(F=3.36, p=.037), ‘스마트 기반 시험은 시험 도중에 발생하는 부정행위를 방지할 수 있다’(F=5.85, p=.003), ‘스마트 기반 시험은 피험자에게 문제를 보다 쉽고 정확하게 이 해시킬 수 있다’(F=4.22, p=.016), ‘스마트 기반 시험 은 종이시험지를 인쇄, 운반, 보관할 필요가 없어서 시 험문항 내용에 대한 정보유출의 가능성을 최소화할 수 있다’(F=10.89, p=.000)는 인식에서 임상전문가에 비 해 교수와 학생의 인식이 더 긍정적으로 나타났다 (Table 3). 이 결과는 앞으로 시험을 치러야하는 학생들 이 전문가 집단보다 SBT에 더 익숙하고 긍정적인 인식 을 갖고 있기 때문으로 보인다.
안경사국가시험에서 지필평가와 SBT 평가 시험에 대한 평가에서는 두 시험 체제가 차이가 없다는 의견이 44.4%로 가장 많았고, 향후 안경사국가시험의 평가방 식에서는 SBT 평가체제가 더 좋다는 의견이 37.4%, 두 평가방식에서 차이가 없을 것이라는 의견이 31.6%, 지 필평가의 유지가 31.0%로 조사되었다(Table 4).
2015년 한림대학교 의과대학 SBT 실행방안 연구11) 에 의하면 의과대학 재학생의 경우 스마트 기기 사용 에 대한 만족도는 높지 않았고, SBT 시험에 대하여 전반적으로 보통 정도의 인식을 갖고 있었으며, 부정 적인 의견을 나타낸 비율이 30%를 넘었으나 국가시 험 위원, 의대생 모두 SBT 도입에 대해서는 전반적으 로 긍정적인 태도를 보였다고 하였다. 이는 기본 지 필시험을 컴퓨터화 시험으로 전환하는 것에 대해 긍 정적 인식을 갖고 있지만 시험의 이해관계자 집단에 서는 컴퓨터 매체에 대한 적응 등을 우려한 부정적인 인식이 큰 것으로 SBT 또는 CBT 시험 도입을 저해할 요소로 작용하므로 컴퓨터 및 스마트 기기 사용 및 시험 진행과 관련한 적응과 관련된 후속조치들이 필 요할 것으로 보인다고 하였다.
4. 멀티미디어 문항에 대한 인식
전문가들의 멀티미디어 문항에 대한 인식을 묻는 문항에서 ‘임상현장의 실제상활을 현장감 있게 표현 할 수 있으므로 지필시험의 한계요인을 극복할 수 있 다.’는 문항에 가장 긍정적으로 인식하였다(Table 4). 즉, 멀티미디어 문항의 가장 긍정적인 측면은 지필시 험에서 평가하기에는 한계가 있는 임상수행능력을 효 과적으로 평가할 수 있다는 점으로 향후 멀티미디어 문항이 사용된다면 임상현장에서의 수행능력을 효과 적으로 평가할 수 있다는 것으로 기대된다.
멀티미디어 문항 효과에 대한 교수, 임상전문가, 학 생의 인식 차이를 분석한 결과, 멀티미디어 문항 효과 중 임상현장의 실제상황을 현장감 있게 표현할 수 있다 (F=3.95, p=.021), 응시자의 임상수행능력을 보다 정 확하게 평가할 수 있다(F=4.56, p=.012), 졸업 후 임상 현장에서 업무를 수행하는 과정에 도움이 된다(F= 5.52, p=.005), 수행평가가 용이하다(F=4.13, p.=018), 지필시험으로 측정하지 못했던 능력 측정이 가능하다 (F=3.15, p=.045), 실험･실습과 관련된 내용의 인지여 부를 확인할 수 있다(F=4.26, p=.016)에서 학생에 비 해 교수의 인식이 더 긍정적으로 나타났다(Table 5).
SBT 시험의 멀티미디어문항의 출제비율은 전문가 집단에서는 5~6%가 적합하다고 응답한 비율이 34.2%로 가장 많았고, 학생집단에서는 1~2%가 적합하다고 응답 한 비율이 33.3%로 가장 많았다. 이 결과는 앞으로 시험을 치러야하는 학생들이 전문가 집단보다 지필시험과는 다 른 방식인 SBT 시험에 대하여 더 부정적인 인식을 갖고 있기 때문으로 보인다. 또한 스마트기기 기반 시험과 지필시험의 측정효과에 대한 인식에서 대부분 차이가 없을 것이라고 인식하고 있는 것으로 나타나 앞으로의 국시평가시스템의 방향으로 SBT 시험을 선호하며, 멀티 미디어 문항의 적정출제 비율은 5~6%가 적합하다고 생각하는 것으로 나타났다(Table 6).
이와 관련한 간호사 교육에 대한 선행연구12)에서는 동영상을 이용한 간호정보제공을 할 경우, 영상과 음 향 자극이 인쇄매체를 활용한 교육보다 학습자의 집중 력과 이해력, 기억유지 능력을 높이는데 효과가 있는 것으로 나타났으며, 멀티미디어 문항 기반 정보제공 이 간호학 전공 대학생 대상 심폐소생술 교육효과에 있어서 심폐소생술에 대한 지식, 자기효능감, 술기수 행능력 및 심폐소생술 수행 정확도에 효과가 있다는 선행연구13)는 이 결과를 뒷받침하는 것으로 보인다.
한국보건의료인 국가시험은 해당 직종에 대한 면허 또는 자격을 부여하기 위해 시행하는 시험이며 각 직 종별 국가시험은 실제 직무상황에서 문제해결능력을 가지고 있는지를 평가하여야 한다. 현재 지필시험에 서 사용하고 있는 선택형 시험문항은 이러한 문제해결 능력보다는 직무를 수행하는데 필요한 관련 지식을 기 억하거나 이해하고 있는지를 주로 평가하고 있어, 해 당 직무의 실제성 또는 현실성을 반영하는 시험이 되 기 위해서는 지속적인 노력이 필요한 실정이다.
Ⅳ. 결 론
본 연구는 지필평가방식과 스마트 기반 멀티미디 어 문항이 포함된 평가방식에 대한 인식을 조사하기 위하여 안경광학과 교수와 현장에서 해당 직종의 면 허, 자격자로서 업무를 수행하는 임상전문가를 대상 으로 설문조사를 실시하였다. 분석결과를 요약하면 다음과 같다.
첫째, SBT의 가장 긍정적인 측면은 시험에 대한 경비절감으로 나타났다.
둘째, 전문가들의 멀티미디어 문항 효과의 가장 긍 정적인 측면은 지필시험으로 평가 한계가 있는 임상 수행능력을 효과적으로 평가할 수 있다고 인식하는 것으로 나타났다.
셋째, SBT 체제는 시험 중 발생하는 부정행위 방 지, 문제에 대한 정확한 이해, 시험문항 내용에 대한 정보유출의 가능성 최소화 부분에 있어서 교수들이 임상전문가보다 더 긍정적인 점으로 평가하였다.
넷째, 멀티미디어 문항 효과에 대한 교수, 임상전 문가, 학생의 인식 차이를 분석한 결과, 멀티미디어 문항 효과 중 임상현장의 실제상황을 현장감 있게 표 현할 수 있다, 응시자의 임상수행능력을 보다 정확하 게 평가할 수 있다, 졸업 후 임상현장에서 업무를 수 행하는 과정에 도움이 된다, 수행평가가 용이하다, 지필시험으로 측정하지 못했던 능력 측정이 가능하 다, 실험･실습과 관련된 내용의 인지여부를 확인할 수 있다는 점에서 학생에 비해 교수의 인식이 더 긍 정적으로 나타났다.
이상의 결과로 교수 집단은 안경사보다 스마트기 반의 시험과 멀티미디어 문항의 출제에 대하여 더 긍 정적인 인식을 갖고 있는 것으로 나타났으며 본 연구 결과를 반영한 SBT 체제로의 전환이 필요함을 인식 하고 SBT에 사용되는 멀티미디어 문항의 효과와 문 제점 등에 대한 타당성 연구가 지속적으로 이루어져 야 할 것으로 사료된다.
