Development of Satisfaction Evaluation Items for Degree-linked High Skills Meister Courses using the Delphi Method

Delphi 기법을 활용한 학위연계형 고숙련마이스터 과정의 만족도 평가 문항 개발

Abstract

In this study, on-site corporate instructors participated as student-cum-workers in a degree-linked high skills Meister course to improve job competency and practical ability as proposed in the Work-Study Career Vision. Evaluation questions were then developed and their validity was verified by assessing satisfaction related to expected goals in enhancing advanced training guidance and competency as an evaluator. Satisfaction assessment was conducted based on training preparation, training implementation, training effectiveness and training administration. The Delphi Method was adopted and a total of 48 items were developed in 6 categories under 4 main areas. There were 7 evaluation items on the satisfaction of training course development under training preparation, 21 evaluation items related to the satisfaction of Off-JT and OJT courses under training implementation, 16 evaluation items related to the satisfaction of increased competency as an on-site corporate instructor and the satisfaction of enhanced practical skills and skills application at work under training effectiveness, as well as 6 evaluation items to assess satisfaction with administrative support under training administration. The final conformity assessment was conducted based on the stability, content validity ratio, consensus and convergence indicators of the developed items. Results of this study do not only apply to quality management of the high skills Meister course which is being promoted as a pilot project for work-study programs, but also serves as a rationale that may be considered as a basic research tool in the collection of various opinions to derive overall system improvement factors for the work-study high skills Meister course.

본 연구에서는 기업현장교사가 학위연계형 고숙련마이스터 과정에 학습근로자로 참여하여 일학습병행제 경력비전에서 제시하고 있는 스스로의 직무 역량을 향상시키고 응용력을 높이며, 고도화된 훈련 지도와 평가자로서의 역량을 강화하기 위한 기대 목표에 대한 만족도를 훈련 준비, 훈련 수행, 훈련 효과, 훈련 행정 측면에서 평가할 수 있는 평가문항을 개발하고 문항에 대한 타당성을 검증하였다. 이를 위해 델파이 기법을 활용하였으며, 연구 결과 4개 영역 6개 부문 총 48개 문항을 개발하였다. 훈련 준비 영역의 훈련과정 개발 만족도에 대하여 7개 평가 문항을, 훈련 수행 영역의 Off-JT와 OJT 과정의 만족도와 관련하여 21개 평가 문항을, 훈련 효과 영역의 기업현장교사로서의 역량 강화 만족도와 직무 적용 및 실무 활용 능력제고 만족도와 관련하여 16개 평가 문항을, 훈련 행정 영역에서는 행정지원만족도 평가를 위한 6개 평가 문항을 개발하고 평가 문항의 안정성, 내용 타당도, 합의도와 수렴도 지표를 통해 최종 적합도를 검증하였다. 본 연구 결과는 일학습병행 시범사업으로 추진 중인 고숙련마이스터 과정의 품질 관리를 위한 실무적 활용은 물론, 일학습병행 고숙련마이스터 과정 전반의 제도 개선 요인 등을 도출하기 위한 다양한 의견 수렴의 기초 조사 도구로서 참조될 수 있는 이론적 근거를 제공한다.

Ⅰ. 서론

일학습병행은 사업주가 근로자를 고용하여 주로 해당 근로자의 근무 장소 또는 해당 기업의 생산 시설ㆍ장비를 활용하여 기업 내의 전문적인 기술·지식이 있는 자로 하여금 해당 근로자의 직무수행에 필요한 지식, 기술, 소양 등을 전수하는 교육훈련과 이를 보완하기 위하여 근무 장소 또는 생산시설과 분리된 시설이나 교육훈련기관에서 실시되는 교육훈련을 함께 제공하고 그 결과에 따라 자격 또는 학력 등으로 인정받도록 하는 교육훈련^[1] 모형이다. 이는 국가직무능력표준(NCS, National Competency Standard) 기반의 체계적인 교육 훈련^[2,3]]을 통해 기업 맞춤형 인재육성을 지원하고, 청년실업, 산업 현장과 학교 교육의 스킬 미스매치(Skill Mismatch) 문제를 해소^[4]함으로써 능력 중심 및 현장 중심 사회의 구현^[5]을 목표로 2013년 10월부터 시행되어왔다. 특히, 2019년 8월 “산업현장 일학습병행 지원에 관한 법률”^[6]이 제정되면서 일학습병행제 시행의 명확한 법적 근거가 마련되어 보다 효율적이고 체계적인 운영이 가능해 짐으로써 적극적인 사업 지원이 가능해 졌다.

일학습병행제는 일과 학습을 함께하는 학습근로자의 유형에 따라 재학생 단계와 재직자 단계로 나뉜다. 그림 1^[7]은 대학과 연계된 일학습병행제의 경력 경로를 표현하고 있다. 즉, 고등학교 도제사업에서부터 일학습병행제에 참여할 수 있는데, P-Tech을 포함하여 전문학사를 취득할 수 있는 고숙련 입문 과정과, 4년제 대학의 학사학위를 취득할 수 있는 고숙련과정, 대학원 석사 학위와 연계된 고숙련마이스터과정으로 구성된다. 이 중 고숙련 마이스터 과정은 공식적인 본사업에 앞서 타당성 평가를 위한 시범사업으로 운영 중에 있다. 경력 경로 중 도제 단계는 특성화고 또는 마이스터고와 일학습병행 도제사업에 참여하는 기업 간 협약을 맺고 도제사업에 참여한 재학생을 학생 신분인 상태로서 협약 기업에 근무하기 함으로써 현장직업훈련(OJT)을 수행하게 하는 형태이다. 반면 재직자 단계는 신분이 근로자인 상태에서만 참여가능하며, 고숙련 입문, 고숙련, 고숙련마이스터 과정에 참여할 수 있으며, 이러한 과정에 참여하여 일과 학습을 병행하는 직원들을 학습근로자로 통칭한다. 본 연구의 대상인 일학습병행 고숙련마이스터 과정은 특별히 기업체 내부에서 기업현장교사 역할을 담당하는 재직자만이 지원자격이 주어진다. 이는 고숙련마이스터 과정의 사업 취지에 기인한 제약사항으로 일학습병행 직업 비전의 최상위에 위치한 기업현장교사로 하여금 스스로 전공 기술과 전공에 대한 심화된 응용 역량을 높여, 이를 기업 내에서 도제나 고숙련 과정에 참여한 학습근로자들에게 고도화된 훈련 지도와 양질의 평가를 수행할 수 있도록 하기 위한 제도적 장치이다. 학위연계형 고숙련마이스터 과정에서는 동일 직무 분야 3년 이인 기현장교사를 선발하여 2년간 특정 직무에 대한 필수 능력단위를 중심으로 자기주도 훈련을 실시하고, 계획된 학습 시간과 대학원에서 수행하는 내부 평가를 통과하게 되면 학교로 부터는 석사학위를 취득하고, 한국산업인력공단이 주관하는 일학습병행 고숙련마이스터 해당 직무 자격시험에 도전할 수 있는 기회를 부여받는다. 이 시험은 학교에서 하는 평가와 구별짓기 위하여 외부 평가라 부르는데, 이를 통과하게 되면 해당 직무의 Level 6~8 수준의 국가 공인 자격을 취득하게 된다. 자격을 취득한 기업현장교사는 국가가 인증하는 해당 전공 분야의 고숙련마이스터로서 일학습병행 해당 자격 분야에 대한 훈련지도, 시험 출제 및 감독, 일학습병행 컨설팅 및 평가사로서 역할을 수행할 수 있게 된다.

그림 1. 일학습병행 직업 비전[7]

Fig. 1. Job Vision of Work and study in Parallel

이와 같이 학위연계형 고숙련마이스터 과정은 일학습병행의 선순환적 직업 비전 체계를 완성할 수 있는 높은 수준의 기업현장교사를 양성하기 위하여 기획되었다. 이는 고품질의 일학습병행 운영을 위한 지식과 기술의 환류 체계가 완성되는 효과뿐만 아니라 우수한 기업현장교사의 역할이 필수적인 일학습병행 특성을 고려할 때 안정적이고 성공적인 일학습병행 정착을 위한 핵심적인 역량 강화 방안이 되고 있다. 학위연계형 고숙련마이스터 과정은 높은 전문 지식을 교육할 수 있는 인적자원을 보유하고 고도의 기술 교육 기반 시설과 환경을 모두 갖추고 있는 대학의 자원과 기업의 실무 환경을 융합한 교육서비스 모형으로 2015년에 도입되어 현재 고용노동부 산하대학인 한국기술교육대학교 일학습병행대학에서 주도적으로 시범 사업을 추진해 오고 있다.

최근 고용노동부와 한국직업능력개발원, 한국산업인력공단이 공동 주관한 2019년 제3차 일학습병행 세미나에서 한국기술교육대학교 일학습병행대학의 민준기 학장은 인구 감소 및 노령화에 따른 소비 수요 감소로 전통적인 제조업의 고용 비중 감소가 예측되므로 일학습병행 운영에 있어서도 제조업 중심에서 기술 집약형의 첨단산업을 지원하는 방향 전환이 필요하며, 상대적으로 낮은 전문성을 요한 교육훈련 보다는 보다 높은 수준의 전문인력으로 성장하기 위한 모형 개발의 필요성을 제시하였다^[8]. 이는 기업현장교사의 전문성 강화를 통해 기업 내 인력의 역량 강화를 달성하고자 하는 일학습병행 직업 비전과도 그 흐름을 같이 하고 있다.

이러한 일학습병행 비전의 성공적 달성을 위해서는 전문 직무 분야에 대한 이론적 지식을 보유하고, 이를 실무에 응용할 수 있는 상위 수준의 기술력을 보유한 기업현장교사의 배출이 매우 중요하다. 특히, 고숙련마이스터 과정의 학생들은 대부분 관련 분야의 학사 학위 소지자들로 산업계에서 오랜 기간 실무를 수행한 경험을 갖고 있으며, 고숙련마이스터 과정 측면에서는 기업의 학습근로자이면서 시에 기업 내에서는 일습병행에 참여하고 있는 도제 및 고숙련 과정의 학습근로자를 위한 교사로서의 역할을 수행하는 전문가 집단이다.

이들의 이론 및 실무 실력을 향상시키고 기업 내 지속적인 일학습병행 문화를 지속하기 위해서는 5년간 시범사업으로 진행 중에 있는 학위연계형 고숙련마이스터 과정이 본 사업으로 내실있게 뿌리 내릴 수 있도록 하기위한 제도 정비 및 교육 기반 조성이 매우 중요하다.

그러나 학위연계형 고숙련마이스터 과정은 외국의 다양한 도제 제도들과 비교할 때 사업 측면의 행정 및 지원 프로세스, 대학의 학사 지원 및 교육 서비스의 품질과 교육 수준, 자기 주도형 학습의 적절성, 기업 측면의 기여도 등 구별되는 매우 고유한 한국형 교육 서비스 모형으로서의 특성을 보인다. 따라서, 고숙련마이스터 과정에 참여한 학습근로자들을 대상으로 고숙련마이스터 과정 전반에 대한 의견을 수렴하고 문제점을 보완하며 제도를 개선하고 정비하는 등 본 사업화를 위한 선제적 대비가 요구된다. 본 연구는 이를 위한 기초 연구로써 고숙련마이스터 과정에 대한 양질의 만족도를 조사를 수행하기 위하여 평가 문항을 개발하고 개발된 평가 문항을 검증하는데 그 목적이 있다. 이를 위해, 고숙련마이스터 과정 참여와 관련한 훈련 준비, 훈련 수행, 훈련 효과, 훈련 행정 영역의 측면에서 학습근로자의 기대치 목표 수준 대비 실현 수준을 과정 만족도로 규정하고, 학위연계형 고숙련마이스터 과정이 그동안 수행된 바 없는 교육 서비스 모형임을 감안하고 고유성을 잘 반영할 수 있는 해당 분야 전문가들로 구성하여 델파이 조사기법을 통해 과정 만족도 평가를 위한 문항을 개발하고 문항의 적합성을 검증하고자 한다. 연구 결과는 시범사업으로 추진된 고숙련마이스터 과정에 대하여 실질적인 만족도 조사 지표로 활용할 수 있을 뿐만 아니라 고숙련마이스터 과정의 본 사업화에 대비한 다양한 평가 측정 지표로 참조될 수 있고, 나아가 고숙련마이스터 활성화를 위한 법 제도 및 정책 개선 등을 목적으로 실시하는 다양한 의견 수렴용 도구로써 참조할 수 있는 이론적 근거를 제공할 것이다.

Ⅱ. 선행 연구

일학습병행제와 관련한 연구들 중 고숙련마이스터 과정의 대상자인 기업현장교사와 연관된 선행연구들을 중심으로 살펴보았다.

먼저, 박윤희 등^[9]은 기업현장교사에게 요구되는 역량 모델 연구에서 교수설계자, 강사, 평가자, 상담자, 학습촉진자, 연구 개발자로 역할을 나누어 각각에 필요한 역량을 세분화하여 역량 모델을 제시하고 타당성을 검증하였다. 이러한 역량은 기업현장교사의 역량 강화가 주요 목적 중 하나인 고숙련마이스터 과정의 만족도 분석 항목을 구성하는데 매우 중요한 요소이다. 김혜연과 박인우^[10]는 직업교육훈련 현장학습 질 관리 평가 준거 개발 연구에서 현장 실습 프로그램, 학업성취도 평가 방법, 직무수행능력 평가, 현장실습 지도 교사, 직무 환경, 학습지원(교재), 평가 방법 및 횟수, 현장 학습 가 실시 개선 사항, 현장 실습 프로그램운영 개선 사항, 현장 실습 프로그램 제도 개선 사항의 평가 영역에 총 56개의 항목을 측정하고 현장학습계획, 현장학습실시, 현장학습평가 3개 영역으로 구성된 평가 준거 모형을 제시하였다. 이승과 문세연은 NCS 활용 확산성과 분석 연구^[11]에서 교육 훈련의 효과성 영역에서 목표 대비 달성도, 교육훈련프로그램 개발비 감소 정도, 이수자의 만족도, 이수자의 학업성취도, 이수자의 고용효과, 이수자의 업무수행성과, 이수자의 경력개발효과 등을 측정하였다. 임경화^[12] 등은 기업현장교사의 교육 요구도 분석 연구에서 기업현장교사 양성 교육 프로그램의 세부 내용으로 학습도구 개발 및 활용, 성공적인 현장훈련 실시를 위한 교수법, 평가 도구 및 활용, 학습근로자 코칭, 우수 사례 전파 및 공유 등을 제시하였다. 강세욱^[13]은 일학습병행제 기업현장교사와 관련하여 자격요건, 특성, 현장 경력 및 교사 역할 자발적 선택 여부, 기업현장교사 양성 교육 주요 내용 등을 분석하고 기업현장교사의 역량 강화를 통한 일학습병행제 차별성이 필요함을 제기하였다. 강기호와 엄기용^[14]은 대학연계형 일학습병행제 계약학과의 성과관리방안 연구에서 다양한 교육 훈련 프로그램 성과 평가 모형과 국내 외 일학습병행제 성과관리 사례들을 소개 및 분석하고, 일학습병행제 성과관리 모형으로 IPO(Input, Process, Output or Outcome) 모형이 가장 적합함을 제시하였다. 박동열^[15]은 평생직업교육과 관련된 이슈와 전망을 분석하고 현장실습 운영의 내실화에 대한 문제점 중 하나로 기업 내 현장 실습을 담당할 기업현장교사가 확보되지 못하는 문제를 지적하며, 관리 체계의 법적 개선의 필요성을 제기하였다.

이진구 등^[16]은 양성 교육과 심화 교육으로 구분되는 기업현장교사를 위한 새로운 교육훈련 체계를 제시하였다. 김민철 등^[7]은 최적화된 고숙련마이스터 양성을 위한 실증적 연구를 통해 학위연계형 일학습병행의 고숙련마이스터 기업현장교사의 역량강화를 위한 표준 교과 모델을 제안하면서 고숙련마이스터 과정의 만족도 조사를 수행하고 연관분석을 통해 개선점을 도출하였다.

그 밖에 박용호와 이진구^[17]는 직업능력개발 훈련교사와 관련하여 역량평가사로서의 역량 강화를 위한 필요 훈련 요구에 대한 연구에서 14개의 필요 훈련 요구를 분석하였는데 전문가로서의 신뢰도 지표가 가장 높게 나타났다. 연구에 따르면 전문가 신뢰도 역량은 평가자로서 전문가 활동을 하고 전문가들과 네트워크를 구축하여 전문성을 보유하고 이를 토대로 전문적인 지식과 타당한 태도를 보여주는 것을 의미^[17]하는 것으로 직무 분야 일학습병행 자격을 취득하면 역량 평가자로 활동을 할 수 있는 자격이 주어지는 기업현장교사의 역량 강화 측면의 만족도에도 반영할 만한 의미 있는 연구로판단된다.

Ⅲ. 연구 방법

1. 연구 절차

만족도 평가 문항 개발을 위한 연구 절차는 그림 2에서와 같이 다양한 문헌 연구 및 전문가 인터뷰를 통한 자료 조사와 이를 기반으로 한 평가 문항에 대한 개발 및 타당성 검증 과정으로 수행된다. 즉, 자료 조사를 위하여 먼저 일학습병행 관련 연구 논문 중 고숙련마이스터 훈련 또는 교육과 관련된 선행 연구들을 고찰하고, 일학습 병행 사업에서 실제로 교육을 수행하고 있는 공동훈련센터, 교학팀, 대학에서 훈련과정을 담당하고 있는 교수진 등을 대상으로 FGI(Focus Group Interview)를 수행하여 고숙련마이스터 과정과 사업의 특성에서 무엇이 중요하게 다루어 져야 하며 문제점이라고 생각되는 내용들을 식별하였다. 또한 일학습병행 참여 기업이나 학생들로부터 제기되는 다양한 의견들을 수집하였다. 그 외에 대학에서 학기 말에 교과목에 대한 만족도 조사의 일환으로 실시하는 수업 반응도 평가 지표 등도 조사 자료에 포함시켰다.

그림 2. 연구 절차 및 방법

Fig. 2. Research Process and Method

다음으로 일학습병행 운영 절차를 기반으로 예비 조사를 통해 수집된 다양한 의견들을 구체적으로 도출할 수 있도록 만족도 평가 문항 형태로 시안을 개발하였다. 이렇게 개발된 시안에 학교에서 실시하는 수업 반응도 평가 문항을 반영하고, 평가 영역 별 체계와 평가 문항을 정제하는 절차를 수행하였다.

일반적으로, 델파이 1차 조사는 개방형 설문을 하여 전문가가 자유로운 의견을 제시하도록 유도하는 방법과 미리 준비된 구조화된 설문에 응답하도록 하는 방법이 있다. 후자는 수정 델파이 방법(modified Delphi technique)이라고도 불리는데, 항목에 대한 변화의 폭이 크지 않을 것으로 예측되는 경우에 사용하며, 연구의 편리함과 효율성 측면에서 유리하다^[18]. 반면 2차 설문은 1차 설문결과를 반영하여 각 항목의 중요성에 동의하는 정도를 리커트 척도 (Likert scale)로 평가한다. 그 결과에 대해 집중경향과 분산도를 산출하고, 각 패널들에게 전체 의견을 피드백한 후 재평가하도록 하여 의견이 일치될 때까지 반복한다^[18].

이러한 델파이 조사 기법을 모두 적용하여 본 연구에서는 개발된 만족도 평가 문항 시안을 고숙련마이스터 과정의 4명의 교수진을 통해 두 차례에 걸쳐 수정 델파이 기법을 적용하여 정성적 방식으로 의견을 수렴하였다. 즉, 평가 문항 체계, 평가 문항 수, 그리고 평가 문항 자체도 세심한 의견 제시가 진행되었고 그 결과, 객관성을 훼손할 수 있는 표현, 평가 의도에 오해의 소지가 발생될 우려가 있다거나, 참여 당사자들 중 지나치게 민감하게 반응할 수 있거나 편견이 작용될 수 있다는 등의 전문가 의견이 제기된 문항들에 대해 수정, 삭제 작업을 진행되었다 두 차례 정성적 방식의 본 조사를 통해 확정된 설문 체계와 분류, 평가 항에 대하여 3차 본 조사에서는 전문가 별 편견을 배제시키고 또 다른 추가 요건을 발견하기 위하여 기존 참여 교수진 3명과 본 조사에 참여한 적이 없었던 교수진 2명을 포함하여 총 5명의 교수진이 참여하였다. 특히, 3차 본 조사부터는 두 차례에 걸친 델파이 조사 결과가 충분히 반영되었다고 판단되어 문항의 타당성 검증을 위하여 문항별 중요성을 7점 리커드 척도로 측정하였으며, 안정성(CV), 타당도(CVR), 합의도(CS), 수렴도(CG) 지표를 선정하여 만족도 평가 문항의 적합성을 측정하고 그 중 안정도 값을 기준으로 추가 본조사 여부를 판단하였다.

2. 분석 방법

델파이(Delphi) 기법은 ‘예측하려는 문제에 관하여 전문가들의 견해를 유도하고 종합하여 집단적 판단으로 정리하는 일련의 절차’로^[19,20] 기존에 관련 연구가 충분하지 않거나, 새로운 평가준거를 개발할 경우와 같이 관련 전문가들의 의견을 수렴하여 결정해야 하는 경우에 적합하다^[19]. 따라서, 고숙련마이스터 과정은 이전에 수행된 바 없는 교육 서비스 모형으로 평가의 공정성을 높이기 위하여 평가 문항의 적합성 분석을 수행하였다. 본 연구에서는 그림 2와 같이 높은 적합성 평가(Conformity Assessment, CA)를 위해 안정성(CV), CVR, 합의도(CS), 수렴도(CG)를 지표로 설정하고 적합도가 모두 만족되는 평가 문항에 대해서만 “적합”한 것으로 판정하였다.

적합성 평가를 위한 각 지표를 살펴보면, 먼저, 설문의 추가 진행 여부를 판단하기 위하여 안정도를 측정하였다. ‘안정도’란 연속된 설문에서 응답의 일치 수준’을 의미하는데, 일정한 수준 이상의 안정도는 패널 간에 합의가 어느정도 이루어졌다고 판단하는 근거가 된다. 변이계수(Coefficient of Variation: CV)는 (1)과 같이 표준편차를 평균값으로 나눈 값으로서, Khorramshahgo의 연구^[21]와 노승용의 연구^[22]에 근거하여 0.5 이하인 경우 추가적인 설문이 필요 없을 정도로 안정화되었다고 판단하며, 0.8 이상인 경우는 추가적인설문이 요구되는 것으로 판단한다.

\(C V=\frac{\text { Standard deviation }}{\text { Mean }}\)       (1)

타당도는 패널 전체 수 대비 ‘중요하다’ 라고 응답한 수의 비율을 나타내는 타당도 비율(Content Validity Ratio: CVR )로 측정한다. 그 계산식은 (2)와 같다.

\(C V R=\frac{n_{e}-(N / 2)}{N / 2}\)       (2)

CVR : 타당도 비율; n_e : 아이템이 ‘타당하다’라고 응답한 패널의 수;

N : 전체 응답 패널의 수

한편 전체 응답자 수에 따른 CVR의 유효 최소값은 Lawshe의 CVR^[23]에 따라 .99이상이면 타당한 조건을 만족하는 것으로 판단한다.

또 다른 타당도 측정방법으로는 Fusfeld와 Foster의 연구^[24]와 이윤조의 연구^[25] 결과를 적용하여 패널들이 합의점을 찾아가고 있는지를 측정하였다. 식(3)과 같이 합의도(CS;consensus)와 식(4)의 수렴도(CG; convergence)가 측정되며, 합의도는 0.75 이상, 수렴도는 0^～0.5일 경우 의견이 합의된 것으로 판단한다.

\(C S=1-\frac{Q 3-Q 1}{\text { Median }}\)       (3)

\(C G=\frac{Q 3-Q 1}{2}\)       (4)

Med: Median, 중앙값 ; Q3: 제 3사분위수, 전체의 75% 값 ; Q1: 제 1사분위수, 전체의 25% 값

마지막으로 평가 문항으로써의 적합성 판정에 대한 기준으로, 지금까지 측정된 안정성(CV), 타당도(CVR), 합의도(CS), 수렴도(CG)를 측정하여 (5)의 조건을 모두 만족하는 경우 “적합”한 것으로 판정한다.

\(\begin{array}{l} C A=C V(x) \leq .5 \cap C V R(x) \leq .99 \cap \\ C S(x) \leq .75 \cap C G(x) \leq .5 \end{array}\)       (5)

평가 결과 CA가 적합인 평가 문항은 최종 평가 문항으로 유지하며, 하나 이상의 지표라도 부적합이 도출된 경우 해당 만족도 평가 문항은 삭제된다.

Ⅳ. 학위연계형 고숙련마이스터 과정 만족도 평가 문항 개발

1. 전문가 특징

본 연구에서는 고숙련마이스터 과정에 4년 이상 참여하여 훈련과정을 개발하고 신입생 모집에 참여하여 기업 실사를 수행하고, 학습근로자를 대상으로 교과목에 대한 수업을 진행하고 외부 평가를 행한 경험을 보유한 교수진을 전문가로 규정한다. 이는 일학습병행제도에서 고숙련마이스터 과정이 시범적으로 운영 중에 있어 운영 규정 등의 특수성이 높기 때문에 일반적으로 다른 일학습병행 훈련과정이나 학습근로자 측면에서 매우 다른 특징을 갖기 때문이다. 특히, 본 연구를 통해 개발하고자 하는 만족도 평가 문항은 고숙련마이스터 과정을 수료하거나 이수한 재직자들을 대상으로 학습이나 행정 측면의 의견을 조사하여 과정의 품질과 제도 정비에 활용함으로써 본 사업에 대비할 수 있도록 구성하는 것이 매우 중요하다. 이러한 점들을 고려하여 본 연구의 참여 전문가 모두는 고숙련마이스터 과정 "훈련개발보고서” 개발, 학과 내 표준 이수 체계 및 교과목 편성, 교내 Off-JT 수업 수행, 직장 내 OJT 학습 지도를 수행하고 있으며, 일학습병행 Level 6 자격 지향의 외부 평가를 통해 L6 직무 전문가를 배출한 경력을 갖고 있는 전문가들로 구성하였다. 이러한 소수 정예 전문가를 통해 총 3차례의 델파이 전문가 조사를 실시하였다. 1차와 2차는 한국기술교육대학교 일학습병행 대학의 고숙련마이스터 과정의 4명의 교수가 참여하였다. 특히, 3차 델파이 조사는 정량적 델파이분석 기법을 통해 문항 평가의 적합성 제고 및 다양한 추가 의견 도출의 가능성을 높이기 위하여 그 동안 본 평가 문항 개발에 참여하지 않았고 전문가 기준에 만족하는 한국기술교육대학교 교수 1인과 산업기술대학교 교수 1인을 교체 및 추가하여 총 5명의 전문가를 통해 실시하였다.

2. 학위연계형 고숙련마이스터 평가 구성 요인

먼저 학위연계형 고숙련마이스터 참여 과정을 살펴보면, 공동훈련센터에서 고숙련마이스터 과정의 참여 기업을 발굴하여 공단으로부터 참여 기업체로 승인이 되면, 학기 시작 전에 대학의 교수진과 기업의 기업현장교사가 함께 훈련 교과목과 훈련 내용을 개발하고, 한국산업인력공단의 NCS 인증 심사를 통과함으로써 교육 및 훈련을 위한 과정 계획이 확정된다. 일학습병행 관련 기업과 훈련 관련 행정 관리는 공동훈련센터가 담당하고, 기업현장 교사는 기업 내 학습근로자에 대한 교육과 지도를 담당하고, 교사 스스로 수행하는 SD-OJT(Self Directed-On the Job Training)의 원활한 수행을 위해 대학에서 OJT 전담 지도 교수가 현장 훈련을 지원한다. 토요일에는 대학 수업에 직접 참여하는데, 대학교의 학사와 관련된 사항은 일반 대학과 동일하게 교학 담당 업무 부서에서 담당한다. 이와 같이 고숙련마이스터 과정은 이해관계자가 다양하고 복잡하기 때문에 폭넓은 만족도 및 개인적 역량 강화를 측정할 수 있는 평가 문항의 구성이 중요하다. 따라서 평가 영역을 훈련 준비, 훈련 수행, 훈련 효과, 훈련 행정의 4개의 영역으로 분류하고, 훈련(교과) 과정 개발 및 회사 협조, 훈련(교과) 과정에 대한 교육 방법, 기업현장교사로서의 역량, 실무 적용 및 역량 향상 측면, 신직업 자격 취득 성과에 대한 부문으로 문항 체계를 구성하였다. 훈련 비 영역은 훈련(교과) 과정 개발 만족도를 측정하며, 훈련 수행 영역에서는 Off-JT 교과목 학습 및 교육 만족도와 자기주도형 OJT 훈련(교과) 과정 학습 및 교육 만족도를 측정하도록 구성하였다. 학습 효과 영역에서는 기업현장교사로서의 역량 강화 만족도와 직무 적용 및 실무 활용 능력제고 만족도를 측정하도록 문항을 구성하였고, 마지막으로 훈련 행정에서는 교육을 위한 지원 조직인 공동훈련센터와 대학 교학 담당 부서에 대한 만족도를 평가할수 있는 문항들로 개발되었다. 상세 평가 문항 체계는 표 1과 같다. 표 1에서 평가 영역은 훈련 준비, 훈련 수행, 훈련 효과, 훈련 행정의 4개의 단로 분류되었다. 훈련 준비 단계에서는 훈련(교과) 과정개발 만족도를 측정하는데 이는 2년간의 훈련(교과) 과정에 대한 학습 계획 및 훈련(교과) 과정 개발 결과에 대한 만족도를 의미한다. 훈련 수행단계는 계획된 훈련(교과)과정 중에서 학교에서 실시된 교육의 만족도를 측정하는 Off-JT 훈련(교과) 과정학습 및 교육 만족도와 계획된 훈련(교과) 과정 중 기업에서 실시한 학습 및 교육의 만족도 자기주도형 OJT 훈련 (교과) 과정 학습 및 교육 만족도로 구분하여 측정한다. 훈련 효과 단계와 관련해서는 기업현장교사로서의 역량 강화 만족도와 직무 적용 및 실무 활용 능력제고 만족도를 측정한다. 이를 통해 계획된 훈련(교과) 과정 중 기업에서 실시한 학습 및 교육의 만족도와 훈련(교과) 과정을 통해 배운 지식을 직무에 적용하고 실무에 응용하는 능력 향상의 만족도를 각각 측정한다. 훈련 행정에서는 훈련(교과) 과정에 참여하여 수료까지의 행정 지원 조직 및 담당자에 대한 만족도를 측정하기 위하여 행정지원만족도를 측정한다.

표 1. 초기 생성된 만족도 평가 구조 및 문항

Table 1. Initially generated Satisfaction Assessment Structure & questions

3. 학위연계형 고숙련마이스터 과정 만족도 평가 문항 검증

안정성(CV), 내용 타당도 비율(CVR), 합의도(CS)와 수렴도(CG)의 네 가지 지표를 모두 만족하는지를 통해 타당도를 검증한 결과 표 2와 같이 총 50개의 문항 중 2개 문항만이 부적합한 것으로 검증되었다. 18번 “과제 및 실습은 실무 수행 능력을 향상시키고 실무 적용성 측면에서 유익한가?”라는 문항의 타당성에 대해 2명의 전문가가 “대체로 그렇다”, 한명의 전문가가 “그렇다”, 2명의 전문가가 “매우 그렇다”로 평가하여 합의도가 .67로 합의도 판단 기준인 0.75보다 작고, 수렴도는 0.5보다 큰 값인 1.00로 도출되어 합의도와 수렴도 모두 부적합 처리되었다. 19번 “훈련(교과) 과정 별 수업 유형(플립 러닝 수업, 집체 수업 등)은 적절한가?”라는 문항에 대서는 2명의 전문가가 “대체로 그렇다”, 3명의 전문가는 “매우 그렇다”로 평가하여 합의도가 .71, 수렴도가 1.00으로 측정되어 합의도와 수렴도 모두 부적합으로 판단되었다.

표 2. 평가 문항의 통계 검증 분석 결과

Table 2. Statistical verification analysis result of evaluation item

다음으로, 추가 델파이 조사의 필요성을 판단하기 위하여 평가 문항의 안정도 지표의 결과값을 확인하였다. 일반적으로 05 이하이면 추가 설문이 필요 없는 것으로 판단하는데, CV 값을 확인한 결과 전체 평가 문항의 안정도가 0 ~ 0.16 범위에 있는 것으로 나타나 합의가 충분한 것으로 평가되어 추가 설문은 불필요한 것으로 판단하였다. 이로써 총 4개 영역 6개 부문 48개 평가 문항이 확정되었다. 확정된 평가 문항을 상세히 정리하면, 훈련준비 영역에서는 훈련과정 개발 만족도 부문에서 총 7개의 평가 문항이, 훈련 수행 영역에서는 Off-JT 훈련(교과) 과정 학습 및 교육 만족도와 SD-OJT 훈련(교과) 과정 학습 및 교육 만족도 부문에서 총 19개 평가 문항이, 훈련 효과 영역에서는 기업현장교사로서의 역량 강화 만족도와 직무 적용 및 실무 활용 능력제고 만족도 부문에 대하여 총 16개 평가 문항이, 마지막으로 훈련 행정 영역에서는 행정지원 만족도 부문에서 6개 평가 문항이 선정되었다.

Ⅴ. 결론

고숙련마이스터 과정에 참여하는 학습근로자는 본인 스스로가 학습근로자이면서 동시에 기업현장교사라는 특수성을 갖는다. 고숙련마이스터 과정은 일학습병행제에서 기업현장교사가 스스로의 직무 역량을 향상시키고 응용력을 높이며, 고도화된 훈련 지도와 평가자로서의 역량을 강화하기 위한 목표로 시범사업으로 추진되어 오고 있다. 본 연구는 고숙련마이스터 과정에 참여한 학습근로자들을 대상으로 고숙련마이스터 과정 전반에 대한 의견을 수렴하여 문제점을 보완하고 제도를 개선하고 정비함으로써 본 사업화를 위한 선제적 대비의 일환을 위한 기초 연구로서 수행되었다.

이를 통해 고숙련마이스터 과정에 참여했던 학습근로자들을 대상으로 훈련 준비, 훈련 수행, 훈련 효과, 훈련 행정 측면 전반의 과정 만족도를 측정할 수 있는 객관적이고 검증된 평가 문항을 개발하고 문항의 타당성을 검증하였다. 연구 결과 총 4개 영역 6개 부문 48개 평가 문항이 개발되었으며, 훈련준비 영역의 훈련과정 개발 만족도 부문에 총 7개의 평가 문항이, 훈련 수행 영역의 Off-JT 훈련(교과) 과정 학습 및 교육 만족도와 SD-OJT 훈련(교과) 과정 학습 및 교육 만족도 부문에 총 19개 평가 문항이, 훈련 효과 영역의 기업현장교사로서의 역량 강화 만족도와 직무 적용 및 실무 활용 능력제고 만족도 부문에 총 16개 평가 문항이, 마지막으로 훈련 행정 영역의 행정지원 만족도부문에서 총 6개 평가 문항이 개발되었다.

본 연구 결과는 실질적인 만족도 조사 지표로써의 실무적 활용성 뿐 만 아니라 고숙련마이스터 과정에 참여했던 학습근로자를 대상으로 고숙련마이스터 과정 운영 측면의 다양한 의견 수렴이 요구되는 상황에서 기초 평가 문항 도구로써 활용될 수 있는 이론적 근거를 제공한다.

그러나 본 연구는 정부 정책에 의해 매우 제한적으로 진행된 사업이라는 특수성으로 인하여 전문가 섭외에 대한 수적 제약이라는 한계가 존재한다. 따라서 본 사업화 이후 실제 평가 문항으로 활용 시에는 과정 운영 환경을 고려하여 적합성에 대한 재평가가 요구되며, 지속적인 현행화를 통해 고숙련이스터 과정의 표준화된 만족도 평가 기본 문항으로 정착될 수 있도록 하는 노력이 수반되어야 할 것으로 사료된다.