Development Case of the Core Competency Diagnosis Tool for Student Growth at U University

U대학의 학생 성장 핵심역량 진단 도구 개발 사례

Abstract

Purpose : The purpose of this study was to develop a core competency diagnostic tool suited to the circumstances of U university and to verify its validity. Methods : This study was conducted from September 1, 2022 to January 20, 2023. First, U university's core competencies were analyzed based on literature review and cases of other universities. Second, after reviewing the operational definitions of sub-competencies and confirming detailed components through research team meetings and expert interviews, questions for each primary sub-competency were written. Third, to verify the content validity of the first round of questions, a Delphi survey was conducted on 10 professors majoring in education at U university to construct the second round of questions. Based on this, factor analysis was conducted through a preliminary test on enrolled students to select the final questions. Results : During the first round of question development, 216 questions were developed. As a result of the Delphi survey, questions with a CVR value of less than 0.62 were deleted, and a total of 174 questions were selected as the second round of questions. As a result of a preliminary test for current students based on the second question, the Cronbach' 𝛼 value for each subarea was 0.84~0.97, confirming reliability. Additionally, as a result of factor analysis, the KMO scale was found to be 0.918 and the probability of significance was <.005, confirming that it was a suitable model for factor analysis. The overall cumulative explanatory power was found to be 53.0 %, and two questions were confirmed for each sub-competency in the areas of knowledge, skills, and attitude, resulting in a final 72 questions. Conclusion : The developed tool is expected to facilitate U university's competency-based curriculum operation and quality management, and the establishment of an online diagnostic system is necessary for effective and continuous management of the diagnostic tool.

Ⅰ. 서론

1. 연구의 배경 및 필요성

빠르게 변화하는 오늘날의 교육환경은 과거에 주로 이루어졌던 지식에 기반한 교육의 한계에 대한 논쟁을 불러일으켰고 이는 현대 사회가 요구하는 인재를 양성하기 위한 대학 교육의 패러다임 전환을 촉진하고 있다(Noh & Lee, 2013). 이에 따라 대학은 단순히 전문 지식을 전달하는 교육기관의 역할을 넘어, 사회적 요구에 신속하게 대응하고 새로운 가치를 창출할 수 있는 핵심역량을 갖춘 인재를 육성하는 기관으로 변모하고 있다.

특히 2021학년도 대학기본역량진단을 앞둔 시점에서는 핵심역량과 역량기반 교육이 더욱 주목을 받았다. 핵심역량과 역량기반 교육에 대한 다양한 논의와 쟁점이 제기되고(Kim & Kim, 2017), 비판적인 시각도 존재하지만(Son 등, 2021) 국내의 많은 대학은 각자의 교육이념과 인재상을 반영한 핵심역량을 설정하고, 이를 진단하기 위한 측정 도구를 개발하여 데이터를 구축하고 있다. 또한 진단 결과는 교육과정의 개발과 개선, 그리고 지속적인 환류 과정에 반영하여 교육의 질 향상에 활용하고 있다(Park, 2018).

대학생들의 핵심역량을 진단하기 위한 도구는 표준화된 검사 도구인 ‘K-CESA’가 널리 사용되고 있다(Lee & Kim, 2019). 그러나 이 도구는 검사 시간에 상당한 시간이 소요되고 각 대학의 핵심역량과 ‘K-CESA’의 검사 영역이 상이하여 결과 해석과 실효성의 문제가 제기되었다. 이에 따라 U대학은 2014학년도부터 신입생을 대상으로 인·적성 검사와 역량 및 취업준비도 검사로 현재의 본인 위치를 진단할 수 있는 ‘아우란트(Auland) 검사’를 도입하여 신입생 역량을 진단하고 이를 바탕으로 교육 프로그램 개발과 학생 지도의 기초자료로 활용하였다. 이후 2021학년도부터는 ‘미래형 대학생 핵심역량 진단’ 도구를 사용하였으나 이러한 검사 도구 역시 U대학 고유의 핵심역량과의 정합성 문제를 해결하지 못하였다.

최근 대학들은 재학생의 핵심역량 관련 데이터를 확보하기 위해 대학 각자의 핵심역량을 반영한 자체 진단 도구 개발 연구를 활발히 진행하고 있다(Kim, 2019; Kim 등, 2020; Moon, 2020; Noh & Lee, 2013; Park & Shin, 2019; Yoon & Lim, 2020; Yoon & You, 2018). U대학 역시 대학 교육의 질 개선에 필요한 학생들의 핵심역량을 정확히 진단할 수 있는 U대학만의 진단 도구 개발 필요성을 인식하게 되었다.

그동안 U대학은 대학의 핵심역량과 가장 유사한 개념을 추출하여 핵심역량을 진단, 분석에 사용해왔다. 그러나 기존 도구의 정합성 문제와 학생 성장 변화를 체계적으로 분석하는 데 한계가 있으므로, U대학만의 자체 핵심역량 진단도구를 개발하여 교육의 질 개선에 활용하고자 한다.

Fig 1. Research procedure and content

2. 연구의 목적

본 연구는 변화된 사회적 요구에 부응하고 미래의 사회에 필요한 역량을 함양하기 위해 대학에서 설정한 핵심역량을 측정할 수 있는 진단 도구 개발을 목적으로 수행하였다. 이로써 학생 개인의 측면에서 개인의 역량을 진단하고 관리하여 자신의 장점 역량을 극대화하도록 도울 수 있고 대학의 측면에서는 교육성과를 측정 및 분석함으로써 역량 개발을 위한 교육과정 구성 및 개편의 근거자료로 활용할 뿐 아니라 데이터 기반 성과관리 체계를 구축할 수 있다는 데 의의가 있다.

Ⅱ. 연구방법

1. 문헌 연구

핵심역량의 하위 요인을 추출하고 문항을 개발하기 위해 국내외 관련 선행연구를 고찰하였으며 국내 핵심 역량 진단 기관의 진단 영역 및 문항 사례, 타 대학들의 사례, 그리고 U대학의 핵심역량과 현재 사용 중인 핵심 역량 진단 실태를 분석하였다.

2. 1차 문항 개발

진단 도구 개발에 앞서 U대학의 6대 핵심역량과 정의를 확인하였으며, 핵심역량의 세부 개념을 단어 단위로 분석하였다. 이 과정에서 핵심역량 및 각 단어의 사전적 의미와 조작적 정의를 확인하고, 키워드와 정의를 도출하였다. 연구진 회의 및 전문가 면담을 통해 하위역량의 조작적 정의를 검토하고 세부 구성 요인을 확인한 후, 1차 하위역량별 문항을 작성하였다. 연구진 3명은 문헌 연구를 통해 도출한 문항의 전체적인 구성과 형태를 검토하였고, 전문가 면담에서 수합된 의견을 질적 및 양적으로 분석하여 핵심역량 키워드를 포함하는 두 개의 하위역량으로 정리하고, 그에 따른 하위역량의 정의를 도출하였다(Table 1).

Table 1. Derivation of sub-competencies through final keywords for each core competency

문항 개발 시 문헌 연구를 통해 고찰한 척도의 구성과 특징, 장단점, 그리고 U대학 재학생의 특성을 고려하여 검사 시간과 문항 수를 결정하였다. 수합된 초기 문항은 연구진 각자가 개별적으로 핵심역량으로 분류한 후, 3명의 연구진 의견이 일치한 문항들로 구성하였다. 이에 따라 핵심역량별 일치한 문항은 융합사고 58문항, 문제 해결 35문항, 자기관리 16문항, 도전성취 45문항, 대인관계 59문항, 협업실천 45문항으로 나타났다. 부족한 문제 해결역량과 자기관리역량 문항은 추가조사를 통해 각각 47문항과 41문항으로 추가하였다. 도출된 문항은 내부 전문가의 의견을 반영하여 각 핵심역량별 하위역량을 두 가지로 재분류한 후, 하위역량별로 지식(K), 기술(S), 태도(A)로 세분화하여 문항을 보완하였다. 최종적으로 각 핵심역량 하위영역 별로 6개의 문항을 추출하여, 총 216개의 1차 문항을 도출하였다(Table 2).

Table 2. Results of first-round item development

3. 전문가 검토

5점 리커트 척도로 개발된 1차 문항의 내용타당도를 검증하기 위해 2022년 11월 15일부터 11월 24일까지 U대학의 교육학 전공 교수 10명을 대상으로 델파이 조사를 시행하였다.

본 연구에서 활용한 전문가 수는 델파이 패널의 집단 크기는 Lawshe(1975)의 내용타당도 비율 임계치를 고려하여 10명으로 구성하였다(Table 3). 델파이 조사는 개발한 델파이 조사지를 메일로 전문가들에게 보내어 10일간 서면으로 의견을 수합하였으며, 델파이 조사지에는 U대학의 핵심역량과 하위역량의 정의, 그리고 지식(K), 기술(S), 태도(A) 영역별 적합성을 판단하는 데 도움이 되는 어미 진술의 예시를 제시하였고 타당도 평가와 오픈 형태의 수정의견에 대한 작성 기준을 안내하였다. 각 항목에 관한 타당도는 1~5까지(1:매우 타당하지 않음, 2:타당하지 않음, 3:보통, 4:타당함, 5:매우 타당함) 중 하나를 입력하도록 안내하였고 공식에 따라 내용타당도 비율(CVR) 값을 도출하여 0.62 이상의 값을 보이는 문항을 채택하였다. 또한 오픈 형태로 받은 수정의견은 문항별로 수합하여 수정의견이 있는 문항은 연구진 회의를 통해 수정 및 보완하는 방식으로 2차 문항을 도출하였다.

Table 3. Content validity ratio threshold according to the number of Delphi panel experts (Lawshe, 1975)

내용타당도 검증결과 216개 문항 중 CVR 값이 0.8 이상인 문항들에 대해 문장 수정, KSA 재분류 및 삭제 등 수정의견이 제시된 경우 내부 연구진 회의를 거쳐 수정, 보완하였다. CVR 값이 0.62 이하인 문항은 타당성이 부족하므로 삭제처리를 하였으나, 이 중 3개 문항은 전문가 의견에 따라 수정 및 보완한 후 다시 포함하였다.

수정의견은 문장수정의견, KSA분류 변경의견, 유사문항 병합의견 등이 있었으며, 수정의견에 대한 연구진 회의를 거쳐 최종적으로 문장수정 42건, KSA 분류변경 8건, 문구 수정 후 분류변경 8건, 문항 병합 2건, 문항 삭제 2건으로 정리하였다. 델파이 조사 결과에 따라 도출된 최종 2차 문항 수는 174문항이었다(Table 4).

Table 4. Results of the expert Delphi survey

Ⅲ. 결과

1. 예비 문항의 신뢰도 분석

전문가 검토 결과를 반영하여 연구자 회의에서 수정 보완한 2차 문항을 구글 설문지로 작성하고, 2022년 12월 1일부터 12월 5일까지 온라인으로 검사를 실시하였다. 예비 검사는 U대학 재학생을 대상으로 실시하였으며, 총 139명의 응답 자료를 분석하였다. 자료 수집은 계열별, 학년별 재학생 분포를 고려하여 이루어졌다. 계열별 응답자는 공학계열 11명(7.9 %), 인문사회계열 37명(26.6 %), 사범계열 17명(12.2 %), 자연계열 66명(47.5 %), 예체능계열 8명(5.8 %)이었으며, 학년별 분포는 1학년 22명(15.9 %), 2학년 46명(33.1 %), 3학년 50명(35.9 %), 4학년 21명(15.1 %)이었다(Table 5).

Table 5. General characteristics of the study participants

*unit: No. of participants (%)

진단 도구의 신뢰도는 학생들의 핵심역량을 일관되게 평가할 수 있는지를 보여주는 중요한 지표이며, 도구의 신뢰성을 평가하는 필수적인 요소이다. 일반적으로 Cronbach’s α 값을 통해 신뢰도를 검증하며, 0.70 이상일 경우 신뢰도가 높다고 평가한다. 본 연구에서는 진단 도구의 신뢰도를 검증하기 위해 각 영역별 Cronbach' α값을 산출한 결과 하위영역별 신뢰도는 0.84에서 0.97 사이였으므로 예비 문항의 신뢰도는 적절함을 확인하였다(Table 6). 또한, 문항 간 상관관계를 분석하여 상관계수가 극단적으로 나타나는 문항이 있을 경우 비경제적이거나 문항의 내적 일관성을 침해하는 것으로 간주하고 삭제하기로 하였으나, 이에 해당하는 문항은 없었다.

Table 6. Results of the reliability analysis of preliminary items

2. 예비문항의 타당도 분석

본 연구에서는 핵심역량 진단 도구의 구인타당도를 확인하기 위해 탐색적 요인분석을 실시하였다. 탐색적 요인분석은 연구자가 측정하고자 하는 개념의 차원성을 탐색하는 과정으로 본 연구에서는 신뢰도 분석과 상관 관계 분석을 통해 문제가 되는 문항을 제거한 후, 탐색적 요인 분석을 통해 최종 문항을 선별하였다. 1차 문항 도출 과정에서 선정된 6대 핵심역량과 각 역량의 2개 하위 역량 구조를 유지하기 위해 주축요인 추출법을 사용하였으며, 요인 회전 방법으로는 베리맥스를 적용하였다. 문항기초분석을 통해 각 핵심역량별 문항을 토대로 탐석적 요인분석을 실시하였다. 각 요인분석의 적합성을 평가하기 위해 요인분석의 타당성을 평가하는 중요한 지표인 KMO 척도를 사용하였다. KMO 값이 0.6 이상일 경우 요인분석이 적합하다고 판단하며, KMO 척도가 높을수록 변수 간 상관관계가 요인분석에 적합함을 의미한다. 또한 초기 요인분석에서 4개의 요인이 도출된 문제해결역량, 자기관리역량 및 도전성취역량은 본 연구의 주된 목적에 부합하는 2개 요인에 초점을 맞추어 분석을 진행하였으며 그 결과는 다음과 같다.

먼저 26개의 융합사고 역량 문항을 분석한 결과 KMO 척도는 0.92, 유의확률 <.05로 나타나 요인분석에 적합한 모형임이 확인되었다. 전체 누적 설명력은 53.0 %로, ‘창의력’과 ‘유연성’ 두 개의 하위요인에서 적절한 설명력을 보였다. 각 요인별로 분석 결과를 확인하는 과정에서 창의력으로 분류된 1개 문항과 유연성 1개 문항은 내부 연구진의 회의 및 전문가 검토를 통해 하위역량을 수정하여 채택하였다. 이외의 적합하지 않은 문항으로 판단되는 문항들은 최종문항에서 제거하였다(Table 7).

Table 7. Results of factor analysis on preliminary items for convergent thinking competency among core competencies

*Adopted after sub-competency revision

다음으로, 문제해결역량을 측정하는 26개 문항을 분석한 결과, KMO 척도는 0.93으로 나타났으며, 유의확률은 <.05로 요인분석에 적합함을 확인하였다. 초기 분석에서는 4개의 요인이 도출되었으나, 예비문항 구성 시 하위 역량에 따라 KSA에 근거한 문항 구성과 설명력을 기준으로 2개의 요인으로 요약하였다. 최종적으로, 두 개의 하위 요인의 전체 누적설명력은 68.2 %로 나타났다(Table 8).

Table 8. Results of factor analysis on preliminary items for problem-solving competency among core competencies

자기관리 역량을 측정하는 28개 문항에 대한 분석 결과, KMO 척도는 0.90으로 나타났으며, 유의확률은 <.05로 요인분석에 적합한 모형임을 확인하였다. 초기 분석에서는 4개의 요인이 도출되었으나, 예비문항 구성 시 하위역량에 따라 KSA에 근거한 문항 구성과 설명력을 고려하여 2개의 요인으로 요약하였다. 최종적으로, ‘자기조절’과 ‘자기인식’이라는 두 개의 하위 요인이 도출되었으며, 이들의 전체 누적설명력은 64.4 %로 나타났다(Table 9).

Table 9. Results of factor analysis on preliminary items for self-management competency among core competencies

도전성취역량을 측정하는 31개 문항에 대해 탐색적 요인분석을 실시한 결과, KMO 척도는 0.94로 나타났으며, 유의확률은 <.05로 요인분석에 적합한 모형임을 확인하였다. 전체 누적설명력은 62.84 %로 분석 결과의 설명력이 적절함을 보여주었다. 각 요인별로 값이 높은 문항을 우선적으로 채택하였으며, 고유값이 0.4 미만인 1개 문항은 제거하였다. 초기 분석에서는 4개의 요인이 도출되었으나, 예비문항 구성 시 하위역량에 따라 KSA에 근거하여 문항 구성과 설명력을 고려하여 2개의 요인으로 추출하였다(Table 10).

Table 10. Results of factor analysis on preliminary items for achievement orientation competency among core competencies

대인관계 역량을 측정하는 29개 문항에 대해 분석한 결과, KMO 척도는 0.94로 나타났으며, 유의확률은 <.05로 요인분석에 적합한 모형임을 확인하였다. 전체 누적 설명력은 63.2 %로, ‘공감능력’과 ‘조정능력’ 두 개의 하위 요인이 높은 설명력을 보였다. 조정능력에 포함되어야 할 문항 중 1개가 공감능력 영역으로, 공감능력에 포함되어야 할 문항 중 3개가 조정능력 영역으로 분류되었으며, 이들은 적합하지 않은 문항으로 판단되어 최종 문항에서 제거하였다. 초기 분석에서는 4개의 요인이 도출되었으나, 예비문항 구성 시 하위역량에 따라 KSA에 근거하여 문항 구성과 설명력을 고려한 결과, 2개의 요인으로 요약하였다(Table 11).

Table 11. Results of factor analysis on preliminary items for interpersonal relationships competency among core competencies

마지막으로 협업실천 역량을 측정하는 34개 문항에 대해 분석한 결과, KMO척도는 0.95, 유의확률 <.05로 나타나 요인분석에 적합함을 확인하였고, 전체 누적설명력은 68.63 %로, ‘협동능력’과 ‘실천능력’ 두 개의 하위요인이 높은 설명력을 보였다. 실천능력에 포함되어야 하는 5개 문항이 협동능력 영역으로, 협동능력에 포함되어야 하는 4개 문항이 실천능력 영역에 분류되어, 최종문항에서 제거하였다(Table 12).

Table 12. Results of factor analysis on preliminary items for collaborative practice competency among core competencies

3. U대학 재학생 핵심역량 진단도구의 신뢰도 분석

U대학 재학생 핵심역량 진단도구의 핵심역량 신뢰도는 Cronbach’s alpha 0.89~0.95 사이의 신뢰값을 나타내었고, 하위역량 신뢰값은 0.77~0.93 사이의 분포를 나타내었다(Table 13).

Table 13. Final items of the core competency assessment and reliability by competency

Ⅳ. 고찰

본 연구는 U대학의 교육이념과 인재상, 그리고 교육 목표에 부합되어 도출된 핵심역량을 진단할 수 있는 자체 진단도구를 개발하고 타당성을 검증하기 위한 목적으로 실시하였다. 이를 위해 핵심역량의 하위 요인을 추출하고 문항개발을 위한 선행연구를 고찰하였다. 1차 문항 개발 후 내용타당도 검증을 위해 전문가 검토를 거쳤으며 수정 보완한 2차 문항으로 신뢰도 및 타당도를 검증함으로써 표준화 작업을 실시하였다.

U대학의 인재상은 창의 융합 지성인, 자기주도 실천인, 공감 소통 협력인이고 이를 반영하는 핵심역량은 융합사고역량, 문제해결역량, 자기관리역량, 도전성취역량, 대인관계역량, 협업실천역량이다. 본 연구를 통해 융합사고역량의 하위역량은 창의력과 유연성으로(Byoun & Han, 2022; Kim, 2021; Koh & Jung, 2017), 문제해결역량은 분석력과 의사결정으로 도출하였다(Koh & Jung, 2017; Shin 등, 2019). 또 자기관리역량은 자기조절과 자기인식으로(Kwon, 2017; Lee & Lee, 2017) 도전성취역량은 목표지향성과 실행능력(Kim, 2021; Kim 등, 2020), 대인관계역량은 공감능력과 조정능력으로 도출하였다(Kim & Kim, 2018; Park 등, 2017). 마지막으로 협업실천역량은 협동능력과 책무성으로 하위역량을 도출하였다(Lee & Shin, 2018).

각 하위영역별 신뢰도는 Cronbach' α 값이 0.841에서 0.969 사이로 높게 나타났고 탐색적 요인분석을 통해 적합하지 않은 문항은 삭제하였다. 그리하여 최종적으로 개발한 진단도구는 핵심역량별로 12문항으로 구성되었으며 총 72개의 문항으로 확정되었다.

핵심역량 진단도구의 개발은 그 과정을 통해 대학이 추구하고자 하는 가치 및 인재상을 구체적으로 확인할 수 있도록 하고 대학의 교육목표와 특성을 이해하는 데에도 도움이 된다(Noh & Lee, 2013). 또 개발된 도구를 활용함으로써 학생들이 자신의 역량 위치를 확인하고 부족한 역량을 강화할 수 있도록 자기 설계 과정을 지원할 수 있으며, 졸업 시까지 지속적인 검사 및 점검을 통해 변화과정을 분석할 수 있다(Kang & So, 2020; Kim, 2023). 즉 대학생으로서 자기주도적으로 향상시켜야 할 역량에 대해 정보를 제공한다(Jeon & Jeong, 2018).

핵심역량 진단도구의 개발의 더욱 직접적인 의의는 역량기반 교육성과를 평가하고 교육과정과 지원프로그램의 개발 및 환류에 유용한 근거로 활용할 수 있다는 것이다. 선행연구에서 보고된 바와 같이 U대학에서도 교과 및 비교과프로그램 등의 성과 분석 시 프로그램 만족도 및 수요도 조사 또는 교육수요자 만족도 조사를 활용하여 개발과 환류를 하고 있었으나(Lee 등, 2020), 앞으로 본 연구에서 개발된 핵심역량 진단도구를 활용한 결과로 각 핵심역량 별로 개발되어 운영하고 있는 교과 및 비교과를 포함하는 교육과정의 성과관리를 할 수 있을 것이라 기대한다(Lee, 2021)

이와 같이, 대학이 자체적으로 핵심역량 진단도구를 개발하고 활용하는 것은 여러 가지 면에서 긍정적이다. 그럼에도 불구하고 U대학의 교육이념과 인재상을 반영하는 핵심역량을 진단하는 도구이기에 핵심역량이 상이한 타대학의 학생들에게 적용하는 데에는 한계가 있다. 또한 자기기입식으로 검사하도록 개발되어 있어 실제 수행능력과의 차이를 고려해야 하며 지속적인 모니터링과 연구를 통해 U대학 학생들의 특징에 부합하고 신뢰도와 타당도를 확보하여 검사도구의 완성도를 높일 필요가 있다. 뿐만 아니라 단발성으로 이우러지는 비교과의 성과분석에는 적합하지 않을 수 있으므로 참여한 비교과 프로그램과 진단검사 결과와의 상관성을 확인할 수 있도록 고도화된 진단도구로의 개선 과정이 필요할 것으로 판단된다.

Ⅴ. 결론

국가 및 사회적 요구를 반영하고 대학의 교육 목표를 달성하기 위해, 대학생이 갖추어야 할 핵심역량을 설정하고 함양하는 것은 경쟁력 있는 인재를 양성하는 데 필수적이다. 각 대학이 자율적으로 핵심역량의 개념을 정립하고, 이에 적합한 진단 도구를 개발하는 것은 매우 의미가 있다. 따라서 본 연구는 이러한 필요성에 따라 U대학의 실정에 맞는 핵심역량 진단 도구를 개발하고 그 타당성을 검증하고자 시도되었다.

본 연구를 통해 개발된 핵심역량 진단 도구는 각 핵심 역량별로 2개의 하위역량을 도출하였고, 각 하위역량별로 지식, 기술, 태도의 영역별 문항을 2개씩 확정하여 총 74개의 문항을 도출하였다. 이 진단 도구를 활용함으로써, U 대학의 역량기반 교육과정 운영과 질 관리가 보다 용이해질 것으로 기대된다. 또한, 분석된 결과는 학생지원 프로그램 개발과 운영, 학생 지도 기초자료로도 활용될 수 있을 것이다.

학생들은 이 도구를 통해 자신의 성장 데이터를 확인하고 관리할 수 있으며, 이를 바탕으로 성과 관리 결과를 환류하는 데에도 활용할 수 있을 것이다. 앞으로 이러한 진단 도구를 효과적으로 관리하기 위해 온라인 진단 시스템을 구축할 필요가 있으며, 데이터 관리를 위한 전산 시스템 구축을 제안한다.