Quality Dynamics Using a Modified Satisfaction Index

수정된 고객만족지수를 이용한 품질속성의 동태성 분석

Abstract

It is well known that the Kano model measures customer satisfaction and classifies quality attributes into must-be, attractive as well as one-dimensional. The main purpose of this study is to investigate the dynamics of e-learning quality attributes by applying the proposed method using Kano's satisfaction index in the rapidly changing online learning environment. For this, the current study examined 27 e-learning quality attributes and conducted a comparative study using Kano's results obtained in 2013 and 2020. The result shows that the dynamics of quality attributes suggested by Kano(2001) is confirmed in the case of e-learning. The proposed approach shows better results in terms of Kano's direct classification method, and has potential application areas such as IPA(Importance-Performance Analysis) in the area of risk assemement. Some suggestions for better understanding of the proposed SI-DI diagram are also included in this study.

1. 서론

비대면 시대에 ICT 발달과 함께 빠르게 성장하고 있는 온라인 러닝 시장은 지식의 전달자로서의 역할뿐 아니라, 학습자 주도의 참여 학습을 위한 플립러닝과 같은 전략적 수업모형의 대안으로 관심의 대상이 되고 있다. 본 연구의 목적은 온라인 러닝 사례를 통해 고객 인식의 변화로 나타나는 품질의 동태성(動態性; Kano, 2001)을 검증하는 것이다.

Kano 모델(1984)은 고객이 제품(또는 서비스)의 충족여부와 그에 따른 고객만족도의 관계가 비선형적이며, 충족시 만족도(Satisfaction coefficient)의 크기와 불충족시 불만족도(Satisfaction coefficient)의 크기에 따라 품질차원을 5가지로 분류하였다: ‘일원적’,‘매력적’,‘당연적’,‘무관심’,‘역품질’. Kano(2001)에 의하면 이러한 품질 특성은 동태성을 띠며, 시간이 변함에 따라 최초 시장 진입에 성공한 제품 속성은 무관심에서 매력적으로 변하며, 고객 인식이 높아짐에 따라 매력적에서 일원적 및 당연적 품질로 변화한다. Kano(2001)는 15년간 TV 리모컨의 품질특성의 비교·분석 연구를 통해 시간이 경과함에 따라 해당 품질특성의 진부화(陳腐化) 현상을 관찰하였다.

동태성 파악을 위한 분석방법은 27개의 e-러닝 품질속성(Song, 2013)에 대하여 Kano 모델의 빈도 분석에 의한 차원 분류 방법과 Burger et al.(1993)의 고객만족계수(CSI:Customer Satisfaction Index) 개념을 수정한 SI-DI 다이어그램에 의한 새로운 품질차원 분류방법을 활용하였다. 분석 결과 7년이 지난 시점에서 e-러닝 품질속성은 최초 무관심/매력적에서 시간의 경과에 따라 일원적, 당연적의 진부화 현상이 관찰되었다. 본 연구에서는 제안방식의 올바른 활용을 위한 고려사항도 함께 포함한다.

2. 제안방식: 수정된 고객만족계수

Kano 모델(Kano, 1984; Berger et al., 1993)이 긍정질문(Functional question) 및 부정질문(Dysfunctinal question)과 평가표를 이용하여 분류한 5가지 품질차원은 최빈값에 의하여 결정된다. 여기서 Berger et al.(1993)은 각각의 빈도수를 이용하여 만족계수와 불만족계수를 소개하였다.

만족계수(SI: Satisfaction Index):

\(\begin{align}\frac{A+O}{A+O+M+I}\end{align}\)       (1)

불만족지수(DI: Dissatisfaction Index):

\(\begin{align}(\frac{O+M}{A+O+M+I})\end{align}\)       (2)

A: 매력적 차원으로 응답한 수,

O: 일원적 차원으로 응답한 수

M: 당연적 차원으로 응답한 수,

I: 무관심 차원으로 응답한 수

품질의 동태성 파악을 위한 본 연구의 품질 차원 비교는 Kano 측정 시점이 주는 편향 효과를 최소화하기 위하여 SI와 DI 각각의 평균을 기준으로 상대적 편차의 크기에 따라 품질 차원을 분류하였다. 여기서 임의의 점 p1(여기서는 2013년도에 측정된 온라인 품질속성으로 가정)에 대하여 SI₁와 SI의 평균 \(\begin{align}\overline {SI}\end{align}\)과의 편차를 v1, DI₁와 DI의 평균 \(\begin{align}\overline {DI}\end{align}\)과의 편차를 v₂라고 하면, p1의 좌표는 v₁, v₂ 이 되고, 비교대상이 되는 임의의 다른 점 p2(2020년도에 측정된 온라인 품질속성으로 가정)에 대한 좌표는 v₁′, v₂′가 된다. 그러면, <Fig. 1>에서 보는 바와 같이 SI-DI 다이어그램 상에서 \(\begin{align}\overline {v_i}\end{align}\)(편차의 합은 0),과 \(\begin{align}\overline {v_2}\end{align}\)(편차의 합은 0)를 기준으로 4분면을 형성하여 동일한 속성에 대하여 비교 기간에 따른 상이한 두 지점(p₁)과 (p₂)을 차원강도(Category Strength)와 차원거리(Category Distance) 측면에서 비교할 수 있게 된다. 예를 들어, 지점(p₁)에 위치한 속성의 차원강도는 직각을 이루는 v₁과 v₂의 길이를 이용할 경우 피타고라스 정리에 의하여 대각선 길이(L)로 표현할 수 있다. 또한 동일한 대각선 길이라도 방향이 다르므로 가로와 세로의 길이를 나타내는 v₁과 v₂를 곱하여 산출되는 크기(S)를 함께 고려할 수 있다. 본 연구에서는 대각선 길이와 면적크기를 동시에 고려하는 다음과 같은 차원강도 개념을 적용하였다. 이렇게 하면, 비교 시점에 따른 Kano 결과의 동태성은 두 지점(p₁과 p₂)의 거리를 계산함으로써 시대에 따른 품질 속성의 변화의 정도를 비교적 정확히 파악할 수 있다.

차원강도(CS: Category Strength):

\(\begin{align}0.5 L + 0.5 S\end{align}\)       (3)

차원거리(CD: Category Distance):

\(\begin{align}d = \overline { p _ { 1 } p _ { 2 } } = \sqrt { ( v _ { 1 } - v _ { 1 } { } ^ { \prime } ) ^ { 2 } + ( v _ { 2 } - v _ { 2 } { } ^ { \prime } ) ^ { 2 } }\end{align}\)       (4)

Fig. 1 Measuring Quality Dynamics using SI-DI diagram

3. 연구조사 방법

3.1 이러닝의 품질 속성

1990년대 초반부터 전세계적으로 시작된 인터넷 사용량의 증가로 이러닝과 같은 모바일 기반 교육(Mobile-Based Learning: MBL)이 대학의 주요 교육 수단이 되었다. 한국의 경우 2001년 첫 사이버 대학이 설립될 당시 6,200여명이었던 100% 사이버대학 재학생이 2012년 기준 10만 여명으로16배 가량 증가한 이래(Song, 2013), 학령인구 감소에도 그 수는 현재까지 유지되고 있다. 특히, 최근 대학에서는 언택트 사회에 맞는 플립러닝, 블랜디드 러닝 등과 같은 교수학습법의 활용이 큰 폭으로 증가하고 있기 때문에 온라인 강좌수는 계속 증가할 것으로 판단된다. 이러닝의 품질 속성은 품질의 동태성에 대한 비교연구 수행을 위해 2013년도에 실시한 설문문항(Song, 2013)과 동일한 속성을 사용하였으며, 스마트폰 사용에 따른 불필요 속성을 제외한 27개의 이러닝 서비스 품질 속성을 최종 적용하였다.

Table 1. Quality attributes of e-learning (Song, 2013)

3.2 설문 및 데이터 수집

본 연구의 설문은 2013년도에 조사된 설문문항(Song, 2013)을 동일하게 적용하였다. 설문조사는2013년도 설문 대상과 유사한 이러닝을 직접 수강하는 D 대학의 재학생을 대상으로 실시하였다. 응답하지 않은 항목이 있거나 모든 문항의 응답이 동일한 설문 등은 분석에서 제외하였다. 실증 비교 연구를 위한 최종 126명의 유효한 응답자 정보는 다음과 같다.

Table 2에서 보는 바와 같이 비교 대상이 되는 응답자 그룹에서 남녀 비율이 다소 차이를 보였으나 2020년도 설문을 분석한 결과 남녀간의 Kano 분류 방식 및 고객만족계수 측면에서 유의한 차이가 없는 것으로 확인되었다. 또한 선호도 면에서 볼 때 2013년보다 2020년의 비선호 학생의 비율이 다소 늘어난 것은 최근의 언텍트 사회 영향으로 인해 대학별 온라인 강좌가 의무적으로 확산되면서 비선호 학생의 의견이 일부 증가된 것으로 보인다.

Table 2. Respondents of the survey

3.3 분석 방법

Kano 등(1984)은 5가지 선택 답변 중 빈도수가 가장 높은 품질 차원을 이용하여 품질 속성을 분류하였으나 본 연구에서는 2장에서 소개한 SI-DI 다이어그램을 이용한 품질 차원 분류방식을 적용하였다. 차원강도는 식(3)을 이용하였으며, 같은 사분면에 있더라도 차원의 성향이 강한 속성과 그렇지 않은 속성을 구분 해석하였다. 만약, 차원강도가 매우 약하여 경계선 근처에 나타날 경우 6% 규칙(Fong, 1996)에 의거 v₁\(\begin{align}(=SI- \overline {SI})\end{align}\) 의 크기가 \(\begin{align}\overline {SI}\end{align}\)의 6% 미만이거나 v₂\(\begin{align}(=DI- \overline {DI})\end{align}\) 의 크기가 \(\begin{align}\overline {DI}\end{align}\)의 6% 미만일 경우 인접 경계선 상의 차원과 혼합속성(Lee and Newcomb, 1997, Witell and Löfgren, 2007)으로 분류하였다. 예를 들어, 무관심 속성의 v₁ and/or v₂가 \(\begin{align}\overline {SI}\end{align}\) 또는 \(\begin{align}\overline {DI}\end{align}\)의 6% 미만일 경우 경계선 근처에 위치함을 나타내므로 SI와 DI의 크기에 따라 매력적(SI>DI 20% 이상차이), 당연적(SI<DI 20% 이상 차이), 일원적(SI, DI 20% 차이가 20%미만)과 혼합속성으로 분류하였다.

시간에 따른 품질의 동태성은 Fig. 1에서 보는 바와 같이 SI-DI 다이어그램 상에서 인접한 두 지점(p₁과 p₂)의 거리 측정을 통해 지난 7년간 가장 큰 변화를 보인 온라인 강의 품질 속성을 도출하였다.

4. 결과 분석

4.1 품질 차원 분류 결과

Table 3과 Table 4는 27개의 온라인 강의 품질 속성에 대한 Kano에 의한 품질 유형 결과를 2013년과 2020년도 각각에 대하여 보여준다. 두 기간 동안의 Kano 품질 결과에 대한 일치율은 혼합 속성까지 고려할 경우 78%로 나타났으며, 6개의 품질 속성은 서로 다르게 분류되었다. 또한 Kano의 최빈값에 의한 품질 분류방식과 비교했을 때 전체에서 2개 속성(계획서 준수 및 강의화질; Kano 결과 모두 매력적으로 분류)만 제외하고 모두 일치하는 것으로 나타났다.

Table 3. Summary of the comparison results with respect to Hit rates

*C: Combination attributes

Table 4. The comparison results with quality types

*Q-type: Quality attribute types

두 기간 모두 일치한 품질 속성들을 살펴보면, Table 4에서 보는 바와 같이 학습자 수준을 고려한 교수자의 노력(흥미로운 강의내용, 1회 학습량, 보조자료제공, 계획서준수, 신속한 답변, 결과 피드백, 화면디자인)은 2013년과 2020년 모두 매력적 속성으로 분류되었다. 교수자의 역량(교안정리, 강의능력, 교수자신뢰)과 온라인 학습 프로그램의 성능 속성(접속절차, 강의화질)은 지식탐구 속성(지식습득, 답변성실성도)일원적으로 분류되었다. 또한 온라인 학습의 기본기능에 해당하는 (오작동 없는) 프로그램실행, 강의음질 및 강의자료 업데이트 속성은 당연적으로 분류되었다. 이와 함께 강의내용의 정확도와 성적 평가의 공정성도 많은 학습자들이 당연하다고 답변한 것으로 나타났다. 2013년에 이어 2020년에도 계획서 준수, 학습토론 및 오프라인 보충강의는 무관심으로 분류되었는데, 특히, 학습토론과 오프라인 보충강의는 비대면 학습에 익숙해진 응답자의 의견이 반영된 것으로 보인다. 참고로 매력적에서 무관심으로 분류된 ‘관심과 배려’ 속성도 같은 이유의 결과로 보인다.

2013년 매력적으로 분류된 특별프로그램, 통신료 지원은 2020년에는 무관심 속성으로 분류되었는데, 특별 프로그램의 경우 지금까지 특강 중심의 프로그램에 대한 낮은 기대의 결과로 보이며, 통신료지원 속성은 와이파이 또는 블루투스와 같은 ICT기술발전과 함께 다양한 통신요금 지원제도(예: 저렴한 인터넷 무제한 사용 옵션)에 따라 큰 관심의 대상이 아닌 것으로 보인다. 특히, 통신료지원의 경우 6%(7명/126명)가 역품질로 나타났는데, 이 또한 다양한 통신요금 혜택에 따른 결과로 보인다.

2013년 당연적(또는 일원적과 혼합속성)으로 분류된 재생속도조절, 교안다운로드, 다운로드 속도 속성은 2020년에 매력적(또는 일원적 또는 무관심과 혼합속성)으로 분류되었는데, 온라인 영상기술의 발전과 더불어 다양한 온라인 플랫폼(예: 유튜브)의 등장으로 과거보다 비교할 수 없을 정도로 빨라진 인터넷 속도와 재생속도조절기능의 옵션 다양화로 인해 학습자의 높아진 만족도가 반영된 결과로 보인다. 또한 교안다운로드 속성이 당연적에서 매력적으로 변한 것으로 교안의존도가 높았던 과거보다 오늘날의 영상 중심 강의에서 교안다운로드에 대한 인식이 바뀐 결과로 보인다.

4.2 SI-DI 다이어그램 분석 결과

본 연구의 품질 차원 분류 결과 Kano(2001)의주장과 같이 무관심➠매력적➠일원적➠당연적 속성과 같은 두드러진 패턴은 나타나지 않았으나, SI-DI 다이어그램과 두 지점간의 거리 측정을 통해 다음과 같은 일관된 품질의 동태성 결과가 관찰되었다.

⦁ 전체적으로 볼 때 비교대상이 되는 두 기간(2013년, 2020년)의 차원 강도(CS:Category Strengh)는 2013년보다 2020년 결과가 통계적으로 유의하게 낮게 나타났다(p<0.01; 양측검정). 이는 전반적으로 데이터들이 경계선 근처에 밀접한 것을 의미하는데, 이러한 결과로 혼합속성이 6개에서 9개로 늘어났다. 2013년 CS가 가장 큰 속성은 평가의 공정성(M)이었으며, 2020년에도 차원강도가 가장 강한 것으로 나타났다.

⦁ 2013년 매력적 속성으로 분류된 8개 속성(결과피드백, 관심배려, 흥미로운 강의, 보조자료 제공, 화면디자인, 특별프로그램, 신속한 답변, 통신료지원)은 2020년 SI(만족지수)는 유의하게 적어지고(p ≤ 0.01; 양측검정), DI(불만족 지수)가 통계적으로 유의하게 커지는(p < 0.01; 양측검정) 일원적으로의 변화가 관찰되었다. 본 연구의 SI-DI 다이어그램(Fig. 2 참조)에서 두 지점(즉, 2013년과 2020년 카노 결과)의 거리가 가장 큰 10개 속성을 살펴보면, 2013년 매력적으로 분류된 10개 속성 중 특별프로그램(0.364; 2번째), 관심과 배려(0.337; 3번쩨), 보조자료제공(0.280; 6번째)이 포함되어, 7년간 제일 크게 변화한 속성으로 나타났다. 이들 속성의 차원강도는 상대적으로 약해졌지만 SI-DI 다이어그램을 통해 매력적에서 일원적으로 이동하였음을 알 수 있다(특별 프로그램 제외).

Fig. 2 SI-DI diagram results measured in 2020

⦁ 일원적으로 분류된 4개 속성(교안정리, 강의능력, 답변성실성, 강의화질)의 경우 2020년에 강의능력을 제외한 3개 속성에서 SI가 더 낮고 DI가 더 커짐에 따라 당연적 성향이 관찰되었다(데이터 수의 제한으로 통계적 유의성 없음).

⦁ 당연적 속성(또는 일원적과 혼합속성)으로 분류된 11개 속성(프로그램실행, 내용정확도, 접속절차, 재생속도조절, 교안다운로드, 다운로드속도, 평가공정성, 강의음질, 지식습득, 업데이트, 교수자에 대한 신뢰)은 2020년도에 동일한 속성에 대한 SI는 유의하게 커지고(p ≤ 0.01; 양측검정), DI는 통계적으로 유의하게 낮게(p < 0.01; 양측검정) 나타나, 시간 경과함에 따라 매력적 또는 일원적 성향을 띄는 것으로 관찰되었다. 특히, 2013년 당연적으로 분류된 재생속도조절, 교안다운로드, 다운로드 속도, 강의음질 속성은 온라인 기술 발전에 힘입어 응답자에게 매력적으로 반영된 결과로 보인다. SI-DI 다이어그램 분석 결과에서 11개의 당연적(또는 혼합속성) 속성 중에서 내용정확도(0.396; 첫번째), 프로그램 실행(0.312; 4번째), 교안다운로드(0.27; 7번째), 평가공정성(0.24; 8번째), 재생속도조절(0.224; 9번째), 지식습득(0.215; 10번째)이 가장 변화가 큰 것으로 나타났다. ⦁ 무관심(또는 매력적과 혼합속성)으로 분류된 4개 속성중에서 1회 학습량과 계획서준수는 SI가 커지는 매력적 성향을 나타냈으며(데이터 수의 제한으로 통계적 유의성 없음), 학습토론은 무관심에서 큰 변화가 없었다. 또한, 2013년 매력적과 혼합으로 나타난 오프보충강의(2020년 무관심으로 분류)는 SI-DI 다이어그램 분석에서 두 지점간 거리가 0.289로 5번째로 크게 변한 것으로 나타났다.

5. 결론 및 토의

본 연구는 비대면 사회의 도래와 함께 온라인 학습시장의 급성장에 맞추어 온라인 강의 품질 속성의 동태성을 살펴보았다. 2013년과 2020년의 Kano 방식의 설문지를 이용한 SI-DI 다이어그램 분석 결과 Kano(2001)의 주장에 맞는 동태성(I➠A➠O➠M)을 확인할 수 있었다. 매력적 품질 속성의 경우 통계적으로 유의한 일원적 성향이 나타났으며, O➠M, 그리고 I➠A의 변화가 일부 나타났다(통계적 유의성 없음). 그러나, 당연적 속성의 경우 일원적 뿐 아니라 일부 속성에 대해 매력적으로 인식되어 Kano(2001)가 주장한 동태성의 순서가 나타나지 않았다. 이러한 결과는 당연적 속성일지라도 관련 기술의 발달로 고객에게 매력적(또는 일원적)으로 인식될 수 있음을 시사한다. 이와 함께 본 제안방식의 올바른 활용을 위한 고려사항을 살펴보면 다음과 같다.

첫째, 최빈값을 기준으로 하는 Kano(1984)의 품질 차원 분류 방식은 두 번째(또는 세 번째)로 빈도가 높은 차원의 강도를 고려하지 못하는 단점이 있기 때문에 본 연구는 이러한 문제점을 해결할 수 있는 Berger et al.(1993)의 고객만족지수 개념을 적용한 SI-DI 다이어그램 상의 새로운 품질 차원 분류 방식을 제안하였다. 본 연구의 제안 방식은 기간별 Kano 결과를 비교할 수 있으며, 유클리디언 거리 개념을 적용하여 정확한 변화 정도를 계산할 수 있는 장점이 있다.

둘째, 본 연구의 제안방식은 카노 결과뿐 아니라 상호 비교를 위한 다양한 비즈니스 분석 분야에 응용이 가능하다. 예를 들어 본 연구의 차원강도 및 거리 개념을 이용하면, 스왓분석(SWOT: Strength, Weakness, Opportunity, Threat) 또는 중요도-성과분석(IPA; Martila&James, 1977)에서 중요도와 성과(또는 만족도)에 따른 4분면(개선영 역, 탁월한성과, 무관심, 과잉영역)상의 강한 정도의 해석과 기간별 변화 정도를 파악할 수 있다. 이와 유사하게 심각도-빈도로 표현되는 위해도분석(risk-assessment)에서도 유용한 적용이 가능할 것으로 판단된다.

셋째, 4.2절에서 언급한 바와 같이 본 제안방식에 의한 분류 결과에서 혼합속성이 많이 나타난 이유는 온라인 영상시장(예: 유튜브)과 같은 급변하는 산업에서 일반적으로 나타나는 현상으로 볼 수 있다. 따라서 혼합 속성은 고객인지 측면에서 과도기에 해당하며, 동태성 측면에서 볼 때 I/A, A/O, O/M이 일반적 현상이며, 특히, 해당 기술의 급속한 발전은 A/M도 나타날 수 있음을 의미한다.

넷째, 본 연구결과와 Kano 결과의 비교에서 전체 27개 온라인 품질 속성 중 2개(강의화질, 계획서준수)만 다르게 나타난 것(Table 4 참조)은 본 연구의 제안방식의 결과가 타당함을 나타낸다. 더욱이, 2013년 매력적으로 분류된 강의화질은 온라인 프로그램의 성능과 관련되므로 직접분류법(2012, Song&Park) 개념에 의해 일원적으로 분류되는 것이 타당하며, 계획서준수는 학습자에게 수업전 학업계획 수립에 중요한 기준이 되므로 매력적 보다 당연적으로 분류되는 것이 합당하다(본 연구에서 무관심으로 분류됨).

본 연구 결과는 언택트(untact) 사회에 교육환경이 급속히 디지털화되는 시점에서 온라인 러닝 품질 속성의 이해도를 높이고 학습자들의 만족도를 극대화할 수 있는 디지털 교육 프로그램 개발에 기여할 것으로 기대한다.