Development of Remote Usability Evaluation Guidelines for Children

아동 대상 원격 사용성 평가 가이드라인 개발

Abstract

The increased competition in service development in various industrial sectors highlights the importance of producing high-quality services that provide a positive user experience. Although usability evaluation is recognized as an important method of verification of high quality service and utility, the general usability evaluation method has limitations of not taking the characteristics of various participants due to its uniform composition to account. As the following flaws can reduce evaluation efficiency, developing a new guideline seems to be the next step. Thus, this study focused on criteria on how to evaluate the usability for children and proposed non-face-to-face remote usability evaluation configurations and progress guidelines to increase the effectiveness. The following usability evaluation experiment was conducted based on the proposed guidelines and in this process, the effectiveness of the guidelines was verified and the items that needed to be supplemented were derived. It is expected that the non-face-to-face remote usability evaluation guidelines proposed through the study will be used as the basis for designing usability evaluations of services developed for children.

다양한 산업 분야의 서비스 개발 경쟁 심화로 인해 긍정적인 사용자 경험을 제공하는 완성도 높은 서비스 제작의 중요성이 강조되고 있다. 이에 서비스 완성도와 효용에 대한 검증 방법으로 사용성 평가가 중요하게 인식되고 있지만, 일반적 사용성 평가 방법은 획일적인 구성으로 인해 다양한 참여자의 특성을 고려하지 못하는 한계가 있다. 이러한 한계가 평가 효율을 저하시킬 수 있기 때문에 이를 개선할 새로운 평가 방법의 가이드라인 개발이 필요한 실정이다. 이에 본 연구에서는 아동이 참여하는 사용성 평가에서 고려해야 하는 특성을 정의하고, 평가 효율을 증대시킬 수 있도록 원격 사용성 평가 구성 및 진행을 위한 가이드라인을 제안하였다. 또한 제안한 가이드라인을 기반으로 설계한 사용성 평가 실험을 진행하였으며, 이 과정에서 가이드라인의 효용을 검증하고 보완이 필요한 사항을 도출하였다. 본 연구를 통해 제안한 아동 대상 원격 사용성 평가 가이드라인이 아동을 대상으로 개발한 서비스의 사용성 평가 설계를 위한 기반 자료로 활용될 수 있을 것으로 기대한다.

Ⅰ. 서론

1. 연구 배경 및 목적

4차 산업혁명 시대가 도래함에 따라 다양한 산업 분야에서 서비스 개발 경쟁이 심화되고 있다. 서비스 개발 과정에서 서비스의 완성도를 높이고 긍정적인 사용자 경험을 제공하는 것이 중요한 만큼, 다양한 방법이 서비스 개발에 적용되고 있다. 최근 사용자 경험에 관한 연구는 개인을 위한 서비스를 넘어 전문 사용자와 B2B 서비스의 설계 및 개발까지 점차 적용 범위를 확장시키고 있다[1]. 이에 B2C, B2B 서비스의 UX 디자인 과정을 비롯한 서비스 개발 과정에서 서비스 출시 전 프로토타입을 제작하고 사용성 평가를 수행함으로써 사용자 경험을 향상시키기 위한 방식이 일반적으로 사용되고 있다. 사용성 평가는 제품의 복잡한 기능들을 소비자가 보다 쉽고 재미있게 조작할 수 있도록 사용자 인터페이스를 개발 또는 개선하기 위해 문제점을 찾아내고 아이디어를 발굴하는 과학적 조사과정이며, 여기서 사용성이란 어떤 사물에 대한 사용자의 경험적 만족도를 일컫는 것으로, 사용자가 그 사물을 얼마나 편리하게 사용할 수 있는가에 대한 방법론까지 포괄한다[2]. 제이콥 닐슨(Jakob Nielsen)에 따르면 사용성을 결정하는 보편적인 요인들은 학습용이성(Learnability), 효율성(Efficiency), 기억용이성(Memorability), 오류(Error), 만족성(Satisfaction) 등의 지표로 정의할 수 있다[3]. 하지만 사용성은 상대적인 개념이기 때문에 특정한 지표만으로 모든 제품과 서비스의 사용성을 정의하기는 어렵다. 특히 다양한 상황에 따라 구체적인 정의가 쉽지 않고, 평가를 위한 기준 또한 절대적이지 않다. 그렇기 때문에 사용성 확보를 위한 평가 기준을 명확하고 구체적으로 수립하기 위해서는 사용성 평가를 구성하는 다양한 요소별 상황을 고려해 평가 계획을 수 립하고 평가를 수행해야 한다. 다양한 고려 요소 중 ‘사용자’의 경우 대상 사용자의 특성과 성격이 어떠한지에 따라 사용성 평가 시 고려해야 할 요소가 달라질 수 있다. 만약 평가에 참여한 사용자의 특징과 성격을 충분히 고려하지 못한 상황에서 평가 환경 및 평가 방식을 설계하게 되면, 사용자의 평가 몰입도가 낮아져 형식적인 데이터만을 수집하게 되는 결과를 초래할 수 있다. 특히 아동의 경우 익숙하지 않은 환경에서 낯선 평가 진행자와 평가 대상체를 수용하는 것에 거부감을 느낄 수 있다. 이는 아동과 대화 형식으로 평가를 진행하는 점에서 아동 상담 시 발생하는 사례와 특징이 유사한 데, 아동은 상담에서의 자발성이 부족하고 부모에 의해 상담이 의뢰되는 경우가 대부분이므로 상담자는 내담 아동과 긍정적인 협력관계를 형성하는 것이 무엇보다 중요하다[4]. 동일한 관점에서 대화 형태로 진행되는 아동 대상 사용성 평가 또한 평가 진행자와 참여 아동이 단시간에 긍정적인 협력관계를 형성하기 어려울 수 있기 때문에 평가의 집중도 및 정확도가 낮아질 수 있다. 결과적으로 아동의 경우 사용성 평가에 집중할 수 있는 시간이 매우 짧아 경직된 형태의 평가를 수행할 경우 의미 있는 데이터를 얻기 어렵다는 문제가 있다[5].

또한 최근에는 전 세계적인 코로나19의 팬데믹으로 사람 간 접촉을 최소화하려는 노력들이 여러 분야에서 지속적으로 이루어지고 있다[6]. 직접 대면하는 방식의 활동들이 사회 전반에서 제한되면서 아동도 대면 활동을 최소화하고 있다. 이와 같은 생활방식의 변화는 생활 전반에 변화를 가져왔으며, 다양한 분야에서 원격 프로그램을 이용한 비대면 활동이 적극적으로 도입되고 있다. 비대면 활동 방법이 기존의 대면 방식을 대체할 수 있도록 계속해서 발전하고 있지만, 아직까지 사용성 평가는 평가 관계자가 직접 참여하는 형태로 진행할 수 없는 경우 이를 대체할 효과적인 대안이 제시되지 못하고 있다. 이 같은 문제를 극복하기 위해 사용성 평가도 비대면이 요구되는 상황, 특정 환경, 사용자의 특성을 고려하는 방향으로 변화가 필요할 것이다.

본 연구는 아동이 참여하는 사용성 평가의 효율을 증대시키고, 직접 대면이 어려운 상황의 사용성 평가 문제를 극복하기 위해 기존 사용성 평가 방식을 탈피한 아동 대상 원격 사용성 평가 가이드라인을 제안하였다. 또한 가이드라인을 적용한 사용성 평가 실험을 통해 제안한 가이드라인의 효용을 검증하여 아동 대상 원격 사용성 평가 가이드라인 체계를 제안하고자 한다.

2. 연구 방법 및 내용

본 연구는 아동 대상 원격 사용성 평가 가이드라인을 제안하기 위해 원격 사용성 평가 방식에 대한 고찰 및 새로운 평가 방법 설계를 진행하였다. 또한 실제 원격 사용성 평가 수행을 통해, 제안한 평가 방법의 효용을 검증하였다. 연구 순서는 다음과 같다. 첫째, 사용성 평가의 개념을 정의하고 일반적으로 수행되는 사용성 평가 방법에 대해 고찰하였다. 둘째, 일반적인 원격 사용성 평가 방법을 조사하고 새롭게 제안할 원격 사용성 평가 방법의 활용 가능성을 검토하였다. 셋째, 고찰한 내용을 바탕으로 아동을 대상으로 하는 기존 사용성 평가 방법의 한계점을 정의하고 개선 방안을 수립하였다. 넷째, 수립한 개선 방안을 기반으로 아동 대상 원격 사용성 평가 가이드라인을 설계한 후, 실제 사용성 평가를 수행하여 효용을 검증하였다. 마지막으로, 사용성 평가를 통해 보완점을 도출하여 아동 대상 원격 사용성 평가 가이드라인의 발전 방향을 제안하였다.

그림 1. 연구 순서

Ⅱ. 이론적 고찰

1. 일반 사용성 평가

1.1 일반적인 사용성 평가에 대한 고찰

일반적으로 수행되는 사용성 평가는 평가 진행자와 사용자가 같은 공간에 동석하여 평가를 진행하는 방식으로 진행되며, 진행자는 사용성 평가 수행 과정에서 사용할 태스크 시나리오(Task Scenario)를 사전에 구성하게 된다. 사용성 평가가 시작되면 사용자는 태스크 시나리오에 맞춰 기기 및 시스템의 조작을 수행하고, 이러한 과정에서 평가 진행자는 문제없이 평가가 진행될 수 있도록 길잡이 역할을 하게 된다. 이후 과정에서는 제품에 대한 사용자 인터페이스의 사용성과 인터페이스 주요 구성 요소별 문제점 및 사용자 만족도를 평가해 해당 제품의 사용성을 높이기 위해서 우선적으로 개선 보완해야 할 요소를 발굴한다[2]. 일반적인 사용성 평가는 사용자를 관찰하기 위해, 장비가 마련된 실험실과 같은 한정된 공간으로 평가 참여자가 방문하여 평가를 진행하게 되며, 이때 평가하려는 제품 및 시스템을 다룰 수 있는 전문성을 가진 평가 진행자가 평가 과정을 이끌어가게 된다. 실험실에서 진행되는 일반적 사용성 평가는 여러 가지 면에서 제한적 요소를 내포하고 있으며, 비용이 많이 들고 시간 또한 많이 소비된다는 문제가 있다[7]. 실험실 사용성 평가의 또 다른 문제는 평가 참여자가 누군가 자신을 관찰하고 기록한다는 것을 의식해 평소보다 부자연스럽고 흥분된 상태에서 태스크를 수행해 사용성에 영향을 미치게 될 수 있다는 것이다[8]. 또한 일반적 사용성 평가는 변수가 될 수 있는 참여자의 특성에 따라 환경, 평가 구성, 평가 방법 등을 변화시키기 어려운 단점이 존재한다.

그림 2. 사용성 평가 절차

1.2 일반적인 사용성 평가의 종류

사용성 평가의 종류는 크게 시기와 목적에 따라 두 가지로 나눌 수 있다. 제품을 제작하는 중간에 시행하는 형성적 사용성 평가(formative usability test)와 제품 제작의 후반부에 시행되는 총괄적 사용성 평가 (summative usability test)다. 형성적 사용성 평가는 실제 시스템이나 제품을 형성해 나가는데 이용되는 것으로 제품을 제작하는 중간에 테스트를 시행하여 사용성의 문제점을 발견하거나 디자인을 개선하는 것이 목적이며, 주로 A-B 테스트(상황 A vs. 상황 B의 방식으로 2개 이상 상황을 테스트),  RITE(Rapid Iterative  Testing and Evaluation) 페이퍼 프로토타이핑 등의 방법론을 통해 신속히 주요한 문제점을 찾을 수 있다[2]. RITE 방법은 신속하게 테스트와 평가를 거의 동시에 수행해 개발하는 사용성 평가 기법으로 마이크로소프트사의 마이클 메들락(Michael Medlock)이 정립했다. 각 테스트 참여자의 분석이 바로 완료되거나 하루 테스트 일정이 완성된 후 바로 분석이 시작되며, 어떤 문제점이 발견되거나 해결방법이 제시되면 바로 적용하고 이를 다시 다음 테스트 일정 사이클에서 실시하고 다시 평가하는 과정을 나머지 테스트 기간 동안 반복한다[2]. 이 같은 테스트 방법은 소프트웨어 개발 과정에서 주로 사용된다. 한편 총괄적 사용성 평가는 제품의 완성단계에서 시행되므로 주로 수행 데이터 (performance data) 분석을 통해 검증 결과를 도출해 내며, 벤치마킹,  A-B 테스트 등을 통해 경쟁 제품과 비교해 태스크 성공률, 수행시간, 오류율 등을 측정한다[2]. 본 연구에서 수행할 사용성 평가는 서비스의 문제점을 발견하고 개선안을 도출하는 것을 목적으로 진행되기 때문에 형성적 사용성 평가로 정의할 수 있다.

1.3 원격 사용성 평가에 대한 고찰

평가 참여자가 평가 장소에 방문할 수 없거나 시간과 비용 문제 등으로 직접 만나서 평가를 진행하기 어려운 경우, 원격 방식의 사용성 평가를 수행할 수 있다. 원격 사용성 평가는 피실험자가 실험실로 동원되지 않고 자신이 평소에 활동하는 자연스러운 환경에서 사용성 평가 실험에 참여하는 것을 말한다[9]. 원격 사용성 평가를 진행하기 위해서는 원격으로 진행자와 참여자를 연결해줄 수 있는 프로그램이 필요하며, 프로그램과 장비를 구성하여 평가를 진행하게 된다. 원격 사용성 평가 방법은 크게 2가지로 분류할 수 있는데, 첫 번째는 모더레이팅이 있는 방식의 사용성 평가이고 두 번째는 모더레이팅이 없이 진행하는 방식의 사용성 평가이다. 사용성 평가에 있어 모더레이터의 역할은 중요한데, 참여자의 태스크 수행 방향성을 잡아주고 참여자가 쉽게 정의하지 못하는 문제를 자연스럽게 이끌어낼 수 있도록 평가 진행을 주도한다. 모더레이팅이 있는 사용성 평가의 경우 원격 프로그램을 이용하여 사전에 결정된 태스크를 수행할 수 있으며, 평가 중 모더레이터의 요청에 따라 중간에 피드백을 받는 등 평가 참여자와 상호작용을 할 수 있다[10]. 모더레이팅이 없는 사용성 평가의 경우 사전에 구성한 태스크를 통해 참여자가 단독으로 평가를 진행하게 되며, 모더레이터와 실시간 상호작용 없이 원격으로 연결된 시스템을 이용하여 평가를 진행한 후 사전 정의된 후속 질문에 답변하는 방식으로 진행된다[11]. 모더레이팅이 없는 원격 평가 방식은 태스크 시나리오를 명확하게 구성하여 사용자가 스스로 평가를 진행할 수 있는 서비스의 경우 사용 가능하며, 일정의 제약 없이 단기간에 많은 사용자의 평가 데이터를 수집할 수 있다.

1.4 기존 사용성 평가 방법의 한계

앞에서 언급한 바와 같이 아동을 대상으로 진행하는 사용성 평가는 아동과 평가 진행자 사이의 유대관계 형성이 중요하다. 이러한 특성을 고려했을 때, 아동을 대상으로 진행하는 사용성 평가의 경우 전문 모더레이터가 참여한다고 하더라도, 아동과 정서적 유대관계가 없으므로 아동이 상호작용에 불편함을 느낄 수 있다. 이러한 한계는 평가 집중도와 정확도에 영향을 주기 때문에 아동의 실제 경험을 객관적으로 평가하기에 적절하지 못한 상황으로 정의할 수 있다. 또한 일반적인 원격 사용성 평가 방법을 활용하더라도 원격 평가 프로그램 사용 방법과 전반적인 평가 상황을 아동 스스로 이해하 기는 어려우며, 아동 단독으로 태스크를 이해하고 수행 할 수 있는 능력이 부족하기 때문에 원활한 평가 진행을 기대할 수 없다. 아동을 대상으로 하는 사용성 평가를 지원하기 위해서는 원격으로 수행되면서도 아동과 유대관계가 깊은 모더레이터의 참여를 보장하여 평가의 신뢰도를 확보할 수 있는 형태의 새로운 평가 방법 개발이 필요하다.

표 1. 일반 사용성 평가 방식의 특징 및 한계

Ⅲ. 아동 대상 원격 사용성 평가 방법 개발

1. 아동 특성을 고려한 원격 사용성 평가 구성

아동 대상 원격 사용성 평가 진행 시 아동의 특성을 고려하여 평가를 구성하는 것이 중요하다. 또한 효과적인 평가 수행을 위해서는 아동이 긴장하지 않은 편안한 심리 상태로 평가에 임할 수 있도록 환경을 조성하는 것이 중요하다. 이러한 경우 환경 구성에 제약이 없는 원격 평가 방식을 선택하는 것이 효과적이며, 원격 평가에 필요한 구성 요소는 다음과 같다. 첫째, 아동에게 익숙한 평가 수행 공간. 둘째, 아동과 유대관계가 깊은 평가 진행자. 셋째, 평가 과정을 실시간으로 모니터링할 수 있는 원격 장비 및 프로그램. 넷째, 평가 전, 후 참여자의 감상 및 의견을 구체화하기 위한 설문지가 필요하다. 전술한 요소들을 기반으로 평가 환경을 조성해야 하며, 구체적인 평가 구성은 아래 가이드라인을 통해 제시하였다.

2. 아동 대상 원격 사용성 평가 가이드라인 개발

2.1 아동 대상 원격 사용성 평가 절차

아동 대상 원격 사용성 평가 절차는 다음과 같다. 첫째, 평가 설계자와 아동 중간에서 평가 설계자의 지시에 따라 모더레이터 역할을 수행할 아동의 보호자를 함께 섭외하여 평가 인원을 구성한다. 둘째, 평가 공간에 원격 사용성 평가 장비를 설치하여 평가 환경을 조성한다. 셋째, 실제 평가를 원활하게 진행할 수 있도록 모더레이터(보호자 및 가족)에게 평가 방법 및 순서를 사전에 교육한다. 넷째, 평가 설계자는 평가가 진행되는 공간과 분리되거나 떨어진 공간으로 이동하여 모더레이 터와 원격 소통을 통해 평가를 진행한다.

2.2 아동 대상 원격 사용성 평가 환경

아동 대상 원격 사용성 평가를 수행할 환경은 다음과 같은 조건을 충족해야 한다. 첫째, 평가 참여 아동이 거주하고 있거나 자주 방문하여 낯설지 않고 익숙한 장소. 둘째, 평가 진행 상황에서 평가를 방해받는 상황이 발생하지 않도록 독립적으로 분리되어 있는 공간. 셋째, 평가를 위한 프로토타입과 촬영 장비를 설치할 책상 및 거치 공간. 넷째, 원격 프로그램 사용을 위한 네트워크 환경이 필요하다.

평가 환경 조성이 완료되면 원격 사용성 평가를 위한 평가 장비와 시스템을 구성한다. 본 연구에서는 원격 평가 수행을 위해 화상 회의 프로그램인 ‘Zoom’을 활용하였다. Zoom은 모바일, 데스크톱 시스템에서 화상 및 오디오 회의 등을 위한 클라우드 플랫폼을 제공하는 서비스다. Zoom을 통해 실시간 원격 화상 회의, 회의 내용 기록 등이 가능하다. 평가 상황에서는 Zoom을 활용하여 설계자가 실시간으로 평가 진행 상황을 모니터링하고 필요 시 원격 지시 사항을 전달할 수 있도록 환경을 조성해야 한다. 또한 평가 데이터 분석을 위해 원격 평가 진행 영상을 기록해야 한다. 구체적인 아동 대상 원격 사용성 평가를 위한 시스템 구성도는 [그림 3]과 같다.

그림 3. 평가 시스템 구성도

평가 장비는 [그림 4]와 같이 높이와 각도 조절이 가능한 거치대에 화상회의 프로그램이 설치된 스마트폰을 고정시킨 후 평가 대상 디바이스가 가려짐 없이 촬영될 수 있도록 카메라 위치와 각도를 조정하여 구성한다. 거치대 상단에는 평가 참여자의 전반적인 평가 과정 중 행동을 관찰하기 위해 광각 카메라를 설치한다.

그림 4. 사용성 평가 수행 환경

구축한 평가 장비와 실제 평가 모습은 아래의 [그림 4]와 같다.

2.3 아동 대상 원격 사용성 평가 방법

평가 환경 구축 후 프로세스 진행 방법은 다음과 같다. 첫째, 원격 프로그램을 이용한 통신이 원활하게 이루어지는지 진행자와 설계자가 사전 테스트를 거친다. 둘째, 화상회의 프로그램을 이용해 2개의 계정으로 회의를 개설한 후 실시간 촬영과 음성 통신이 제대로 이루어지는지 확인하고 문제가 없다면 설계자는 평가 참여자와 떨어진 다른 공간으로 이동한다. 셋째, 떨어진 공간에서 통신이 원활하게 이루어지는 것이 확인되면 모더레이터는 이어폰을 착용하고 설계자와 원격으로 소통하며 평가를 진행한다. 넷째, 설계자는 평가 도중 도출되는 이슈를 실시간으로 기록하고 녹화 기능이나 컴퓨터 자체의 화면 기록 기능을 활용해 평가 과정을 녹화하여 추후 진행할 평가 분석에 활용한다.

효과적인 사용성 평가 진행을 위한 방법은 다음과 같다. 평가 시작 전, 모더레이터는 아동을 평가 공간에 착석시킨 후 평가의 개요를 간략하게 설명하여 어떤 활동을 진행할지 이해할 수 있도록 한다. 설명을 마친 뒤 평가하려는 서비스를 아동이 자유롭게 사용해보거나 둘러볼 수 있도록 하여 평가 제품과의 친밀감을 높이는 것이 좋다. 평가가 시작되면 평가 설계자는 원격 화상 회의 프로그램이 설치된 컴퓨터를 이용해 평가 과정을 원격으로 관찰하면서 진행자에게 개입이 필요한 상황이 발생하면 원격 지시를 통해 평가 전반의 길잡이 역할을 수행한다. 모더레이터는 설계자의 지시에 따라 아동에게 태스크를 설명하고 아동이 편하게 태스크를 진행할 수 있도록 격려하며 평가를 진행한다. 이때 아동이 태스크를 잘 수행하지 못한다고 해서 방법을 직접적으로 알려주거나 직접 개입을 해서는 안되며, 최대한 아동 스스로 수행할 수 있는 시간을 부여한 뒤, 이후에도 태스크 수행에 실패하는 경우 설계자의 다음 지시에 따르도록 한다.

그림 5. 아동 대상 원격 사용성 평가 프로세스

아래 [표 2]는 아동 대상 원격 사용성 평가 가이드라인과 프로세스의 전반적인 주요 내용을 정리한 것이다.

표 2. 아동 대상 원격 사용성 평가 가이드라인 설계

3. 아동 대상 원격 사용성 평가 실험

3.1 아동 대상 원격 사용성 평가의 효용 검증

제안한 평가 가이드라인에 맞춰 실제 사용성 평가를 수행함으로써 아동 대상 원격 사용성 평가법의 효용을 검증하였다. 검증을 위해 사전에 UX 설계와 프로토타입 제작을 완료한 모바일 기반 비대면 아동 심리평가 서비스를 평가 대상으로 선정하였다. 비대면 아동 심리 평가 서비스는 올바른 정서 확립에 있어 중요한 시기인 아동 및 청소년에게 심리평가가 필요한 과정임에도 불구하고, 일반적으로 수행되는 오프라인 평가 방식이 접근성 및 아동의 수용성이 낮다는 한계를 개선하기 위해 디자인 된 서비스이다. 본 연구에서는 사용성 평가를 통해 비대면 아동 심리평가 서비스의 사용성 검증과 함께 아동 대상 원격 사용성 평가 방법에 대한 효용을 동시에 검증하였다.

표 3. 모바일 기반 비대면 아동 심리평가 서비스

3.2 참여자 선정 및 평가 수행

평가에 참여하는 아동은 교육법에서 정의하는 만 6세 ~ 만 12세로 연령 범위를 한정하였으며, 파일럿 테스트를 포함하여 총 5명의 아동을 대상으로 하였다.

[표 4]의 기준에 따라 디지털 디바이스 사용 경험이 있는 사용자를 평가 참여 대상으로 정의하고 사용자를 나이와 수준에 따라 분류하였다. 또한 디지털 디바이스 사용 경험 및 디지털 기기를 통한 그리기 활동 경험의 여부에 따른 친숙 정도에 따라 사용자를 초심자 그룹과 숙련자 그룹으로 구분하였다.

표 4. 사용자 분류 기준

평가 환경은 각 참여자가 거주하고 있는 집에 구성하고 다음과 같은 과정으로 실험을 진행하였다.

사전에 구성한 주요 기능별 태스크 시나리오를 기반으로 대상 서비스를 조작해볼 수 있도록 지시했으며, 각 태스크의 효과적인 이슈 도출을 위해 태스크 수행 전 ‘기대 평가’ 설문과 태스크 수행 후 ‘경험 평가’ 설문을 실시하였다. 또한 평가를 완료한 후, 평가 과정 전반에서 아동이 느낀 이슈들에 대한 사후 설문을 진행자와의 대화 방식을 통해 수행할 수 있도록 지시하였다.

표 5. 평가 목적 및 방법

4. 사용성 평가 결과 분석

4.1 사용성 평가 비교

본 연구에서 제안한 아동 대상 원격 사용성 평가를 실제로 수행한 결과, 차별화된 원격 사용성 평가 방식으로도 태스크 시나리오부터 설문 수행까지 계획한 프로세스를 일반 사용성 평가와 다름없이 수행할 수 있었다. 아동 대상 원격 사용성 평가는 일반 사용성 평가 방식과 비교했을 때 환경적 제약으로부터 자유도가 높았기 때문에 평가 일정 수립 단계의 효율이 높았으며, 평가 참여 아동이 익숙한 환경에서 평가에 대한 부담을 갖지 않고 적극적으로 평가에 임할 수 있도록 환경을 조성하는데 용이했다.

표 6. 사용성 평가 비교

4.2 사용성 평가 결과

5명의 아동이 참여한 원격 사용성 평가에서 도출된 이슈는 Task별로 다음과 같다.

그림 6. 1번 Task Scenario Flow 및 발견된 이슈

Task1에서 발견된 긍정적인 이슈는 그래픽 컴포넌트를 활용한 표정 만들기 기능에 아동들이 흥미를 느껴 적극적으로 기능을 활용하는 모습을 보였다는 점이고, 주요 부정적 이슈는 검사 과정에서 제공되는 선택지의 예시가 부족한 문제와 기능에 대한 설명이 제공되지 않거나 가시성이 낮아 기능을 인식하지 못하는 문제 등이 발견되었다.

그림 7. 2번 Task Scenario Flow 및 발견된 이슈

Task2에서 발견된 긍정적인 이슈는 그림 검사에서 지원하는 다양한 툴을 활용하여 검사 수행에 있어 높은 집중도를 보인 것이고, 주요 부정적 이슈는 제공된 툴의 사용법이 사용자의 멘탈모델과 일치하지 않은 경우 활용도가 낮았던 점이다.

각 Task에서 발견한 이슈들을 통해 구현된 서비스의 장점 및 문제점을 발견할 수 있었으며 발견된 이슈들을 기반으로 추후 서비스 보완 과정이 수반되어야 할 것이다.

또한 본 연구에서 진행한 원격 사용성 평가를 통해 발견된 이슈의 타당성을 검증하기 위해 제이콥 닐슨의 10가지 휴리스틱 평가를 활용하였다. 휴리스틱 평가 척도는 제이콥 닐슨이 1990년에 개발한 방법론으로, 소프트웨어 사용자 인터페이스 평가를 목적으로 개념화시킨 방법이다. 개발된 지 30여년이 지난 현재까지도 다양한 소프트웨어 평가에 활용될 정도로 오랜 기간 실제 평가 적용을 통해 검증된 평가법이라고 정의할 수 있다.

본 연구에서 제안한 아동 대상 원격 사용성 평가 가 이드라인을 실제 사용성 평가에 적용시켜 수행한 결과, 평가 과정에서 아동 대상 원격 사용성 평가 방법의 효용을 검증할 수 있었으며, 아동이 적극적으로 평가에 참여하고 솔직한 의견을 제시할 수 있도록 환경을 구성했다는 점에서 제안한 가이드라인의 가치를 확인할 수 있었다. 평가 과정에서 도출된 효용의 구체적 내용은 다음과 같다.

첫째, 아동에게 가장 익숙하고 편안한 공간인 집에서 평가를 진행했기 때문에 긴장하지 않은 자연스러운 상태로 아동의 사용성 평가 수행이 가능했다. 둘째, 아동과 유대관계가 깊은 모더레이터가 평가를 진행했기 때문에 아동이 의문점을 자연스럽게 질문하고 자신이 느낀 감정과 의견을 스스럼없이 표현하는 등 평가 참여에 적극적인 모습을 보였다.

Ⅳ. 결론 및 향후 연구 방향

본 연구는 아동을 대상으로 진행되는 사용성 평가의 한계점을 개선할 수 있는 효과적인 평가 방법의 가이드라인 개발 및 제안을 위해 수행되었다. 많은 기업과 연구실 등 서비스 개발 기관에서 개발한 제품 및 서비스를 출시하기 전 사용성을 검증하기 위해 사용성 평가를 수행한다. 이 과정에 활용되는 평가법은 평가 진행자와 참여자가 동석하여 진행하는 일반적 사용성 평가법과, 환경의 제약을 최소화하여 평가를 수행할 수 있는 원격 사용성 평가법으로 분류할 수 있다. 하지만 두 가지 평가법을 포함한 일반적인 사용성 평가에서는 성별, 연령, 국적, 성장 환경, 경험 문화 등에 따른 사용자 특성을 고려한 세부적인 평가법이 따로 마련되지 않아 평가 수행 시 효율이 저하되는 문제가 존재한다. 이에 본 연구에서는 다양한 평가 참여자의 특성 중 연령의 특성을 고려한 평가법을 제안하였다. 특히 아동 연령의 특성을 고려해 효율적인 평가 환경 구성이 가능하도록 원격 사용성 평가 방법을 기반으로 차별화된 평가법을 설계하였으며, 모더레이터 또한 아동과 유대관계가 깊은 인물로 설정하여 아동의 평가 수행 집중도 및 평가 결과의 정확도를 증대시킬 수 있는 평가법을 개발하였다. 또한 아동 대상 원격 사용성 평가 가이드라인을 실제 사용성 평가에 적용하여 평가를 수행하는 과정을 통해 평가법의 실질적인 효용을 검증할 수 있었다.

반면에 평가를 통해 추후 연구에서 개선이 필요한 한계점 또한 도출되었는데, 이는 다음과 같다.

첫째, 원격 사용성 평가 상황에서 발생하는 변수에 대해 설계자가 직접적으로 개입할 수 없는 환경이기 때문에 모더레이터에게 원격으로 지시하여 평가 과정을 바로잡는 데 추가적인 시간이 소요되었다. 둘째, 실시간 네트워크 통신의 특성상 버퍼링과 같은 에러 발생 시 효과적으로 대처할 수 있는 방안이 부재했기 때문에 원활한 평가 진행을 위해 대처 방안 수립이 필요했다.

추후 연구에서는 전술한 한계점을 보완하기 위한 추가적인 실험이 필요하며, 사용성 평가 참여자의 특성 중 연령에 따른 특성을 다양한 방식으로 고려해야 한다. 특정 연령과 상황을 위한 서비스가 시장에 출시되고 많은 사용자에게 이용되기 위해서는 연령과 상황에 맞는 유연하고 다양한 사용성 평가 방법을 통한 사용성의 올바른 평가와 개선이 필요할 것이다. 나아가 전통적 형태의 사용성 평가의 장점을 유지하고, 사용자 특성을 고려한 원격 사용성 평가를 통해 풍부한 결과를 확보하기 위해서는 아래 내용을 함께 고려하여야 할 것이다.

첫째, 평가 참여자의 연령 특성을 고려하여 참여자와 유대관계가 깊은 진행자가 대화 형태로 태스크를 설명하고 참여자가 평가 전반을 쉽게 이해할 수 있도록 충분한 설명을 제공해야 한다. 둘째, 사용성 평가 수행 시 참여자가 부담감을 갖지 않도록 평가 환경을 참여자에게 친숙한 공간으로 선정해야하며, 평가에 방해가 될 수 있는 요소를 사전에 차단해야 한다. 셋째, 평가 진행 전문가가 아닌 모더레이터가 원격 프로그램을 통해 제품 및 서비스의 평가 계획을 충실하게 수행할 수 있도록 평가 수행 전, 설계자는 모데레이터에게 평가에 대한 사전 교육을 충분히 수행해야 한다. 넷째, 평가 진행 중 발생할 수 있는 오류와 변수를 방지할 수 있도록 파일럿 테스트와 원격 사용성 평가 방식에 대한 시뮬레이션을 본 평가 전 충분히 수행해야 한다.

향후 연구에서는 아동 대상 원격 사용성 평가 상황에서 발생하는 다양한 변수에 효과적으로 대처할 수 있도록 평가 구성과 진행 방법을 보완하는 과정이 필요하며, 반복적인 실제 사용성 평가 적용을 통해 평가법의 완성도 추가 검증이 필요할 것이다. 이 같은 과정을 거쳐 평가에 참여하는 사용자의 특성을 모두 고려할 수 있는 효과적인 원격 사용성 평가 방법이 개발 및 검증되어 다양한 실제 평가에 적용되기를 기대한다.