Usability index evaluation system for mobile WAP service

무선인터넷 서비스 사용성 지수 평가 체계

The customer satisfaction of WAP service greatly relies on the usability of the service due to the limited display size of a mobile phone and limitation in realizing UI (User Interface) for function keys, browser, and OS (operating system) Currently, a number of contents providers develop and deliver varying services, and thus, it is critical to control quality level of UI in consistent standards and manner. This study suggests usability index evaluation system to achieve consistent UI quality control of various WAP services. The system adopts both top-down and bottom-up approaches. The former concerns deriving UI design components and evaluation checklists for the WAP, based on the usability attributes and UI principles. The latter concerns deriving usability-related evaluation checklists from the established UI design features, and then grouping them from the viewpoint of usability principles and attributes. This bidirectional approach has two outstanding advantages: it allows thorough examination of potential elements that can cause usability problems from the standpoint of usability attributes, and also derives specific evaluation elements from the perspective of UI design components that are relevant to the real service environment. The evaluation system constitutes a hierarchical structure by networking usability attributes, UI guideline which indicates usability principles for each attribute, and usability evaluation checklist for each UI component that enables specific evaluation. Especially, each evaluation checklist contains concrete contents and format so that it can be readily marked in O/X. The score is based on the ratio of number of items that received positive answer to the number of total items. This enables a quantitative evaluation of the usability of mobile WAP service. The validity of the proposed evaluation system has been proved through comparative analysis with the real usability problems based on the user test. A software was developed that provides guideline for evaluation objects, criteria and examples for each checklist, and automatically calculates a score. The software was applied to evaluating and improving the real mobile WAP service.

모바일 무선인터넷 서비스(WAP)는 휴대폰이라는 제한된 화면 크기와 조작부, 브라우저 및 OS에서의 UI 구현상의 제약 등으로 인해 사용성이 고객만족도에 더욱 중요한 영향을 미치는 요소가 되고 있다. 특히 여러 다양한 콘텐츠 제공사에 의해 각각의 서비스가 개발되어 제공되는 현 상황에서, 이러한 서비스들의 UI 품질수준을 일관된 기준과 방법으로 효과적인 관리를 할 필요가 있다. 본 연구에서는 다양한 무선 인터넷 서비스들에 대한 일관된 UI 수준관리를 위한 사용성 지수 평가 체계를 제안한다. 제안된 평가 체계는 사용성 관련 사용성 지표와 UI 원칙으로부터 무선 인터넷 서비스에서의 UI 설계 요소와 평가 항목들을 도출하는 top-down 방식과, 기존 UI 설계 지침으로부터 사용성과 관계된 평가 항목들을 도출하고, 이들을 사용성 원칙과 지표 관점에서 그룹핑하는 bottom-up 방식을 통해 평가 체계 및 항목들이 구축되었다. 이러한 양방향 평가 체계 구축 방법은 사용성 문제를 야기할 수 있는 다양한 측면을 사용성 지표 관점에서 빠짐없이 고려할 수 있을 뿐 아니라, 실제 서비스 환경과 관련된 UI component 관점에서 구체적인 평가 항목들을 도출할 수 있다는 장점이 있다. 이러한 방법을 통해 구조화된 평가 체계는 사용성 지표와 각 지표와 관계된 사용성 원칙인 UI 가이드라인, 각 가이드라인 별로 구체적인 평가를 위한 UI component 별 평가항목들간 연결을 통해 계층적으로 구성되어 있다. 특히 각 평가 항목들을 O/X 로 판정할 수 있는 구체적인 내용과 형태로 구성하고, 전체 평가 항목 대비 만족된 평가항목의 비율로써 해당 서비스의 사용성 접수가 도출될 수 있게 하여 무선 인터넷 서비스의 사용성 수준을 정량적인 값으로 파악할 수 있도록 하였다. 제안된 평가 체계는 사용자 테스트를 통한 실제 사용성 문제와 비교 분석되어 그 효과별 검증하였으며, 평가 항목별로 평가 대상 및 기준, 사례를 안내해주고 지표별 접수를 자동으로 계산해 주는 S/W 로 구현되어 실제 무선 인터넷 서비스의 평가 및 개선작업에 적용되었다.