The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Research on Usability Test for Business Web Site Development using Concurrent Think Aloud Protocol

비즈니스용 웹 사이트 개발에서의 실시간 발성사고법 사용성 테스트 사례 연구

  • Received : 2018.03.08
  • Accepted : 2018.04.09
  • Published : 2018.05.28
Download PDF
⟨ Previous Next ⟩

Abstract

The purpose of this study is to provide a cost effective usability test model for business web site development. In this study, we present a usability test model that combines Concurrent Think Aloud, performance measurement, coaching method, and remote test method. Testing target was the consortium website of electronic information joint licensing. Test participants were actual users selected by their task roles and proficiency in different levels. We improved the system by reflecting the results of user test analysis and re-tested usability test again. The result showed that usability of all participants was improved in the aspect of the time required and the complexity of mouse trajectory. It is expected that the usability test model presented in this study can be used to cost-effectively evaluate and analyze business web sites. We suggest that research various usability test model considering the characteristics of websites.

본 연구는 비즈니스용 웹 사이트 개발에 있어 비용효과적인 사용성 테스트 모델을 제시할 목적으로 수행되었다. 본 연구에서는 실시간 발성사고법(Concurrent Think Aloud), 성능 측정, 코칭 방법, 원격 테스트 방법을 혼합한 사용성 테스트 모델을 제시하였다. 테스트 대상은 연구진이 운영하는 전자정보 공동구매 컨소시엄 웹 사이트로 하였다. 테스트 참가자는 실제 사용자로 하였으며 업무 역할과 숙련도별로 차이를 두어 구성하였다. 사용성 테스트 분석 결과를 반영하여 시스템을 개선하였고, 동일한 태스크를 수행하여 소요시간과 마우스 궤적 복잡도를 비교한 결과 모든 참가자의 사용성이 개선된 것을 확인하였다. 본 연구에서 제시한 사용성 테스트 모델을 활용하여 비즈니스용 웹 사이트를 비용 효과적으로 평가하여 분석하는데 도움이 될 것으로 기대한다. 웹 사이트들은 목적별, 분야별로 특성이 있으므로 향후에는 특성화된 사용성 테스트 모델 연구가 필요하다고 본다.

Keywords

References

  1. https://www.nngroup.com/articles/return-on-investment-for-usability/, 2018.1.31.
  2. http://www.humanfactors.com/whitepapers/ROI_of_user_experience.asp, 2018.1.31.
  3. https://www.nngroup.com/articles/summary-of-usability-inspection-methods/, 2017.11.26.
  4. http://usability.jameshom.com, 2017.11.26.
  5. 김정룡, 이하연, 최영철, "다자 중심적 사용성 평가 방법의 구조화 과정," 대한인간공학회지, 제24권, 제2호, pp.25-33, 2005.
  6. A. Fernandez, E. Insfran, and S. Abrahao, "Usability evaluation methods for the web: A systematic mapping study," Information and Software Technology, Vol.53, No.8, pp.789-817, 2011. https://doi.org/10.1016/j.infsof.2011.02.007
  7. M. Haak, M. Jong, and P. J. Schellens, "Retrospective vs. concurrent think-aloud protocols: testing the usability of an online library catalogue," Behaviour & Information Technology, Vol.22, No.5, pp.339-351, 2003. https://doi.org/10.1080/0044929031000
  8. R. Teague, K. Jusus, and M. Nunes-Ueno, "Concurrent Vs. Post-Task Usability Test Ratings," CHI '01 Extended Abstracts on Human Factors in Computing Systems, pp.289-290, 2001.
  9. L. Cooke, "Assessing Concurrent Think-Aloud Protocol as a Usability Test Method: A Technical Communication Approach," IEEE Transactions on Professional Communication, Vol.53, No.3, pp.202-215, 2010. https://doi.org/10.1109/TPC.2010.2052859
  10. M. Chen, J. Anderson, and M. H. Shon, "What can a mouse cursor tell us more?: correlation of eye/mouse movements on web browsing," CHI '01 Extended Abstracts on Human Factors in Computing Systems, pp.281-282, 2001.
  11. L. Cooke, "Is the Mouse a 'Poor Man's Eye Tracker'?," Society for Technical Communication Conference, pp.252-255, 2006.
  12. V. Navalpakkam and E. Churchill, "Mouse tracking: measuring and predicting users' experience of web-based content," Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp.2963-2972, 2012.
  13. S. C. Yang, "Reconceptualizing think-aloud methodology : refining the encoding and categorization techniques via contextualized perspectives," Computers in Human Behavior, Vol.19, No.1, pp.95-115, 2003. https://doi.org/10.1016/S0747-5632(02)00011-0
  14. 김병주, 이건표, "웹 사용성 평가를 위한 통합평가모형 제안 및 도구 개발," 디자인학연구, 제20권, 제5호, pp.39-50, 2007.
  15. 김영준, 김영진, "탐색경로 일치도 분석을 이용한 웹사이트 사용성 평가," 한국산학기술학회논문지, 제14권, 제2호, pp.793-803, 2013. https://doi.org/10.5762/KAIS.2013.14.2.793
  16. S. McMullen, "Usability testing in a library Web site redesign project," Reference Services Review, Vol.29, No.29, pp.7-22, 2001. https://doi.org/10.1108/00907320110366732
  17. 유진환, 김승인, 김희연, 이소희, 최용수, 이병희, "NTIS-NDSL 연계서비스 R&D Navigator 사용성 평가," 디지털디자인학연구, 제13권, 제1호, pp.35-46, 2012.
  18. M. J. Aamir and A. Mansoor, "Testing Web Application from Usability Perspective," 2013 3rd IEEE International Conference on Computer, Control and Communication (IC4), pp.1-7, 2013.