The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

The Effect of AI Agent's Multi Modal Interaction on the Driver Experience in the Semi-autonomous Driving Context : With a Focus on the Existence of Visual Character

반자율주행 맥락에서 AI 에이전트의 멀티모달 인터랙션이 운전자 경험에 미치는 효과 : 시각적 캐릭터 유무를 중심으로

  • 서민수 (연세대학교 정보대학원 UX Lab.) ;
  • 홍승혜 (연세대학교 정보대학원 UX Lab.) ;
  • 이정명 (연세대학교 정보대학원 UX Lab.)
  • Received : 2018.07.05
  • Accepted : 2018.07.27
  • Published : 2018.08.28
Download PDF
⟨ Previous Next ⟩

Abstract

As the interactive AI speaker becomes popular, voice recognition is regarded as an important vehicle-driver interaction method in case of autonomous driving situation. The purpose of this study is to confirm whether multimodal interaction in which feedback is transmitted by auditory and visual mode of AI characters on screen is more effective in user experience optimization than auditory mode only. We performed the interaction tasks for the music selection and adjustment through the AI speaker while driving to the experiment participant and measured the information and system quality, presence, the perceived usefulness and ease of use, and the continuance intention. As a result of analysis, the multimodal effect of visual characters was not shown in most user experience factors, and the effect was not shown in the intention of continuous use. Rather, it was found that auditory single mode was more effective than multimodal in information quality factor. In the semi-autonomous driving stage, which requires driver 's cognitive effort, multimodal interaction is not effective in optimizing user experience as compared to single mode interaction.

대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다.

Keywords

References

  1. 김현근, 김지선, 지승도, "다중 에이전트를 이용한 캐릭터 기반 대화형 인공지능 설계," 한국시뮬레이션학회 학술대회 논문집, pp.75-79, 2017.
  2. M. H. Cohen, J. P. Giangola, and J. Balogh, Voice user interface design, Addison-Wesley Professional, 2004.
  3. J. Cassell, "Embodied conversational interface agents," Communications of the ACM, Vol.43, No.4, pp.70-78, 2000. https://doi.org/10.1145/332051.332075
  4. S. Macskassy and S. Suzanne, A conversational agent, Rutgers University, 1996.
  5. M. Peissner, V. Doebler, and F. Metze, Can voice interaction help reducing the level of distraction and prevent accidents? Meta-study on driver distraction and voice interaction, Nuance Communications, 2011.
  6. M. Jeon, B. N. Walker, and T. M. Gable, "The effects of social interactions with in-vehicle agents on a driver's anger level, driving performance, situation awareness, and perceived workload," Applied ergonomics, Vol.50, pp.185-199, 2015. https://doi.org/10.1016/j.apergo.2015.03.015
  7. 이지인, 김나은, 김진우, "자율주행 자동차 환경에 서의 운전자 경험에 대한 연구," 한국디지털콘텐츠학회 논문지, 제18권, 제4호, pp.713-722, 2017.
  8. 이혜민, 김승인, "음성인식 기반의 모바일 지능형 개인비서 서비스 사용성 비교," 디지털디자인학연구, 제14권, 제1호, pp.231-240, 2014.
  9. 홍은지, 조광수, 최준호, "스마트홈 대화형 인터페이스의 의인화 효과," 한국 HCI 학회 논문지, 제12권, 제1호, pp.15-23, 2017.
  10. 박은영, 이경아, "음성인식을 적용한 멀티미디어콘텐츠 방안-교육용 유아영어 앱을 위한 사용자 인터페이스를 중심으로," 브랜드디자인학연구, 제11권, 제1호, pp.111-120, 2013.
  11. S. Okamoto and S. Sano, "Anthropomorphic AI Agent Mediated Multimodal Interactions in Vehicles," Adjunct Proceedings of the 9th International ACM Conference on Automotive User Interfaces and Interactive Vehicular Applications, pp.110-114, 2017.
  12. 이동우, 최은정, 이용희, 박준석, "멀티모달 사용자 인터페이스 기술 동향," 한국정보기술학회지, 제3권, 제1호, pp.15-20, 2005.
  13. L. Nigay and J. Cautaz, "A design space for multimodal systems: concurrent processing and data fusion," Proceedings of the INTERACT'93 and CHI'93 conference on Human factors in computing systems, ACM, pp.172-178, 1993.
  14. 장복만, 박성도, 장효경, 장창복, 최의인, "멀티모달 인터랙션 에이전트를 이용한 u-헬스케어 상황인식 보안 프레임워크," 보안공학연구논문지, 제6권, 제5호, pp.337-350, 2009.
  15. B. Dumas, D. Lalanne, and S. Oviatt, "Multimodal interfaces: A survey of principles, models and frameworks," Human machine interaction, pp.3-26, 2009.
  16. S. Oviatt, "Multimodal interactive maps: Designing for human performance," Human-computer interaction, Vol.12, No.1, pp.93-129, 1997. https://doi.org/10.1207/s15327051hci1201&2_4
  17. 최종우, 박혜선, 김경호, "운전자 정보제공을 위한 모달별 인터페이스," 대한인간공학회 학술대회논문집, pp.254-257, 2010.
  18. J. Cassel, "Nudge Nudge Wink Wink: Elements of Face-to-Face Conversation for Embodied Conversational Agents," Embodied Conversational Agents, MIT Press: Cambridge, MA, pp.1-27, 2000.
  19. N. Yee, J. N. Bailenson, and K. Rickertsen, "A MetaAnalysis of the Impact of the Inclusion and Realism of Human-Like Faces on User Experiences in Interfaces," Proceedings of CHI San Jose, CA, USA, pp.1-10, 2007.
  20. J. Walker, L. Sproull, and R. Subramani, "Using a Human Face in an Interface," Proceedings of CHI, pp.85-91, 1994.
  21. 조윤주, 최유정, 박수이, "모바일 환경에서의 캐릭터 인텔리전트 에이전트에 대한 신뢰 형성 요인," 디지털디자인학연구, 제8권, 제1호, pp.83-98, 2008.
  22. R. Agarwal and E. Karahanna, "Time flies when you're having fun: Cognitive absorption and beliefs about information technology usage," MIS quarterly, Vol.24, No.4, pp.665-694, 2000. https://doi.org/10.2307/3250951
  23. L. Deng, D. E. Turner, R. Gehling, and B. Prince, "User experience, satisfaction, and continual usage intention of IT," European Journal of Information Systems, Vol.19, No.1, pp.60-75, 2010. https://doi.org/10.1057/ejis.2009.50
  24. 주영주, 김은경, 박수영, "기업 사이버교육에서 인지적 실재감과 몰입, 만족도, 지속의향과의 구조적 관계," 교육정보미디어연구, 제15권, 제3호, pp.21-38, 2009.
  25. 한상도, 장명복, "정보시스템 품질과 사용자 만족에 관한 연구," 품질혁신, 제2권, 제1호, pp.78-86, 2001.
  26. 김영환, 최수일, "지각된 서비스 품질, 유용성, 용이성이 IPTV 사용자 만족 및 지속적 사용의도에 미치는 영향," 한국콘텐츠학회논문지, 제9권, 제10호, pp.314-327, 2009. https://doi.org/10.5392/JKCA.2009.9.10.314
  27. J. J. Choi and S. S. Kwak, "The Impact of Robot Appearance Types and Robot Behavior Types on People's Perception of a Robot," 디지털디자인학연구, 제14권, 제3호, pp.1-11, 2014.
  28. W. H. Delone and E. R. McLean, "The DeLone and McLean model of information systems success: a ten-year update," Journal of management information systems, Vol.19, No.4, pp.9-30, 2003. https://doi.org/10.1080/07421222.2003.11045748
  29. Z. Yang, S. Cai, Z. Zhou, and N. Zhou, "Development and validation of an instrument to measure user perceived service quality of information presenting web portals," Information & Management, Vol.42, No.4, pp.575-589, 2005. https://doi.org/10.1016/S0378-7206(04)00073-4
  30. 김용일, 임재문, "확장된 기술수용 모델을 적용한 스마트폰 외식정보 서비스 사용자의 수용태도에 관한 연구," 호텔경영학연구, 제23권, 제5호, pp.275-289, 2014.
  31. F. D. Davis, "Perceived usefulness, perceived ease of use, and user acceptance of information technology," MIS quarterly, Vol.13, No.3, pp.319-340, 1989. https://doi.org/10.2307/249008
  32. F. D. Davis, R. P. Bagozzi, and P. R. Warshaw, "User acceptance of computer technology: a comparison of two theoretical models," Management science, Vol.35, No.8, pp.982-1003, 1989. https://doi.org/10.1287/mnsc.35.8.982
  33. V. Venkatesh and H. Bala, "Technology acceptance model 3 and a research agenda on interventions," Decision sciences, Vol.39, No.2, pp.273-315, 2008. https://doi.org/10.1111/j.1540-5915.2008.00192.x
  34. 손승혜, 최윤정, 황하성, "기술수용모델을 이용한 초기 이용자들의 스마트폰 채택 행동 연구," 한국언론학보, 제55권, 제2호, pp.227-251, 2011.
  35. 남종훈, "DMB 의 수용결정요인에 관한 연구," 언론과학연구, 제7권, 제2호, pp.143-188, 2007.
  36. R. A. Sanchez and A. D. Hueros, "Motivational factors that influence the acceptance of Moodle using TAM," Computers in human behavior, Vol.26, No.6, pp.1632-1640, 2010. https://doi.org/10.1016/j.chb.2010.06.011
  37. 최종우, 박혜선, 김경호, "운전자 정보제공을 위한 모달별 인터페이스," 대한인간공학회 학술대회논문집, pp.254-257, 2010.
  38. 한국콘텐츠진흥원, 2016 캐릭터 산업백서, 한국콘텐츠진흥원, 2016.