Journal of Information Technology Services (한국IT서비스학회지)

Korea Society of IT Services (한국IT서비스학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on the Importance of Software Quality-in-use for Educational Chatbot: Using the AHP Method

학습용 챗봇 소프트웨어 사용 품질 특성의 중요도 연구: AHP기법을 활용하여

  • Yunjeung Min ;
  • Jaekyoung Ahn
  • 민윤정 (서울과학기술대학교 IT정책전문대학원 기술경영시스템전공) ;
  • 안재경 (서울과학기술대학교 IT정책전문대학원 산업정보시스템전공)
  • Received : 2024.07.16
  • Accepted : 2024.09.08
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

Recent advancements in IT technology and infrastructure have led to the widespread application of AI chatbots across various fields, including education, where they have shown effectiveness in improving classroom focus and achievement [1][2]. This study analyzes the importance of quality-in-use for AI chatbots in elementary Korean language learning based on ISO/IEC 25000 Quality-in-use standards, aiming to provide quality evaluation criteria for future educational chatbot development. The research methodology involved a two-tier hierarchy of 5 main characteristics and 13 sub-characteristics of quality-in-use, with surveys conducted among industry professionals and instructors after preliminary investigations. Results showed that situational adaptability, effectiveness, and efficiency were prioritized in the main characteristics. In sub-characteristics, situational completeness, learning accuracy, and flexibility were top-ranked. Instructors emphasized the importance of risk mitigation, reflecting their concern for reducing private education costs and improving learning environments. Industry professionals prioritized completeness in chatbot outputs. These findings suggest that prioritizing instructor-valued features in subject-based learning chatbots can enhance their utility and effectiveness in educational settings. The study also highlights the potential for leveraging differences in quality evaluation priorities between industry professionals and instructors in developing learning chatbots

Keywords

References

  1. 김도완, "ISO/IEC 9241.10 표준에 기초한 소프트웨어 완성도-하자 감정 기법 연구", 한국소프트웨어감정평가학회논문지, 제15권, 제2호, 2019, 9-16.
  2. 김민지, 염지윤, 정혜원, 임철일, "인공지능 챗봇의 교육적 활용 연구 동향 분석: 활동이론을 중심으로", 교육정보미디어연구, 제27권, 제2호, 2021, 699-721.
  3. 김시인, "인공지능 스피커용 소프트웨어 사용 품질특성의 중요도 연구", 공학기술논문지, 제14권, 제4호, 2021, 173-179.
  4. 김유정, 한상규, 윤종묵, 허은영, 김정훈, "챗봇 에이전트 정체성(identity)에 따른 사용자의 인식 및 행동 차이에 대한 연구", 한국HCI학회 논문지, 제12권, 제4호, 2017, 45-55.
  5. 김형진, 양경식, 전성현, "국내 ITA/EA 도입 실태 및 활성화에 관한 연구", 한국IT서비스학회지, 제5권, 제3호, 2006, 63-82.
  6. 김태하, 차훈상, 박찬희, 위정현, "온라인 쇼핑몰 챗봇사용자의 활용의도에 영향을 미치는 요인에 대한 실증 연구", 지식경영연구, 제21권, 제4호, 2020, 211-225.
  7. 민윤정, 안재경, 김소영, "기술수용모형을 적용한 학습용 챗봇 사용의도와 영향요인 간 구조적 관계분석", 교육정보미디어연구, 제26권, 제4호, 2020, 799-825.
  8. 박병선, 양경식, 김현수, "성공적인 전사적 아키텍처구축을 위한 위험요인에 관한 연구", 한국IT서비스학회지, 제5권, 제3호, 2006, 1-23.
  9. 박성열, "기술수용모델을 적용한 대학생 모바일러닝사용의도와 영향요인 간 구조적 관계 분석", 교육정보미디어연구, 제18권, 제1호, 2012, 51-75.
  10. 박승범, 이헌중, 신신애 이태공, "성과지표기반의 ITA효과측정 모델 연구", 정보기술아키텍처연구, 제1권, 제1호, 2004, 53-62.
  11. 안수호, 조웅, 정두희, "인공지능 기반 음성쇼핑의 이용의도에 영향을 미치는 요인 거래 안전성 등 가상비서 속성의 영향", 한국기술혁신학회 2019년도 추계학술대회 논문집, 2019, 2065-2095.
  12. 양혜진, 김혜영, 신동광, 이장호. "인공지능 음성챗봇기반 초등학교 영어 말하기 수업 연구", Multimedia-Assisted Language Learning, 제22권, 제4호, 2019.
  13. 오성진, 임규건, "중국 전자상거래 플랫폼에서 챗봇의 특성이 고객만족도에 미치는 영향에 관한 연구", 한국IT서비스학회지, 제22권, 제6호, 2023, 37-53.
  14. 이상은, "천차만별인 챗봇 만족도, 중요한 건 기술아닌 섬세한 운영", 2022, Available at https://www.hankyung.com/article/2022122620471 (Accessed December 26, 2022).
  15. 전대호, 장상현, "지방자치단체의 IT 유지보수관리의 아웃소싱 서비스 요인에 관한 연구", 한국IT서비스학회지, 제21권, 제3호, 2022, 43-61.
  16. 정혜정, "국제표준 ISO/IEC 25023을 기반으로 한 소프트웨어 품질평가", 한국융합학회논문지, 제7권, 제6호, 2016, 35-41.
  17. 조용구, "금융 챗봇 사용의도에 미치는 품질요인에 관한 연구", 숭실대학교 석사학위논문, 2019.
  18. 최서원, 남재현, "SW 교육 보조 도구로서의 AI 챗봇 활용", 한국정보통신학회논문지, 제23권, 제12호, 2019, 1693-1699.
  19. 최수민, "모바일 메신저 인공지능 커머스 챗봇의 신뢰도 향상을 위한 의인화 요소와 인터랙션 분석 및 디자인 연구", 서강대학교 석사학위논문, 2018. http://www.riss.kr/link?id=T14692666.
  20. Adaptive Inc., The Road to Enterprise Architecture: There is nothing worth for but Christian Architecture and a boat, 2007.
  21. Barclay, D., C. A. Higgins, and R. L. Thompson, "The Partial Least Squares (PLS) approach to causal modeling: Personal computer adoption and use as an illustration", Technology Studies, Vol.2, No.2, 1995, 285-309.
  22. Barney, J. B., "Firm Resources and Sustained Competitive Advantage", Journal of Management, Vol.17, No.2, 1991, 99-120.
  23. Beaudry, J., A. Consigli, C. Clark, and K. J. Robinson, "Getting ready for adult healthcare: designing a chatbot to coach adolescents with special health needs through the transitions of care" Journal of Pediatric Nursing, 49, 2019, 85-91.
  24. Coniam, David. "The linguistic accuracy of chatbots: usability from an ESL perspective", Text & Talk, Vol.34, No.5, 2014, 545-567.
  25. Fryer, L. and R. Carpenter, "Bots as language learning tools", Language Learning & Technology, Vol. 10, 2006, 8-14.
  26. Fryer, L. K., K. Nakao, and A. Thompson, "Chatbot learning partners: Connecting learning experiences, interest and competence", Computers in human Behavior, 93, 2019, 279-289.
  27. Goel, A. K. and L. Polepeddi, "Jill Watson: A virtual teaching assistant for online education", Learning Engineering for Online Education, Routledge, 2018, 120-143.
  28. Kuligowska, K., "Commercial chatbot: performance evaluation, usability metrics and quality standards of embodied conversational agents", Professionals Center for Business Research, Vol.2, 2015.
  29. Lee, E. C. and M. S. Chae, "A study on key success factors of SCM applying AHP", 한국 IT 서비스학회: 학술대회논문집, 2009, 154-157.
  30. Lee, H., "A study on the optimal interaction for robot personification - Focusing on home service robots - (Unpublished master's thesis)", Ewha Womans University, Seoul. 2018.
  31. Lee, S. K., G. Mogi, S. K. Lee, and J. W. Kim, "Prioritizing the weights of hydrogen energy technologies in the sector of the hydrogen economy by using a fuzzy AHP approach", International Journal of Hydrogen Energy, Vol.36, No.2, 2011, 1897-1902.
  32. Nicole, R. and M. C. Benton, "Evaluating quality of chatbots and intelligent conversational agents", arXiv preprint arXiv, 1704.04579, 2017.
  33. Radziwill, N. M. and M. C. Benton, "Evaluating quality of chatbots and intelligent conversational agents", arXiv preprint arXiv, 1704.04579, 2017.
  34. Santa Barletta, V., D. Caivano, L. Colizzi, G. Dimauro, and M. Piattini, "Clinical-chatbot AHP evaluation based on "quality in use" of ISO/IEC 25010", International Journal of Medical Informatics, 170, 2023, 104951.
  35. TTA GS인증제도 안내서, p7, chrome-extension://mhnlakgilnojmhinhkckjpncpbhabphi/pages/pdf/web/viewer.html?file=https%3A%2F%2Ftta.or.kr%2Ftestlab%2Ffile%2FGS_intro.pdf.