The Journal of the Convergence on Culture Technology (문화기술의 융합)

The International Promotion Agency of Culture Technology (국제문화기술진흥원)
권호 표지
DOI QR코드

DOI QR Code

A Basic Study on User Experience Evaluation Based on User Experience Hierarchy Using ChatGPT 4.0

챗지피티 4.0을 활용한 사용자 경험 계층 기반 사용자 경험 평가에 관한 기초적 연구

  • 한수민 (숭실대학교 글로벌미디어학부) ;
  • 박재완 (숭실대학교 글로벌미디어학부)
  • Received : 2024.01.20
  • Accepted : 2024.02.25
  • Published : 2024.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

With the rapid advancement of generative artificial intelligence technology, there is growing interest in how to utilize it in practical applications. Additionally, the importance of prompt engineering to generate results that meet user demands is being newly highlighted. Exploring the new possibilities of generative AI can hold significant value. This study aims to utilize ChatGPT 4.0, a leading generative AI, to propose an effective method for evaluating user experience through the analysis of online customer review data. The user experience evaluation method was based on the six-layer elements of user experience: 'functionality', 'reliability', 'usability', 'convenience', 'emotion', and 'significance'. For this study, a literature review was conducted to enhance the understanding of prompt engineering and to grasp the clear concept of the user experience hierarchy. Based on this, prompts were crafted, and experiments for the user experience evaluation method were carried out using the analysis of collected online customer review data. In this study, we reveal that when provided with accurate definitions and descriptions of the classification processes for user experience factors, ChatGPT demonstrated excellent performance in evaluating user experience. However, it was also found that due to time constraints, there were limitations in analyzing large volumes of data. By introducing and proposing a method to utilize ChatGPT 4.0 for user experience evaluation, we expect to contribute to the advancement of the UX field.

최근 생성형 인공지능 기술이 급속도로 발전함에 따라, 이를 실무에 활용하는 방법에 대한 관심이 높아지고 있다. 또한 사용자 요구에 부합하는 결과물을 생성하기 위한 프롬프트 엔지니어링의 중요성이 새롭게 조명되고 있다. 이러한 생성형 인공지능의 새로운 활용 가능성을 탐구하는 것은 중요한 가치를 지닐 수 있다. 본 연구는 대표적인 생성형 인공지능인 챗지피티 4.0을 활용하여 온라인 고객 리뷰 데이터 분석을 통한 효과적인 사용자 경험 평가 방법을 제안하는 것을 목적으로 한다. 사용자 경험 평가 방법은 사용자 경험 계층의 6단계 요소인 '기능성', '신뢰성', '사용성', '편의성', '감성', '의미성'을 기반으로 수행되었다. 본 연구를 위해 프롬프트 엔지니어링의 이해도를 높이고 사용자경험 계층의 명확한 개념을 파악하는 문헌연구를 수행하고, 이를 기반으로 프롬프트를 작성 및 수집된 온라인 고객 리뷰 데이터 분석을 통한 사용자 경험 평가 방법을 위한 실험이 수행되었다. 본 연구에서 우리는 사용자 경험 요소에 대한 정확한 정의 및 분류 과정에 대한 설명 입력 시, 챗지피티는 사용자 경험 평가에 대한 우수한 성능을 나타냈으나, 시간적 제약으로 다량의 데이터 분석에 한계를 나타냈음을 밝힌다. 우리는 사용자 경험 평가에 챗지피티 4.0을 활용하는 방법을 소개하고 제안함으로써 UX 분야의 발전에 공헌할 수 있는 것으로 기대한다.

Keywords

References

  1. J. Yang and S. Yoon, "Beyond ChatGPT: The Era of Generative AI - Cases and Strategies for Competitiveness in Media and Content Creation AI Services," Media Issues & Trends, Vol. 55, No. 3, pp. 62-70, March 2023.
  2. S. H. Lee, and K. S. Song, "Prompt Engineering to Improve the Performance of Teaching and Learning Materials Recommendation of Generative Artificial Intelligence," Journal of the Korea Society of Computer and Information. Vol. 28, No. 8, pp. 195-204, August 2023. doi:10.9708/JKSCI.2023.28.08.195.
  3. H. Choi, and S. Kim, "A Study on User Experience of OTT Service - Focused on Netflix, Watcha and Wavve -," Journal of Digital Convergence, Vol. 18, No. 4, pp. 425-431. April 2020. doi:10.14400/JDC.2020.18.4.425.
  4. S. Lee, J. Kim, S. Yoon, and H. Kim, "An Analysis on Key Factors of Mobile Fitness Application by Using Text Mining Techniques: User Experience Perspective," Journal of Information Technology Services Vol. 19, No. 3, pp. 117-37, June 2020. doi:10.9716/KITS.2020.19.3.117.
  5. J. Hyeon, Y. Son, and J. W. Park, "Development of a System for UX Analysis of Financial Mobile App Review Data and Its Verification," The Journal of the Convergence on Culture Technology(JCCT), Vol. 9, No. 1, pp. 755-761, Jan 2023. doi:10.17703/JCCT.2023.9.1.755.
  6. P. H. Kim, J. W. Yoon, and H. Y. Kim, "University Faculty's Perspectives on Implementing ChatGPT in their Teaching," International Journal of Advanced Culture Technology(IJACT), Vol. 11, No. 4, pp. 56-61, Dec 2023. doi:10.17703/IJACT.2023.11.4.56
  7. M. Lee, "A Study on Prompt Engineering Techniques based on chatGPT." Proceedings of the Korean Society of Computer Information Conference, Vol. 31, No. 2, pp. 715-718, July 2023.
  8. J. Achiam, et al., "GPT-4 Technical Report," arXiv preprint, December 2023. doi:10.48550/ARXIV.2303.08774.
  9. J. H. Ahn and S. I. Kim, "Comparison the Difference of User Experience for Mobile Facebook and Instagram Using Nonparametric Statistics Methods," Journal of Digital Convergence, Vol. 14, No. 11, pp. 481-488, November 2016. doi:10.14400/JDC.2016.14.11.481.
  10. S. B. Jo, This is UX/UI Design, Wikibooks, June 2020.
  11. H. W. Kim and S. I. Kim, "A study on User experience of Fintech Application Service -Focused on Toss and Kakaobank-," Journal of Digital Convergence, Vol. 18, No. 1, pp. 287-293, January 2020. doi:10.14400/JDC.2020.18.1.287
  12. J. S. Kim, W. J. Yu, and S. J. Ahn, How to use Chat GPT, Wikibooks, March 2023.
  13. Selenium: https://www.selenium.dev/ (accessed on 2 February 2024)