DOI QR코드

DOI QR Code

An Exploratory Study on the Trustworthiness Analysis of Generative AI

생성형 AI의 신뢰도에 대한 탐색적 연구

  • Soyon Kim (Graduate School of Information, Yonsei University) ;
  • Ji Yeon Cho (AI Research team, Software Policy & Research Institute) ;
  • Bong Gyou Lee (Graduate School of Information, Yonsei University)
  • Received : 2023.09.25
  • Accepted : 2023.11.21
  • Published : 2024.02.29

Abstract

This study focused on user trust in ChatGPT, a generative AI technology, and explored the factors that affect usage status and intention to continue using, and whether the influence of trust varies depending on the purpose. For this purpose, the survey was conducted targeting people in their 20s and 30s who use ChatGPT the most. The statistical analysis deploying IBM SPSS 27 and SmartPLS 4.0. A structural equation model was formulated on the foundation of Bhattacherjee's Expectation-Confirmation Model (ECM), employing path analysis and Multi-Group Analysis (MGA) for hypothesis validation. The main findings are as follows: Firstly, ChatGPT is mainly used for specific needs or objectives rather than as a daily tool. The majority of users are cognizant of its hallucination effects; however, this did not hinder its use. Secondly, the hypothesis testing indicated that independent variables such as expectation- confirmation, perceived usefulness, and user satisfaction all exert a positive influence on the dependent variable, the intention for continuance intention. Thirdly, the influence of trust varied depending on the user's purpose in utilizing ChatGPT. trust was significant when ChatGPT is used for information retrieval but not for creative purposes. This study will be used to solve reliability problems in the process of introducing generative AI in society and companies in the future and to establish policies and derive improvement measures for successful employment.

본 연구는 대표적인 생성형 AI 기술인 ChatGPT의 이용자 신뢰를 중심으로 이용실태와 지속사용의도에 영향을 미치는 요인, 그리고 신뢰의 영향력이 목적에 따라 달라지는지를 탐색적으로 살펴보았다. 이를 위해 ChatGPT를 많이 이용하는 20대와 30대를 대상으로 설문조사를 실시하였으며 통계 패키지 프로그램인 IBM SPSS 27과 SmartPLS 4.0을 적용하여 분석을 수행하였다. Bhattacherjee의 기대충족모델(ECM)을 기반으로 구조방정식 모델을 구축하고, 경로분석과 다중그룹분석(MGA)를 실시하여 가설을 검증하였다. 본 연구의 결과는, 첫째, ChatGPT 이용자들은 일상적인 도구로 사용하기보다 특정 목적이나 필요에 따라 사용하고 있으며, 대부분의 사용자가 ChatGPT의 환각효과(Hallucination)에 대해 인지하고 있으나 이는 사용을 저해하는 요인은 아니었다. 둘째, 가설검정 결과 독립변수인기대충족, 인지된 유용성, 사용자 만족 요인 모두가 종속변수인 지속이용의도에 긍정적 영향을 미치고 있음을 확인하였다. 셋째, 이용자가 ChatGPT를 이용하는 목적에 따라 신뢰의 영향력이 달라짐이 확인되었다. 이용자가 정보 검색 목적으로 ChatGPT를 활용하는 경우에는 신뢰가 사용자 만족에 영향을 미친 반면, 창작 목적으로 사용하는 경우 영향을 미치지 않는 것으로 나타났다. 본 연구의 결과가 향후 사회와 기업에 있어 생성형 AI의 도입 과정에서 신뢰성의 문제를 해결하고 성공적인 도입을 위한 정책 수립 및 개선방안 도출을 위해 활용될 수 있기를 기대한다.

Keywords

1. 서론

ChatGPT는 출시 이후 5일 만에 100만 명, 2개월 만에 사용자 1억 명을 돌파하는 등, 전세계적으로 다양한 분야에서 그 영향력을 빠르게 확장하고 있다[2, 3]. ChatGPT로 대표되는 생성형 AI는 이용자가 제시한 과제나 요구를 해결하기 위해 데이터를 스스로 학습하고, 학습한 데이터를 토대로 능동적으로 결과를 생성해내는 한층 발전된 AI 기술을 말한다. ChatGPT의 등장이 이전 AI와 다른 파급력을 가지는 이유는 대중이 직관적으로 생성형 AI를 편리하게 직접 체험할 수 있는 프론트엔드 서비스이기 때문이다[4].

그러나 ChatGPT 사용이 확대되며 결과의 신뢰성에 대한 우려 또한 많이 증가하고 있다[5-7]. 이는 허위정보 또는 할루시네이션(Hallucination, 환각)이라고 불리는 현상으로, ChatGPT가 제공한 대답에 그럴듯한 거짓 정보가 포함되는 문제를 말한다. ChatGPT의 사용량이 폭발적으로 증가할수록 이용자가 생성형 AI의 잘못된 정보를 사실로 믿을 수도 있다는 우려 또한 증가하고 있다. 실제로 지난 2023년 3월 대한상공회의소의 조사에 따르면 국민 3명 중 1명이 ChatGPT를 사용한 것으로 집계되었으며, ChatGPT를 보통 이상으로 신뢰하는 사람도 89.5%로 매우 높게 나타났다[8]. 이렇듯 생성형 AI 결과물에 대한 신뢰도가 높은 상황에, 거짓정보도 의심 없이 믿어버릴 수 있어 문제가 될 것이라는 우려이다.

본 연구는 생성형 AI의 할루시네이션 문제가 제기되는 현 상황에서 과연 신뢰가 서비스 활용가치를 저해할만한 우려인지에 대해 분석한다. 이용자가 인식하는 신뢰를 중심으로, ChatGPT의 지속사용 의도에 영향을 미치는 요인은 무엇이 있는지와, 이용자의 사용목적과 관련이 있는지를 탐색적으로 살펴보고자 한다.

이와 같은 문제의식에서 출발한 본 연구의 연구문제는 다음과 같다.

연구문제 1. ChatGPT의 지속사용의도에 영향을 미치는 요인은 무엇이 있는가?

연구문제 2. ChatGPT의 신뢰의 영향은 사용목적에 따라 달라지는가?

2. 이론적 배경

2.1 생성형 AI와 사용자 신뢰

신뢰는 인간과 인간 또는 인간과 기계나 기술 간의 관계를 이해하기 위해 그동안 사회심리학, 인적자원, 산업조직을 포함한 다양한 분야에서 연구가 진행되었다[9]. 신기술을 사용하려는 개인의 의도는 해당 기술에 대한 인식과 신념에 영향을 받는다[10]. 기술에 대한 신뢰는 일반적으로 신뢰자가 피신뢰자를 감시하거나 통제할 능력과 역량이 없음에도 불구하고 피신뢰자가 신뢰자에게 중요한 일을 수행할 것이라는 기대에 바탕을 두고, 피신뢰자의 행동을 기꺼이 믿으려는 의지로 정의된다[11, 12]. HCI(Human-Compuer Interaction)나 IT 산출물을 대상으로 한 연구에서 신뢰는 불확실성과 취약성이 특징인 상황에서 에이전트가 개인의 목표 달성에 있어 도움을 줄 것이라는 태도 또는 대상이 기대한 대로의 성능을 수행할 것이라는 믿음을 포함한 태도로 정의된다. 이때 신뢰의 정도는 설계된 목표를 달성했는지 여부에 달려있으며, 신뢰는 성능과 프로세스와 목적이라는 세 가지 차원으로 구분된다[13-15].

AI 연구에서의 신뢰는 상대의 서비스/보고 결과가 믿을 수 있으며 상대가 사용자와의 교환에 있어 의무를 다할 것이라는 믿음으로 정의된다[16]. 즉, 이때의 신뢰는 시스템이 얼마나 신뢰 가능한지를 의미한다[17]. Shin(2021)의 연구는 AI에 대한 신뢰가 높은 만족도로 이어지며 사용의도에 간접적으로 영향을 미친다는 것을 밝혔으며, Choung et al.(2022)는 TAM 모델을 이용하여 대화형 AI 기술을 수용하는 데에 있어 신뢰가 인지된 유용성과 기술에 대한 태도에 직접적인 영향을 미친다는 것을 검증하였다[17, 18].

생성형 AI 또는 AI 신뢰에 대한 국내 연구는 모델 자체의 견고성(Robustness)을 개선하기 위한 연구와 AI 기술 및 서비스에 대한 신뢰나 차별 및 편향적 오류를 해결하기 위한 법적·윤리적 쟁점과 관련된 연구에 집중되어 있다[19-28]. 해외 연구로는 ChatGPT의 이용동기가 지속사용의도에 영향을 미치는 요인에 대해 심리학적 매커니즘에 기초하여 신뢰와 오싹함이 매개변수로 작용한다는 연구가 있으나 할루시네이션에 대한 강한 우려에도 불구하고 해당 개념과 신뢰와 관련된 연구는 부족한 실정이다[29].

2.2 기대충족모델

기대충족모델(Expectation-Confirmation Model: ECM)은 기존의 소비자 행동 분야에 대한 연구에서 많이 채택되어온 기대충족이론(Expectation-Confirmation Theory: ECT)를 기술수용모델(Technology Acceptance Model: TAM)에 적용하여 정보시스템 이용자들의 행동을 설명하기 위해 제안된 모델로, PAM(Post-Acceptance Model of IS Continuance)라고도 불린다[30, 31]. 기대충족모델은 Oliver(1980; 1993)의 기대충족이론에 따라 서비스에 대한 고객의 만족과 불만족이 인지된 성과와 기대 간의 차이에 의해 형성될 것이라고 가정한다[32, 33]. Bhattacherjee(2001; 2002)은 이에 착안하여 상품의 재구매 여부를 결정하는 과정과 정보시스템의 지속 사용을 결정하는 과정이 유사하다는 가정에서 출발하여, 정보시스템 지속 사용을 설명했다[30, 31, 34]. 기대충족모델의 기본모형은 그림 1과 같다.

OTJBCD_2024_v25n1_79_f0001.png 이미지

(그림 1) 기대충족모델의 기본 모형[30]

(Figure 1) Basic Model of ECM

Bhattacherjee(2001)의 선행연구에서는 이용자 만족(Satisfaction)과 인지된 유용성(Perceived Usefulness) 변수를 정보시스템의 지속사용의도(IS Continuance Intention)에 영향을 주는 선행요인으로 고려하였다. 두 요인에 영향을 미치는 요인으로는 기대에 대한 일치 또는 충족(Confirmation)을 제안했다. 이때 기대충족 정도는 사용 전에 가진 기대와 실제로 인지한 성능 사이에 일치하는지 여부를 의미한다. 연구결과 이용자 만족과 인지된 유용성은 지속사용의도에 정의 영향을 미쳤다. 이용자가 정보시스템에 대해 예상했던 것과 유사하거나 더 높은 성능을 경험했다면 기대충족 정도는 이용자 만족과 인지된 유용성에 양의 관계가 존재하며, 반대의 경우 부정적 영향을 미치는 것으로 나타났다[30, 34]. 기대충족모델의 유용성은 이후 경영정보와 마케팅 분야의 많은 연구를 통해 검증되었다[31, 35, 36].

3. 연구방법

3.1 연구모형 및 가설

본 연구는 ChatGPT의 지속사용의도에 영향을 미치는 요인이 무엇이 있는지를 탐색하고 신뢰의 영향이 사용목적에 따라 달라지는지를 검증하는 것을 목적으로 한다. 이를 위해 기저모형인 Bhattacherjee(2001)의 기대충족모델을 확장하여 연구모형과 가설을 설정하였다. 선행연구를 바탕으로 종속변수인 지속사용의도에 영향을 미치는 독립변수로 기대충족, 인지된 유용성, 이용자 만족, 신뢰를 채택하였으며, 사용목적에 따른 차이가 있는지를 분석하기 위해 정확한 정보제공이 중요한 정보검색 목적과 다양한 생성 결과를 확인하는 것이 중요한 창작 목적의 두 가지 그룹으로 분류하여 다중그룹분석(Multi-Gropu Analysis: MGA)을 시행하였다.

연구가설을 정리하면 표 1과 같으며 연구모형의 화살표는 가설의 방향성을 의미한다. 연구가설 H1에서 H5는 Bhattacherjee(2001)의 선행연구에서 타당성이 검증되었다[30]. 신뢰가 이용자 만족에 미치는 영향에 대한 연구는 다수 이루어졌으며, 선행연구에 따라 본 연구에서도 H6과 같이 신뢰가 이용자 만족에 양의 영향을 미친다고 가정한다[37. 38]. 최종적인 연구모형은 그림 2와 같다.

(표 1) 연구가설

(Table 1) Research Hypothesis

OTJBCD_2024_v25n1_79_t0001.png 이미지

OTJBCD_2024_v25n1_79_f0002.png 이미지

(그림 2) 연구모형

(Figure 2) Research Model

3.2 변수의 조작적 정의

본 연구는 선행연구에 기반하여 변수를 채택하였다. 기대충족은 사용 전에 ChatGPT에 가진 기대와 실제로 인지한 ChatGPT의 성능 사이의 일치 여부로 정의하였다. 인지된 유용성은 정보시스템을 이용하여 특정한 일을 처리하는 데 도움을 받을 수 있는 정도로 정의되며, 사용자는 이를 이용하여 자신이 원하는 목표를 효율적으로 달성할 수 있다[39, 40]. 본 연구에서 인지된 유용성은 ChatGPT를 사용하여 요청한 업무를 처리하는 데 도움을 받을 수 있을 것이라고 생각하는 주관적인 믿음으로 정의하였다[39]. Bhattacherjee(2001) 및 후속연구를 통해 기대충족모델에서는 Oliver(1980)의 기대충족이론에 따라 서비스에 대한 고객의 만족과 불만족이 인지된 성과와 기대의 차이에 의해 형성되며, 사용자 만족은 지속적 이용의도에 긍정적인 영향을 미침을 확인하였다[30, 32]. 본 연구에서 이용자 만족은 ChatGPT 사용에 대한 만족감으로 정의하였으며, 지속이용의도는 사용자가 ChatGPT를 사용한 이후 지속적으로 사용할 의사가 있음으로 정의하였다[30]. 마지막으로 본 연구에서는 선행연구에 기초하여 신뢰를 ChatGPT가 목표를 달성하는 데에 도움을 줄 것이며 기대한 대로의 성능을 수행할 것이라는 믿음으로 정의하였다[13, 14, 17].

3.3 표본선정

3.3.1 연구표본의 특성

본 연구는 ChatGPT를 이용해 본 경험이 있는 20대와 30대를 대상으로 설문조사를 수행하였다. 20대와 30대는 ChatGPT에 대한 사전인지와 사용경험 비율이 가장 높은 연령대로 나타나 본 연구의 조사 대상으로 선정되었다[41]. 조사는 2023년 8월 10일부터 9월 5일까지 약 한 달간 진행했으며 SNS를 통해 설문링크를 배포한 후 편의적 표본 추출방법을 이용하여 응답을 수집했다. 설문조사의 결과는 연구수행의 목적으로만 사용되며 익명성과 개인 정보가 보호됨을 사전에 안내하였다. 설문조사를 통해 수집한 응답 중 불완전한 응답을 제외하고 최종적으로 총 150부가 분석에 사용되었다. 표본의 성별, 연령, 교육수준에 따른 인구통계적 특성은 표 2와 같이 정리되었다.

(표 2) 조사대상 기초통계

(Table 2) Basic Statistics (n=150)

OTJBCD_2024_v25n1_79_t0002.png 이미지

3.3.2 측정도구

본 연구는 조작적 정의를 토대로 하여 각 변수의 측정 항목을 선행연구에서 타당성과 유의성이 검증된 문항을 기반으로 연구의 맥락에 맞게 재구성하여 사용하였다. 모든 항목은 리커트 5점 척도를 사용하여 측정하였고, 모두 복수로 구성되었다. 연구에 사용된 측정도구의 구성은 표 3과 같다.

(표 3) 측정도구의 구성

(Table 3) Measuring Instrument

OTJBCD_2024_v25n1_79_t0003.png 이미지

3.4 분석방법

수집된 자료의 처리 및 분석은 통계 패키지 프로그램인 IBM SPSS 27과 SmartPLS 4.0를 이용하였다. 먼저 분석에 앞서 연구표본의 특성을 확인하기 위해 기초통계를 분석하였으며, 이후 측정항목의 수렴타당성과 신뢰성 분석을 위한 확인적 요인분석 및 판별타당성 분석을 실시하였다. 그리고 구조모형 경로분석 후 그룹 간의 차이를 보기 위해 MGA 분석을 실시하여 최종적으로 연구가설을 검정하였다.

4. 연구결과

4.1 ChatGPT 이용실태

기초통계 분석을 통하여 이용자의 ChatGPT 이용실태를 탐색하였으며, 결과를 정리하면 표 4와 같이 나타났다. 응답자들의 이용시간은 1시간 미만 이용자가 대부분을 차지했다(82.6%). 이용빈도는 한 달에 1~2회를 사용하는 경우가 가장 높고(40%), 이용상황 역시 필요할 때 가끔 사용하는 이용자가 가장 많았으며(68%). 이용형태도 무료 이용이 가장 많았다(88.7%). 이를 볼 때, 이용자는 ChatGPT를 학습이나 업무에서 필요할 때만 가끔 사용할 뿐 일상적으로 매일 사용하고 있는 것이 아니며, 따라서 더 나은 성능을 필요로 하지 않기에 유료보다 무료 버전을 더 많이 사용하는 것으로 보인다. 이용언어는 영어와 한국어를 함께 사용하는 이용자가 가장 많았다(50%). 이는 ChatGPT가 영어 중심의 LLM으로 영어를 병행하는 편이 성능이 더 좋다는 인식에서 기인한 것으로 보인다[42].

(표 4) ChatGPT 이용실태

(Talbe 4) ChatGPT Usage Status (n=150)

OTJBCD_2024_v25n1_79_t0004.png 이미지

ChatGPT를 일상에서 활용하는 데 있어 가장 큰 문제점으로 신뢰 문제를 유발하는 환각현상이 제기된다[43]. 그럼에도 불구하고 실제로 사용하는 사람들의 대다수(88.7%)는 이미 이를 인지하고 사용하고 있으며, 해당 문제가 사용을 저해하는 요인은 아니라는 사실을 이용실태 조사를 통해 확인할 수 있었다.

ChatGPT의 이용목적을 결과의 정확성이 요구되는 정보검색 목적과, 다양한 창작물 생성이 우선시되는 창작 목적의 두 그룹으로 분리하였을 때, 전자가 47.3%, 후자가 72.8%로 나타나 두 경우가 거의 비슷한 비율로 나타나고 있음을 알 수 있었다.

4.2 측정도구 검정

본 연구에서는 PLS를 사용하여 측정도구의 타당성을 검증하였다. 측정항목에 대한 수렴타당성과 신뢰성 분석을 위하여 SmartPLS 4.0를 통해 확인적 요인분석을 시행 후 검증하였다. SmartPLS는 구조방정식 모델 기법을 지원하며, 측정도구의 타당성과 연구모델의 구조모형 검정을 동시에 지원하는 프로그램이다[44, 45]. 수렴타당성 및 신뢰성 분석 결과를 정리하면 표 5와 같다.

(표 5) 수렴타당성 및 신뢰성 분석 결과

(Table 5) Construct Reliability and Validity

OTJBCD_2024_v25n1_79_t0005.png 이미지

확인적 요인분석 결과 모든 측정항목들의 표준 적채지(Loading) 값이 기준치인 0.7 이상이며, 모든 변수들의 평균추출분산(Average Variance Extracted, AVE) 값이 0.5 이상으로 나타났고, 모든 변수들의 복합신뢰도(Composite Reliability) 값은 0.7 이상으로 확인되었다. 결과적으로 수렴타당성과 신뢰성 기준에 부합하는 것이 검증되었다[46]. 모든 변수들의 Cronbach's alpha 값이 0.7 이상인 것으로 확인되어 본 연구의 측정도구에 대하여 수렴타당성과 신뢰성에 문제가 없음이 확인되었다[45].

다음으로 표 6에 정리된 것과 같이 먼저 변수의 AVE의 제곱근 값은 다른 변수들과의 상관계수 값보다 모두 큰 것으로 나타나 판별타당성이 확보되었음을 확인하였다[46, 47].

(표 6) 판별타당성 분석 결과

(Table 6) Discriminant Validity

OTJBCD_2024_v25n1_79_t0006.png 이미지

판별타당성을 추가로 검정하기 위해 HTMT(Heterotraitmonotrait Ratio of Correlations) 값을 확인한 결과, 표 7을 통해 볼 수 있듯 모든 HTMT 값은 0.9보다 작게 나타났기에 판별타당성에 문제가 없음이 재확인되었다[48, 49].

(표 7) HTMT 값 분석 결과

(Table 7) HTMT Analysis

OTJBCD_2024_v25n1_79_t0007.png 이미지

분산팽창지수(Variance Inflation Factor, VIF) 값을 분석한 결과, 모든 변수의 VIF 값이 1.590에서 5.216 사이로 나타나 모든 VIF 값이 10을 넘지 않기에 다중공선성 측면에서 역시 이상 없음이 확인되었다[44, 45].

이와 같이 본 연구의 측정도구의 적정성이 모두 검정되었다.

4.3 연구가설 및 모형 검정

가설 검정을 통해 ChatGPT의 지속사용의도에 영향을 미치는 요인을 확인하기 위하여 구조모형에 입각하여 경로분석(path analysis)를 수행하였다. 구조방정식 모형의 적합도를 판단하는 척도는 SRMR이며 0.8 미만이면 적합한데 본 연구모형은 이 기준을 충족하고 있다[50].

모형 검정을 위해 기본적 인과모형을 토대로 하여 경로분석을 실시하였다. 경로계수별 결과는 표 8과 같이 정리할 수 있다. 분석 결과 기대충족이 인지된 유용성에 미치는 영향, 기대충족이 이용자 만족에 미치는 영향, 인지된 유용성이 이용자 만족에 미치는 영향, 인지된 유용성이 지속이용 의도에 미치는 영향, 이용자 만족이 지속이용 의도에 미치는 영향이 ChatGPT 사용을 대상으로 하여서도 모두 양의 영향럭을 가지고 있음이 확인되었다. 따라서 가설 H1, H2, H3, H4, H5, H6이 전부 유의하게 나타났다. 추가로 신뢰가 이용자 만족에 미치는 영향을 살펴본 결과 이 역시 통계적으로 유의함이 확인되어 가설 H4까지 모두 채택되었다. 이로써 연구가설의 타당성이 검증되었다. 최종적으로 연구문제 1에서 언급된 ChatGPT의 지속사용의도에 독립변수 모두가 영향을 미치는 요인임이 확인되었다. 모든 가설이 유의한 결과값을 보였으며 이를 연구모형에 대입한 결과를 그림으로 나타내면 그림 3과 같이 표현할 수 있다.

(표 8) 경로분석 결과

(Table 8) Path Analysis

OTJBCD_2024_v25n1_79_t0008.png 이미지

OTJBCD_2024_v25n1_79_f0003.png 이미지

(그림 3) 연구모형 검정

(Figure 3) Research Model Test

4.4 MGA 분석

연구문제 2에 대답하기 위해 MGA를 이용하여 분석한 결과 신뢰가 이용자 만족에 미치는 영향에 있어 두 그룹 간 경로 유의성에 차이가 나타났다. MGA는 SmartPLS에서 지원하는 다중그룹분석으로 본 연구에서는 부트스트랩핑 방법(5,000 하위 표본)을 사용하여 분석하였다[51]. MGA 분석결과를 각 그룹별로 나누어 정리하면 표 9와 같다.

(표 9) MGA 분석 결과

(Table 9) Multi Group Analysis

OTJBCD_2024_v25n1_79_t0009.png 이미지

*: p<0.05; **: p<0.01; ***: p<0.001; ns: not significant.

분석 결과 연구모형과 동일하게 가설 H1a, H1b, H2a, H2b, H3은 두 그룹에서 모두 통계적으로 유의함이 확인되었다. 그러나 신뢰가 이용자 만족에 미치는 영향에 대해 정보제공 목적의 그룹에서는 양의 영향력이 미치고 있다는 가설 H4가 채택된 반면 창작 목적의 그룹에서는 해당 가설이 기각되는 결과가 나타났다. 결과적으로 ChatGPT의 이용자의 이용목적에 따라 신뢰의 영향력이 상이하다는 사실을 알 수 있었다.

5. 결론 및 향후 연구과제

본 연구는 이용자의 신뢰를 중심으로 ChatGPT를 지속 사용하고자 하는 의도에 영향을 미치는 요인은 무엇이 있으며, 그것이 이용자의 사용목적과 관련이 있는지에 대해 ChatGPT의 할루시네이션을 고려하여 탐색하였다. 종속변수에 영향을 미치는 독립변수로 기대충족, 인지된 유용성, 사용자 만족, 신뢰를 설정하여 구조모형과 연구가설을 수립하였다. 이를 위해 사용목적에 따른 신뢰의 영향을 비교하기 위해 목적별 그룹을 분리하여 차이를 비교 분석하였다. 이를 위해 Bhattacherjee의 기대충족모델(ECM)을 기저모형으로 참조하여 연구모델을 구성하였으며, 통계적 분석으로 구조모형 검정과 MGA 분석을 수행하였다.

주요 분석결과는 다음과 같다. 첫째, ChatGPT의 이용 실태를 확인해본 결과 이용자는 ChatGPT를 일상적인 도구로서 사용하기 보다 특정 목적이나 필요에 따라 가끔 사용하며, 이때 대부분의 이용자가 ChatGPT의 할루시네이션을 사전에 인지하고 있음에도 그것이 사용을 저해하는 요인은 아니었음을 알 수 있었다. 둘째, 가설검정 결과 독립변수인 기대충족, 인지된 유용성, 사용자 만족 요인 모두가 종속변수인 지속이용의도에 영향을 미치고 있음을 확인할 수 있었다. 이는 기저모형인 Bhattacherjee(2001)의 연구결과와도 일치하며, 여기에 추가로 신뢰라는 변수가 이용자 만족에 긍정적 영향을 미치고 있음 역시 확인할 수 있었다. 셋째, 이용자가 ChatGPT를 사용하는 목적에 따라 신뢰의 영향력이 달라지고 있음이 분석을 통해 확인되었다. 이용자가 정보검색, 프로그래밍 코드 작성, 튜터링 등 결과물의 정확성이 요구되는 정보검색 목적으로 ChatGPT를 활용할 경우 신뢰가 사용자 만족의 정의 영향을 미쳤다. 그러나 아이디어 도출이나 텍스트 작성, 창작물 생성 등 다양한 결과물 도출 요구되는 창작 목적으로 ChatGPT를 활용할 경우 신뢰가 사용자 만족에 영향을 미치지 않는 것으로 나타났다. 이는 목적에 따라 신뢰의 영향력이 명백하게 차이를 보이고 있다고 해석될 수 있다.

본 연구는 기대충족모델이라는 기존 이론을 기반으로 ChatGPT라는 새로운 대상에 적용하고 신뢰라는 변수를 추가하여 이론의 범용성과 적용 가능성을 확장하였다는 학술적 의의가 있다. 또한 ChatGPT로 대표되는 생성형 AI를 이용함에 있어 신뢰가 어떤 경우 영향을 미치는지를 확인하였다는 함의를 가진다. 생성형 AI의 이용자 태도에 대해 논할 때 결과물의 신뢰성을 확인하고 할루시네이션을 경계하며 이용해야 한다는 의견이 많으나, 연구 결과 이용자 입장에서는 목적에 따라 신뢰가 담보되지 않아도 실제로 만족스럽게 이용하고 있는 모습을 보임을 알 수 있었다. 실무적 측면에서의 연구의 함의는 다음과 같다. 할루시네이션에 대한 염려를 이유로 생성형 AI의 사용을 무작정 경계하기보다, 단순 정보검색 목적보다 창조적인 목적에서 창의성 보조 도구인 창의성 엔진(Creativity Engine)로 사용함으로써 생산성을 증대시키는 방향을 권장할 수 있다[52]. 본 연구결과를 바탕으로 생성형 AI를 도입하고자 하나 신뢰성의 문제에 부딪혀 고민하고 있던 공공기관이나 기업에서 정책 수립 및 성공적인 도입을 위한 개선방안의 기초자료로 활용할 수 있을 것이다.

그러나 본 연구는 표본이 밀레니얼 세대인 20대와 30대만으로 구성되어 있어 연령대가 한정되어 있다는 한계성을 내포한다. 뿐만 아니라 설문응답자의 인구통계학적 특성에서 확인할 수 있듯, 아직 ChatGPT는 일상적으로 활용되지 않았으며 필요에 따라 일부 사용에 그치고 있는 상황이다. 그러므로 생성형 AI의 일상적인 사용에 있어 사회적 공감대가 형성된 이후 추가 연구가 이루어져야 할 것이다. 이러한 한계점을 극복하기 위해 후속 연구에서는 생성형 AI의 사용이 보다 확산된 이후 다양한 연령대와 더 넓은 표본을 대상으로 데이터를 수집하여 더욱 정확하고 신뢰할 수 있는 결과가 도출될 수 있도록 연구를 수행하고자 한다. 향후에서는 2030만이 아닌 더 폭넓은 연령대로 확대하여, 전공에 따른 차이나 직군에 의한 차이를 반영한 연구가 수행될 수 있을 것이다. 현재 생성형 AI의 결과에 대한 신뢰 뿐만 아니라 학습데이터 자체에 내포되어 있는 정치적 편향에 대한 문제 등 AI를 둘러싼 여러 이슈가 새롭게 제기되고 있다. 따라서 본 연구가 생성형 AI의 신뢰성에 대한 논의의 기초가 되어, 향후 생성형 AI에 나타나는 정치적 편향이 이용자 신뢰와 수용의도에 영향을 미치는지, 정치적 편향의 영향력 역시 사용 목적에 따라 달라지는지에 대한 연구 등으로 심화되기를 기대한다.

References

  1. Soyon Kim, "Is Trust Matters?" An ExpectationConfirmation Approach to the Users' Continued Use of Chat GPT in Academic Environments, The 7th International Conference on Education and Multimedia Technology - ICEMT 2023, Tokyo, Japan, August 29-31, 2023.
  2. Y. K. Dwivedi, N. Kshetri, L. Hughes, E. L. Slade, A.Jeyaraj, A. K. Kar, A. M. Baabdullah, A. Koohang, V. Raghavan, and M Ahuja, "So what if ChatGPT wrote it?" Multidisciplinary perspectives on opportunities, challenges and implications of generative conversational AI for research, practice and policy, International Journal of Information Management, Vol 71, pp.102642, 2023. https://doi.org/10.1016/j.ijinfomgt.2023.102642
  3. Jinyoung Kwon, "ChatGPT Achieves 100 Million MAU... 15 Times Faster Growth than Instagram," News1, February 3, 2023. https://www.news1.kr/articles/?4942589
  4. Jihoon Yang, and Sanghyuk Yoon, "Beyond ChatGPT: Entering the Era of Generative AI - Cases of Media and Content Creation AI Services and Strategies to Secure Competitiveness", MEDIA ISSUE&TREND, Vol.55, pp.62-70, 2023. https://www.kca.kr/Media_Issue_Trend/vol55/KCA55_22_domestic.jsp
  5. Ministry of the Interior and Safety, "Guide to Using ChatGPT and Precautions" (2023.5.9.). https://www.mois.go.kr/frt/bbs/type010/commonSelectBoardArticle.do?bbsId=BBSMSTR_000000000008&nttId=100278
  6. Pilwoong Seo, "The Greatest Technology... But Must Be Handled With Extreme Caution [Evolving ChatGPT]," Segye Ilbo, March 19, 2023. https://segye.com/view/20230319508461
  7. Seongwon An, Jaehong Yoo, Wonyoung Jo, Jaewon Noh, and Hyohyun Son, "Rise of Hyper-scale LLM(Large Language Model) and issues", Monthly Software Oriented Society, Vol.105, pp.14-47, 2023. https://spri.kr/posts/view/23570?code=magazine
  8. Jihye Son, "[ET Talk] To Restore Trust in Generative AI," Electronic Times, July 9, 2023. https://www.etnews.com/20230707000167
  9. M. Lewis, K. Sycara, and P. Walker, "The role of trust in human-robot interaction", Foundations of trusted autonomy, Vol.117, pp.135-159, 2018. https://doi.org/10.1007/978-3-319-64816-3_8
  10. I. Ajzen, "The theory of planned behaviour is alive and well, and not ready to retire: a commentary on Sniehotta, Presseau, and Araujo-Soares", Health psychology review, Vol.9, No.2, pp.131-137, 2015. https://doi.org/10.1080/17437199.2014.883474
  11. R. C. Mayer, J. H. Davis, & F. D. Schoorman, "An integrative model of organizational trust", Academy of management review, Vol.20, No.3, pp.709-734, 1995. https://doi.org/10.5465/amr.1995.9508080335
  12. Soo-ah Park, and Sejung Marina Choi, "A Understanding the Factors Influencing Satisfaction and Continued Use Intention of AI speakers: Focusing on the Utilitarian and Hedonic Values", Information Society & Media, Vol.19, No.3, pp.159-182, 2018. http://dx.doi.org/10.52558/ISM.2018.12.19.3.159
  13. N. Moray, and T. Inagaki, "Laboratory studies of trust between humans and machines in automated systems", Transactions of the Institute of Measurement and Control, Vol.21, No.4-5, pp.203-211, 1999. https://doi.org/10.1177/01423312990210040
  14. J. D. Lee, and K. A. See, "Trust in automation: Designing for appropriate reliance", Human factors, Vo.46, No.1, pp.50-80, 2004. https://doi.org/10.1518/hfes.46.1.50_30392
  15. M. Sollner, A.Hoffmann, and J. M. Leimeister, "Why different trust relationships matter for information systems users", European Journal of Information Systems, Vol.25, No.3, pp.274-287, 2016. https://doi.org/10.1057/ejis.2015.17
  16. D. Shin, and Y. J. Park, "Role of fairness, accountability, and transparency in algorithmic affordance", Computers in Human Behavior, Vol.98, pp.277-284, 2019. https://doi.org/10.1016/j.chb.2019.04.019
  17. D. Shin, "The effects of explainability and causability on perception, trust, and acceptance: Implications for explainable AI", International Journal of human-computer studies, Vol.146, pp.102551, 2021. https://doi.org/10.1016/j.ijhcs.2020.102551
  18. H. Choung, P. David, and A. Ross, "Trust in AI and its role in the acceptance of AI technologies", International Journal of Human-Computer Interaction,
  19. Eun-gyu Lee, Si-on Jeong, Hyun-woo Lee, and Taejin Lee, "A Study on Robustness Evaluation and Improvement of AI Model for Malware Variation Analysis", Journal of The Korea Institute of Information Security and Cryptology, Vol.32, No.5, pp.997-1008, 2022. http://dx.doi.org/10.13089/JKIISC.2022.32.5.997
  20. Si-on Jeong, Tae-hyun Han, Sueng-Bum Lim, and Taejin Lee, "A Study on Effective Adversarial Attack Creation for Robustness Improvement of AI Models", Journal of The Korea Institute of Information Security and Cryptology, Vol.24, No.4, pp.25-36, 2023. http://dx.doi.org/10.7472/jksii.2023.24.4.25
  21. Gil-soo Kim, "A Study on the Trust of Artificial Intelligence", Korean Journal of Local Government & Administration Studies, Vol.34, No.3, pp.21-41, 2020. http://dx.doi.org/10.18398/kjlgas.2020.34.3.21
  22. Dong Kyoo Sung, and Jang-Suk Lee, "A Study on the Factors Affecting the Satisfaction and Continuation Intention of Chinese AI News Application", Journal of Digital Contents Society, Vol.21, no.11, pp.1927-1937, 2020. http://dx.doi.org/10.9728/dcs.2020.21.11.1927
  23. Minhee Son, "An Exploratory Study on Factors Influencing Consumers' Trust on and Intention to Use Robo-advisor : Focusing on the Mediating Role of Trust on Robo-advisor", The e-Business Studies, Vol.22, No.5, pp.69-92, 2021. http://dx.doi.org/10.20462/tebs.2021.10.22
  24. Changki Jang, Deokwon Heo, and Wookjoon Sung, "Effects on the continuous use intention of AI-based voice assistant services: Focusing on the interaction between trust in AI and privacy concerns", Informatization Policy, Vol.30, No.2, pp.22-45, 2023. https://doi.org/10.22693/NIAIP.2023.30.2.02
  25. Chang-Kyu Lee, "A Study of ensure the trustworthiness of artificial intelligence", The Digital Ethics, Vol.6, No.2, pp.28-45, 2022.
  26. Do Kyung Kim, "A Study on Copyright Law Issues to Improve Trustworthiness of Artificial Intelligence", Journal of Business Administration & Law, Vol.33, No.4, pp.177-235, 2023.
  27. Young Hoa Son, "Research on AI fairness - Achieving an AI-inclusive society without discrimination -", HAN YANG LAW REVIEW, Vol.34, No.3, pp.275-304, 2023. https://doi.org/10.35227/HYLR.2023.8.34.3.275
  28. Sungkyoung Jang, Unso Jo, and Sangchul Park, "The Misuse of Generative AI for Deception: Status Quo, Mitigating Technologies, and Legal Challenges", Korea Economic Law Association, Vol.22, No.2, pp.3-39, 2023.
  29. Tae Hyun Baek, and Kim Minseong, "Is ChatGPT scary good? How user motivations affect creepiness and trust in generative artificial intelligence.", Telematics and Informatics, Vol.83, 2023, pp.102030. https://doi.org/10.1016/j.tele.2023.102030
  30. A. Bhattacherjee, "Understanding information systems continuance: An expectation-confirmation model", MIS quarterly, Vol.25, No.3, pp.351-370, 2001. https://doi.org/10.2307/3250921
  31. A. Bhattacherjee, "Individual trust in online firms: Scale development and initial test". Journal of management information systems, Vol.19, No.1, pp.211-241, 2002. https://doi.org/10.1080/07421222.2002.11045715
  32. R. L. Oliver, "A cognitive model of the antecedents and consequences of satisfaction decisions", Journal of marketing research, Vol.17, No.4, pp.460-469. 1980. https://doi.org/10.1177/002224378001700405
  33. R. L. Oliver, "Cognitive, Affective, and Attribute Bases of the Satisfaction Response", Journal of Consumer Research, Vol.20, No.3, pp.418-430, 1993. https://doi.org/10.1086/209358
  34. Byoungsoo Kim, Jongwon Lee, and Young Sik Kang, "A Study of a User's Continuous Usage Behavior in a Mobile Data Service Platform: The Roles of Perceived Fee and Perceived Anxiety", Information Systems Review, Vol.12, No.1, pp.209-227, 2010. UCI:G704-001116.2010.12.1.008
  35. C. S. Lin, S. Wu, and R. J. Tsai, "Integrating perceived playfulness into expectation-confirmation model for web portal context", Information & management, Vol.42, No.5, pp.683-693, 2005. https://doi.org/10.1016/j.im.2004.04.003
  36. J. Y. Thong, S.-J. Hong, and K. Y. Tam, "The effects of post-adoption beliefs on the expectation-confirmation model for information technology continuance", International Journal of human-computer studies, Vol, 64, No.9, pp.799-810, 2006. https://doi.org/10.1016/j.ijhcs.2006.05.001
  37. M. U. H. Uzir, H. Al Halbusi, R. Thurasamy, R. L. T. Hock, M. A. Aljaberi, N. Hasan, and M. Hamid, "The effects of service quality, perceived value and trust in home delivery service personnel on customer satisfaction: Evidence from a developing country", Journal of Retailing and Consumer Services, Vol.63, 102721, 2021. https://doi.org/10.1016/j.jretconser.2021.102721
  38. M. I. Khan, J. M. Loh, A. Hossain, and M. J. H. Talukder, "Cynicism as strength: Privacy cynicism, satisfaction and trust among social media users.", Computers in Human Behavior, Vol.142, 107638, 2023. https://doi.org/10.1016/j.chb.2022.107638
  39. F. D. Davis, "Perceived usefulness, perceived ease of use, and user acceptance of information technology", MIS quarterly, Vol.13, No.3, pp.319-340, 1989. https://doi.org/10.2307/249008
  40. Dae Jin Kim, and Jin Soo Kim, "A Study on the Strategies for Improving User Satisfaction and Continuous Usage of Social Network Service", Information systems review, Vol.17, No.1, pp.171-197. http://dx.doi.org/10.14329/isr.2015.17.1.171
  41. Jung-Ae Yang, "ChatGPT Usage Experience and Perception Survey", Media Issue, Vol.9, No.3, pp.1-15, 2003. https://www.kpf.or.kr/front/research/selfDetail.do?seq=595547
  42. Jeonghyun Lee, Hannim Bae, Taebum Choi, ""ChatGPT? It's Weak for Korean"... The Breakthrough for Naver.Kakao Lagging in Speed Race", MoneyToday, March 23, 2023. https://news.mt.co.kr/mtview.php?no=2023032217471383495
  43. Kyungtak Lee, "[Smart Cloud Show 2023] "AI, Development Can't be Stopped Even with Risks... Hallucination Phenomenon to be Solved in 2~3 Years"", ChosunBiz, September 21, 2023. https://biz.chosun.com/it-science/ict/2023/09/21/BAVZ5BWYEZHYLIOKUH4TSPY7Q4/?utm_source=naver&utm_medium=original&utm_campaign=biz
  44. W. W. Chin, B. L. Marcolin, and P. R. Newsted, "A partial least squares latent variable modeling approach for measuring interaction effects: Results from a Monte Carlo simulation study and an electronic-mail emotion/adoption study", Information systems research, Vol.14, No.2, pp.189-217, 2003. https://doi.org/10.1287/isre.14.2.189.16018
  45. Ae Ri Lee, "A Comparative Study by Service Type and Generation on the Factors Affecting the Intention to Use Vehicle Mobility Service", Knowledge Management Research, Vol.23, No.1, pp.111-131, 2022. http://dx.doi.org/10.15813/kmr.2022.23.1.006
  46. D. Gefen, D. Straub, and M. C. Boudreau, "Structural equation modeling and regression: Guidelines for research practice", Communications of the Association for Information Systems, Vol.4, No.1, pp.1-77, 2000. https://doi.org/10.17705/1CAIS.00407
  47. C. Fornell, and D. F.Larcker, "Evaluating structural equation models with unobservable variables and measurement error", Journal of Marketing Research, Vol.18, No.1, 39-50, 1981. https://doi.org/10.1177/002224378101800104
  48. J. Henseler, C. M. Ringle, and M. Sarstedt, "A new criterion for assessing discriminant validity in variance-based structural equation modeling", Journal of the Academy of Marketing Science, Vol, 43, No.1, 115-135, 2014. https://doi.org/10.1007/s11747-014-0403-8
  49. A. S. M. Yusoff, F. S. Peng, F. Z. Abd Razak, and W. A. Mustafa, "Discriminant validity assessment of religious teacher acceptance: The use of HTMT criterion", Journal of Physics: Conference Series, Vol. 1529, No.4, pp.1-7, 2020. https://doi.org/10.1088/1742-6596/1529/4/042045
  50. Li-tze Hu, and Peter M. Bentler, "Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives", Structural equation modeling: a multidisciplinary journal, Vol.6, No.1, pp.1-55, 1999. https://doi.org/10.1080/10705519909540118
  51. M. Sarstedt, J. Henseler, and C. M. Ringle, (2011). "Multigroup analysis in partial least squares (PLS) path modeling: Alternative methods and empirical results", In Measurement and research methods in international marketing, pp. 195-218, Emerald Group Publishing Limited, 2011. https://doi.org/10.1108/S1474-7979(2011)0000022012
  52. Seongyeol Roh, "Generative AI Should Be Used as a Creative Aid, Not Just for Information Retrieval," Munhwa Ilbo, September 19, 2023. https://www.munhwa.com/news/view.html?no=2023091901070305009002