• 제목/요약/키워드: Software classification

검색결과 890건 처리시간 0.03초

Fully Automatic Coronary Calcium Score Software Empowered by Artificial Intelligence Technology: Validation Study Using Three CT Cohorts

  • June-Goo Lee;HeeSoo Kim;Heejun Kang;Hyun Jung Koo;Joon-Won Kang;Young-Hak Kim;Dong Hyun Yang
    • Korean Journal of Radiology
    • /
    • 제22권11호
    • /
    • pp.1764-1776
    • /
    • 2021
  • Objective: This study aimed to validate a deep learning-based fully automatic calcium scoring (coronary artery calcium [CAC]_auto) system using previously published cardiac computed tomography (CT) cohort data with the manually segmented coronary calcium scoring (CAC_hand) system as the reference standard. Materials and Methods: We developed the CAC_auto system using 100 co-registered, non-enhanced and contrast-enhanced CT scans. For the validation of the CAC_auto system, three previously published CT cohorts (n = 2985) were chosen to represent different clinical scenarios (i.e., 2647 asymptomatic, 220 symptomatic, 118 valve disease) and four CT models. The performance of the CAC_auto system in detecting coronary calcium was determined. The reliability of the system in measuring the Agatston score as compared with CAC_hand was also evaluated per vessel and per patient using intraclass correlation coefficients (ICCs) and Bland-Altman analysis. The agreement between CAC_auto and CAC_hand based on the cardiovascular risk stratification categories (Agatston score: 0, 1-10, 11-100, 101-400, > 400) was evaluated. Results: In 2985 patients, 6218 coronary calcium lesions were identified using CAC_hand. The per-lesion sensitivity and false-positive rate of the CAC_auto system in detecting coronary calcium were 93.3% (5800 of 6218) and 0.11 false-positive lesions per patient, respectively. The CAC_auto system, in measuring the Agatston score, yielded ICCs of 0.99 for all the vessels (left main 0.91, left anterior descending 0.99, left circumflex 0.96, right coronary 0.99). The limits of agreement between CAC_auto and CAC_hand were 1.6 ± 52.2. The linearly weighted kappa value for the Agatston score categorization was 0.94. The main causes of false-positive results were image noise (29.1%, 97/333 lesions), aortic wall calcification (25.5%, 85/333 lesions), and pericardial calcification (24.3%, 81/333 lesions). Conclusion: The atlas-based CAC_auto empowered by deep learning provided accurate calcium score measurement as compared with manual method and risk category classification, which could potentially streamline CAC imaging workflows.

인공지능 문장 분류 모델 Sentence-BERT 기반 학교 맞춤형 고등학교 통합과학 질문-답변 챗봇 -개발 및 1년간 사용 분석- (A School-tailored High School Integrated Science Q&A Chatbot with Sentence-BERT: Development and One-Year Usage Analysis)

  • 민경모;유준희
    • 한국과학교육학회지
    • /
    • 제44권3호
    • /
    • pp.231-248
    • /
    • 2024
  • 본 연구에서는 오픈소스 소프트웨어와 인공지능 문서 분류 모델인 한국어 Sentence-BERT로 고등학교 1학년 통합과학 질문-답변 챗봇을 제작하고 2023학년도 1년 동안 독립형 서버에서 운영했다. 챗봇은 Sentence-BERT 모델로 학생의 질문과 가장 유사한 질문-답변 쌍 6개를 찾아 캐러셀 형태로 출력한다. 질문-답변 데이터셋은 인터넷에 공개된 자료를 수집하여 초기 버전을 구축하였고, 챗봇을 1년 동안 운영하면서 학생의 의견과 사용성을 고려하여 자료를 정제하고 새로운 질문-답변 쌍을 추가했다. 2023학년도 말에는 총 30,819개의 데이터셋을 챗봇에 통합하였다. 학생은 챗봇을 1년 동안 총 3,457건 이용했다. 챗봇 사용 기록을 빈도분석 및 시계열 분석한 결과 학생은 수업 중 교사가 챗봇 사용을 유도할 때 챗봇을 이용했고 평소에는 방과 후에 자습하면서 챗봇을 활용했다. 학생은 챗봇에 한 번 접속하여 평균적으로 2.1~2.2회 정도 질문했고, 주로 사용한 기기는 휴대폰이었다. 학생이 챗봇에 입력한 용어를 추출하고자 한국어 형태소 분석기로 명사와 용언을 추출하여 텍스트 마이닝을 진행한 결과 학생은 과학 질문 외에도 시험 범위 등의 학교생활과 관련된 용어를 자주 입력했다. 학생이 챗봇에 자주 물어본 주제를 추출하고자 Sentence-BERT 기반의 BERTopic으로 학생의 질문을 두 차례 범주화하여 토픽 모델링을 진행했다. 전체 질문 중 88%가 35가지 주제로 수렴되었고, 학생이 챗봇에 주로 물어보는 주제를 추출할 수 있었다. 학년말에 학생을 대상으로 한 설문에서 챗봇이 캐러셀 형태로 결과를 출력하는 형태가 학습에 효과적이었고, 통합과학 학습과 학습 목적 이외의 궁금증이나 학교생활과 관련된 물음에 답해주는 역할을 수행했음을 확인할 수 있었다. 본 연구는 공교육 현장에서 학생이 실제로 활용하기에 적합한 챗봇을 개발하여 학생이 장기간에 걸쳐 챗봇을 사용하는 과정에서 얻은 데이터를 분석함으로써 학생의 요구를 충족할 수 있는 챗봇의 교육적 활용 가능성을 확인했다는 점에 의의가 있다.

데이터마이닝 기법을 활용한 대학수학능력시험 영어영역 정답률 예측 및 주요 요인 분석 (Prediction of Correct Answer Rate and Identification of Significant Factors for CSAT English Test Based on Data Mining Techniques)

  • 박희진;장경애;이윤호;김우제;강필성
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권11호
    • /
    • pp.509-520
    • /
    • 2015
  • 대학수학능력시험(수능)은 고등학교 3년간의 학업 성취도를 측정하는 대표적인 평가 도구로서 대한민국 대학 입시에 있어 매우 중요한 역할을 하는 시험이다. 응시생들의 학업 성취도를 효과적으로 평가하기 위해서는 수능의 난이도가 적절하게 조절되어야 하나 지금까지는 수능 난이도의 편차가 매우 크게 나타나 매 입시연도마다 여러 가지 문제점을 야기해왔다. 본 연구에서는 전문가의 판단에 의존한 기존 방식에서 벗어나 지금까지 시행된 모의고사 및 실제 시험을 통해 축적된 자료를 바탕으로 데이터마이닝 기법을 적용하여 영어영역 문제의 난이도를 예측하는 모델을 구축하고 난이도 예측에 영향을 미치는 요소를 판별하고자 한다. 이를 위해 각 문항의 특성을 판별할 수 있는 여러 지표와 함께 지문, 문제, 답안 등에 나타난 단어들의 특징을 토픽 모델링(topic modeling) 기법을 이용하여 정량화하고 이를 바탕으로 선형회귀분석 및 의사결정나무 기법을 이용하여 각 문항의 난이도를 예측하는 모델을 구축하였다. 구축된 예측 모델을 실제 문제에 적용한 결과 난이도의 상/하 구분에 대한 예측 정확도는 90% 수준으로 나타났으며, 실제 정답률 대비 오차 비율은 약 16% 이내인 것으로 나타났다. 또한 배점 및 문제 유형이 문제의 난이도에 큰 영향을 미치며 지문이 특정 주제에 관련된 경우에도 난이도에 영향을 미치는 것을 확인하였다. 본 연구에서 제시된 방법론을 이용하여 영어영역 각 문제들에 대한 기대 정답률의 범위를 추정할 수 있으며 이를 종합하여 영어영역 전체 문제에 대한 정답률 예측을 통해 적절한 난이도의 문제를 출제하는 데 기여할 수 있을 것으로 기대한다.

사이버 킬체인 기반 사이버 지휘통제체계 방어 및 공격 모델 연구 (A Study on Defense and Attack Model for Cyber Command Control System based Cyber Kill Chain)

  • 이정식;조성영;오행록;한명묵
    • 인터넷정보학회논문지
    • /
    • 제22권1호
    • /
    • pp.41-50
    • /
    • 2021
  • 사이버 킬체인 (Cyber Kill Chain)은 기존의 군사적 용어인 킬체인 (Kill Chain)에서 유래한다. 킬체인은 "파괴를 요구하는 군사 표적을 탐지하는 것에서 파괴하는 것까지의 연속적이고 순환적인 처리 과정 또는 그것을 몇 개의 구분된 행위로 나눈 것"을 의미한다. 킬체인은 핵무기나 미사일과 같이 위치가 변화하고 위험성이 커서 즉각적인 대응을 요구하는 시한성 긴급 표적을 효과적으로 다루기 위해 기존의 작전절차를 발전시켰으며, 방어자가 파괴를 필요로 하는 핵무기나 미사일이 타격점에 도달하기까지의 여러 과정 중 한 단계라도 제 기능을 발휘하지 못하게 하여 공격자가 의도한 목적을 달성하지 못하도록 무력화하는 군사적 개념에서 시작되었다고 볼 수 있다. 이러한 사이버 킬체인의 기본 개념은 사이버 공격자가 수행하는 공격은 각 단계로 구성되어 있으며, 사이버 공격자는 각 단계가 성공적으로 수행되어야 공격 목표를 달성할 수 있으며, 이를 방어 관점에서 보았을 때 각 단계에서 세부적으로 대응 절차를 마련하여 대응하면 공격의 체인 (chain)이 끊어지므로 공격자의 공격을 무력화하거나 지연시킬 수 있다고 본다. 또한 공격 관점에서 보았을 때 각 단계에서 구체적인 대응 절차를 마련하면 공격의 체인이 성공하여 공격대상을 무력화시킬수 있다. 사이버 지휘통제체계는 방어와 공격에 모두 적용되는 체계로 방어시 적의 킬체인을 무력화하기 위한 방어 대응 방안을 제시하여야 하며 공격시에는 적을 무력화하기 위한 각 단계별 구체적인 절차를 제시하여야 한다. 따라서 본 논문은 사이버 지휘통제체계의 방어 및 공격 관점의 사이버 킬체인 모델을 제안하였으며, 또한 방어 측면의 사이버 지휘통제제계의 위협 분류/분석/예측 프레임워크를 제시하였다.

가정간호사업 운용을 위한 정보전달체계 개발 I (가정간호 데이터베이스 구축과 뇌졸중 환자의 가정간호 전산개발) (Development of the Information Delivery System for the Home Nursing Service)

  • 박정호;김매자;홍경자;한경자;박성애;윤순녕;이인숙;조현;방경숙
    • 가정간호학회지
    • /
    • 제4권
    • /
    • pp.5-22
    • /
    • 1997
  • The purpose of the study was to development an information delivery system for the home nursing service, to demonstrate and to evaluate the efficiency of it. The period of research conduct was from September 1996 to August 31, 1997. At the 1st stage to achieve the purpose, Firstly Assessment tool for the patients with cerebral vascular disease who have the first priority of HNS among the patients with various health problems at home was developed through literature review. Secondly, after identification of patient nursing problem by the home care nurse with the assessment tool, the patient's classification system developed by Park (1988) that was 128 nursing activities under 6 categories was used to identify the home care nurse's activities of the patient with CAV at home. The research team had several workshops with 5 clinical nurse experts to refine it. At last 110 nursing activities under 11 categories for the patients with CVA were derived. At the second stage, algorithms were developed to connect 110 nursing activities with the patient nursing problems identified by assessment tool. The computerizing process of the algorithms is as follows: These algorithms are realized with the computer program by use of the software engineering technique. The development is made by the prototyping method, which is the requirement analysis of the software specifications. The basic features of the usability, compatibility, adaptability and maintainability are taken into consideration. Particular emphasis is given to the efficient construction of the database. To enhance the database efficiency and to establish the structural cohesion, the data field is categorized with the weight of relevance to the particular disease. This approach permits the easy adaptability when numerous diseases are applied in the future. In paralleled with this, the expandability and maintainability is stressed through out the program development, which leads to the modular concept. However since the disease to be applied is increased in number as the project progress and since they are interrelated and coupled each other, the expand ability as well as maintainability should be considered with a big priority. Furthermore, since the system is to be synthesized with other medical systems in the future, these properties are very important. The prototype developed in this project is to be evaluated through the stage of system testing. There are various evaluation metrics such as cohesion, coupling and adaptability so on. But unfortunately, direct measurement of these metrics are very difficult, and accordingly, analytical and quantitative evaluations are almost impossible. Therefore, instead of the analytical evaluation, the experimental evaluation is to be applied through the test run by various users. This system testing will provide the viewpoint analysis of the user's level, and the detail and additional requirement specifications arising from user's real situation will be feedback into the system modeling. Also. the degree of freedom of the input and output will be improved, and the hardware limitation will be investigated. Upon the refining, the prototype system will be used as a design template. and will be used to develop the more extensive system. In detail. the relevant modules will be developed for the various diseases, and the module will be integrated by the macroscopic design process focusing on the inter modularity, generality of the database. and compatibility with other systems. The Home care Evaluation System is comprised of three main modules of : (1) General information on a patient, (2) General health status of a patient, and (3) Cerebrovascular disease patient. The general health status module has five sub modules of physical measurement, vitality, nursing, pharmaceutical description and emotional/cognition ability. The CVA patient module is divided into ten sub modules such as subjective sense, consciousness, memory and language pattern so on. The typical sub modules are described in appendix 3.

  • PDF

의료질평가지원금 제도의 의약품안전사용서비스 평가지표 도입에 따른 의료기관의 행태 변화 (Changes in the Behavior of Healthcare Organizations Following the Introduction of Drug Utilization Review Evaluation Indicators in the Healthcare Quality Evaluation Grant Initiative)

  • 김현정;유기봉;원영주;장한솔;이광수
    • 보건행정학회지
    • /
    • 제34권2호
    • /
    • pp.178-184
    • /
    • 2024
  • 연구배경: 본 연구는 의료질평가지원금 drug utilization review (DUR) 평가지표 도입 전·후의 DUR 점검률 및 의약품 중복처방 예방률 변화 차이를 비교하여 DUR 평가지표의 도입과 안전한 의약품 사용 간의 효과성을 파악하고자 한다. 방법: 본 연구는 2018년 건강보험심사평가원(Health Insurance Review and Assessment Service) DUR 자료(DUR 평가지표 도입 전)와 2023년 의료질평가지원금 평가 결과 산출 자료(DUR 평가지표 도입 후)를 활용하였다. 종속변수는 DUR 평가지표로, DUR 점검률과 의약품 중복처방 예방률 지표를 활용하였다. 독립변수는 DUR 평가지표 도입 여부이며, 통제변수는 의료기관 단위변수로, 종별 구분, 설립 구분, 소재지, DUR 청구 software 업체, 병상 수를 선정하였다. 결과: DUR 평가지표 도입 전·후의 의약품 중복처방 예방률 변화 차이를 분석한 결과, DUR 평가지표 도입 전·후의 의약품 중복처방 예방률은 통계적으로 유의미한 차이가 있었으며, DUR 평가지표 도입 후 의약품 중복처방 예방률이 유의미하게 증가하였다. 결론: 본 연구의 정책적 시사점은 다음과 같다. 첫째, DUR 시스템의 지속적인 평가 진행이 필요하다. 본 연구를 통해 DUR 평가지표 도입 후 의약품 중복처방 예방률이 유의하게 증가한 것을 확인하였다. 따라서 DUR 시스템의 효과를 계속해서 검토하고 의약품 사용의 안전성을 확대하기 위해 DUR 시스템의 지속적인 평가 진행이 필요할 것으로 판단된다. 둘째, DUR 시스템 정보를 활용하는 의료기관과 이를 관리하는 기관과의 협력 파트너십 구축이 필요하다. 의료기관의 적극적인 DUR 점검 참여와 관리기관의 다각적인 지원을 바탕으로 공동의 노력과 협력이 이루어진다면, DUR 시스템의 활성화를 통해 안전한 의약품 사용을 보장하고 국민건강을 보호하며, 의료의 질적 수준 향상을 불러올 것으로 판단된다.

데이터 웨어하우징의 구현성공과 시스템성공 결정요인 (Factors Affecting the Implementation Success of Data Warehousing Systems)

  • 김병곤;박순창;김종옥
    • 한국정보기술응용학회:학술대회논문집
    • /
    • 한국정보기술응용학회 2007년도 춘계학술대회
    • /
    • pp.234-245
    • /
    • 2007
  • The empirical studies on the implementation of data warehousing systems (DWS) are lacking while there exist a number of studies on the implementation of IS. This study intends to examine the factors affecting the implementation success of DWS. The study adopts the empirical analysis of the sample of 112 responses from DWS practitioners. The study results suggest several implications for researchers and practitioners. First, when the support from top management becomes great, the implementation success of DWS in organizational aspects is more likely. When the support from top management exists, users are more likely to be encouraged to use DWS, and organizational resistance to use DWS is well coped with increasing the possibility of implementation success of DWS. The support of resource increases the implementation success of DWS in project aspects while it is not significantly related to the implementation success of DWS in organizational aspects. The support of funds, human resources, and other efforts enhances the possibility of successful implementation of project; the project does not exceed the time and resource budgets and meet the functional requirements. The effect of resource support, however, is not significantly related to the organizational success. The user involvement in systems implementation affects the implementation success of DWS in organizational and project aspects. The success of DWS implementation is significantly related to the users' commitment to the project and the proactive involvement in the implementation tasks. users' task. The observation of the behaviors of competitors which possibly increases data quality does not affect the implementation success of DWS. This indicates that the quality of data such as data consistency and accuracy is not ensured through the understanding of the behaviors of competitors, and this does not affect the data integration and the successful implementation of DWS projects. The prototyping for the DWS implementation positively affects the implementation success of DWS. This indicates that the extent of understanding requirements and the communication among project members increases the implementation success of DWS. Developing the prototypes for DWS ensures the acquirement of accurate or integrated data, the flexible processing of data, and the adaptation into new organizational conditions. The extent of consulting activities in DWS projects increases the implementation success of DWS in project aspects. The continuous support for consulting activities and technology transfer enhances the adherence to the project schedule preventing the exceeding use of project budget and ensuring the implementation of intended system functions; this ultimately leads to the successful implementation of DWS projects. The research hypothesis that the capability of project teams affects the implementation success of DWS is rejected. The technical ability of team members and human relationship skills themselves do not affect the successful implementation of DWS projects. The quality of the system which provided data to DWS affects the implementation success of DWS in technical aspects. The standardization of data definition and the commitment to the technical standard increase the possibility of overcoming the technical problems of DWS. Further, the development technology of DWS affects the implementation success of DWS. The hardware, software, implementation methodology, and implementation tools contribute to effective integration and classification of data in various forms. In addition, the implementation success of DWS in organizational and project aspects increases the data quality and system quality of DWS while the implementation success of DWS in technical aspects does not affect the data quality and system quality of DWS. The data and systems quality increases the effective processing of individual tasks, and reduces the decision making times and efforts enhancing the perceived benefits of DWS.

  • PDF

활성함수 변화에 따른 초해상화 모델 성능 비교 (A Performance Comparison of Super Resolution Model with Different Activation Functions)

  • 유영준;김대희;이재구
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권10호
    • /
    • pp.303-308
    • /
    • 2020
  • ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 인지하였다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델에 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR의 활성함수를 변경하면서 진행한 실험에서 해상도를 2배로 변환하는 경우, 기존 활성함수인 ReLU가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 해상도를 4배로 변환하는 경우에서는 Leaky ReLU와 Swish 함수가 기존 ReLU 함수 대비 다소 향상된 성능을 보임을 확인하였다. Leaky ReLU를 사용했을 때 기존 ReLU보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 또한 해상도를 8배로 변환하는 경우에서는 Mish 함수가 기존 ReLU 함수 대비 다소 향상된 성능을 보임을 확인하였다. Mish를 사용했을 때 기존 ReLU보다 PSNR과 SSIM 평가지표가 평균 0.06%, 0.02%의 성능 향상을 확인할 수 있었다. 결론적으로 해상도를 4배로 변환하는 초해상화의 경우는 Leaky ReLU와 Swish가, 해상도를 8배로 변환하는 초해상화의 경우는 Mish가 ReLU 대비 향상된 성능을 보였다. 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU, Swish, Mish로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.

유전자 알고리즘을 이용한 분류자 앙상블의 최적 선택 (Optimal Selection of Classifier Ensemble Using Genetic Algorithms)

  • 김명종
    • 지능정보연구
    • /
    • 제16권4호
    • /
    • pp.99-112
    • /
    • 2010
  • 앙상블 학습은 분류 및 예측 알고리즘의 성과개선을 위하여 제안된 기계학습 기법이다. 그러나 앙상블 학습은 기저 분류자의 다양성이 부족한 경우 다중공선성 문제로 인하여 성과개선 효과가 미약하고 심지어는 성과가 악화될 수 있다는 문제점이 제기되었다. 본 연구에서는 기저 분류자의 다양성을 확보하고 앙상블 학습의 성과개선 효과를 제고하기 위하여 유전자 알고리즘 기반의 범위 최적화 기법을 제안하고자 한다. 본 연구에서 제안된 최적화 기법을 기업 부실예측 인공신경망 앙상블에 적용한 결과 기저 분류자의 다양성이 확보되고 인공신경망 앙상블의 성과가 유의적으로 개선되었음을 보여주었다.

다중모형조합기법을 이용한 상품추천시스템 (Product Recommender Systems using Multi-Model Ensemble Techniques)

  • 이연정;김경재
    • 지능정보연구
    • /
    • 제19권2호
    • /
    • pp.39-54
    • /
    • 2013
  • 전자상거래의 폭발적 증가는 소비자에게 더 유리한 많은 구매 선택의 기회를 제공한다. 이러한 상황에서 자신의 구매의사결정에 대한 확신이 부족한 소비자들은 의사결정 절차를 간소화하고 효과적인 의사결정을 위해 추천을 받아들인다. 온라인 상점의 상품추천시스템은 일대일 마케팅의 대표적 실현수단으로써의 가치를 인정받고 있다. 그러나 사용자의 기호를 제대로 반영하지 못하는 추천시스템은 사용자의 실망과 시간낭비를 발생시킨다. 본 연구에서는 정확한 사용자의 기호 반영을 통한 추천기법의 정교화를 위해 데이터마이닝과 다중모형조합기법을 이용한 상품추천시스템 모형을 제안하고자 한다. 본 연구에서 제안하는 모형은 크게 두 개의 단계로 이루어져 있으며, 첫 번째 단계에서는 상품군 별 우량고객 선정 규칙을 도출하기 위해서 로지스틱 회귀분석 모형, 의사결정나무 모형, 인공신경망 모형을 구축한 후 다중모형조합기법인 Bagging과 Bumping의 개념을 이용하여 세 가지 모형의 결과를 조합한다. 두 번째 단계에서는 상품군 별 연관관계에 관한 규칙을 추출하기 위하여 장바구니분석을 활용한다. 상기의 두 단계를 통하여 상품군 별로 구매가능성이 높은 우량고객을 선정하여 그 고객에게 관심을 가질만한 같은 상품군 또는 다른 상품군 내의 다른 상품을 추천하게 된다. 제안하는 상품추천시스템은 실제 운영 중인 온라인 상점인 'I아트샵'의 데이터를 이용하여 프로토타입을 구축하였고 실제 소비자에 대한 적용가능성을 확인하였다. 제안하는 모형의 유용성을 검증하기 위하여 제안 상품추천시스템의 추천과 임의 추천을 통한 추천의 결과를 사용자에게 제시하고 제안된 추천에 대한 만족도를 조사한 후 대응표본 T검정을 수행하였으며, 그 결과 사용자의 만족도를 유의하게 향상시키는 것으로 나타났다.