• 예술인문사회 융합 멀티미디어 논문지
• /
• 제9권4호
• /
• pp.745-754
• /
• 2019

GeoWeb 2.0 기술이 활성화됨에 따라 공간정보와 사용자 정보를 매쉬업하는 응용 서비스들이 다양하게 개발되고 있다. 특히 GeoWeb 2.0 기술 기반으로 Google Maps, OpenStreetMap, Daum Map, Naver Map, olleh Map, VWorld 등의 다양한 공간정보 플랫폼들이 매쉬업 서비스를 지원하고 있다. 공간정보 플랫폼의 Open API를 통하여 제공되는 매쉬업 서비스는 2차원 지도, 3차원 지도, 항공영상 등과 같이 다양한 공간정보를 제공하고 있으며 그 응용 분야도 크게 확장되고 있다. 최근 빅데이터 서비스와 더불어 매쉬업되는 사용자 정보가 크게 증가함에 따라 매쉬업 수행에서 성능상의 문제가 발생하게 되었다. 그러나 현재 이러한 매쉬업 성능 개선에 대한 연구는 매우 부족하며, 심지어 다양한 플랫폼들에 대한 매쉬업 성능 비교 연구도 부족한 실정이다. 이에 본 연구에서는 국내에서 접근 가능한 다양한 공간정보 플랫폼들을 기반으로 공간정보와 대용량 사용자 정보의 매쉬업 성능을 비교 분석하고자 한다. 구체적으로 매쉬업 성능 분석을 위하여 매쉬업 시간과 사용자 인터랙션 시간의 두가지 성능 지표를 제안하고 시스템을 구현하여 성능 분석을 수행한다. 끝으로 성능 분석 결과를 통하여 사용자 정보가 크게 증가하고 사용자 인터랙션의 발생 빈도가 높은 경우에 대하여 효율적으로 적용될 수 있는 공간정보 플랫폼을 제시한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권3호
• /
• pp.115-122
• /
• 2019

지금까지의 한국어 음소 인식에는 은닉 마르코프-가우시안 믹스쳐 모델(HMM-GMM)이나 인공신경망-HMM을 결합한 하이브리드 시스템이 주로 사용되어 왔다. 하지만 이 방법은 성능 개선 여지가 적으며, 전문가에 의해 제작된 강제정렬(force-alignment) 코퍼스 없이는 학습이 불가능하다는 단점이 있다. 이 모델의 문제로 인해 타 언어를 대상으로 한 음소 인식 연구에서는 이 단점을 보완하기 위해 순환 신경망(RNN) 계열 구조와 Connectionist Temporal Classification(CTC) 알고리즘을 결합한 신경망 기반 음소 인식 모델이 연구된 바 있다. 그러나 RNN 계열 모델을 학습시키기 위해 많은 음성 말뭉치가 필요하고 구조가 복잡해질 경우 학습이 까다로워, 정제된 말뭉치가 부족하고 기반 연구가 비교적 부족한 한국어의 경우 사용에 제약이 있었다. 이에 본 연구는 강제정렬이 불필요한 CTC 알고리즘을 도입하되, RNN에 비해 더 학습 속도가 빠르고 더 적은 말뭉치로도 학습이 가능한 합성곱 신경망(CNN)을 기반으로 한국어 음소 인식 모델을 구축하여 보고자 시도하였다. 총 2가지의 비교 실험을 통해 본 연구에서는 한국어에 존재하는 49가지의 음소를 판별하는 음소 인식기 모델을 제작하였으며, 실험 결과 최종적으로 선정된 음소 인식 모델은 CNN과 3층의 Bidirectional LSTM을 결합한 구조로, 이 모델의 최종 PER(Phoneme Error Rate)은 3.26으로 나타났다. 이는 한국어 음소 인식 분야에서 보고된 기존 선행 연구들의 PER인 10~12와 비교하면 상당한 성능 향상이라고 할 수 있다.

• 경영정보학연구
• /
• 제19권2호
• /
• pp.71-94
• /
• 2017

추천 시스템은 정보 과부하를 줄여 선택의 질을 높이는 기술로 다양한 분야에서 활용되고 있다. 기존의 추천 시스템 연구는 주로 영화나 음악과 같은 단순한 콘텐츠 추천을 대상으로 했으며, 추천 수량과 기존에 경험했던 상품의 재 추천이 고려되지 않았다. 하지만 다양한 분야에서 추천 시스템의 수요가 증가함에 따라 추천 수량과 재 추천을 고려한 보다 범용적이고 확장된 추천 시스템 개발이 필요한 시점이다. 또 기존 추천 시스템은 온라인 상에서 개별 고객을 대상으로 하는 경우가 많았는데, 오프라인 상에서 개별 고객이 아닌 매장에도 추천 시스템을 적용할 수 있다. 본 연구에서는 추천 시스템 분야에서 많이 활용되는 사용자 기반 협업 필터링 알고리즘에서 추천 수량과 재 추천을 고려하는 방법을 제안하고, 이를 오프라인 의류 매장의 재고 관리 문제에 적용함으로써 다양한 분야에 추천 시스템을 활용할 수 있음을 보인다. 제안한 방법을 통해 각 매장에 수요가 높을 것으로 예측되는 상품과 예상 판매 수량을 예측하여, 해당 상품을 진열할 것을 추천하며, 이는 MAE, Precision, Recall, F1 measure 관점에서 기준 모델보다 추천 성능이 더 뛰어나다. 또 성능을 평가하기에 적합한, 추천 수량 부족과 초과에 따른 페널티를 고려하는 새로운 Quantity Precision, Quantity Recall, Quantity F₁ measure 계산 방식을 제안한다. 마지막으로 참신성 관점에서 제안한 방법의 신규 매출 창출 효과를 평가한다. 본 연구는 추천 수량과 재 추천을 고려했다는 점, 온라인이 아닌 오프라인 데이터를 사용했다는 점, 개별 고객이 아닌 매장을 추천 대상으로 했다는 점에서 기존 추천 시스템 연구와는 차별되는 의의를 가진다. 나아가 본 연구에서 제안한 방법론은 재고 관리 이외에도 추천 수량과 재 추천을 고려하는 다양한 분야에 적용될 수 있는 범용성을 가진다.

• 정보처리학회 논문지
• /
• 제13권3호
• /
• pp.91-101
• /
• 2024

데이터 집약적이고 메모리 변동성이 높은 워크플로의 이식성 보장을 위해 컨테이너 가상화 기술이 사용되고 있다. 그리고 쿠버네티스는 이러한 컨테이너 애플리케이션들을 관리하기 위한 오케스트레이션 도구로써 사실상 표준으로 사용되고 있다. 클라우드 사용자는 리소스 부족으로 인한 컨테이너 재시작을 방지하기 위해 컨테이너 애플리케이션을 오버프로비저닝하는 경향이 있다. 그러나 과도한 오버프로비저닝은 CPU, 메모리 등 시스템 리소스의 사용량을 낮아지게 만든다. 이 문제를 해결하기 위해 컨테이너 리소스를 초과 사용하는 방식이 널리 사용되고 있으나, 지나친 메모리 리소스 초과 사용은 노드의 메모리 부족으로 인해 연쇄적인 컨테이너 재시작을 유발할 수 있다. 컨테이너 재시작 발생 시 작업을 처음부터 다시 시작해야 하므로 많은 상태저장 애플리케이션이 포함된 메모리 변동성이 높은 컨테이너에 큰 오버헤드를 유발할 수 있다. 본 논문은 쿠버네티스 환경에서 메모리 초과 사용 시 컨테이너 재시작을 완화하는 기법을 제안한다. 메모리 사용량이 많은 노드에서 메모리 할당을 요청할 가능성이 큰 컨테이너를 식별하고 이러한 컨테이너를 일시정지한다. 컨테이너의 CPU 사용량을 크게 줄이면 컨테이너가 일시정지하는 상태와 유사한 효과를 얻을 수 있다. 해당 노드의 메모리 사용량이 개선된 것으로 판단되면 컨테이너의 일시정지를 해제한다. 제안기법을 적용하여 쿠버네티스 환경에서 메모리 변동성이 높은 워크플로를 구동한 경우 제안기법을 사용하지 않았을 때에 비해 컨테이너의 재시작 횟수가 평균 40%, 최대 58% 감소하였다. 그리고 컨테이너 재시작 횟수 감소로 인해 컨테이너 워크플로의 총 실행 시간이 평균 7%, 최대 13% 단축되었다.

• 한국지리정보학회지
• /
• 제23권3호
• /
• pp.100-119
• /
• 2020

최근 온도상승으로 인한 폭염 증가와 대기 풍속의 약화가 상호작용하면서 열환경과 미세먼지(PM₁₀)가 문제가 되고 있다. 도시지역 내에서 다른 지역들보다 온도와 대기오염 농도가 높은 도시열섬과 도시오염섬 현상이 나타나고 있음이 알려져 있으나, 공간데이터로 구축 가능한 미세 자료의 부족 등으로 이를 함께 살펴본 연구는 많지 않았다. 최근 위성영상과 민간통신업체의 인프라에서 측정한 빅데이터들이 생산되면서 온도와 대기오염에 대한 세밀한 공간분포 분석이 가능하게 되었다. 이에 본 연구는 부산광역시를 대상으로 도시열섬과 도시오염섬의 공간적 분포패턴을 살펴보고 두 현상의 분포 특성을 비교 분석하고자 하였다. 연구에는 Landsat 8 위성영상의 지표면온도와 민간자동관측시스템에서 도출된 대기온도, 미세먼지농도 데이터를 30m*30m 단위로 격자화하여 공간분석을 수행하였다. 분석 결과, 도시열섬과 도시오염섬이 동시에 발생하는 대표적인 지역들로 취약 주거지역과 공업지역들이 다수 포함되어 있었다. 부산시의 대표적 주거 취약지역으로 알려진 서동, 반송동 등의 주요 정책이주지가 포함되었는데 해당 지역은 소규모 필지에 건축물의 밀도가 상당히 높은 지역으로 통풍, 환기 등에 문제가 많은 주거지역이다. 이러한 지역의 주민 중 상당수는 폭염과 대기오염에 대한 대응 능력이 낮아 관련 정책 수립 시 우선적으로 이 지역들이 고려될 필요가 있다. 도시열섬과 도시오염섬의 동시발생지역에 포함된 공업지역들은 콘크리트나아스콘 기반의 불투수면의 비중이 높고, 식생이 부족할 뿐 아니라 교통량도 많은 것으로 나타났다. 도시열섬과 도시오염섬 분석에 대한 신뢰성을 살펴보기 위해 핫스팟분석을 진행한 결과, 99.96% 이상의 지역이 99% 신뢰수준의 핫스팟지역에 해당함을 확인할 수 있었다.

• 대한지구과학교육학회지
• /
• 제16권2호
• /
• pp.247-260
• /
• 2023

이 연구는 2015 교육과정에 따라 개발된 고등학교 지구과학 I의 '지질 구조' 내용 요소를 드론과 구글어스와 같은 3차원 데이터를 활용한 웹기반의 전문가시스템을 활용하여 융합인재교육(STEAM) 프로그램을 적용하였을 때 고등학생의 창의적 문제해결력, STEAM에 대한 태도 및 수업 만족도 향상에 효과가 있는지를 알아보는 데 그 목적이 있다. 연구 결과는 다음과 같다. 첫째, STEAM 프로그램을 적용한 후 고등학생의 창의적 문제해결력이 p <.001 수준에서 의미 있는 결과를 나타내었는데, 이는 지질 투어 자료를 직접 제작하고 발표하는 웹기반의 자료를 활용하는 수업 활동이 고등학생의 창의적 문제해결력에 도움이 된 것으로 판단한다. 둘째, STEAM 태도에서는 p <.001 수준에서 유의미한 값을 나타내어 고등학생의 STEAM에 대한 태도에 긍정적 영향을 준 것으로 확인하였다. 드론과 구글어스를 통한 웹기반의 수업 활동이 학습자의 지식에 대한 자아 효능감과 유용성에 대한 가치인식 등의 융합적 사고에 도움을 준 것으로 판단한다. 셋째, STEAM 프로그램에 대한 고등학생의 수업 만족도는 3.251로 다소 높은 평균을 나타내었다. 이는 드론과 구글어스 등 웹기반의 수업 활동이 학습자의 수업 만족도에 긍정적 영향을 준 것으로 판단한다. 다만 수업 시간 부족이 학습자의 수업 흥미를 높이는 데 한계가 있었다. 이 연구의 제언은 다음과 같다. 첫째, STEAM 프로그램에서 이루어지는 발표 자료 제작 및 실습 등을 감안하여 블록 타임 또는 수업 전 수업 이해를 위한 사전지도 등의 활동이 필요하다. 둘째, 고등학교 교육과정에서 STEAM 교육이 활성화되기 위해서는 고교학점제에서 적용할 수 있는 다양한 융합교육 프로그램의 개발에 대한 정성적 연구 및 정량적 연구가 필요할 것으로 판단한다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제63권2호
• /
• pp.123-138
• /
• 2024

본 연구는 S대학 <인공지능을 위한 기초수학[Math4AI]> 강좌의 교수·학습과정에서 맞춤형 챗GPT를 개발하여 활용한 경험을 공유한다. 연구진은 ① 먼저 강좌 맞춤형 챗GPT (https://math4ai.solgitmath.com/)를 개발하였다. 이때 챗GPT가 부정확한 정보를 주지 않도록 수년간의 해당 강좌 주요 데이터(교재, 실습실, 토론 기록, 코드 등)를 우선적으로 학습하는 챗GPT의 기능을 적용하였다. ② 학생들이 교재를 스스로 학습하다 궁금한 부분이 생기면, 맞춤형 챗GPT 인터페이스를 통해 자연어로 수학 용어, 정리, 예제, 열린 문제 번호, 핵심어 등을 질문하여 도움을 얻을 수 있도록 하였다. 그러면 챗GPT는 관련된 주요 문제나 용어, 그리고 이전 학생들의 토론에 기반한 몇 가지 샘플 답안 또는 토론 내용과 함께 사용되었던 코드 샘플을 제공한다. ③ 학생들이 챗GPT를 통해 얻은 내용을 스스로 윤문하여 공유하고, 상호 토론하면서, 교재에서 제시하는 주요 개념과 열린 문제의 대부분을 이해하도록 하였다. ④ 학기 말에는 그간 본인이 얻은 열린 문제들에 대한 학습기록을 모아 PBL (Problem-Based Learning) 보고서로 제출하고, 발표하여 강좌를 수료하도록 하였다. 이러한 방식은 학생들이 학습을 포기하지 않고 한 단계 앞으로 더 나아갈 추진력과 동기를 주며, 궁극적으로 각각의 문제를 스스로 해결하는 자기 주도적 학습을 도울 수 있다. 또한 학생들 각자의 수준에 맞추어 실시간으로 최적화된 조언을 제시하므로 강좌뿐만 아니라 대학수학교육 전반에 대한 학생별 맞춤형 교육(personalized education)을 제공할 수 있다. 즉, 학생들이 담당교수(또는 조교)와 AI 조교의 도움으로 실시간 답변과 효과적인 조언을 받을 수 있게 됨을 의미한다. 이는 양질의 조교 부족에 대한 고민을 추가 비용 없이 획기적으로 해결할 수 있다. 본 연구는 강좌의 교수·학습과정에 교재 맞춤형 챗GPT를 접목한 것으로, 인공지능(AI) 기술을 기타 대학수학 과목들(미적분학, 선형대수학, 이산수학, 공학수학, 기초통계학 등)과 초·중·고 수학교육에 적용할 수 있는 새로운 방법을 제시한다. 특히 AI 기술을 적용하여 이전 수강생들의 학습기록(열린 문제 풀이, 토론 자료, 코드 등)을 참고하며, 각자 실습한 결과를 공유 및 상호 토론하여 문제를 해결하는 방식은, 다양한 전공의 학생들이 내용을 더 효과적으로 이해하고, 본인 전공 관련 문제 해결 능력을 향상시키는 데 획기적인 도움을 줄 것으로 예상된다. 또한 교재 맞춤형 챗GPT와 함께 자기주도적인 학습을 경험토록 하는 교수학습 방법은 평생 교육(lifelong learning, extension school, extension college, extended college) 또는 평생학습의 관점에서 중요하다.

• 한국방사선학회논문지
• /
• 제14권6호
• /
• pp.773-780
• /
• 2020

4차 산업의 발전으로 의학·보건·바이오 등 여러 과학기술 분야에서는 질병을 예방하고 질병에 대한 피해를 줄이기 위한 연구가 이루어지고 있으며, 최근에는 ICT 기술의 발전과 더불어 인공지능 기술이 급부상하고 그 효용성이 입증되면서 영상의학 검사의 영상 분석에 인공지능 기술이 도입되어 연구되고 있다. 본 논문에서는 흉부 X선 영상을 이용하여 폐렴의 분류와 검출에 대한 딥러닝 모델을 직접 적용해보고 실제로 Inception 계열의 딥러닝 모델이 폐렴 검출에 있어 유용한 모델인지 평가하고자 한다. 실험재료는 캐글(Kaggle)에서 무료로 제공 및 공유하는 흉부 X선 영상 데이터 세트를 사용하였으며 전체 3,470개의 흉부 X선 영상 데이터 중 학습 데이터 세트 1,870개, 검증 데이터 세트 1,100개, 테스트 데이터 세트 500개로 분류하였다. 실험결과 Inception V3 딥러닝 모델의 Metric 평가에 대한 결과값은 정확도는 94.80%, 정밀도는 97.24%, 재현율은 94.00%, F1 스코어는 95.59의 결과값을 나타내었다. 그리고 흉부 X선 영상의 페렴 검출 및 분류에 대하여 Inception V3 딥러닝 모델링에 대한 최종 에포크의 정확도는 학습 모델링의 경우 94.91%, 검증 모델링은 89.68%의 정확도를 나타내었다. 손실함수 값의 평가는 학습 모델링은 1.127%, 검증 모델링은 4.603%의 손실함수 값을 나타내었다. 이러한 결과로 Inception V3 딥러닝 모델은 흉부영상 데이터의 특징 추출 및 분류에 있어 매우 우수한 딥러닝 모델이며 학습상태 또한 매우 우수하다고 평가하였다. 테스트 모델링에 대한 매트릭스 정확도 평가 결과 정상 흉부 X선 영상 데이터의 경우 96%, 폐렴 흉부 X선 영상데이터의 경우 97%의 정확도가 입증되었다. Inception 계열의 딥러닝 모델의 경우 흉부 질환의 분류에 있어 유용한 딥러닝 모델이 될 것이라고 판단되며 인력의 보조적인 역할 또한 수행할 수 있을 것이라고 기대되어 부족한 의료인력 문제에도 해결점이 될 것이라고 사료된다. 향후 딥러닝을 이용한 폐렴의 진단에 대한 유사 연구 시 본 연구는 유사 연구의 기초자료로 제시될 것이라고 기대된다.

• 지능정보연구
• /
• 제29권2호
• /
• pp.57-84
• /
• 2023

현대사회는 정보통신기술 및 빅데이터 기술의 발전으로 누구나 인터넷을 통해 손쉽게 방대한 데이터를 얻고 활용할 수 있는 시대로, 양질의 데이터를 수집하는 능력을 넘어 수많은 정보 속에서 올바른 데이터만을 선별하는 능력이 더욱 중요해지고 있다. 이러한 기조는 학계에서도 이어지고 있는데, 축적되는 연구물 속에서 양질의 연구를 선별하여 올바른 지식구조를 형성하기 위해, 다양한 연구 분야에서 체계적 고찰(systematic review) 및 비체계적 고찰(non-systematic review)과 같은 문헌연구(literature review)가 수행되고 있다. 한편, 코로나19 팬데믹 이후 의료산업에서도 그동안 합의에 이르지 못했던 원격의료가 제한적으로나마 허용되고, 인공지능 및 빅데이터 기술이 응용된 건강추천시스템(health recommender systems: HRS)과 같은 새로운 의료서비스가 각광을 받고 있다. 하지만, 실무적으로 HRS가 미래 의료산업 발전을 이끌 중요한 기술로 평가받고 있음에도 불구하고, 학술적인 문헌연구는 다른 분야에 비해 매우 부족한 실정이다. 더불어 HRS는 학제적 성격이 강한 융합 분야임에도 불구하고, 기존의 문헌연구는 비체계적 고찰과 체계적 고찰 방법만을 주로 활용하여 이뤄졌기 때문에, 다른 연구 분야와의 상호작용이나 동적인 관계를 유추하기에는 한계가 존재한다. 이에, 본 연구에서는 인용네트워크 분석(citation network analysis: CNA)을 활용하여 HRS 및 주변 연구 분야의 전체적인 네트워크 구조를 파악하였다. 또한, 이 과정에서 최신 논문이 인용 관계가 잘 나타나지 않는 문제를 보완하기 위해 GraphSAGE 알고리즘을 적용함으로써, HRS 연구에 있어 'recommender system', 'wireless & IoT', 'computer vision', 'text mining' 등과 같은 연구 분야들의 중요도가 높아지고 있음을 파악하였으며, 이와 동시에 개인화(personalization) 및 개인정보보호(privacy) 등과 같은 새로운 키워드가 주요 이슈로 등장하고 있음을 확인하였다. 본 연구를 통해 HRS 연구 커뮤니티의 구조를 파악하고, 관련된 연구 동향을 살펴보며, 미래 HRS 연구 방향을 설계함에 있어 실질적인 통찰을 제공할 수 있을 것으로 기대한다.

• 한국정보기술응용학회:학술대회논문집
• /
• 한국정보기술응용학회 2007년도 춘계학술대회
• /
• pp.300-320
• /
• 2007

정보기술의 발달과 함께 소프트웨어 제품은 모든 산업에 필수요소가 되었고, 품질과 평가에 대한 관심도 점차 증가되고 있다. 하지만 일부 산업에서는 소프트웨어 품질 평가에 대한 사용자들의 만병 통치적 기대, 품질 표준의 부족, 측정을 위한 양질의 데이터 부족, 소프트웨어 분석과 디자인에 대한 공학적 한계로 소프트웨어 품질 평가에 대해 많은 문제점이 지적되고 있다. 국내에서도 의료산업 관련 정보시스템의 오류 및 사용자들의 운영 미숙은 매년 많은 금액의 사회적 비용을 증가시켰고, 병원정보시스템의 품질에 대한 관심을 초래하였다. 특히, 산업적 특성이 강한 병원정보시스템은 성공적 구축을 위해 사용자 중심의 소프트웨어 디자인과 다양한 전문가들의 지식 통합이 필요하며, 정보시스템 품질 측정으로 연구자들과 개발자들의 시스템 설계 혼란을 감소시키는 방법론이 필요하다는 연구들이 등장하고 있다. 대부분의 병원정보시스템이 단편적인 업무처리 위주로 개발 운영되고 있고, 장기적 경영전략이나 임상연구를 위한 분석적 정보처리 기능들은 결여되어 있다. 또한 소프트웨어 재설계나 추가적 개발 에 활용될 수 있는 객관적 품질 기준이 부족하고, 사용자들의 요구사항에 대해 소프트웨어 설계에 있어서 효율적으로 반영되지 못하고 있다. 이에 본 연구는 최근 발표된 병원정보시스템 품질 평가에 대한 연구 경향을 종합하고, 품질 평가에 대 해 효율적으로 활용되고 있는 사용성(Usability)을 기준으로 병원산업의 특수성을 포함한 품질 평가 방법과 품질척도를 제안하고자 한다. 국제표준기구(ISO:International Standards Organization)에서는 품질 특성을 기능성, 신뢰성, 사용성, 효율성, 유지 보수성과 이식성의 특성을 제시하고 있다. 특히 Folmer & Bosch(2004)가 정리한 ISO9126에서는 품질의 특성을 배움의 용이성, 운영의 용이성, 이해성과 매력성으로 분류하였고, ISO9241-11는 효과성, 효율성과 만족성으로 분류하였다. 또한 Shackel(1991)은 배움의 용이성(배움과 시간, 기억력), 효과성(오류, 직무시간), 유연성과 마음가짐으로 분류하고 있다(Shackel, 1991). Nielsen(1997)은 배움의 용이성, 기억의 용이성, 오류, 효율성, 만족성으로 분류하고 있고(Nielsen, 1997), Shneiderman(1998)는 효과성(직무시간, 배움의 시간), 효율성(기억의 지속시간, 오류), 만족도를 품질의 특성으로 분류하였다. 이와 같은 소프트웨어의 품질은 소프트웨어 계획, 개발, 성장과 쇠퇴의 모든 과정에 적용되며, 환경적 변화에 따라 사용자들의 정보욕구를 적절하게 반영하여 만족도를 높이 는 것이라고 요약할 수 있다. 그러나 현재까지 소프트웨어 품질 평가에 대한 연구들 은 보편적인 평가 항목들을 대상으로 측정하여 일반적인 품질기준을 제시하고 있고, 유사한 측정 내용들이 중복되어 있다. 이러한 경향은 산업별 특수성이 강한 소프트웨어에 대해서는 정확한 품질측정이 어려웠고, 품질측정에 대한 신뢰성을 떨어뜨리는 계기가 되었다. 이러한 한계를 극복하고자 나타난 방법론이 최종사용자들의 요구사항을 얼마나 적절하게 시스템에 반영했는지에 대한 사용성(Usability) 측정이다. 사용성에 대한 정의는 사용자들이 실질적으로 일하는 장소에서 직접 사용자들의 시스템 운용실태를 파악하여 문제점을 개선하는 것으로 요약할 수 있다. ISO9124-11에서는 사용성을 "어떤 제품이 구체적인 사용자들에 의해 구체적인 목적을 달성하기 위한 구체적인 사용의 맥락에서 효율성, 효과성을 만족함으로 사용될 수 있는 정도"로 정의하고 있다. 지난 10년간 병원정보시스템 평가에 대한 문헌들을 고찰한 결과 품질 측정의 효과는 정보화에 대한 동기유발과 의료품질을 높이는 게기가 되었으며, 질병에 대한 예방효과도 높은 것으로 조사되었다. 그러나 평가에 대한 인식의 문제, 평가 방법의 신뢰성 부족, 평가 지침과 부분적 평가에 따른 인증의 어려움 평가 결과에 대한 확산과 단편적 연구의 한계 등으로 연구결과에 대한 신뢰도와 활용도는 낮은 것으로 조사되었고, HIS에 대한 연구 빈도와 범위 가 매우 미약하였다. 특히, 품질속성은 같은 용어이지만 연구자에 따라 전혀 다른 측정 내용을 제시하고 있어 효율적인 품질 지표를 제시하는데 많은 혼란을 초래하고 있다. 이러한 품질 평가의 경향은 시스템 설계 및 개발자들에게 필요한 사용자들의 구체적이고 독특한 욕구나 병원정보시스템 환경의 특수성 파악에 한계를 보였으며, 평가 범위도 부분적으로 이루어져 전사적 시스템 설계 및 개발에 중요한 자료를 제공하지 못하고 있다. 이러한 문제점과 한계를 극복하고자 ISO와 같은 품질 표준 속성과 컨텍스트(Context)를 중심으로 사용자에 의한 평가 척도의 설정은 구체적이고 실용적이며 신뢰성 있는 평가 방법이 될 것이다.