• 인터넷정보학회논문지
• /
• 제23권2호
• /
• pp.97-105
• /
• 2022

Web services show a rapid evolution and integration to meet the increased users' requirements. Thus, web services undergo updates and may have performance degradation due to undetected faults in the updated versions. Due to these faults, many performances and regression anomalies in web services may occur in real-world scenarios. This paper proposed applying the deep learning model and innovative explainable framework to detect performance and regression anomalies in web services. This study indicated that upper bound and lower bound values in performance metrics provide us with the simple means to detect the performance and regression anomalies in updated versions of web services. The explainable deep learning method enabled us to decide the precise use of deep learning to detect performance and anomalies in web services. The evaluation results of the proposed approach showed us the detection of unusual behavior of web service. The proposed approach is efficient and straightforward in detecting regression anomalies in web services compared with the existing approaches.

• 한국통신학회논문지
• /
• 제31권8B호
• /
• pp.769-776
• /
• 2006

기술개발에 대한 적절한 평가를 실시하는 것은 매우 중요하며, 기술평가가 기술개발 활동과 일체화하여 정착될 필요가 있다. 이에 본 논문의 목적은 프로젝트를 수행하는 데 있어서 업체들이 제안한 내용들이 기술 분야에 대해서 요구사항과의 적합성을 판단한다. 그리고 이에 대한 데이터를 추정하도록 한다. 그래서 추정된 값을 TEPM(Technology Evaluation Process Model)에 이용하여 최적의 업체 선정 방법을 검증하였다.

• 인터넷정보학회논문지
• /
• 제13권1호
• /
• pp.45-55
• /
• 2012

임상시험 전체 소요시간 및 비용의 절감, 임상 데이터 질의 향상을 위해 임상시험 전자자료의 관리가 점차 중요해지고 있다. 또한 임상시험 전자자료 관리는 전자 임상시험의 안정성 및 질을 위해 규정 가이드라인을 준수하는 것이 결정적으로 필요하다. 본 연구는 전자적 시스템을 활용한 임상시험에 있어 데이터 관리의 성과를 평가하기 위한 프레임웍을 개발하고자 한다. 연구의 목적을 위해 임상시험 프로세스에 근거하여 기반능력, 연구설계, 연구진행 및 연구완료 등 네 개의 주요 메트릭을 구성함으로써 데이터 관리의 수준을 측정할 수 있는 성과척도를 도출한다. 이때 각 성과척도의 도출 기준은 임상시험 자체가 지향하는 데이터의 질 향상, 전자자료 관리 프로세스의 비용과 효율성 및 규정 준수 수준 등 네 가지의 관리적 관심을 기준으로 하며, 각 성과척도 별로 전자자료 관리 프로세스 상 실질적으로 측정 가능한 측정지표를 제시한다. 평가 프레임웍은 네 가지의 주요 측정 메트릭에 근거하여, 세 개의 데이터 영역(연구기관, 모니터링, 데이터관리센터) 별로 구성된다. 본 평가 프레임웍의 개발은 전문가 의견 수렴을 통한 델파이 방법론으로 접근한 탐색적 연구로서 향후 실증적 후속 연구를 과제로 남기고 있다.

• 정보관리학회지
• /
• 제38권2호
• /
• pp.113-127
• /
• 2021

본 연구는 대학 도서관 사용 증진을 위하여 개인별 맞춤 도서 추천시스템을 구축하는 것을 목적으로 한다. 특히 사용자의 아이템에 대한 선호도가 존재하는 다수의 추천시스템과는 달리, 선호도가 존재하지 않을 때에 도서 추천이 가능하도록 하는 방안인 도서관 이용자의 도서 대출 목록과 성향을 활용하여 평가지표를 생성하는 방법을 제안하고자 한다. 이용자가 아직 읽지 않은 책에 대한 예상 선호도를 산출하는 방식으로 도서를 추천하는 행렬 분해 방법인 Singular Value Decomposition(SVD)과 Stochastic Gradient Descent(SGD) 알고리즘을 활용한 모델을 구축했다. 더불어 유사도가 높은 이용자 그룹 내의 도서 대출 목록을 참조하여 추천하는 사용자 기반 협업 필터링 알고리즘을 활용해 모델을 구현했다. 최종적으로 평가지표를 활용한 세 가지 모델에 대하여 사용자 평가를 진행했다. 각각의 모델이 제시한 개인별 맞춤 도서 다섯 권의 목록을 해당 대출자에게 제공하고, 추천 도서에 대한 만족/불만족 여부를 이진화 점수화하여 모델에 대한 평가를 진행했다.

• 한국소음진동공학회:학술대회논문집
• /
• 한국소음진동공학회 2007년도 추계학술대회논문집
• /
• pp.421-424
• /
• 2007

Currently domestic criteria for the aircraft noise is being adapted WECPNL(weighted equivalent continuous perceived noise level), while internationally preferred method is $L_{dn}$ which is based on from $L_{eq}$ and can also evaluate environmental noise. WECPNL used in domestic as an evaluation metric is only for the aircraft noise. It is, therefore, not adequate for the evaluation of residents' injury, moreover, it is very difficult to measure the aircraft noise by WECPNL due to the complicated calculating procedures as long as automatic measuring system is not used. Accordingly, this study aims to propose alternative evaluation metric for the aircraft noise. To achieve this purpose, WECPNL, $L_{eq}$, $L_{dn}$, other metrics and criteria were compared and analyzed.

• Journal of information and communication convergence engineering
• /
• 제11권2호
• /
• pp.103-111
• /
• 2013

Given the lack of suitable quality evaluation standards for educational serious games (designed for both entertainment and instruction), we designed a development framework for evaluation standards of educational serious games and proceeded to develop standards in accordance with our proposed procedure. Our standards were designed to evaluate the quality of both technical and non-technical elements of educational serious game software products. We conducted a survey on the need for individual elements of the standard. Participants rated the need for each element on a five-point Likert scale. We then performed a reliability analysis of the survey results. Based on the survey results, we established a final standard for quality evaluation composed of 9 main elements and 31 sub-elements. The results of our research will contribute useful information to users as well as to the developers of educational serious games.

• 산업공학
• /
• 제23권4호
• /
• pp.275-285
• /
• 2010

In complex industrial world, many companies make every effort to analyze their competition capability through various performance evaluation tools to cope with rapidly changing business environment. Among evaluation tools the balanced scorecard (BSC), put forward by Kaplan and Norton in 1992, is a strategic performance management tool for measuring whether the smaller-scale operational activities of a company are aligned with its larger-scale objectives in terms of vision and strategy. The BSC tool offers a comparative advantage over others to evaluate the objective achievement of a company by linking its strategic objectives with operational KPI. In this paper, we introduce a case that the BSC performance evaluation system was implemented based on product data management and applied it to the business process. Specially, we shows a implementation procedure to derive discipline-specific topics and key performance metrics.

• 디지털융복합연구
• /
• 제13권11호
• /
• pp.157-164
• /
• 2015

본 논문은 융복합을 위한 범주형 데이터의 부공간에 의한 군집화에 대해서 다룬다. 범주형 데이터는 수치형 데이터에만 국한되지 않기 때문에 기존의 범주형 데이터들의 평가척도들은 순서화(ordering)의 부재와 데이터의 고차원성과 희소성으로 인하여 한계를 가지기 마련이다. 따라서 각각의 군집에 존재하는 범주형 속성들의 상호 유사도을 보다 근접하게 측정할 수 있는 조건부 엔트로피 척도를 제안한다. 또한 군집의 최적화를 위하여 군집내의 발산을 최소화하고, 군집간의 독립성을 향상시킬 수 있는 새로운 목적함수를 제안한다. 제안된 알고리즘의 성능을 4개의 알고리즘과 비교검증하기 위하여 5가지의 데이터에 대하여 실험을 수행하였다. 비교검증을 위한 평가척도는 정확도, f-척도와 적응된 Rand 색인이다. 실험을 통하여 제안된 방법이 평가척도에 의한 결과에서 기존의 방법들보다 좋은 성능을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권1호
• /
• pp.1-9
• /
• 2009

분산된 환경에서 유사한 기능을 제공하는 서비스들의 수가 증가함에 따라, 웹서비스의 신뢰성은 매우 중요한 서비스 선택 요인이 되고 있다. 기업 간 협업과 같은 개방적 비즈니스 모델을 충족시키기 위해, 여러 단위 웹서비스들이 상호 연동하여 상위 수준의 비즈니스 트랜잭션을 형성하는 웹서비스 조합에서 신뢰성의 문제는 더욱 중요해진다. 그러나 단위 웹서비스 각각의 신뢰성이 보장된다고 해도, 조합된 서비스의 신뢰성은 보장되지 않는다. 따라서, 조합된 서비스의 신뢰성에 대한 평가 및 서비스 결정을 위한 방법이 필요하다. 본 논문은 웹서비스의 신뢰성을 평가하기 위한 신뢰도 평가 메트릭스를 정의하고, 이를 통해 조합된 웹 서비스의 신뢰수준을 추측하기 위한 평가 방법을 제안한다. 제안된 신뢰성 평가 모델을 기반으로 웹서비스 조합에서 신뢰할 수 있는 웹서비스 선택을 지원하기 위한 프레임워크를 정의한다. 서비스 사용자의 직관적인 선택이 아니라 정량적인 평가를 통한 선택이 이루어짐으로써, 사용자가 기능적 요구사항뿐만 아니라 품질 요구사항에서도 보다 만족할만한 선택 결과를 얻을 수 있을 것으로 기대한다.

• 대한의용생체공학회:의공학회지
• /
• 제44권3호
• /
• pp.211-217
• /
• 2023

Recently, many studies have introduced artificial intelligence systems in the surgical process to reduce the incidence and mortality of complications in patients. Bleeding is a major cause of operative mortality and complications. However, there have been few studies conducted on detecting bleeding in surgical videos. To advance the development of deep learning models for detecting intraoperative hemorrhage, three models have been trained and compared; such as, YOLOv5, RetinaNet50, and RetinaNet101. We collected 1,016 bleeding images extracted from five surgical videos. The ground truths were labeled based on agreement from two specialists. To train and evaluate models, we divided the datasets into training data, validation data, and test data. For training, 812 images (80%) were selected from the dataset. Another 102 images (10%) were used for evaluation and the remaining 102 images (10%) were used as the evaluation data. The three main metrics used to evaluate performance are precision, recall, and false positive per image (FPPI). Based on the evaluation metrics, RetinaNet101 achieved the best detection results out of the three models (Precision rate of 0.99±0.01, Recall rate of 0.93±0.02, and FPPI of 0.01±0.01). The information on the bleeding detected in surgical videos can be quickly transmitted to the operating room, improving patient outcomes.