• 대한의용생체공학회:의공학회지
• /
• 제45권3호
• /
• pp.118-127
• /
• 2024

Commonly deep learning methods for enhancing the quality of medical images use unpaired dataset due to the impracticality of acquiring paired dataset through commercial imaging system. In this paper, we propose a supervised learning method to enhance the quality of ultrasound images. The U-net model is designed by incorporating a divide-and-conquer approach that divides and processes an image into four parts to overcome data shortage and shorten the learning time. The proposed model is trained using paired dataset consisting of 828 pairs of low-quality and high-quality images with a resolution of 512x512 pixels obtained by varying the number of channels for the same subject. Out of a total of 828 pairs of images, 684 pairs are used as the training dataset, while the remaining 144 pairs served as the test dataset. In the test results, the average Mean Squared Error (MSE) was reduced from 87.6884 in the low-quality images to 45.5108 in the restored images. Additionally, the average Peak Signal-to-Noise Ratio (PSNR) was improved from 28.7550 to 31.8063, and the average Structural Similarity Index (SSIM) was increased from 0.4755 to 0.8511, demonstrating significant enhancements in image quality.

• 대한임베디드공학회논문지
• /
• 제17권5호
• /
• pp.273-280
• /
• 2022

Along with the advancement of deep learning technology, securing high-quality dataset for verification of developed technology is emerging as an important issue, and developing robust deep learning models to the domestic road environment is focused by many research groups. Especially, unlike expressways and automobile-only roads, in the complex city driving environment, various dynamic objects such as motorbikes, electric kickboards, large buses/truck, freight cars, pedestrians, and traffic lights are mixed in city road. In this paper, we built our dataset through multi camera-based processing (collection, refinement, and annotation) including the various objects in the city road and estimated quality and validity of our dataset by using YOLO-based model in object detection. Then, quantitative evaluation of our dataset is performed by comparing with the public dataset and qualitative evaluation of it is performed by comparing with experiment results using open platform. We generated our 2D dataset based on annotation rules of KITTI/COCO dataset, and compared the performance with the public dataset using the evaluation rules of KITTI/COCO dataset. As a result of comparison with public dataset, our dataset shows about 3 to 53% higher performance and thus the effectiveness of our dataset was validated.

• 스마트미디어저널
• /
• 제13권2호
• /
• pp.44-51
• /
• 2024

스트레스 측정용 데이터셋의 구축은 건강, 의료분야, 심리향동, 교육분야 등 현대의 다양한 응용 분야에서 핵심적인 역할을 수행하교 있다. 특히, 스트레스 측정용 인공지능 모델의 효율적인 훈련을 위해서는 다양한 편향성을 제거하고 품질 관리된 데이터셋을 구축하는 것이 중요하다. 본 논문에서는 다양한 편향성 제거를 통한 품질의 관리된 스트레스 측정용 데이터셋 구축에 관하여 제안하였다. 이를 위해 스트레스 정의 및 측정도구 소개, 스트레스 인공지능 데이터 셋 구축과정, 품질향상을 위한 편향성 극복 전략 그리고 스트레스 데이터 수집시 고려사항을 제시하였다. 특히, 데이터셋 품질을 관리하기 위해 데이터셋 구축시 고려사항과, 발생할 수 있는 선택편향, 측정편향, 인과관계편향, 확증편향, 인공지능편향과 같은 다양한 편향서에 대해 검토하였다. 본 논문을 통해 스트레스 데이터 수집시 고려사항과 스트레스 데이터셋의 구축에서 발생할 수 있는 다양한 편향성을 체계적으로 이해하고, 이를 극복하여 품질이 보장된 데이터셋을 구축하는데 기여할 것으로 기대된다.

• International Journal of Computer Science & Network Security
• /
• 제22권2호
• /
• pp.1-8
• /
• 2022

This work provides a reliable and classified stocks dataset merged with Saudi stock news. This dataset allows researchers to analyze and better understand the realities, impacts, and relationships between stock news and stock fluctuations. The data were collected from the Saudi stock market via the Corporate News (CN) and Historical Data Stocks (HDS) datasets. As their names suggest, CN contains news, and HDS provides information concerning how stock values change over time. Both datasets cover the period from 2011 to 2019, have 30,098 rows, and have 16 variables-four of which they share and 12 of which differ. Therefore, the combined dataset presented here includes 30,098 published news pieces and information about stock fluctuations across nine years. Stock news polarity has been interpreted in various ways by native Arabic speakers associated with the stock domain. Therefore, this polarity was categorized manually based on Arabic semantics. As the Saudi stock market massively contributes to the international economy, this dataset is essential for stock investors and analyzers. The dataset has been prepared for educational and scientific purposes, motivated by the scarcity of data describing the impact of Saudi stock news on stock activities. It will, therefore, be useful across many sectors, including stock market analytics, data mining, statistics, machine learning, and deep learning. The data evaluation is applied by testing the data distribution of the categories and the sentiment prediction-the data distribution over classes and sentiment prediction accuracy. The results show that the data distribution of the polarity over sectors is considered a balanced distribution. The NB model is developed to evaluate the data quality based on sentiment classification, proving the data reliability by achieving 68% accuracy. So, the data evaluation results ensure dataset reliability, readiness, and high quality for any usage.

• Journal of Information Processing Systems
• /
• 제19권5호
• /
• pp.602-613
• /
• 2023

High-quality image datasets are in high demand for various applications. With many online sources providing manually collected datasets, a persisting challenge is to fully automate the dataset collection process. In this study, we surveyed an automatic image dataset generation field through analyzing a collection of existing studies. Moreover, we examined fields that are closely related to automated dataset generation, such as query expansion, web scraping, and dataset quality. We assess how both noise and regional search engine differences can be addressed using an automated search query expansion focused on hypernyms, allowing for user-specific manual query expansion. Combining these aspects provides an outline of how a modern web scraping application can produce large-scale image datasets.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권2호
• /
• pp.365-380
• /
• 2022

The target detection algorithm based on supervised learning is the current mainstream algorithm for target detection. A high-quality dataset is the prerequisite for the target detection algorithm to obtain good detection performance. The larger the number and quality of the dataset, the stronger the generalization ability of the model, that is, the dataset determines the upper limit of the model learning. The convolutional neural network optimizes the network parameters in a strong supervision method. The error is calculated by comparing the predicted frame with the manually labeled real frame, and then the error is passed into the network for continuous optimization. Strongly supervised learning mainly relies on a large number of images as models for continuous learning, so the number and quality of images directly affect the results of learning. This paper proposes a dataset STAR-24K (meaning a dataset for Space TArget Recognition with more than 24,000 images) for detecting common targets in space. Since there is currently no publicly available dataset for space target detection, we extracted some pictures from a series of channels such as pictures and videos released by the official websites of NASA (National Aeronautics and Space Administration) and ESA (The European Space Agency) and expanded them to 24,451 pictures. We evaluate popular object detection algorithms to build a benchmark. Our STAR-24K dataset is publicly available at https://github.com/Zzz-zcy/STAR-24K.

• 방송공학회논문지
• /
• 제28권3호
• /
• pp.302-313
• /
• 2023

본 연구는 과학기술정보통신부가 2017년부터 1조원 이상을 투자한 'AI Hub 댐' 사업에서 구축된 인공지능 모델 학습데이터의 품질관리를 자동화할 수 있는 프레임워크의 개발을 목표로 한다. 자율주행 개발에 사용되는 AI 모델 학습에는 다량의 고품질의 데이터가 필요하며, 가공된 데이터를 검수자가 데이터 자체의 이상을 검수하고 유효함을 증명하는 데는 여전히 어려움이 있으며 오류가 있는 데이터로 학습된 모델은 실제 상황에서 큰 문제를 야기할 수 있다. 본 논문에서는 이상 데이터를 제거하는 신뢰할 수 있는 데이터셋 정제 프레임워크를 통해 모델의 인식 성능을 향상시키는 전략을 소개한다. 제안하는 방법은 인공지능 학습용 데이터 품질관리 가이드라인의 지표를 기반으로 설계되었다. 한국정보화진흥원의 AI Hub을 통해 공개된 자율주행 데이터셋에 대한 실험을 통해 프레임워크의 유효성을 증명하였고, 이상 데이터가 제거된 신뢰할 수 있는 데이터셋으로 재구축될 수 있음을 확인하였다.

• 산업경영시스템학회지
• /
• 제44권4호
• /
• pp.193-207
• /
• 2021

As Deepfakes phenomenon is spreading worldwide mainly through videos in web platforms and it is urgent to address the issue on time. More recently, researchers have extensively discussed deepfake video datasets. However, it has been pointed out that the existing Deepfake datasets do not properly reflect the potential threat and realism due to various limitations. Although there is a need for research that establishes an agreed-upon concept for high-quality datasets or suggests evaluation criterion, there are still handful studies which examined it to-date. Therefore, this study focused on the development of the evaluation criterion for the Deepfake video dataset. In this study, the fitness of the Deepfake dataset was presented and evaluation criterions were derived through the review of previous studies. AHP structuralization and analysis were performed to advance the evaluation criterion. The results showed that Facial Expression, Validation, and Data Characteristics are important determinants of data quality. This is interpreted as a result that reflects the importance of minimizing defects and presenting results based on scientific methods when evaluating quality. This study has implications in that it suggests the fitness and evaluation criterion of the Deepfake dataset. Since the evaluation criterion presented in this study was derived based on the items considered in previous studies, it is thought that all evaluation criterions will be effective for quality improvement. It is also expected to be used as criteria for selecting an appropriate deefake dataset or as a reference for designing a Deepfake data benchmark. This study could not apply the presented evaluation criterion to existing Deepfake datasets. In future research, the proposed evaluation criterion will be applied to existing datasets to evaluate the strengths and weaknesses of each dataset, and to consider what implications there will be when used in Deepfake research.

• 기록학연구
• /
• 제25호
• /
• pp.91-129
• /
• 2010

공공 부문의 정보시스템 의존도가 점차 높아지면서 행정정보 시스템에 축적되는 데이터세트 기록의 관리와 활용에 관한 다양한 방안이 모색되고 있다. 행정정보 데이터세트를 아카이브 시스템이나 공유서버로 이관할 때 데이터 보정이나 품질 개선의 요구가 발생할 수 있다. 이 논문의 목적은 데이터웨어하우스 구축을 위해 데이터를 추출하여 변형 후 전송하는 절차와 방법을 참조하여 이관하는 행정정보 데이터세트 기록의 보정 및 품질 개선 방법을 제시하는 것이다. 이 논문에서는 데이터세트 기록 이관 시 검토할 필요가 있는 전형적인 데이터 보정 및 품질 개선 사례로 (1)추출 시 데이터세트 수량과 유효값 확인, (2)일관된 코드값의 부여를 위한 코드 변환, (3)복합정보의 컴포넌트화, (4)날짜데이터의 정밀도 결정, (5)데이터 표준화, (6)코드값의 설명정보 (7)메타데이터 확보 등 7가지를 제시하고 각각의 처리방법을 제안하고 있다. 데이터세트 기록 이관 시 적용하는 데이터 보정 및 품질 개선 기준은 데이터세트를 생산하는 행정정보시스템의 데이터 품질요건으로 활용할 수 있다.

• 기록학연구
• /
• 제71호
• /
• pp.237-272
• /
• 2022

2019년부터 국가기록원의 주도로 행정정보데이터세트 기록관리체계 구축 시범사업이 본격적으로 시작되었다. 2021년까지 3년에 걸친 사업의 결과를 바탕으로 개선된 행정정보데이터세트 관리방안이 공공기록물 관련 법령과 지침에 반영될 예정이다. 이를 통해 행정정보데이터세트는 본격적인 공공기록관리의 대상이 된다. 공공기록이 전자문서 중심으로 전환되었고 행정정보시스템의 데이터세트까지 본격적인 공공기록관리의 대상으로 포함되었지만, 기록을 구성하는 원 자료(raw data)로서의 데이터 자체의 품질 요건에 관한 연구는 아직 부족한 상황이다. 데이터 품질이 보장되지 않으면 데이터의 구성체이며 기록의 집합체인 데이터세트는 기록의 4대 속성 전체가 위협받게 된다. 더욱이 표준기록관리시스템의 규격을 고려하지 않고 기관 실무 부서의 다양한 요구를 반영하여 구축된 행정정보시스템의 데이터는 기록관리 관점에서 그 품질에 대한 신뢰성이 부족할 경우 공공기록 자체의 신뢰성을 확보할 수 없을 것이다. 본 연구는 2021년 국가기록원에서 진행한 "행정정보데이터세트 기록정보 서비스 및 활용모형 연구"에서 제시된 행정정보데이터세트 관리방안을 기반으로, 적극적으로 개념이 확장된 평가, 그중에서 데이터 품질평가에 관한 연구를 수행하였다. 범정부적으로 추진되고 있는 다양한 데이터, 특히 공공 데이터 관련 정책과 가이드를 참고하여 기록관리 차원에서의 품질평가 요건을 도출하고, 구체적인 지표를 제시해 보고자 한다. 이를 통해 향후 본격화될 행정정보데이터세트 기록관리에 도움이 되기를 기대한다.