• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.610-612
• /
• 2005

협동적 여과를 이용한 추천 시스템은 데이터의 희소성 문제(sparseness problem)와 초기 추천 문제 (cold-start problem)에 대해 취약점을 가지고 있다. 협동적 여과를 이용한 추천 시스템에서 사용하는 선호도 데이터에 아이템들의 전체 수량에 비해 매우 적은 양의 아이템 선호도만 존재한다면 사용자들의 유사도 측정에 문제를 발생시켜 극단적인 경우엔 협동적 추천이 불가능할 경우가 발생한다. 이와 같은 문제는 선호도 데이터에 나타난 아이템들의 총수에 비해 사용자가 선호(구매)한 아이템이 극히 적은 수량으로 존재하기 때문이며 새로운 사용자의 경우에는 아이템 선호도 정보가 전혀 없기 때문에 유사 사용자를 추출하지 못하여 아이템을 전혀 추천할 수 없는 문제가 발생한다. 본 논문에서는 희소성이 높은 선호도 데이터를 희소하지 않은 상태로 변형하는 희소 데이터 변형 기법을 제안한다. 희소 데이터 변형 기법은 희소데이터에 나타난 사용자와 아이템의 추가 속성 정보의 확률분포를 이용하여 알려지지 않은 선호도 값을 예측함으로써 희소성이 높은 선호도 데이터를 변경하고, 변경된 선호도 데이터를 협동적 추천에 적용하여 추천 성능을 향상시킨다. 이와 같은 선호도 데이터 변경 기법을 데이터 블러링(data blurring)이라 한다. 몇가지 실험 결과를 통해 제안된 기법의 효과를 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.27-29
• /
• 2022

최근 인공지능 애플리케이션이 많이 사용되고 이러한 애플리케이션에서 데이터 희소성이 높아지고 있어 이러한 희소 데이터를 효율적으로 처리하기 위한 하드웨어 구조들이 많이 소개되고 있다. 본 논문에서는 희소 데이터 처리 시 전력 소모량을 낮출 수 있는 새로운 하드웨어 구조를 제안한다. 일반적인 인공지능 하드웨어에서 많이 사용되는 시스톨릭 어레이 구조를 기반으로 하며, 제안된 저전력 PE 가 희소 데이터 처리시 희소하지 않은 데이터 처리 시보다 최대 2 배의 전력 소모량을 줄일 수 있는 것으로 나타났다.

• KIPS Transactions on Software and Data Engineering
• /
• v.9 no.12
• /
• pp.411-418
• /
• 2020

In the field of information security, IDS(Intrusion Detection System) is normally classified in two different categories: signature-based IDS and anomaly-based IDS. Many studies in anomaly-based IDS have been conducted that analyze network traffic data generated in cyberspace by machine learning algorithms. In this paper, we studied pre-processing methods to overcome performance degradation problems cashed by rare classes. We experimented classification performance of a Machine Learning algorithm by reconstructing data set based on rare classes and semi rare classes. After reconstructing data into three different sets, wrapper and filter feature selection methods are applied continuously. Each data set is regularized by a quantile scaler. Depp neural network model is used for learning and validation. The evaluation results are compared by true positive values and false negative values. We acquired improved classification performances on all of three data sets.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.11c
• /
• pp.1359-1362
• /
• 2003

최근 인터넷과 웹 기술의 발전 그리고 이를 기반으로 하는 다양한 멀티미디어 컨텐츠가 홍수를 이루고 있지만 멀티미디어 데이터에서 체계적으로 연관 규칙을 마이닝 하는 연구는 초기 단계이다. 본 논문에서는 이미지 프로세싱 분야 및 내용 기반 이미지 검색에 대한 기존 연구를 바탕으로 이미지 데이터 저장소에 저장된 재생성 항목과 희소하게 발생하지만 상대적으로 특정 항목과 높은 비율로 동시에 나타나는 희소 항목을 포함한 내용기반의 이미지 연관 규칙을 찾아내기 위한 탐사 기법을 제안한다 실험 결과 제안된 알고리즘은 기존의 재생성 항목만을 고려한 알고리즘보다 희소 항목을 포함하여 연관 규칙을 탐사하므로 같은 종류의 이미지가 모여 있는 저장소에서 이미지 오브젝트간의 연관 관계를 발견하는 이미지 데이터 마이닝에 효과적이다.

• The Korean Journal of Applied Statistics
• /
• v.36 no.6
• /
• pp.501-514
• /
• 2023

When analyzing high dimensional data such as text data, if we input all the variables as explanatory variables, statistical learning procedures may suffer from over-fitting problems. Furthermore, computational efficiency can deteriorate with a large number of variables. Dimensionality reduction techniques such as feature selection or feature extraction are useful for dealing with these problems. The sparse principal component analysis (SPCA) is one of the regularized least squares methods which employs an elastic net-type objective function. The SPCA can be used to remove insignificant principal components and identify important variables from noisy observations. In this study, we propose a dimension reduction procedure for text data based on the SPCA. Applying the proposed procedure to real data, we find that the reduced feature set maintains sufficient information in text data while the size of the feature set is reduced by removing redundant variables. As a result, the proposed procedure can improve classification accuracy and computational efficiency, especially for some classifiers such as the k-nearest neighbors algorithm.

• The KIPS Transactions:PartD
• /
• v.11D no.3
• /
• pp.545-552
• /
• 2004

Association rules mining, which is one of data mining technologies, searches data among which are frequent and related to each other in database. But, although the data are not of frequent and rare in database, they have the enough worth of business information if the data ares important and strongly related to each other, In this paper, we propose the algorithm discovering association rules that consist of data, which are rare but, important and strongly related to each other in database. The proposed algorithm was evaluated through simulation. We found that the proposed algorithm discovered efficiently association rules among data, which are not frequent but, important.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2004.04a
• /
• pp.499-501
• /
• 2004

웹 로그, 바이오정보학 둥 여러 분야에서 다양한 형태의 결측치가 발생하여 학습 데이터를 희소하게 만든다. 결측치는 주로 전처리 과정에서 조건부 평균이나 나무 모형과 같은 기본적인 Imputation 방법을 이용하여 추정된 값에 의해 대체되기도 하고 일부는 제거되기도 한다. 특히, 결측치 비율이 매우 크게 되면 기존의 결측치 대체 방법의 정확도는 떨어진다. 또한 데이터의 결측치 비율이 증가할수록 사용 가능한 Imputation 방법들의 수는 극히 제한된다. 이러한 문제점을 해결하기 위하여 본 논문에서는 Vapnik의 Support Vector Regression을 데이터 전처리 과정에 알맞게 변형한 Support Vector Regression을 제안하여 이러한 문제점들을 해결하였다. 제안 방법을 통하여 결측치의 비율이 상당히 큰 희소 데이터의 전처리도 가능하게 되었다. UCI machine learning repository로부터 얻어진 데이터를 이용하여 제안 방법의 성능을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.268-271
• /
• 2022

단어 의미 모호성 해소는 동형이의어의 의미를 문맥에 맞게 결정하는 일이다. 최근 연구에서는 희소 데이터 처리를 위해 시소러스를 사용해 의미 어휘를 압축하고 사용하는 방법이 좋은 성능을 보였다[1]. 본 연구에서는 시소러스 없이 군집화 알고리즘으로 의미 어휘를 압축하는 방법의 성능 향상을 위해 두 가지 방법을 제안한다. 첫째, 의미적으로 유사한 의미 어휘 집합인 범주(category) 정보를 군집화를 위한 초기 군집 생성에 사용한다. 둘째, 다양하고 많은 문맥 정보를 학습해 만들어진 품질 좋은 벡터를 군집화에 사용한다. 영어데이터인 SemCor 데이터를 학습하고 Senseval, Semeval 5개 데이터로 평가한 결과, 제안한 방법의 평균 성능이 기존 연구보다 1.5%p 높은 F1 70.6%를 달성했다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.96-97
• /
• 2020

랜덤워크 기반 노드 랭킹 방식 중 하나인 RWR(Random Walk with Restart) 기법은 희소행렬 벡터 곱셈 연산과 벡터 간의 합 연산을 반복적으로 수행하며, RWR 의 수행 시간은 희소행렬 벡터 곱셈 연산 방법에 큰 영향을 받는다. 본 논문에서는 CSR5(Compressed Sparse Row 5) 기반 희소행렬 벡터 곱셈 방식과 CSR-vector 기반 희소행렬 곱셈 방식을 채택한 GPU 기반 RWR 기법 간의 비교 실험을 수행한다. 실험을 통해 데이터 셋의 특징에 따른 RWR 의 성능 차이를 분석하고, 적합한 희소행렬 벡터 곱셈 방안 선택에 관한 가이드라인을 제안한다.

• Journal of Digital Contents Society
• /
• v.16 no.4
• /
• pp.605-613
• /
• 2015

This paper addresses the problem to make sparse the projection matrix in pattern recognition method. Recently, the size of computer program is often restricted in embedded systems. It is very often that developed programs include some constant data. For example, many pattern recognition programs use the projection matrix for dimension reduction. To improve the recognition performance, very high dimensional feature vectors are often extracted. In this case, the projection matrix can be very big. Recently, RSR(roated sparse regression) method[1] was proposed. This method has been proved one of the best algorithm that obtains the sparse matrix. We propose three methods to improve the RSR; outlier removal, sampling and elastic net RSR(E-RSR) in which the penalty term in RSR optimization function is replaced by that of the elastic net regression. The experimental results show that the proposed methods are very effective and improve the sparsity rate dramatically without sacrificing the recognition rate compared to the original RSR method.