• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
• /
• pp.610-612
• /
• 2005

협동적 여과를 이용한 추천 시스템은 데이터의 희소성 문제(sparseness problem)와 초기 추천 문제 (cold-start problem)에 대해 취약점을 가지고 있다. 협동적 여과를 이용한 추천 시스템에서 사용하는 선호도 데이터에 아이템들의 전체 수량에 비해 매우 적은 양의 아이템 선호도만 존재한다면 사용자들의 유사도 측정에 문제를 발생시켜 극단적인 경우엔 협동적 추천이 불가능할 경우가 발생한다. 이와 같은 문제는 선호도 데이터에 나타난 아이템들의 총수에 비해 사용자가 선호(구매)한 아이템이 극히 적은 수량으로 존재하기 때문이며 새로운 사용자의 경우에는 아이템 선호도 정보가 전혀 없기 때문에 유사 사용자를 추출하지 못하여 아이템을 전혀 추천할 수 없는 문제가 발생한다. 본 논문에서는 희소성이 높은 선호도 데이터를 희소하지 않은 상태로 변형하는 희소 데이터 변형 기법을 제안한다. 희소 데이터 변형 기법은 희소데이터에 나타난 사용자와 아이템의 추가 속성 정보의 확률분포를 이용하여 알려지지 않은 선호도 값을 예측함으로써 희소성이 높은 선호도 데이터를 변경하고, 변경된 선호도 데이터를 협동적 추천에 적용하여 추천 성능을 향상시킨다. 이와 같은 선호도 데이터 변경 기법을 데이터 블러링(data blurring)이라 한다. 몇가지 실험 결과를 통해 제안된 기법의 효과를 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.27-29
• /
• 2022

최근 인공지능 애플리케이션이 많이 사용되고 이러한 애플리케이션에서 데이터 희소성이 높아지고 있어 이러한 희소 데이터를 효율적으로 처리하기 위한 하드웨어 구조들이 많이 소개되고 있다. 본 논문에서는 희소 데이터 처리 시 전력 소모량을 낮출 수 있는 새로운 하드웨어 구조를 제안한다. 일반적인 인공지능 하드웨어에서 많이 사용되는 시스톨릭 어레이 구조를 기반으로 하며, 제안된 저전력 PE 가 희소 데이터 처리시 희소하지 않은 데이터 처리 시보다 최대 2 배의 전력 소모량을 줄일 수 있는 것으로 나타났다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권12호
• /
• pp.411-418
• /
• 2020

정보보안을 위한 IDS(Intrusion Detection Systems)는 통상적으로 서명기반(signature based) 침입탐지시스템과 이상기반(anomaly-based) 침입 탐지시스템으로 분류한다. 이 중에서도 네트워크에서 발생하는 트래픽 데이터를 기계학습으로 분석하는 이상기반 IDS 연구가 활발하게 진행됐다. 본 논문에서는 공격 유형 학습에 사용되는 데이터에 존재하는 희소 클래스 문제로 인한 성능 저하를 해결하기 위한 전처리 방안에 대해 연구했다. 희소 클래스(Rare Class)와 준 희소 클래스(Semi Rare Class)를 기준으로 데이터를 재구성하여 기계학습의 분류 성능의 개선에 대하여 실험했다. 재구성된 3종의 데이터 세트에 대하여 Wrapper와 Filter 방식을 연이어 적용하는 하이브리드 특징 선택을 수행한 이후에 Quantile Scaler로 정규화를 처리하여 전처리를 완료한다. 준비된 데이터는 DNN(Deep Neural Network) 모델로 학습한 후 TP(True Positive)와 FN(False Negative)를 기준으로 분류 성능을 평가했다. 이 연구를 통해 3종류의 데이터 세트에서 분류 성능이 모두 개선되는 결과를 얻었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2003년도 추계학술발표논문집 (하)
• /
• pp.1359-1362
• /
• 2003

최근 인터넷과 웹 기술의 발전 그리고 이를 기반으로 하는 다양한 멀티미디어 컨텐츠가 홍수를 이루고 있지만 멀티미디어 데이터에서 체계적으로 연관 규칙을 마이닝 하는 연구는 초기 단계이다. 본 논문에서는 이미지 프로세싱 분야 및 내용 기반 이미지 검색에 대한 기존 연구를 바탕으로 이미지 데이터 저장소에 저장된 재생성 항목과 희소하게 발생하지만 상대적으로 특정 항목과 높은 비율로 동시에 나타나는 희소 항목을 포함한 내용기반의 이미지 연관 규칙을 찾아내기 위한 탐사 기법을 제안한다 실험 결과 제안된 알고리즘은 기존의 재생성 항목만을 고려한 알고리즘보다 희소 항목을 포함하여 연관 규칙을 탐사하므로 같은 종류의 이미지가 모여 있는 저장소에서 이미지 오브젝트간의 연관 관계를 발견하는 이미지 데이터 마이닝에 효과적이다.

• 응용통계연구
• /
• 제36권6호
• /
• pp.501-514
• /
• 2023

텍스트데이터는 일반적으로 많은 단어로 이루어져 있다. 텍스트데이터와 같이 많은 변수로 구성된 데이터의 경우 과적합 등의 문제로 분석에 있어서의 정확성이 떨어지고, 계산과정에서의 효율성에도 문제가 발생하는 경우를 흔히 볼 수 있다. 이렇게 변수가 많은 데이터를 분석하기 위해 특징선택, 특징추출 등의 차원 축소 기법이 자주 사용되고 있다. 희소주성분분석은 벌점이 부여된 최소제곱법 중 하나로 엘라스틱넷 형태의 목적함수를 사용하여 유용하지 않은 주성분을 제거하고 각 주성분에서도 중요도가 큰 변수만 식별해내기 위해 활용되고 있다. 이 연구에서는 희소주성분분석을 이용하여 많은 변수를 가진 텍스트데이터를 소수의 변수만으로 요약하는 절차를 제안한다. 이러한 절차를 실제 데이터에 적용한 결과, 희소주성분분석을 이용하여 단어를 선택하는 과정을 통해 목표변수에 대한 정보를 이용하지 않고도 유용성이 낮은 단어를 제거하여 텍스트데이터의 분류 정확성은 유지하면서 데이터의 차원을 축소할 수 있음을 확인하였다. 특히 차원축소를 통해 고차원 데이터 분석에서 분류 정확도가 저하되는 KNN 분류기 등의 분류 성능을 개선할 수 있음을 알 수 있었다.

• 정보처리학회논문지D
• /
• 제11D권3호
• /
• pp.545-552
• /
• 2004

데이터마이닝 기법중의 하나인 연관규칙 탐사는 데이터베이스상에서 빈번하게 나타나는 데이터들 중 서로 연관성이 강한 데이터들을 탐색대상으로 한다. 그러나. 빈번하게 나타나지 않는 희소한 데이터들이라 할 지라도 가중치가 높은 중요한 데이터이면서 서로 연관성이 강할 경우 비즈니스정보로서 중요한 가치가 있다. 본 논문에서는 데이터베이스 상에서 희소하게 나타나지만 중요한 의미를 갖고 또한 서로 연관성이 높은 데이터들을 탐사할 수 있는 연관규칙 탐사 알고리즘을 제안한다. 제안한 알고리즘의 성능을 시뮬레이션을 통하여 평가한 결과 희소하면서도 중요한 데이터를 사이의 연간규칙을 효율적으로 탐사함을 알 수 없었다

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2004년도 춘계학술대회 학술발표 논문집 제14권 제1호
• /
• pp.499-501
• /
• 2004

웹 로그, 바이오정보학 둥 여러 분야에서 다양한 형태의 결측치가 발생하여 학습 데이터를 희소하게 만든다. 결측치는 주로 전처리 과정에서 조건부 평균이나 나무 모형과 같은 기본적인 Imputation 방법을 이용하여 추정된 값에 의해 대체되기도 하고 일부는 제거되기도 한다. 특히, 결측치 비율이 매우 크게 되면 기존의 결측치 대체 방법의 정확도는 떨어진다. 또한 데이터의 결측치 비율이 증가할수록 사용 가능한 Imputation 방법들의 수는 극히 제한된다. 이러한 문제점을 해결하기 위하여 본 논문에서는 Vapnik의 Support Vector Regression을 데이터 전처리 과정에 알맞게 변형한 Support Vector Regression을 제안하여 이러한 문제점들을 해결하였다. 제안 방법을 통하여 결측치의 비율이 상당히 큰 희소 데이터의 전처리도 가능하게 되었다. UCI machine learning repository로부터 얻어진 데이터를 이용하여 제안 방법의 성능을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.268-271
• /
• 2022

단어 의미 모호성 해소는 동형이의어의 의미를 문맥에 맞게 결정하는 일이다. 최근 연구에서는 희소 데이터 처리를 위해 시소러스를 사용해 의미 어휘를 압축하고 사용하는 방법이 좋은 성능을 보였다[1]. 본 연구에서는 시소러스 없이 군집화 알고리즘으로 의미 어휘를 압축하는 방법의 성능 향상을 위해 두 가지 방법을 제안한다. 첫째, 의미적으로 유사한 의미 어휘 집합인 범주(category) 정보를 군집화를 위한 초기 군집 생성에 사용한다. 둘째, 다양하고 많은 문맥 정보를 학습해 만들어진 품질 좋은 벡터를 군집화에 사용한다. 영어데이터인 SemCor 데이터를 학습하고 Senseval, Semeval 5개 데이터로 평가한 결과, 제안한 방법의 평균 성능이 기존 연구보다 1.5%p 높은 F1 70.6%를 달성했다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.96-97
• /
• 2020

랜덤워크 기반 노드 랭킹 방식 중 하나인 RWR(Random Walk with Restart) 기법은 희소행렬 벡터 곱셈 연산과 벡터 간의 합 연산을 반복적으로 수행하며, RWR 의 수행 시간은 희소행렬 벡터 곱셈 연산 방법에 큰 영향을 받는다. 본 논문에서는 CSR5(Compressed Sparse Row 5) 기반 희소행렬 벡터 곱셈 방식과 CSR-vector 기반 희소행렬 곱셈 방식을 채택한 GPU 기반 RWR 기법 간의 비교 실험을 수행한다. 실험을 통해 데이터 셋의 특징에 따른 RWR 의 성능 차이를 분석하고, 적합한 희소행렬 벡터 곱셈 방안 선택에 관한 가이드라인을 제안한다.

• 디지털콘텐츠학회 논문지
• /
• 제16권4호
• /
• pp.605-613
• /
• 2015

본 논문은 패턴인식에서 자주 사용되는 투영행렬을 희소화하는 문제를 다룬다. 최근 임베디드 시스템이 널리 사용됨에 따라 탑재되는 프로그램의 용량이 제한받는 경우가 빈번히 발생한다. 개발된 프로그램은 상수 데이터를 포함하는 경우가 많다. 예를 들어, 얼굴인식과 같은 패턴인식 프로그램의 경우 고차원 벡터를 저차원 벡터로 차원을 축소하는 투영행렬을 사용하는 경우가 많다. 인식성능 향상을 위해 영상으로부터 매우 높은 차원의 고차원 특징벡터를 추출하는 경우 투영행렬의 사이즈는 매우 크다. 최근 라소 회귀분석 방법을 이용한 RSR(rotated sparse regression) 방법론[1]이 제안되었다. 이 방법론은 여러 실험을 통해 희소행렬을 구하는 가장 우수한 알고리즘 중 하나로 평가받고 있다. 우리는 본 논문에서 RSR을 개선할 수 있는 세 가지 방법론을 제안한다. 즉, 학습데이터에서 이상치를 제거하여 일반화 성능을 높이는 방법, 학습데이터를 랜덤 샘플링하여 희소율을 높이는 방법, RSR의 목적함수에 엘라스틱 넷 회귀분석의 패널티 항을 사용한 E-RSR(elastic net-RSR) 방법을 제안한다. 우리는 실험을 통해 제안한 방법론이 인식률을 희생하지 않으며 희소율을 크게 증가시킴으로써 기존 RSR 방법론을 개선할 수 있음을 보였다.