• 제목/요약/키워드: K평균 군집화

검색결과 173건 처리시간 0.025초

대표 Unigram 군집화를 통한 유사중복문서 검출 최적화 (The Optimization of Near Duplicate Detection Using Representative Unigram Grouping)

  • 권영현;윤도현;안영민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.291-293
    • /
    • 2012
  • SNS, 블로그의 이용이 늘어나면서, 문서의 복제와 재생산이 빈번하게 발생함에 따라 대용량 문서에서의 유사중복문서 검출이 큰 이슈로 제기되고 있다. 본 논문에서는 한국어 문서를 대상으로 이러한 문제를 해결하기 위해 품질을 유지하면서 신속하게 문서집합 중 유사중복문서를 검출하는 방법에 대해 제안한다. 제안하는 알고리즘에서는 문서를 대표하는 고빈도 Unigram Token을 활용하여 문서를 군집화함으로써 비교 대상을 최소화 하였다. 실험결과, 76만 문서에서 기존 방법 대비 평균 0.88의 Recall을 유지하면서도 중복을 검출하는데 있어서 십수초내에 처리가 가능함을 보였다. 향후 대용량 검색시스템 및 대용량 이미지, 동영상 유사중복 검출에도 활용할 수 있을 것으로 기대한다.

K평균 군집화를 이용한 벡터데이터 압축 기법 연구 (A Study on Vector Data Compression using K-means Clustering)

  • 이동헌;전우제;박수홍
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 2004년도 국내 LBS 기술개발 및 표준화 동향세미나
    • /
    • pp.132-138
    • /
    • 2004
  • 최근 이동전화, PDA, 텔레매틱스 단말기 등과 같은 모바일 기기에서 공간데이터에 대한 사용이 증가하고 있다. 하지만 모바일 기기의 저장 공간이 늘어났음에도 불구하고 여전히 공간데이터에 대한 요구를 수용하기에는 한계가 있다. 따라서 본 연구에서는 모바일 환경에서 사용 가능한 공간데이터에 대한 손실 압축 기법을 제시하고, 실험을 통한 압축률, 데이터 손실률을 분석하여 연구의 타당성과 적용 가능성을 제시하고자 한다. 세부적으로 압축률과 데이터 손실에 따르는 위치 정확도 관계에서 위치정확도를 높일 수 있는 방향을 모색하여 보았다. 그리고 다양한 군집화 기법 중 연구에 적용 가능한 기법을 선정 이용하였다. 또한 저장 공간뿐만 아닌 연산 성능 측면에서도 열악한 모바일 환경에서 만족할 만한 복원 성능을 보여야 한다. 따라서 압축된 데이터를 복원하는데 소요되는 비용을 최소화할 수 있는 방향이 연구되었다.

  • PDF

영화 등장인물의 사회관계망에서 시나리오를 기반으로 하는 영화 추천 기법 (Recommand Movie Based on Scenario in Movie Characters' Social Networks)

  • 허주성;김태형;서장원;이예영;한연희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1134-1137
    • /
    • 2015
  • '영화 시나리오를 기반으로 영화를 어떻게 추천할 수 있는가'에서 본 논문에서는 전통적인 사회관계망 분석 지표 중 그래프의 평균 길이와 평균 군집도 그리고 밀도를 이용하여 3차원의 데이터 집합을 산출했고, 산출한 데이터 집합을 기반으로 k-means 군집화 알고리즘을 활용하여 각 k 값에 따른 영화를 추천해보았다. 그 결과 기타 여느 추천들과 다른 추천결과를 도출해냈다.

샘플 군집화를 이용한 개선된 아다부스트 알고리즘 (An Improved AdaBoost Algorithm by Clustering Samples)

  • 백열민;김중근;김회율
    • 방송공학회논문지
    • /
    • 제18권4호
    • /
    • pp.643-646
    • /
    • 2013
  • 본 논문에서는 아다부스트의 과적합 문제를 해결하기 위해 샘플 군집화를 이용한 개선된 아다부스트 알고리즘을 제안한다. 아다부스트는 다양한 객체 검출 방법에서 좋은 성능을 보이는 방법으로 알려져 있지만 훈련 샘플에 노이즈가 존재하는 경우 과적합 현상이 발생하는 문제가 있다. 이를 해결하기 위해 제안하는 방법은 우선 훈련 샘플의 긍정 샘플을 k-평균 군집화 알고리즘을 이용하여 K개의 군집으로 나눈다. 이후 아다부스트의 약분류기 훈련 시 K개의 군집 중 훈련 오차를 최소화하는 하나의 군집만을 선택하여 사용한다. 이로써, 제안하는 방법은 매 회 반복되는 약분류기의 훈련 시 훈련 샘플들이 과분할 되는 것과 노이즈 샘플이 훈련에 사용되는 것을 방지함으로써 기존 아다부스트의 과적합 현상을 효과적으로 줄여준다. 실험 결과, 제안하는 방법은 다양한 실제 데이터셋에서 기존의 부스팅 기반 방법들에 비해 더 나은 분류 성능 및 일반화 성능을 보여주었다.

군집기법을 이용한 연강수량 예보개선에 관한 연구 (A Study on the Improvement of Quantitative Precipitation Forecast using a Clustering Method)

  • 김광섭;조소현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2009년도 학술발표회 초록집
    • /
    • pp.94-97
    • /
    • 2009
  • 연 및 계절강수량의 정확한 예보는 수자원관리에 매우 중요하다. 예보 정확도를 높이기 위한 다양한 연구가 계속 진행되어 왔다. 그럼에도 불구하고 강수자료가 가지는 매우 큰 불확실성 때문에 예보의 정확도 향상은 계속되는 숙제로 우리에게 남아 있다. 이를 개선하기 위하여 본 연구에서는 군집화 기법을 이용한 연 및 계절 강수량 예측개선에 대한 연구 결과를 제시하였다. 이를 위하여 연강수량, 계절강수량 및 월강수량의 예측을 위하여 전구에서 일어나는 각종 기후 인자들과의 상관성 분석은 대단히 중요하다. 전 세계적으로 어느 특정 지역에서의 선행 기후인자 변화 양상이 우리나라의 강수량에 높은 상관성을 가지며 영향을 미친다면 예측을 위한 매우 유용한 정보라 하겠으나 국내 강수량과 기후 지수 사이의 선형 상관성은 매우 낮을 뿐만 아니라 지체상관성도 특정 지체에서 매우 큰 상관성을 보이는 인자를 찾기 어려움을 알 수 있다. 이를 극복하기 위하여 본 연구에서는 k-mean clustering을 이용하여 우리나라 주변의 기후조건을 분류하고 기후조건에 따른 강수량의 변화를 분석하였다. 남중국해역($105^{\circ}E\;^{\sim}\;135^{\circ}E$, $0^{\circ}N\;^{\sim}\;35^{\circ}N$), 우리나라 연안 해역 ($110^{\circ}E\;^{\sim}\;150^{\circ}E$, $20^{\circ}N\;^{\sim}\;40^{\circ}N$), 인도양 해역 ($75^{\circ}E\;^{\sim}\;105^{\circ}E$, $0^{\circ}N\;^{\sim}\;25^{\circ}N$) 및 아라비아 해역 ($45^{\circ}E\;^{\sim}\;75^{\circ}E$, $0^{\circ}N\;^{\sim}\;30^{\circ}N$ 평균 해수면 온도 변화에 따라 8개 군집으로 분류한 분석결과로 분석결과 2008년도는 그룹 5에 해당하며 그룹 5의 기후 상태는 근해와 남중국해역의 평균 해수면 온도가 평년보다 낮고 인도양 해역과 아라비아 해역의 평균 해수면 온도는 평년값과 비슷한 상태를 나타낸다. 그룹 5에 해당하는 기후조건에서 차년의 강수평균은 평년값 보다 적음을 보였다. 이러한 특성은 전체 유역에 걸쳐 동일하게 나타났다. 이에 대한 계절적 평균 분포는 군집 5에 대한 차년도 강수의 평균 계절분포는 전체적으로 평년값보다 낮게 나타났다. 이에 근거하여 올해 연 평균 강수량은 평년값보다 적을 것이며 전체 계절에 대하여도 평년값보다 적은 강수량이 올 것으로 판단된다. 이는 기상청의 2009년 봄철 기후전망과 유사한 예측 결과를 보여준다.

  • PDF

전력소비행위 변화를 위한 전력소비패턴 분석 및 적용 (Analysis and Application of Power Consumption Patterns for Changing the Power Consumption Behaviors)

  • 장민석;남광우;이연식
    • 한국정보통신학회논문지
    • /
    • 제25권4호
    • /
    • pp.603-610
    • /
    • 2021
  • 본 논문에서는 사용자의 전력소비패턴을 추출하고 사용자의 환경 및 감성을 적용한 최적 소비패턴을 모델링한 후, 이 두 가지의 패턴을 비교 적용하여 사용자의 전력소비행위 변화를 통한 전력의 효율적 사용 방법을 제시한다. 유의미한 소비패턴을 추출하기 위하여 벡터 표준화 및 이진 데이터 변환방법을 사용하고, k-평균 군집화를 적용한 앙상블의 합집합에 대한 학습과 k값에 따른 지지도를 적용하였으며, 최적 전력소비패턴 모델은 상대적 평균 소비량이 적은 앙상블 합집합에 대한 학습 결과를 기준으로 강제 및 감성 제어를 적용하여 생성하였다. 실험을 통하여 전력소비행위 변화 유도대상 추출 시 클러스터의 수와 일치율 간의 상관관계를 파악함으로써, 사용자의 의도에 따라 강제 및 감성 기반의 제어가 가능하도록 클러스터의 수나 크기 조절을 통한 다양한 윈도우에 적용할 수 있음을 검증하였다.

신용카드업에서 데이터마이닝의 활용 -고객행동기반의 고객세분화-

  • 진서훈;안상욱
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2004년도 학술발표논문집
    • /
    • pp.171-174
    • /
    • 2004
  • 기업들이 심화된 경쟁체제 속에서 고객에 대한 보다 심층적인 이해를 필요로 하고 정보기술의 발달로 각 요소활동내용의 데이터화가 가능해짐에 따라 CRM으로 대변되는 고객 정보의 전략적 활용이 매우 중요하게 되었다. 이를 위해 기업은 고객에 대한 이해를 바탕으로 고객관리 및 마케팅을 수행하기 위한 필수적인 도구인 고객세분화를 수행하고 있다. 본 연구에서는 신용카드고객의 카드사용행태에 근거하여 서로 유사한 사용행태를 보이는 고객군으로 세분화하는 과정을 소개한다. 고객이 실제로 카드를 사용하면서 발생시킨 거래정보에만 의존하여 고객세분화를 수행하였으며 이는 마케팅의 관점에서 상당히 의미 있는 내용이라 볼 수 있다. 고객세분화를 위하여 데이터마이닝기법인 k-평균군집방법과 최장연결법에 의한 계보적 군집방법을 활용하였다

  • PDF

내부 알파탄소간 거리와 비네-코시 거리를 사용한 대규모 단백질 조각 라이브러리 구성 (Construction of Large Library of Protein Fragments Using Inter Alpha-carbon Distance and Binet-Cauchy Distance)

  • 지상문
    • 한국정보통신학회논문지
    • /
    • 제19권12호
    • /
    • pp.3011-3016
    • /
    • 2015
  • 단백질의 삼차원 구조를 단백질의 국부적 구조인 단백질 조각의 일차원적 나열로 표현하면, 단백질 구조의 분석, 모델링, 탐색, 예측 등에 효과적으로 응용될 수 있다. 본 논문에서는 자연 상태의 단백질 구조를 정확하게 나타낼 수 있는 단백질 조각 라이브러리를 구성하기 위하여, 대규모 단백질 구조 자료를 이용 할 수 있는 거리 척도들의 효과적인 조합을 조사하였다. 단백질 조각 라이브러리를 구성하기 위해 군집화를 사용하였다. 초기 군집화 단계에서는 가장 계산량이 작은 내부 알파탄소간 거리를 사용하였고, 군집의 확장단계에서는 내부 알파탄소간 거리, 비네-코시거리와 평균 제곱근 오차를 조합하여 사용하였다. 제안한 거리 척도의 조합으로 대규모 자료를 이용하여 단백질 조각 라이브러리를 구성하였다. 구성된 라이브러리를 사용하여 단백질 구조를 나타내는 실험에서 작은 평균 제곱근 오차가 발생함을 확인하였다.

사용자 관점에서의 음식 레시피 분류 모델에 관한 연구 (Food Recipe Clustering Model from the User's Perspective)

  • 이우행;최수연
    • 한국정보통신학회논문지
    • /
    • 제26권10호
    • /
    • pp.1441-1446
    • /
    • 2022
  • 현대인들은 음식 레시피에 대한 다양한 정보들을 인터넷이나 소셜 미디어 등에서 매우 쉽게 접할 수 있게 되었다. 음식 레시피를 제공하는 공급량이 많아지면서 범람하는 정보 안에서 사용자들이 각자에 맞는 레시피를 찾기에는 수고로움이 따르게 된다. 이처럼 사용자들의 요구사항을 반영하여 정보를 제공할 필요성이 높아졌고, 음식 레시피와 요리 추천에 관련 연구가 활발해지고 있다. 또한, 이를 활용한 인터넷, 영상 및 어플리케이션 시장 역시 급속도로 활성화되고 있다. 본 연구에서는 음식 레시피 사용자들의 관점에서 레시피를 분류하기 위하여 사용자의 리뷰 데이터를 비지도학습인 K-평균 군집화 기법을 적용하였으며, 이를 통해 "음식 레시피 분류 모델"을 도출하였다. 그 결과 특정 목적, 조리 단계 등 많은 사용자들이 필요한 정보를 포함한 총 25개의 군집으로 분류하였다.

텍스트 데이터 분석을 위한 근접성 데이터의 생성과 군집화 (Creation and clustering of proximity data for text data analysis)

  • 정민지;신상민;최용석
    • 응용통계연구
    • /
    • 제32권3호
    • /
    • pp.451-462
    • /
    • 2019
  • 문서-용어 빈도행렬은 텍스트 마이닝 분야에서 보편적으로 사용되는 데이터의 한 유형으로, 여러 개체들이 제공하는 문서를 기반으로 만들어진다. 그러나 대다수의 연구자들은 개체 정보에 무게를 두지 않고 여러 문서에서 공통적으로 등장하는 공통용어 중 핵심적인 용어를 효과적으로 찾아내는 방법에 집중하는 경향을 보인다. 공통용어에서 핵심어를 선별할 경우 특정 문서에서만 등장하는 중요한 용어들이 공통용어 선정단계에서부터 배제될 뿐만 아니라 개별 문서들이 갖는 고유한 정보가 누락되는 등의 문제가 야기된다. 본 연구에서는 이러한 문제를 극복할 수 있는 데이터를 근접성 데이터라 정의한다. 그리고 근접성 데이터를 생성할 수 있는 12가지 방법 중 개체 군집화의 관점에서 가장 최적화된 방법을 제안한다. 개체 특성 파악을 위한 군집화 알고리즘으로는 다차원척도법과 K-평균 군집분석을 활용한다.