• 제목/요약/키워드: k-means clustering algorithm

검색결과 547건 처리시간 0.027초

The use of support vector machines in semi-supervised classification

  • Bae, Hyunjoo;Kim, Hyungwoo;Shin, Seung Jun
    • Communications for Statistical Applications and Methods
    • /
    • 제29권2호
    • /
    • pp.193-202
    • /
    • 2022
  • Semi-supervised learning has gained significant attention in recent applications. In this article, we provide a selective overview of popular semi-supervised methods and then propose a simple but effective algorithm for semi-supervised classification using support vector machines (SVM), one of the most popular binary classifiers in a machine learning community. The idea is simple as follows. First, we apply the dimension reduction to the unlabeled observations and cluster them to assign labels on the reduced space. SVM is then employed to the combined set of labeled and unlabeled observations to construct a classification rule. The use of SVM enables us to extend it to the nonlinear counterpart via kernel trick. Our numerical experiments under various scenarios demonstrate that the proposed method is promising in semi-supervised classification.

클러스터링 기법을 이용한 전력 고객의 대표 부하패턴 생성에 대한 연구 (A Study for Load Profile Generation of Electric Power Customer using Clustering Algorithm)

  • 김영일;최훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.435-438
    • /
    • 2008
  • 한전에서는 연간 전력 사용량이 높은 고압 고객에 대하여 전자식 전력량계를 설치하여 15분 단위로 전력 사용량을 수집하는 자동검침시스템을 운영하고 있다. 본 연구에서는 자동검침시스템을 통해 수집된 데이터를 이용하여 배전선로에 대한 부하를 분석하기 위해 자동검침 고객의 부하 데이터를 이용하여 클러스터링 기법을 통해 대표 부하패턴을 생성하는 방식을 제안하였다. 기존에는 계약종별 코드가 동일한 고객들의 부하패턴을 이용하여 15분 단위의 평균 사용량을 계산하여 대표 부하패턴을 생성하는 방식을 사용하였으나, 같은 계약종별 코드를 갖는 고객이라 할지라도 부하패턴이 다른 경우가 많아서 부하분석의 정확도를 떨어뜨렸다. 본 연구에서는 동일한 계약종별 코드를 갖는 고객에 대하여 15분 단위 자동검침 데이터를 이용하여 k-means 기법을 통해 고객을 분류하고 각 그룹마다 대표 부하패턴을 생성하는 방식을 제안하였다.

데이터셋 유형 분류를 통한 클래스 불균형 해소 방법 및 분류 알고리즘 추천 (Class Imbalance Resolution Method and Classification Algorithm Suggesting Based on Dataset Type Segmentation)

  • 김정훈;곽기영
    • 지능정보연구
    • /
    • 제28권3호
    • /
    • pp.23-43
    • /
    • 2022
  • AI(Artificial Intelligence)를 다양한 산업에서 접목하기 위해 알고리즘 선택에 대한 관심이 증가하고 있다. 알고리즘 선택은 대부분 데이터 과학자의 경험에 의해 결정되는 경우가 많다. 하지만 경험이 부족한 데이터 과학자의 경우 데이터셋 특성 기반의 메타학습(meta learning) 을 통해 알고리즘을 선택한다. 기존의 알고리즘 추천은 선정 과정이 블랙박스이기 때문에 어떠한 근거에 의해 도출되는지 알 수 없었다. 이에 따라 본 연구에서는 k-평균 군집분석을 활용하여 데이터셋 특성에 따라 유형을 나누고 적합한 분류 알고리즘과 클래스 불균형 해소 방법을 탐색한다. 본 연구 결과 네 가지 유형을 도출하였으며 데이터셋 유형에 따라 적합한 클래스 불균형 해소 방법과 분류 알고리즘을 추천하였다.

다계층 이원 네트워크를 활용한 사용자 관점의 이슈 클러스터링 (User-Perspective Issue Clustering Using Multi-Layered Two-Mode Network Analysis)

  • 김지은;김남규;조윤호
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.93-107
    • /
    • 2014
  • 대부분의 인터넷 쇼핑몰은 자사 고객의 관심 분야를 파악하고 이를 상품 추천에 효과적으로 활용하기 위해 많은 노력을 기울이고 있다. 하지만 고객이 회원 가입 시 직접 입력한 개인 정보는 신뢰하기가 어렵고, 고객의 구매 패턴을 통해 파악한 관심 분야 정보는 자사 사이트 내에 진입한 이후에만 보인 한정된 패턴이라는 측면에서 해당 고객의 다양한 관심분야를 제대로 나타낸다고 보기 어렵다. 이러한 한계를 극복하기 위해 본 연구에서는 고객의 평소 인터넷 사용 기록을 통해 최근 방문 사이트들의 주제를 분석함으로써, 고객의 실제 관심 분야를 파악할 수 있는 방안을 제시하였다. 또한 토픽 분석을 통해 각 사이트의 주제를 도출하고 도출된 주제를 다시 동시 방문자 관점에서 군집화 함으로써, 고객 관점에서 의미가 있는 상위 수준의 새로운 테마를 발굴하기 위한 방법론을 제안하였다. 연구의 특징은 유사주제 중심의 군집화라는 기존 연구와는 달리 사용자 관점의 관심주제 중심 군집화라 할 수 있다. 향후 사용자 중심의 카테고리 설계를 비롯한 새로운 관점의 고객군 정의 등 보다 높은 차원의 마케팅 전략 수립에 활용이 가능할 것으로 기대된다. 사용자 관점의 이슈 군집화 과정은 크롤링, 토픽 분석, 액세스 패턴 분석, 네트워크 병합, 네트워크 변환 및 군집화와 같은 여섯 가지 주요단계로 구성되어있다. 이를 위해 텍스트 마이닝과 소셜 네트워크 분석 기법을 활용한 비정형 텍스트를 기반으로한 빅데이터의 활용 방법을 모색하였다. 제안 방법론의 실무 적용 가능성을 평가하기 위해, 국내 최대 포털 뉴스 사이트의 방문자 2,177명의 1년간 방문 기록과 뉴스기사 대한 분석을 수행하고 그 결과를 요약하여 제시하였다.

Early Detection of Lung Cancer Risk Using Data Mining

  • Ahmed, Kawsar;Abdullah-Al-Emran, Abdullah-Al-Emran;Jesmin, Tasnuba;Mukti, Roushney Fatima;Rahman, Md. Zamilur;Ahmed, Farzana
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제14권1호
    • /
    • pp.595-598
    • /
    • 2013
  • Background: Lung cancer is the leading cause of cancer death worldwide Therefore, identification of genetic as well as environmental factors is very important in developing novel methods of lung cancer prevention. However, this is a multi-layered problem. Therefore a lung cancer risk prediction system is here proposed which is easy, cost effective and time saving. Materials and Methods: Initially 400 cancer and non-cancer patients' data were collected from different diagnostic centres, pre-processed and clustered using a K-means clustering algorithm for identifying relevant and non-relevant data. Next significant frequent patterns are discovered using AprioriTid and a decision tree algorithm. Results: Finally using the significant pattern prediction tools for a lung cancer prediction system were developed. This lung cancer risk prediction system should prove helpful in detection of a person's predisposition for lung cancer. Conclusions: Most of people of Bangladesh do not even know they have lung cancer and the majority of cases are diagnosed at late stages when cure is impossible. Therefore early prediction of lung cancer should play a pivotal role in the diagnosis process and for an effective preventive strategy.

Automatic Detection of Dead Trees Based on Lightweight YOLOv4 and UAV Imagery

  • Yuanhang Jin;Maolin Xu;Jiayuan Zheng
    • Journal of Information Processing Systems
    • /
    • 제19권5호
    • /
    • pp.614-630
    • /
    • 2023
  • Dead trees significantly impact forest production and the ecological environment and pose constraints to the sustainable development of forests. A lightweight YOLOv4 dead tree detection algorithm based on unmanned aerial vehicle images is proposed to address current limitations in dead tree detection that rely mainly on inefficient, unsafe and easy-to-miss manual inspections. An improved logarithmic transformation method was developed in data pre-processing to display tree features in the shadows. For the model structure, the original CSPDarkNet-53 backbone feature extraction network was replaced by MobileNetV3. Some of the standard convolutional blocks in the original extraction network were replaced by depthwise separable convolution blocks. The new ReLU6 activation function replaced the original LeakyReLU activation function to make the network more robust for low-precision computations. The K-means++ clustering method was also integrated to generate anchor boxes that are more suitable for the dataset. The experimental results show that the improved algorithm achieved an accuracy of 97.33%, higher than other methods. The detection speed of the proposed approach is higher than that of YOLOv4, improving the efficiency and accuracy of the detection process.

시퀀스 기반의 유사 음악 검색 기법 (Sequence-based Similar Music Retrieval Scheme)

  • 전상훈;황인준
    • 전기전자학회논문지
    • /
    • 제13권2호
    • /
    • pp.167-174
    • /
    • 2009
  • 음악은 다양한 하위 레벨 음악 특징을 통하여 인간의 감정을 유발시키거나 음악적 무드를 만들어낸다. 보통 음악은 하나 이상의 무드로 구성되며 이것은 음악간 유사도를 결정하는 데 주요한 단서로 사용된다. 본 논문에서는 음악의 무드 변화 패턴을 기반으로 하는 새로운 음악 검색 기법을 제안한다. 이를 위해서, 우선 모든 음악에 대해 유사한 하위 레벨 특징을 가지는 세그먼트로 나누고, K-means 군집화 알고리즘을 적용하여 유사한 특징을 가지는 클러스터로 그룹화한다. 각 클러스터에 대해 유일한 무드 심볼을 정의하고 나면, 각 음악의 무드 변화 패턴은 일련의 무드 심볼 시퀀스로 표현이 가능하다. 마지막으로 음악간 유사도를 측정하기 위해서 longest common subsequence (LCS)알고리즘을 적용한다. 제안된 검색 기법의 성능을 측정하기 위해 다양한 실험과 사용자 만족도 조사를 수행하고 결과를 분석한다.

  • PDF

수요대응형 모빌리티 최적 운영을 위한 동적정류장 배정 모형 개발 (Development of a Model for Dynamic Station Assignmentto Optimize Demand Responsive Transit Operation)

  • 김진주;방수혁
    • 한국ITS학회 논문지
    • /
    • 제21권1호
    • /
    • pp.17-34
    • /
    • 2022
  • 본 논문은 수요대응형 모빌리티 이용객의 출발지와 목적지까지 최적 경로 산정을 위한 동적정류장 배정 모형을 개발하였다. 여기서 최적화를 위한 변수로는, 운영자 측면에서 버스통행시간과 이용자 측면에서 서비스 이용 시 추가로 소요되는 정류장까지 도보시간 및 대기시간, 우회시간을 사용하였다. 미국 캘리포니아주 애너하임과 주변 도시를 포함하는 네트워크를 대상으로 승객이 예약한 시종점에서 접근 가능한 동적정류장 리스트를 산정하고 K-means 클러스터링 기법을 이용하여 시종점 그룹들을 각기 차량에 배정하였다. 버스통행시간과 이용자 추가소요시간을 최소화하는 동적정류장 위치 및 버스노선 결정을 위한 모형을 개발하고 다목적 최적화를 위해 NSGA-III 알고리즘을 적용하였다. 최종적으로, 모델의 효용성을 평가하기 위해 이용자 추가소요시간 간의 변수를 조정하여 7개의 시나리오를 설정하였고 이를 통해 목적함수의 타당성을 분석하였다. 그 결과, 운영자 측면에서는 버스통행시간과 승객 대기시간만 고려한 시나리오가, 이용자 측면에서는 버스통행시간, 도보시간, 우회시간을 적용한 시나리오가 가장 우수하였다.

SOFM 신경회로망을 이용한 한국어 음소 인식 (Korean Phoneme Recognition Using Self-Organizing Feature Map)

  • 전용구;양진우;김순협
    • 한국음향학회지
    • /
    • 제14권2호
    • /
    • pp.101-112
    • /
    • 1995
  • 본 논문에서는 패턴 매칭 방법에 근거하여 인식 단위가 음소인 음소 기반 인식 시스템을 구성하였다. 선택한 신경망 구조는 생물학적 신경망인 코호넨(T. Kohonen)의 SOFM(Self-Organizing Feature Map)으로 패턴 매칭 과정 중 클러스터러(clusterer)로 사용하였다. SOFM 신경망은 신호 공간에 대해서 최적의 국소(局所) 해부적 사상(local topographical mapping)에 의한 자기 조직화 과정을 수행하며, 그 결과 인식 문제에 있어서 상당히 높은 정확도를 나타낸다. 따라서 SOFM 신경망은 음소 인식에도 효과적으로 응용될 수 있다. 또한 음소 인식 시스템의 성능 향상을 위해 K-means클러스터링 알고리즘이 결합된 학습 알고리즘을 제안하였다. 제안된 음소 인식 시스템의 성능을 평가하기 위해 먼저, 인식 대상음소는 모음군 17개, 자음의 경우 파열음9개, 마찰음 3개, 파찰음 3개, 유음 및 비음 4개, 음소의 성질이 다른 종성 7개의 음소군으로 모두 43개의 음소를 대상으로 실험하였으며, 각 음소군에 대한 특징 지도를 구성하여 레이블러(labeler)의 기능을 수행하게 하였다. 화자 종속 인식 실험 결과 $87.2\%$의 인식률을 보였으며 제안한 학습법의 빠른 수렴성과 인식률 향상을 확인하였다.

  • PDF

시간흐름을 고려한 특징 추출과 군집 분석을 이용한 헬스 리스크 관리 (Health Risk Management using Feature Extraction and Cluster Analysis considering Time Flow)

  • 강지수;정경용;정호일
    • 한국융합학회논문지
    • /
    • 제12권1호
    • /
    • pp.99-104
    • /
    • 2021
  • 본 논문에서는 시간 흐름을 고려한 특징추출과 군집분석을 이용한 헬스 리스크 관리를 제안한다. 제안하는 방법은 세단계로 진행한다. 첫 번째는 전처리 및 특징추출 단계이다. 이는 웨어러블 디바이스를 이용하여 라이프로그를 수집하여 불완전데이터, 에러, 잡음, 모순된 데이터를 제거하며 결측 값을 처리한다. 그 다음 특징추출을 위해 주성분 분석을 통해 중요 변수를 선택하고, 상관계수와 공분산을 통해 데이터 간의 관계와 유사한 데이터들의 분류를 진행한다. 또한 라이프로그에서 추출한 특징을 분석하기 위해 시간의 흐름을 고려하여 K-means 알고리즘을 통해 동적 군집을 진행한다. 새로운 데이터는 오차 제곱합의 증가분을 기반으로 유사성 거리 측정 방법을 통해 군집을 진행하고, 시간의 흐름을 고려하여 군집에 대한 정보를 추출한다. 따라서 특징 군집을 통해 헬스 의사결정 시스템을 이용하여 신체적 특성, 생활습관, 질병여부, 헬스케어 이벤트 발생위험, 예상 정도 등의 요소를 통해 리스크를 관리할 수 있다. 성능평가는 Precision, Recall, F-measure을 사용하여 제안하는 방법과 퍼지방법, 커널기반 방법을 비교한다. 평가결과 제안하는 방법이 우수하게 평가된다. 따라서 제안하는 방법을 통해 유병자와의 유사도를 이용하여 정확한 사용자의 잠재적 건강 위험을 예측 및 적절한 관리가 가능하다.