• 제목/요약/키워드: categorical values

검색결과 77건 처리시간 0.033초

범주형 값들이 순서를 가지고 있는 데이터들의 클러스터링 기법 (Clustering Algorithm for Sequences of Categorical Values)

  • 오승준;김재련
    • 산업경영시스템학회지
    • /
    • 제26권1호
    • /
    • pp.17-21
    • /
    • 2003
  • We study clustering algorithm for sequences of categorical values. Clustering is a data mining problem that has received significant attention by the database community. Traditional clustering algorithms deal with numerical or categorical data points. However, there exist many important databases that store categorical data sequences. In this paper, we introduce new similarity measure and develop a hierarchical clustering algorithm. An experimental section shows performance of the proposed approach.

범주형 값들이 순서를 가지고 있는 데이터들의 클러스터링 기법 (Clustering Algorithm for Sequences of Categorical Values)

  • 오승준;김재련
    • 한국산업경영시스템학회:학술대회논문집
    • /
    • 한국산업경영시스템학회 2002년도 춘계학술대회
    • /
    • pp.125-132
    • /
    • 2002
  • We study clustering algorithm for sequences of categorical values. Clustering is a data mining problem that has received significant attention by the database community. Traditional clustering algorlthms deal with numerical or categorical data points. However, there exist many important databases that store categorical data sequences. In this paper we introduce new similarity measure and develope a hierarchical clustering algorithm. An experimental section shows performance of the proposed approach.

  • PDF

Initial Mode Decision Method for Clustering in Categorical Data

  • Yang, Soon-Cheol;Kang, Hyung-Chang;Kim, Chul-Soo
    • Journal of the Korean Data and Information Science Society
    • /
    • 제18권2호
    • /
    • pp.481-488
    • /
    • 2007
  • The k-means algorithm is well known for its efficiency in clustering large data sets. However, working only on numeric values prohibits it from being used to cluster real world data containing categorical values. The k-modes algorithm is to extend the k-means paradigm to categorical domains. The algorithm requires a pre-setting or random selection of initial points (modes) of the clusters. This paper improved the problem of k-modes algorithm, using the Max-Min method that is a kind of methods to decide initial values in k-means algorithm. we introduce new similarity measures to deal with using the categorical data for clustering. We show that the mushroom data sets and soybean data sets tested with the proposed algorithm has shown a good performance for the two aspects(accuracy, run time).

  • PDF

연관성 기반 비유사성을 활용한 범주형 자료 군집분석 (Categorical Data Clustering Analysis Using Association-based Dissimilarity)

  • 이창기;정욱
    • 품질경영학회지
    • /
    • 제47권2호
    • /
    • pp.271-281
    • /
    • 2019
  • Purpose: The purpose of this study is to suggest a more efficient distance measure taking into account the relationship between categorical variables for categorical data cluster analysis. Methods: In this study, the association-based dissimilarity was employed to calculate the distance between two categorical data observations and the distance obtained from the association-based dissimilarity was applied to the PAM cluster algorithms to verify its effectiveness. The strength of association between two different categorical variables can be calculated using a mixture of dissimilarities between the conditional probability distributions of other categorical variables, given these two categorical values. In particular, this method is suitable for datasets whose categorical variables are highly correlated. Results: The simulation results using several real life data showed that the proposed distance which considered relationships among the categorical variables generally yielded better clustering performance than the Hamming distance. In addition, as the number of correlated variables was increasing, the difference in the performance of the two clustering methods based on different distance measures became statistically more significant. Conclusion: This study revealed that the adoption of the relationship between categorical variables using our proposed method positively affected the results of cluster analysis.

현장 조사 자료의 공간 보간을 위한 다변량 크리깅을 이용한 범주형 자료의 통합 (Integration of Categorical Data using Multivariate Kriging for Spatial Interpolation of Ground Survey Data)

  • 박노욱
    • Spatial Information Research
    • /
    • 제19권4호
    • /
    • pp.81-89
    • /
    • 2011
  • 이 논문에서는 공간적으로 소수의 지점에서 획득된 현장 조사 자료의 공간 보간 과정에 범주형 자료를 결합하는 다변량 크리깅 기법을 제안하고자 한다. 범주형 자료를 결합하는 과정에서 기존 범주형 자료의 속성별로 대푯값을 할당하는 단일 지역 평균 기반의 단순 크리깅 방식 대신에, 영역-점 변환 크리깅을 이용하여 원하는 해상도로 상세화시킨 추정값을 가변적 지역 평균으로 이용하였다. 지화학 원소 구리의 공간 보간에 지질도를 이용하는 사례연구를 통해 제안 기법을 예시하였다. 교차 검증 결과, 제안 기법이 단변량 정규 크리깅과 기존 단일 지역 평균 기반의 단순 크리깅 기법에 비해 각각 15%와 25%의 예측 능력의 향상을 나타내었다. 따라서 범주형 자료를 부가 자료로 이용하는 공간 보간에 이 논문에서 제안한 기법이 효율적으로 적용될 수 있을 것으로 기대된다.

고차원 범주형 자료를 위한 비지도 연관성 기반 범주형 변수 선택 방법 (Association-based Unsupervised Feature Selection for High-dimensional Categorical Data)

  • 이창기;정욱
    • 품질경영학회지
    • /
    • 제47권3호
    • /
    • pp.537-552
    • /
    • 2019
  • Purpose: The development of information technology makes it easy to utilize high-dimensional categorical data. In this regard, the purpose of this study is to propose a novel method to select the proper categorical variables in high-dimensional categorical data. Methods: The proposed feature selection method consists of three steps: (1) The first step defines the goodness-to-pick measure. In this paper, a categorical variable is relevant if it has relationships among other variables. According to the above definition of relevant variables, the goodness-to-pick measure calculates the normalized conditional entropy with other variables. (2) The second step finds the relevant feature subset from the original variables set. This step decides whether a variable is relevant or not. (3) The third step eliminates redundancy variables from the relevant feature subset. Results: Our experimental results showed that the proposed feature selection method generally yielded better classification performance than without feature selection in high-dimensional categorical data, especially as the number of irrelevant categorical variables increase. Besides, as the number of irrelevant categorical variables that have imbalanced categorical values is increasing, the difference in accuracy between the proposed method and the existing methods being compared increases. Conclusion: According to experimental results, we confirmed that the proposed method makes it possible to consistently produce high classification accuracy rates in high-dimensional categorical data. Therefore, the proposed method is promising to be used effectively in high-dimensional situation.

범주형 자료를 포함한 다형질 임계개체모형에서 유전능력 추정 알고리즘 (Computing Algorithm for Genetic Evaluations on Several Linear and Categorical Traits in A Multivariate Threshold Animal Model)

  • 이득환
    • Journal of Animal Science and Technology
    • /
    • 제46권2호
    • /
    • pp.137-144
    • /
    • 2004
  • 불연속 범주형 자료에 대한 잠재변수가 존재한다는 가정하에 임계값을 추정하고 잠재변수를 생성하며 생성된 잠재변수 및 기타 연속변량에 대한 관측치를 포함하는 다변량 임계개체모형을 설정하고 유전능력을 예측하기 위한 방법을 제시하였다. 각각의 범주형 조사 자료의 특성을 갖는 형질에 있어서 임계점의 추정은 추정 가능한 임계점에 대한 1차 미분값(gradient)과 2차 미분값(Hessian)을 이용한 Newton 방법을 이용하면 추정가능하며 지역모수인 육종가의 추정은 PCG 방법으로 구현 가능하다. 이러한 이론은 Quaas(2001)가 제시한 하나의 이산형 자료와 하나의 연속형 자료의 2변량 동시 분석방법을 확장하여 전개한 것이며 이때 잠재변수 및 임계점의 추정은 기타 형질의 잔차 회귀계수 및 상관을 고려해야 한다. 본 연구를 위한 모의실험은 2개의 연속변량으로 체중과 유량을 고려하였고 또 다른 2개의 불연속 변량인 분만난이도와 출생시 생존유무를 고려하여 4형질 동시 분석을 실시하였다. 임계모형에 의한 육종가 추정치의 정확도는 4개의 구간으로 분류되어 기록된 분만난이도의 경우에 91${\sim}$92%의 정확도를 보였고 이항분포인 분만시 생존유무에 대하여는 87~89%의 정확도를 보였다. 반면에 이들 범주형 자료를 선형으로 간주하고 분석한 선형 동물개체 혼합모형에서는 72${\sim}$84% 및 59${\sim}$70%으로 비교적 낮은 추정의 정확도를 보였다. 따라서 범주형 자료의 유전분석은 선형 혼합모형 보다 임계형 혼합모형이 크게 타당할 것으로 사료되었다.

An Improvement on Estimation for Causal Models of Categorical Variables of Abilities and Task Performance

  • Kim, Sung-Ho
    • Communications for Statistical Applications and Methods
    • /
    • 제7권1호
    • /
    • pp.65-86
    • /
    • 2000
  • The estimates from an EM when it is applied to a large causal model of 10 or more categorical variables are often subject to the initial values for the estimates. This phenomenon becomes more serious as the model structure becomes more serious as the model structure becomes more complicated involving more variables. In this regard Wu(1983) recommends among others that EMs are implemented several times with different sets of initial values to obtain more appropriate estimates. in this paper a new approach for initial values is proposed. The main idea is that we use initials that are calibrated to data. A simulation result strongly indicates that the calibrated initials give rise to the estimates that are far closer to the true values than the initials that are not calibrated.

  • PDF

차원간 연관관계와 하이퍼그래프 분할법을 이용한 범주형 속성을 가진 데이터의 클러스터링 (Clustering Data with Categorical Attributes Using Inter-dimensional Association Rules and Hypergraph Partitioning)

  • 이성기;윤덕균
    • 산업경영시스템학회지
    • /
    • 제24권65호
    • /
    • pp.41-50
    • /
    • 2001
  • Clustering in data mining is a discovery process that groups a set of data such that the intracluster similarity is maximized and intercluster similarity is minimized. The discovered clusters from clustering process are used to explain the characteristics of the data distribution. In this paper we propose a new methodology for clustering related transactions with categorical attributes. Our approach starts with transforming general relational databases into a transactional databases. We make use of inter-dimensional association rules for composing hypergraph edges, and a hypergraph partitioning algorithm for clustering the values of attributes. The clusters of the values of attributes are used to find the clusters of transactions. The suggested procedure can enhance the interpretation of resulting clusters with allocated attribute values.

  • PDF

다형질 Threshold 개체모형에서 Missing 기록을 포함한 이산형 자료에 대한 Bayesian 분석 (Bayesian Analysis for Categorical Data with Missing Traits Under a Multivariate Threshold Animal Model)

  • 이득환
    • Journal of Animal Science and Technology
    • /
    • 제44권2호
    • /
    • pp.151-164
    • /
    • 2002
  • 한우의 근내지방도 또는 임신 여부 등과 같이 이산형 분포의 성질을 갖는 다수의 형질들에 대한 유전모수 및 종축의 유전능력을 평가하기 위한 방법으로써 Threshold 모형하에서 Bayesian 추론방법의 일종인 Gibbs sampling방법을 모의실험을 통하여 알아보았으며 기록이 누락된 다수의 형질을 포함하는 다형질 Threshold 개체모형에서의 종축평가 방법론을 제시하였다. 이산형 형질의 관측치에 대응하는 임의의 잠재변수는 기록을 갖고 있는 형질들에 대한 사전정보를 고려한 사후조건확률분포에서 Gibbs sampling을 할 때 모수에 근접하는 확률분포를 얻을 수 있었으며 이러한 이산형 기록들에 대한 육종가 추정치는 선형모형에서 보다 Threshold 모형에서의 추정치가 실제 모수에 더욱 근접하는 것을 알 수 있었다. 따라서 기록이 누락된 개체들에 대한 이산형 분포를 갖는 형질들에 대하여 선형분포를 갖는 형질들과 함께 동시 유전분석할 때 Threshod 모형이 일반 선형모형 보다 적합함을 알 수 있었다.