• Title/Summary/Keyword: 대용량 분류

Search Result 243, Processing Time 0.026 seconds

Query Optimization Scheme using Query Classification in Hybrid Spatial DBMS (하이브리드 공간 DBMS에서 질의 분류를 이용한 최적화 기법)

  • Chung, Weon-Il;Jang, Seok-Kyu
    • The Journal of the Korea Contents Association
    • /
    • v.8 no.1
    • /
    • pp.290-299
    • /
    • 2008
  • We propose the query optimization technique using query classification in hybrid spatial DBMS. In our approach, user queries should to be classified into three types: memory query, disk query, and hybrid query. Specialty, In the hybrid query processing, the query predicate is divided by comparison between materialized view creating conditions and user query conditions. Then, the deductions of the classified queries' cost formula are used for the query optimization. The optimization is mainly done by the selection algorithm of the smallest cost data access path. Our approach improves the performance of hybrid spatial DBMS than traditional disk-based DBMS by $20%{\sim}50%$.

A Study on the Korean Grapheme Phonetic Value Classification (한국어 자소 음가 분류에 관한 연구)

  • Yu Seung-Duk;Kim Hack-Jin;Kim Soon-Hyop
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • autumn
    • /
    • pp.89-92
    • /
    • 2001
  • 본 논문에서는 한국어 대용량 음성인식 시스템의 기초가 되는 자소(grapheme)가 지니는 음가를 분류하였다. 한국어 자소를 음성-음운학적으로 조음 위치와 방법에 따라 분류하여, 그 음가 분석에 관한 연구와 함께 한국어 음성인식에서 앞으로 많이 논의될 청음음성학(auditory phonetics)에 대하여 연구하였다. 한국어는 발음상의 구조와 특성에 따라 음소 분리가 가능하여 초성, 중성, 종성 자소로 나눌 수 있다. 본 논문에서 초성은 자음음소 18개, 중성은 모음 음소(단모음, 이중모음) 17개, 그리고 'ㅅ' 추가 8종성체계의 자음음소로 하였다. 청음음성학적 PLU(Phoneme Like Unit)의 구분 근거는 우리가 맞춤법 표기에서 주로 많이 틀리는 자소(특히, 모음)는 그 음가가 유사한 것으로 판단을 하였으며, 그 유사음소를 기반으로 작성한 PLU는 자음에 'ㅅ' 종성을 추가하였고, 모음에 (ㅔ, ㅐ)를 하나로, (ㅒ, ㅖ)를 하나로, 그리고 모음(ㅚ, ㅙ, ㅞ)를 하나의 자소로 분류하였다. 혀의 위치와 조음 방법과 위치에 따라 분류한 자음과 모음의 자소를 HTK를 이용하여 HMM(Hidden Markov Model)의 자소 Clustering하여 그것의 음가를 찾는 결정트리를 검색하여 고립어인식과 핵심어 검출 시스템에 적용 실험한 결과 시스템의 성능이 향상되었다.

  • PDF

Multi-hierarchical Density-based Clustering Method (다계층 밀도기반 군집화 기법)

  • Shin, Dong Mun;Jung, Suk Ho;Yi, Gyeong Min;Lee, Dong Gyu;Sohn, GyoYong;Ryu, Keun Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.797-798
    • /
    • 2009
  • 군집화는 대용량의 데이터로부터 유용한 정보를 추출하는 데에 적합한 데이터마이닝 기법들 중 하나이다. 군집화 기법은 주어진 데이터그룹 내에서 사전정보 없이 의미있는 지식을 발견할 수 있으므로 큰 어려움이 없이 실제 응용분야에 적용할 수 있다. 또한, 대용량 데이터를 다룰 때에 개별적인 데이터에 대한 접근 횟수를 줄이고, 알고리즘이 다루어야 할 데이터 구조의 크기를 줄일 수 있다. 본 논문에서는 밀도-기반 군집화 기법을 기반으로 하는 새로운 군집화 기법을 제안한다. 우리가 제안하는 군집화 기법은 반복적인 군집화 과정을 통하여 군집 내 주변 잡음을 제거하고 더 세밀하게 집단을 세분화하는 것이 가능하다. 또한, 군집을 표현하는 데에 계층구조로 나타내어 각 군집의 상관관계를 파악하는 데에 유리하다. 본 논문에서 제안하는 군집화 기법을 통하여 다양한 밀도를 가진 군집들을 효과적으로 분류할 수 있을 거라고 기대된다.

한국증권시장(韓國證券市場)에서 대용시장(代用市場)포트폴리오효율성(效率性)의 GMM에 의한 다변량(多變量) 검증(檢證)

  • Gu, Bon-Yeol
    • The Korean Journal of Financial Management
    • /
    • v.15 no.1
    • /
    • pp.1-30
    • /
    • 1998
  • 본(本) 연구(硏究)는 한국증권시장에서 대표적 대용시장(代用市場)포트폴리오인 한국종합주가지수(韓國綜合株價指數)와 동일가중지수(同一加重指數)의 효율성에 대한 검증을 Hansen(1982)의 다변량의 GMM에 의하여 실시하고자 하였다. 이를 위하여 먼저, 주식수익률자료(株式收益率資料)에 근거한 산업별(産業別)포트폴리오수익률과 초과시장수익률모형(超過市場收益率模型)의 오차항(誤差項)이 정규분포(正規分布)를 벗어남을 증명함으로써 GMM검증방법(檢證方法)의 정당성을 찾고자 하였다. 정규분포에 대한 검증방법(檢證方法)으로서 왜도와 첨도의 검증과 이를 결합한 Jarque-Bera(1980)검증(檢證)을 실시하였다. 둘째로, Hansen(1982)의 GMM을 대용시장(代用市場)포트폴리오의 효율성(效率性) 검증(檢證)에 적용하는 방법에 대한 연구들인 Mackinlay-Richardson(1991), Harvey-Zhou(1993)와 Campbell-Lo-Mackilay(1997) 등을 기초로하여 이들의 방법론을 개선한 3가지의 효율성(效率性) 검증방법(檢證方法)을 제시하였다. 셋째로, 이상의 검증방법(檢證方法)들을 토대로 1980년 1월부터 1997년 6월까지 월별주식수익률(月別株式收益率)의 자료(資料)를 11업종으로 분류하여 산업별(産業別)포트폴리오수익률(收益率)과 초과시장수익률모형(超過市場收益率模型)에 의한 오차항(誤差項)이 정규분포(正規分布)를 따르는지와 아울러 대용시장(代用市場)포트폴리오의 효율성을 검증하였다. 검증결과(檢證結果), 산업별(産業別)포트폴리오수익률과 오차항(誤差項)은 대부분 정규성이 기각(棄却)되어 GMM검증방법(檢證方法)의 정당성이 입증되었다. 따라서 GMM에 의한 효율성(效率性)을 검증한 결과, 한국종합주가지수(韓國綜合株價指數)의 경우에는 평균-분산(平均-分散)프론티어(mean-variance frontier)상(上)에서의 대용시장(代用市場)포트폴리오의 효율성(效率性)은 기각(棄却) 할 수 없는 것으로 나타났으나 평균수익률(平均收益率)이 GMVP의 수익률보다 낮았기 때문에 효율적(效率的) 프론티어(efficient frontier)상(上)의 대용시장(代用市場)포트폴리오의 효율성(效率性)은 기각(棄却)되어 대용시장지수로서의 문제점이 있는 것으로 나타났다. 그러나 동일가중지수(同一加重指數)는 평균수익률이 GMVP의 수익률보다 높을 뿐만아니라 효율적(效率的) 프론티어상(上)의 대용시장(代用市場)포트폴리오의 효율성(效率性)도 채택되어 한국종합주가지수(韓國綜合株價指數)보다 우월한 지수(指數)인 것으로 나타났다.

  • PDF

An Algorithms for Tournament-based Big Data Analysis (토너먼트 기반의 빅데이터 분석 알고리즘)

  • Lee, Hyunjin
    • Journal of Digital Contents Society
    • /
    • v.16 no.4
    • /
    • pp.545-553
    • /
    • 2015
  • While all of the data has a value in itself, most of the data that is collected in the real world is a random and unstructured. In order to extract useful information from the data, it is need to use the data transform and analysis algorithms. Data mining is used for this purpose. Today, there is not only need for a variety of data mining techniques to analyze the data but also need for a computational requirements and rapid analysis time for huge volume of data. The method commonly used to store huge volume of data is to use the hadoop. A method for analyzing data in hadoop is to use the MapReduce framework. In this paper, we developed a tournament-based MapReduce method for high efficiency in developing an algorithm on a single machine to the MapReduce framework. This proposed method can apply many analysis algorithms and we showed the usefulness of proposed tournament based method to apply frequently used data mining algorithms k-means and k-nearest neighbor classification.

Keyword Extraction from News Corpus using Modified TF-IDF (TF-IDF의 변형을 이용한 전자뉴스에서의 키워드 추출 기법)

  • Lee, Sung-Jick;Kim, Han-Joon
    • The Journal of Society for e-Business Studies
    • /
    • v.14 no.4
    • /
    • pp.59-73
    • /
    • 2009
  • Keyword extraction is an important and essential technique for text mining applications such as information retrieval, text categorization, summarization and topic detection. A set of keywords extracted from a large-scale electronic document data are used for significant features for text mining algorithms and they contribute to improve the performance of document browsing, topic detection, and automated text classification. This paper presents a keyword extraction technique that can be used to detect topics for each news domain from a large document collection of internet news portal sites. Basically, we have used six variants of traditional TF-IDF weighting model. On top of the TF-IDF model, we propose a word filtering technique called 'cross-domain comparison filtering'. To prove effectiveness of our method, we have analyzed usefulness of keywords extracted from Korean news articles and have presented changes of the keywords over time of each news domain.

  • PDF

Ontology and Sequential Rule Based Streaming Media Event Recognition (온톨로지 및 순서 규칙 기반 대용량 스트리밍 미디어 이벤트 인지)

  • Soh, Chi-Seung;Park, Hyun-Kyu;Park, Young-Tack
    • Journal of KIISE
    • /
    • v.43 no.4
    • /
    • pp.470-479
    • /
    • 2016
  • As the number of various types of media data such as UCC (User Created Contents) increases, research is actively being carried out in many different fields so as to provide meaningful media services. Amidst these studies, a semantic web-based media classification approach has been proposed; however, it encounters some limitations in video classification because of its underlying ontology derived from meta-information such as video tag and title. In this paper, we define recognized objects in a video and activity that is composed of video objects in a shot, and introduce a reasoning approach based on description logic. We define sequential rules for a sequence of shots in a video and describe how to classify it. For processing the large amount of increasing media data, we utilize Spark streaming, and a distributed in-memory big data processing framework, and describe how to classify media data in parallel. To evaluate the efficiency of the proposed approach, we conducted an experiment using a large amount of media ontology extracted from Youtube videos.

Multiple SVM Classifier for Pattern Classification in Data Mining (데이터 마이닝에서 패턴 분류를 위한 다중 SVM 분류기)

  • Kim Man-Sun;Lee Sang-Yong
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.15 no.3
    • /
    • pp.289-293
    • /
    • 2005
  • Pattern classification extracts various types of pattern information expressing objects in the real world and decides their class. The top priority of pattern classification technologies is to improve the performance of classification and, for this, many researches have tried various approaches for the last 40 years. Classification methods used in pattern classification include base classifier based on the probabilistic inference of patterns, decision tree, method based on distance function, neural network and clustering but they are not efficient in analyzing a large amount of multi-dimensional data. Thus, there are active researches on multiple classifier systems, which improve the performance of classification by combining problems using a number of mutually compensatory classifiers. The present study identifies problems in previous researches on multiple SVM classifiers, and proposes BORSE, a model that, based on 1:M policy in order to expand SVM to a multiple class classifier, regards each SVM output as a signal with non-linear pattern, trains the neural network for the pattern and combine the final results of classification performance.

Adaptive Web Image Server for Sharing e-Catalog of e-Commerce (전자상거래용 이미지 공유를 위한 웹 이미지 서버)

  • 김명은;라인순;조동섭
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04a
    • /
    • pp.31-33
    • /
    • 2002
  • 인터넷의 발달로 데스크탑 컴퓨터만이 아니라 냉장고, 달리는 차안, PDA, 핸드폰 등 생활 영역 곳곳에서 인터넷을 할 수 있다. 이런 다양한 기기에서 누릴 수 있는 서비스의 질은 분명 다르다. 여러 종류의 다양한 서비스를 보장하기 위해서 서비스 제공자는 같은 상품이라도 화질별로 이미지를 가지고 있어야 한다. 전자상거래용 이미지는 같은 상품에 대한 이미지라도 상황에 따라 보이는 크기가 다르다. 카달로그 목록에 있는 이미지는 작은 것을 사용하고 상품을 제시할 때는 확대된 그림을 사용해야 한다. 현재의 서버시스템은 이미지를 크기에 따라 개별적으로 저장한다 따라서 상품을 교체할 때마다 여러 개의 이미지를 동시에 바꿔야 하기 때문에 이러만 시스템은 비효율적이다. 본 논문에서는 이런 비효율성을 줄이기 위해 수준에 맞게 이미지를 자동으로 처리하여 같은 이미지를 여러 버전으로 보여주는 웹 이미지 서버를 제안한다. 제안된 웹 서버는 사용자를 분류하고 그 분류에 따라 대용량, 고화질 이미지에서 저용량, 저화질로 이미지를 자동으로 처리하여 효과적이고 더 빠른 서비스를 제공할 수 있다. 따라서 하나의 웹 이미지로도 다양한 수준의 이미지를 가질 수 있기 때문에 서비스 종류 별로 웹 페이지를 만들지 않아도 되고, 저장공간도 효율적으로 사용할 수 있다.

  • PDF

One-class Least Square Support Vector Machines (단일부류 최소제곱 서포트 벡터 머신)

  • 우상호;이성환
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.559-561
    • /
    • 2002
  • 서포트 벡터 머신은 얼굴인식이나 문자인식과 같은 다양한 패턴인식 문제에서 좋은 성능을 보여준다. 그러나 이러한 문제는 Quadratic Programming(QP) 문제에 관하여 몇 가지 단점을 가지고 있다. 일반적으로 대용량의 QP 문제를 해결하기 위해 많은 계산비용이 요구되며, QP 기반 시스템을 효과적으로 구현하는 것이 쉽지 않은 문제이다. 또한 대규모 데이터의 처리 시에는 입출력을 맞추기 또한 쉽지 않은 단점이 있다. 본 논문에서는 위의 단점을 극복하기 위하여 단일부류 문제를 최소제곱 서포트 벡터 머신을 기반으로 하여 해결하였다. 제안한 방법은 QP 문제를 해결하는 과정이 없이 단일부류 문제를 표현하여 최소제곱 방법을 이용하는 알고리즘이다. 제안된 방법으로 쉽고, 계산 비용을 줄이는 결과를 얻었다. 또한 서포트 벡터 영역 표식자에 확장 적용하여 선형방정식으로 구현하여, 문제를 해결하였다. 제안된 방법의 효율성을 입증하기 위하여 패턴인식 분야 중에 얼굴 인증 방법과 바이오인포매틱스 분야 중에 전립선 암 분류 문제에 적용하였다. 우리의 실험결과는 적합한 성능과 좋은 Equal Error Rate(EER)를 보여준다. 제안된 방법은 알 수 없는 물체의 분류 방법의 효율성을 증대시켰고, 실시간 응용분야에 직접적으로 적용될 수 있을 것으로 기대 된다.

  • PDF