• Title/Summary/Keyword: 중복수 추출

Search Result 218, Processing Time 0.032 seconds

A Sampling based Pruning Approach for Efficient Angular Space Partitioning based Skyline Query Processing (효율적인 각 기반 공간 분할 병렬 스카이라인 질의 처리를 위한 데이터 샘플링 기반 프루닝 기법)

  • Choi, Woo-Sung;Min, Jong-Hyeon;Chung, Jaehwa;Jung, SoonYoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.55-58
    • /
    • 2016
  • 스카이라인 질의란 다수의 선택지 중 '선호될 만한(preferable)' 선택지를 요청하는 질의이다. 사용자가 검토해야하는 선택지의 수를 대폭 감소시키는 스카이라인 질의는 데이터가 폭증하는 빅데이터 환경에서 매우 유용하게 활용된다. 이러한 배경에서 대용량 데이터에 대한 스카이라인 질의를 분산 병렬 처리하는 기법이 각광을 받고 있으며, 특히 맵리듀스(MapReduce) 기반의 분산 병렬 처리 기법 연구가 활발히 진행 중이다. 맵리듀스 기반 알고리즘의 병렬성 제고를 위해서는 부하 불균등 문제 중복 계산 문제 과다한 네트워크 비용 발생 문제를 해소해야 한다. 최근 각 기반 공간분할 기법을 사용하여 부하 불균등 문제와 중복 계산 문제를 해소하는 맵리듀스 기반 스카이라인 질의 처리 기법이 제안되었으나 해당 기법은 네트워크 비용 관점에서 최적화되어있지 않다. 본 논문에서는 부하 불균등 문제와 중복 계산 문제를 해소하면서도 프루닝을 통해 네트워크 비용 절감 시킬 수 있는 새로운 맵리듀스 기반 병렬 스카이라인 질의 처리 기법인 MR-SEAP(MapReduce sample Skyline object Equality Angular Partitioning)을 제안한다. MR-SEAP에서는 데이터를 샘플링하여 샘플 스카이라인 객체를 추출한 뒤 해당 객체들을 균등 분배하는 각도를 기준으로 공간을 분할하여 스카이라인 질의를 병렬 계산하되, 샘플 스카이라인을 이용하여 다수의 객체를 사전에 프루닝함으로써 네트워크 비용을 절감한다. 본 논문에서는 다양한 데이터 수량(cardinality) 및 분포(distribution)에 따른 제안 기법의 성능을 실험 평가함으로써 제안 기법의 우수성을 검증한다.

An Efficient Fan Recognition by Denoising and Principal Component Analysis (잡음제거와 주요성분분석에 의한 효과적인 얼굴인식)

  • Cho Yong-Hyun;Hong Seung-Jun
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2005.11a
    • /
    • pp.546-549
    • /
    • 2005
  • 본 논문에서는 잡음제거와 주요성분분석을 이용한 효과적인 얼굴인식 기법을 제안하였다. 여기서 잡음제거는 필터링과 1차 모멘트 평형이동을 조합하여 영상의 특징정보와 관계가 없는 배경을 제거함을 위한 것이고, 주요성분분석은 얼굴영상의 주요성분인 2차원의 중복성분이 제거된 특징을 효과적으로 추출하기 위함이다. 제안된 기법을 768*576 픽셀 크기를 갖는 24개의 AR얼굴영상을 대상으로 시뮬레이션한 결과, 제안된 얼굴인식이 잡음제거를 하지 않은 기존의 얼굴인식에 비해 주요성분의 개수에 따른 압축성능, 특징추출 시간, 그리고 city-block, Euclidean, negative angle(cosine)의 거리척도에 따른 인식에 있어서 보다 우수한 성능이 있음을 확인할 수 있었다.

  • PDF

Development of User Behavior Analysis Tool for Home Network Interface Model (홈 네트워크 인터페이스 모델을 위한 사용자 행위 분석 도구 개발)

  • Kim, Dong-Ho;Kim, Woo-Yeol;Kim, R.-Young-Chul
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.352-354
    • /
    • 2005
  • 본 연구는 홈 네트워크 인터페이스 모델에서의 관측 데이터를 기반으로 기존의 시스템 중심의 분석이 아닌 사용자 행위 분석에 초점을 두고 있다. 다양한 사용자 행위 자료를 분석하여 사용자 행위 모델링을 하는 것은 어려운 작업이다. 우리는 가능한 제한된 사용자 행위를 추출하기위해 목적(Goal) 지향의 사용자 행위분석을 제안하며, 정확한 사용자 행위 및 패턴을 식별/추출하기위해, 분석 자동화 도구를 구현하였다. 이는 행위 패턴의 중복성 및 빈도수를 측정하여, 사용자의 중요한 행위를 식별하기 위함이다. 본 논문에서는 수작업의 오류를 방지하고 사용자의 중요한 행위 분석을 통해 시스템을 쉽게 모델링 및 개발을 하고자, 사용자 행위 분석 도구인 UBA(User Behavior Analyst)를 제안한다.

  • PDF

피처레벨 비디오 분석과, 적응적 장면 선택을 이용한 비디오 캡셔닝 피처 생성

  • Lee, Ju-Hee;Kang, Je-Won
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.11a
    • /
    • pp.212-214
    • /
    • 2020
  • 본 논문에서는 비디오의 피처레벨 분석을 통해 비디오의 장면 구성 특징을 파악하고, 그에 적응적으로 대표 프레임을 선택하는 방법을 제안한다. 제안된 방법으로 생성된 캡셔닝 피처는 비디오를 잘 요약하고, 이를 통해 효과적인 캡셔닝을 수행할 수 있다. 기존 비디오 캡셔닝 연구에서는 비디오의 장면 구성을 고려하지 않고 단순 등간격으로 프레임 추출을 통하여 비디오 캡셔닝을 수행하였다. 이는 다양한 장면의 모임으로 이루어진 비디오의 특성을 고려하지 않은 방법으로, 경우에 따라 주요 장면을 놓치거나, 불필요하게 중복된 프레임을 선택하는 문제가 발생한다. 본 논문에서는 비디오의 피처레벨 분석을 통해 비디오의 구성 특징을 파악하고, 이를 고려해 적응적으로 주요 프레임을 추출하여 이와 같은 문제를 해결하여 비디오 캡셔닝 에서의 성능향상을 보인다. 제안 알고리즘을 이용하여 생성된 피처는 비디오를 잘 요약하여 비디오 캡셔닝 수행 시, MSVD 데이터 셋에서 4 개의 평가지표에 대해 약 0.78%의 성능향상을 보였고, MSR-VTT 데이터 셋에서 약 0.6%의 성능향상을 보였다.

  • PDF

Feature Subset Selection Algorithm based on Entropy (엔트로피를 기반으로 한 특징 집합 선택 알고리즘)

  • 홍석미;안종일;정태충
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.41 no.2
    • /
    • pp.87-94
    • /
    • 2004
  • The feature subset selection is used as a preprocessing step of a teaming algorithm. If collected data are irrelevant or redundant information, we can improve the performance of learning by removing these data before creating of the learning model. The feature subset selection can also reduce the search space and the storage requirement. This paper proposed a new feature subset selection algorithm that is using the heuristic function based on entropy to evaluate the performance of the abstracted feature subset and feature selection. The ACS algorithm was used as a search method. We could decrease a size of learning model and unnecessary calculating time by reducing the dimension of the feature that was used for learning.

A Development of Concept Map as an Advance Organizer Based on Analysis of the Overlapped and Connected Contents between Home Economics Textbooks and those of Other Subject Matters in the Middle School - Focused on 'Resource Management and Environment' - (타 교과와의 중복성 분석에 기초한 중학교 가정교과의 선행조직자로서의 개념도 개발 - '자원의 관리와 환경'영역을 중심으로 -)

  • Cho, Su-Kyung;Chae, Jung-Hyun
    • Journal of Korean Home Economics Education Association
    • /
    • v.19 no.2
    • /
    • pp.131-152
    • /
    • 2007
  • The purpose in this study was to develope the concept maps of sub-units included in 'resource management and environment' area of Home Economics(HE) as an advance organizer after analyzing the overlapped and connected contents between HE textbooks and those of other subject matters(Ethics, Social Studies, Sciences, and Physical Education) taught in the middle schools. The results of this study were as follows. First, the unit of 'resource facilitation and environment' of HE is dealt in Ethics. Specifically the overlapped content in this unit between HE and Ethics is the content of the savings of resources, recycling, and environment conservation. The unit of 'work and time of youth' is dealt in Ethics and Science. The overlapped content of this unit is that of the concept of 'work'. While Ethics focuses on the general concept of work, Science focuses on the scientific concept of work. Home Economics doesn't focus on the concept of work but on how to manage the work. In the unit of the 'adolescents and their consumption', there are many overlapped contents among three subject matters, HE, Ethics and Social Studies. Second, the 7 concept maps were developed by following the steps: (1) confirming the learning objectives presented in the 'resource management and environment' area of HE; (2) identifying the overlapped and connected contents between HE and other subject matters(Eethics, Social Studies, Sciences, and Physical Education); (3) organizing the overlapped and connected contents between HE textbooks and those of other subject matters.

  • PDF

Designing a Repository Independent Model for Mining and Analyzing Heterogeneous Bug Tracking Systems (다형의 버그 추적 시스템 마이닝 및 분석을 위한 저장소 독립 모델 설계)

  • Lee, Jae-Kwon;Jung, Woo-Sung
    • Journal of the Korea Society of Computer and Information
    • /
    • v.19 no.9
    • /
    • pp.103-115
    • /
    • 2014
  • In this paper, we propose UniBAS(Unified Bug Analysis System) to provide a unified repository model by integrating the extracted data from the heterogeneous bug tracking systems. The UniBAS reduces the cost and complexity of the MSR(Mining Software Repositories) research process and enables the researchers to focus on their logics rather than the tedious and repeated works such as extracting repositories, processing data and building analysis models. Additionally, the system not only extracts the data but also automatically generates database tables, views and stored procedures which are required for the researchers to perform query-based analysis easily. It can also generate various types of exported files for utilizing external analysis tools or managing research data. A case study of detecting duplicate bug reports from the Firfox project of the Mozilla site has been performed based on the UniBAS in order to evaluate the usefulness of the system. The results of the experiments with various algorithms of natural language processing and flexible querying to the automatically extracted data also showed the effectiveness of the proposed system.

Generation and Evaluation of DEM Automatically using SPOT Stereo Image (SPOT 입체영상을 이용한 자동 수치표고모형의 생성과 평가)

  • 연상호;이진덕
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2004.05a
    • /
    • pp.161-168
    • /
    • 2004
  • 우리가 살아가는 3차원 이상의 지형공간을 영상으로 구형하기 위하여 필수적으로 요구되는 DEM을 비교적 손쉽게 확보할 수 있는 SPOT 영상을 이용하여 자동으로 생성할 수 있는 방법을 제시하고 에피폴라 투영법에 의한 결과영상의 평가를 통하여 몇 가지 좋은 방법을 제안하고자 한다 현재 보유하고 우리나라 춘천시의 SPOT 위성 팬크로 영상과 수치지도의 DEM영상과의 생성결과를 비교 평가하였다. SPOT2-3호(10m)에서 수집한 중복영상에서 자동으로 수치표고모델을 작성함으로서 다양한 영상정보의 활용이 가능해 따라 입체영상지도제작 및 분석이 가능해지고 있다. 본 연구에서는 SPOT 60km의 춘천지역을 대상으로 한눈에 영상과 영상을 재현할 수 있도록 고해상도의 인공위성 영상자료를 처리하여 영상지도를 제작하기 위한 수치표고모형을 자동으로 추출할 수 있도록 하였다.

  • PDF

Performance Improvement of Speech Recognition Based on Independent Component Analysis (독립성분분석법을 이용한 음성인식기의 성능향상)

  • 김창근;한학용;허강인
    • Proceedings of the Korea Institute of Convergence Signal Processing
    • /
    • 2001.06a
    • /
    • pp.285-288
    • /
    • 2001
  • In this paper, we proposed new method of speech feature extraction using ICA(Independent Component Analysis) which minimized the dependency and correlation among speech signals on purpose to separate each component in the speech signal. ICA removes the repeating of data after finding the axis direction which has the greatest variance in input dimension. We verified improvement of speech recognition ability with training and recognition experiments when ICA compared with conventional mel-cepstrum features using HMM. Also, we can see that ICA dealt with the situation of recognition ability decline that is caused by environmental noise.

  • PDF

The Generation of Control Rules for Data Mining (데이터 마이닝을 위한 제어규칙의 생성)

  • Park, In-Kyoo
    • Journal of Digital Convergence
    • /
    • v.11 no.11
    • /
    • pp.343-349
    • /
    • 2013
  • Rough set theory comes to derive optimal rules through the effective selection of features from the redundancy of lots of information in data mining using the concept of equivalence relation and approximation space in rough set. The reduction of attributes is one of the most important parts in its applications of rough set. This paper purports to define a information-theoretic measure for determining the most important attribute within the association of attributes using rough entropy. The proposed method generates the effective reduct set and formulates the core of the attribute set through the elimination of the redundant attributes. Subsequently, the control rules are generated with a subset of feature which retain the accuracy of the original features through the reduction.