• Title/Summary/Keyword: 대용량의 점데이터

Search Result 130, Processing Time 0.041 seconds

Explanation-Based Data Mining in Data Warehouse (데이터웨어하우스 환경에서의 설명기반 데이터마이닝)

  • 김현수;이창호
    • Journal of Intelligence and Information Systems
    • /
    • v.5 no.2
    • /
    • pp.15-27
    • /
    • 1999
  • 산업계 전반에 걸친 오랜 정보시스템 운용의 결과로 대용량의 데이터들이 축적되고 있다. 이러한 데이터로부터 유용한 지식을 추출하기 위해 여러 가지 데이터마이닝 기법들이 연구되어 왔다. 특히 데이터웨어하우스의 등장은 이러한 데이터마이닝에 있어 필요한 데이터 제공 환경을 주고 있다. 그러나 전문가의 적절한 판단과 해석을 거치지 않은 데이터마이닝의 결과는 당연한 사실이거나, 사실과 다른 가짜이거나 또한 관련성 없는(Trivial, Spurious and Irrelevant) 내용만 무수히 쏟아낼 수 있다. 그러므로 데이터마이닝의 결과가 비록 통계적 유의성을 가진다 하더라고 그 정당성과 유용성에 대한 검증과정과 방법론의 정립이 필요하다. 데이터마이닝의 가장 어려운 점은 귀납적 오류를 없애기 위해 사람이 직접 그 결과를 해석하고 판단하며 아울러 새로운 탐색 방향을 제시해야 한다는 것이다. 본 논문의 목적인 이러한 데이터마이닝에서 추출된 결과를 검증하고 아울러 새로운 지식 탐색 방향을 제시하는 방법론을 정립하는데 있다. 본 논문에서는 데이터마이닝 기법 중 연관규칙탐사(Associations)로 얻어진 결과를 설명가능성 여부의 판단을 통해 검증하는 기법을 제안하였고, 이를 위해 도메인 지식(Domain Knowledge)과 연관규칙탐사를 통해 얻어진 결과를 표현하기 위한 지식표현방법으로 관계형 술어논리(RPL : Relational Predicate Logic)를 개발하였다. 연관규칙탐사로 얻어진 결과를 설명하기 위한 방법으로는 연관규칙탐사로 얻어진 연관규칙에 대한 RPL로 표현된 도메인 지식으로서 설명됨을 보이게 한다. 또한 이러한 설명(Explanation)을 토대로 검증된 지식을 일반화하여 새로운 가설을 연역적으로 생성하고 이를 연관규칙탐사를 통해 검증한 후 새로운 지식을 얻는 설명기반 데이터마이닝 구조(Explanation-based Data Mining Architecture)를 제시하였다.

  • PDF

COSMIC : Design and Implementation of a Content-Based Multimedia Retrieval System using Domain Knowledge and Visual Information (COSMIC : 영역지식과 시각정보를 이용한 내용기반 멀티미디어 검색 시스템의 설계 및 구현)

  • Kim, Deok-Hwan;Kim, Si-U;Park, Gwang-Sun;Lee, Byeong-Gu;Cha, Gwang-Ho;Jeong, Jin-Wan
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.5 no.1
    • /
    • pp.14-28
    • /
    • 1999
  • 최근 멀티미디어 데이터로부터 내용에 대한 정보를 추출하여 데이터베이스에 저장하고 내용에 기반한 질의를 수행하도록 하는 내용 기반 검색 시스템이 중요한 핵심 기술로 대두되고 있다. 본 논문에서는 내용 기반 멀티미디어 검색 시스템인 COSMIC(Content Based Multimedia Information Processor)의 설계 및 구현에 관하여 기술한다. COSMIC은 대용량 이미지 데이터로부터 자동으로 추출된 시각적 특징 데이터들을 다차원 점접근 방법(Point Access Method)인 HG-트리를 이용하여 색인하고 예제 이미지와 사용자가 그린 스케치에 의한 시각적 질의를 제공한다. 또한 COSMIC은 비디오 데이터로부터 추출된 다양한 의미 정보를 이용하여 의미 질의를 제공한다. COSMIC의 유효성을 입증하기 위해서 다양한 시각적 질의와 이미 질의를 이용한 실험을 수행하였다.

Dynamic Stream Merging Scheme for Reducing the Initial Latency Time and Enhancing the Performance of VOD Servers (VOD 서버의 초기 대기시간 최소화와 성능 향상을 위한 동적 스트림 합병 기법)

  • 김근혜;최황규
    • Journal of the Korea Computer Industry Society
    • /
    • v.3 no.5
    • /
    • pp.529-546
    • /
    • 2002
  • A VOD server, which is the central component for constructing VOD systems, requires to provide high bandwidth and continuous real-time delivery. It is also necessary to the sophisticated disk scheduling and data placement schemes in VOD sewers. One of the most common problem facing in such a system is the high initial latency time to service multiple users concurrently. In this paper, we propose a dynamic stream merging scheme for reducing the initial latency time in VOD servers. The proposed scheme allows clients to merge streams on a request as long as their requests fall within the reasonable time interval. The basic idea behind the dynamic stream merging is to merge multiple streams into one by increasing the frame rate of each stream. In the performance study, the proposed scheme can reduce the initial latency time under the minimum buffer use and also can enhance the performance of the VOD server with respect to the capacity of user admission.

  • PDF

Near-lossless Coding of Multiview Texture and Depth Information for Graphics Applications (그래픽스 응용을 위한 다시점 텍스처 및 깊이 정보의 근접 무손실 부호화)

  • Yoon, Seung-Uk;Ho, Yo-Sung
    • Journal of the Institute of Electronics Engineers of Korea SP
    • /
    • v.46 no.1
    • /
    • pp.41-48
    • /
    • 2009
  • This Paper introduces representation and coding schemes of multiview texture and depth data for complex three-dimensional scenes. We represent input color and depth images using compressed texture and depth map pairs. The proposed X-codec encodes them further to increase compression ratio in a near-lossless way. Our system resolves two problems. First, rendering time and output visual quality depend on input image resolutions rather than scene complexity since a depth image-based rendering techniques is used. Second, the random access problem of conventional image-based rendering could be effectively solved using our image block-based compression schemes. From experimental results, the proposed approach is useful to graphics applications because it provides multiview rendering, selective decoding, and scene manipulation functionalities.

Real-time video data encryption system using FPGA-based crypto-accelerator in the Internet of Things environment (사물인터넷 환경에서 하드웨어(FPGA)기반 암호가속기 사용 실시간 영상 데이터 암호화 시스템)

  • Kim, Min-Jae;Lee, Jun-Ho;Kim, Ho-Won
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.15-17
    • /
    • 2022
  • 사물인터넷 기술이 활성화되면서 원격 접속 및 제어가 가능한 스마트 가전기기의 보급이 증가하고 있다. 이에 따라 스마트 가전 기기의 보안취약점을 이용하여 개인정보 유출, 프라이버시 침해 등 사이버 보안 관련 범죄도 같이 증가하는 추세이다. 최근 저성능 디바이스에서 경량 암호를 이용한 안전성 보장 방안에 대한 연구가 진행 중이나, 저성능 디바이스에서 4K/2160p 이상의 영상 데이터를 실시간으로 암·복호화하는 것은 높은 지연시간을 발생시킨다. 본 연구에서는 하드웨어 기반 암호 알고리즘 가속기를 이용하여 저성능 디바이스에서도 구현 가능한 대용량 영상데이터 실시간 암·복호화 시스템을 제안한다.

Explanation-based Data Mining in Data Warehouse (데이터 웨어하우스 환경에서의 설명기반 데이터 마이닝)

  • 김현수;이창호
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 1999.03a
    • /
    • pp.115-123
    • /
    • 1999
  • 산업계 전반에 걸친 오랜 정보시스템 운용의 결과로 대용량의 데이터들이 축적되고 있다. 이러한 데이터로부터 유용한 지식을 추출하기 위해 여러 가지 데이터 마이닝 기법들이 연구되어왔다. 특히 데이터 웨어하우스의 등장은 이러한 데이터 마이닝에 있어 필요한 데이터 제공 환경을 제공해 주고 있다. 그러나 전문가의 적절한 판단과 해석을 거치지 않은 데이터 마이닝의 결과는 당연한 사실이거나, 사실과 다른 가짜이거나 또는 관련성 없는(trivial, spurious and irrelevant)내용만 무수히 쏟아낼 수 있다. 그러므로 데이터 마이닝의 결과가 비록 통계적 유의성을 가진다 하더라도 그 정당성과 유용성에 대한 검증과정과 방법론의 정립이 필요하다. 데이터 마이닝의 가장 어려운 점은 귀납적 오류를 없애기 위해 사람이 직접 그 결과를 해석하고 판단하며 아울러 새로운 탐색 방향을 제시해야 한다는 것이다. 본 논문에서는 데이터 마이닝 기법 중 연관규칙탐사로 얻어진 결과를 설명가능성 여부의 판단을 통해 검증하는 기법을 제안하며, 이를 통해 얻어진 검증된 지식을 토대로 일반화를 통한 새로운 가설을 생성하여 데이터 웨어하우스로부터 연관규칙을 검증하는 일련의 아텍쳐(architecture)를 제시하고다 한다. 먼저 데이터 마이닝 결과에 대한 설명의 필요성을 제시하고, 데이터 웨어하우스와 데이터 마이닝 기법들에 대한 간략한 설명과 연관규칙탐사에 대한 정의 및 방법을 보이고, 대상 영역에 대한 데이터 웨어하우스으 스키마를 보였다. 다음으로 도메인 지식(domain knowledge)과 연관규칙탐사를 통해 얻어진 결과를 표현하기위한 지식표현 방법으로 Relational Predicate Logic을 제안하였다. 연관규칙탐사로 얻어진 결과를 설명하기 위한 방법으로는 연관규칙탐사로 얻어진 연관규칙에 대해 Relational Predicate Logic으로 표현된 도메인 지식으로서 설명됨을 보이게 한다. 또한 이러한 설명(explanation)을 토대로 검증된 지식을 일반화하여 새로운 가설을 연역적으로 생성하고 이를 연관규칙탐사를 통해 검증한 후 새로운 지식을 얻는 반복적인 Explanation-based Data Mining Architecture를 제시하였다. 본 연구의 의의로는 데이터 마이닝을 통한 귀납적 지식생성에 있어 귀납적 오류의 발생을 도메인 지식을 통해 설명가능 함을 보임으로 검증하고 아울러 이러한 설명을 통해 연역적으로 새로운 가설지식을 생성시켜 이를 가설검증방식으로 검증함으로써 귀납적 접근과 연역적 접근의 통합 데이터 마이닝 접근을 제시하였다는데 있다.

  • PDF

Mining Commuter Patterns from Large Smart Card Transaction Databases (대용량 교통카드 트랜잭션 데이터베이스에서 통근 패턴 탐사)

  • Park, Jong-Soo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06a
    • /
    • pp.38-39
    • /
    • 2010
  • 수도권 대중교통 이용자는 2004년 서울시의 대중교통 체계 개편에 따라 교통 카드를 사용하여 버스와 지하철을 이용하게 되었다. 교통 카드를 사용하는 각 승객의 승차와 하차에 관한 데이터가 하나의 트랜잭션으로 구성되고, 하루 천만 건 이상의 트랜잭션들로 구성된 대용량 교통카드 트랜잭션 데이터베이스가 만들어지고 있다. 대중교통을 이용하는 승객들의 승차와 하차에 관한 여러 정보를 담고 있는 교통카드 트랜잭션 데이터베이스에서 유용한 패턴이나 정보를 탐사해내는 연구가 계속 진행되고 있다. 이런 연구 결과는 수도권 대중교통 정책을 입안하는데 중요한 기초 자료가 되고 수도권 승객들에게 대중교통을 보다 잘 이용할 수 있는 정보로 제공된다. 교통카드 이용률은 2006년 79.5%, 2007년 80.3%, 2008년 81.6%로 점차적으로 증가하고 있다. 대용량의 교통카드 트랜잭션 데이터베이스에 대한 연구를 살펴보면 하루 동안의 교통카드 트랜잭션 데이터베이스에서 순차 패턴을 탐사하는 알고리즘을 연구하였고[1], 승객들의 통행 패턴에 대한 분석연구를 확장하여 일 년에 하루씩 2004년에서 2006년까지 3일간의 교통카드 트랜잭션 데이터베이스로부터 승객 시퀀스의 평균 정류장 개수와 환승 횟수 등을 연도별로 비교하였다[2]. 수도권 지하철 시스템의 특성에 관한 연구로는 네트워크 구조 분석이 있었고[3], 승객의 기종점 통행 행렬(Origin-Destination trip matrix)에 의한 승객 흐름의 분포가 멱함수 법칙(power law)임을 보여주는 연구가 있었고[4], 지하철 교통망에서 모든 링크상의 승객들의 흐름을 찾아내는 연구가 있었다[5]. 본 논문에서는 교통카드 트랜잭션 데이터베이스에서 지하철 승객들의 통근 패턴을 탐사해내는 방법을 연구하였다. 수도권 지하철 네트워크에 대한 정보를 입력하고 하루치의 교통카드 트랜잭션 데이터베이스에 연구된 방법을 적용하여 8가지 통근 패턴들을 탐사해내고 분석하였다. 탐사된 패턴들 중에서 많은 승객들이 지지하는 출퇴근 패턴에 대해서는 시간대별로 승객수를 그래프로 보여주었다.

  • PDF

Detection Mechanism of Attacking Web Service DoS using Self-Organizing Map (SOM(Self-Organizing Map)을 이용한 대용량 웹 서비스 DoS 공격 탐지 기법)

  • Lee, Hyung-Woo;Seo, Jong-Won
    • The Journal of the Korea Contents Association
    • /
    • v.8 no.5
    • /
    • pp.9-18
    • /
    • 2008
  • Web-services have originally been devised to share information as open services. In connection with it, hacking incidents have surged. Currently, Web-log analysis plays a crucial clue role in detecting Web-hacking. A growing number of cases are really related to perceiving and improving the weakness of Web-services based on Web-log analysis. Such as this, Web-log analysis plays a central role in finding out problems that Web has. Hence, Our research thesis suggests Web-DoS-hacking detective technique In the process of detecting such problems through SOM algorithm, the emergence frequency of BMU(Best Matching Unit) was studied, assuming the unit with the highest emergence frequency, as abnormal, and the problem- detection technique was recommended through the comparison of what's called BMU as input data.

An Ensemble Fingerprint Classification System Using Changes of Gradient of Ridge (융선 기울기의 변화량을 이용한 앙상블 지문분류 시스템)

  • Yoon, Kyung-Bae;Park, Chang-Hee
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.13 no.5
    • /
    • pp.545-551
    • /
    • 2003
  • Henry System which is a traditional fingerprint classification model is difficult to apply to a modem Automatic Fingerprint Identification System (AFIS). To tackle this problem, this study is to apply algorithm for an An Ensemble Fingerprint Classroom System using changes of gradient of ridge in order to improve precise joining speed of a large volume of database. The existing classification system, Henry System, is useful in a captured fingerprint image of core point and delta point using paper and ink. However, the Henry System is unapplicable in modem Automatic Fingerprint Identification System (AFIS) because of problems such as size of input sensor and way of input. This study is to suggest an Ensemble Fingerprint Classroom System which can classify 5 basic patterns of Henry System in uncaptured delta image using changes of gradient of ridge. The proposed fingerprint classification technique will make an improvement of precise joining speed by reducing data volume.

An Automatic Power Control Circuit suitable for High Speed Burst-mode optical transmitters (고속 버스트 모드 광 송신기에 적합한 자동 전력 제어 회로)

  • Ki, Hyeon-Cheol
    • Journal of the Institute of Electronics Engineers of Korea SD
    • /
    • v.43 no.11 s.353
    • /
    • pp.98-104
    • /
    • 2006
  • The conventional burst-mode APC(Automatic Power Control) circuit had an effective structure that was suitable for a low power consumption and a monolithic chip. However, as data rate was increased, it caused errors due to the effect of the zero density. In this paper, we invented a new structured peak-comparator which could compensate the unbalance of the injected currents using double gated MOS and MOS diode. And we proposed a new burst-mode APC adopting it. The new peak-comparator in the proposed APC was very robust to zero density variations maintaining the correct decision point of the current comparison at high data rate. It was also suitable for a low power consumption and a monolithic chip due to lack of large capacitors.