• Title/Summary/Keyword: 데이터 처리량

Search Result 2,581, Processing Time 0.028 seconds

Optimization of Query Processing Using Predicate Tree (Predicate Tree를 이용한 질의 처리 최적화)

  • Song, Byung-Hoo;Kim, Sang-Young;Song, Jun-Seok;Kim, Kyung-Tae;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2017.01a
    • /
    • pp.21-22
    • /
    • 2017
  • 본 논문은 Predicate Tree를 이용한 질의 최적화를 서술한다. 인터넷 등의 보급으로 데이터는 급등했으며 이러한 대용량 데이터를 처리하기 위해서는 적적한 모델이 필요하다. 시멘틱 웹은 컴퓨터가 해독할 수 있는 데이터의 형태로 데이터를 저장하는 것을 말하며, RDF는 시멘틱 웹에서 중요한 역할을 한다. RDF는 유동성과 데이터의 규모가 크며 그래프 모델을 통한 질의 처리는 데이터가 커짐에 따라 성능이 저하된다. 본 논문에서는 이러한 시멘틱 웹의 포맷인 RDF를 제안하는 기법인 Predicate Tree를 이용하여 데이터를 저장하고 처리한다.

  • PDF

Adaptive Data Replication Strategy using data access history in DataGrid (데이터 접근 기록 정보를 이용한 적응적 데이터 복제 기법 제안)

  • Sung, GiMun;Lee, DongWoo;Choi, Jihyun;Ramakrishna, R.S.
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.05a
    • /
    • pp.937-940
    • /
    • 2004
  • 프로세서 자원, 데이터 저장장치 자원을 제공하면서 가상기관(Virtual Organization)을 구성하는 각 사이트는 사용할 수 있는 네트윅 자원이 한정된 상황에서 애플리케이션 처리량을 극대화하는 최적화된 데이터그리드 시스템을 기대한다. 본 논문에서는 크기가 제한적이며 지리적으로 분산된 데이터 저장공간에서 적응적 데이터 복제 기법을 제안하고 Replica의 지리적 분배를 위한 평가 모델을 제안한다. 이를 위해 논리 시간 데이터 접근 기록 및 통계를 적용하여 복제할 파일들을 구분 하는 이산적 결정 모델을 제안하고 삭제할 Replica 결정에 논리 시간 접근 기록을 적용한다.

  • PDF

Design and Implementation of CORBA-based Internet Phone System (CORBA 기반 인터넷 폰 시스템의 설계 및 구현)

  • 김만수;정목동
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2000.11a
    • /
    • pp.601-606
    • /
    • 2000
  • 분산 컴퓨팅 기술의 발전과 네트워크의 고성능화는 대용량의 멀티미디어 데이터를 송.수신 하여 처리 할 수 있게 되었다. 그러나, 실시간 및 이기종간의 데이터 전송에는 네트워크 전송지연과 프로그램 구현의 어려움 등과 같이 극복해야 하는 문제점들이 많다. 본 논문은 객체지향형 분산처리 환경 하에서 OMG가 제시한 멀티미디어 서비스 설계에 RTP(Real-time Transport protocol)통신 프로토콜을 사용하여 오디오나 비디오 등과 같은 실시간 멀티미디어 데이터 처리에 필요한 효율적인 소프트웨어 기반 구조를 설계하였고, 이를 이용한 인터넷 폰 시스템인 Telegent(Telephone Agent: Telegent)를 분산 객체 환경에 맞게 설계하고 구현한 내용을 기술한다.

  • PDF

원격 메모리를 이용한 메모리 가상화 서비스 기술

  • Cha, Gyu-Il;Kim, Yeong-Ho;An, Sin-Yeong;Im, Eun-Ji
    • Information and Communications Magazine
    • /
    • v.31 no.3
    • /
    • pp.22-31
    • /
    • 2014
  • 최근 빅데이터 처리에 대한 요구가 급증하면서 매니코어 계산 장치의 개발이 활발히 진행되고 있어 계산 장치와 입출력 저장장치의 성능 격차는 과거보다 더욱 두드러지고 있다. 이런 상황에서 메모리 가상화 서비스 기술은 입출력 저장 장치의 성능 문제를 완화할 최적의 대안으로 주목받고 있다. 본고에서는 방대한 데이터를 처리해야 하는 응용 프로그램에게 입출력 저장 장치의 성능 한계를 극복하고 데이터 처리 비용을 최소화 할 수 있도록 원격 메모리를 이용한 대용량 가상 물리 메모리 제공 서비스를 지원하는 최근 메모리 가상화 서비스 기술 동향에 대해 알아본다.

Design of Cloud based Grid Test-bed for Handling Science Dataset (클라우드 기반 과학데이터 그리드 테스트베드 설계)

  • Kang, Yun-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.90-92
    • /
    • 2014
  • 이 논문에서는 그리드 환경에서 과학응용을 효율적으로 수행시키기 위해 클라우드 기반의 동적자원 프로비저닝 기술을 그리드 응용에 적용하기 위한 테스드베드 설계를 기술한다. 이를 위해 클라우드 기반 그리드 테스트베드 구축을 위한 요구사항 및 응용 아키텍처 설계를 요약한 후 가상화 자원을 이용하는 과학데이터 그리드 플랫폼을 대용량 데이터 처리에 적합하도록 최적화하고, 그 방안을 제시한다. 설계된 테스트베드는 그리드 환경 고도화를 위한 접근 방법으로 계산 자원 제공을 위해 클라우드 기술을 활용하도록 한다.

Improving relation extraction performance using contextual information control (문맥 정보 조절을 통한 관계 추출 성능 개선)

  • Jinyoung Oh;Jeong-Won Cha
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.391-394
    • /
    • 2022
  • 딥러닝을 통해 자연어처리 분야에서 대용량 정보를 기반으로 학습 할 수 있게 되었고 높은 성능을 얻을 수 있게 되었다. 본 논문에서는 학습에 포함되는 문맥 정보 중 분야 또는 데이터에 맞게 조절이 필요하다는 것을 주장하고, TACRED 데이터를 기반으로 문맥 정보 자질 선택에 따른 성능 변화를 확인하였다. 해당 데이터에서 엔터티와 연관된 문맥 정보를 사용함으로써 약 1.4%의 성능 보완을 이루었다.

  • PDF

The Hardware Design of a High throughput CABAC Decoder for HEVC (높은 처리량을 갖는 HEVC CABAC 복호기 하드웨어 설계)

  • Kim, Hansik;Ryoo, Kwangki
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.17 no.2
    • /
    • pp.385-390
    • /
    • 2013
  • This paper proposes an efficient hardware architecture of CABAC for HEVC decoder. The proposed method is structured to handle two bins in one cycle, while preserving data dependencies of the CABAC. In addition, the processing time of the proposed architecture is reduced because the operation using Offset and Range is processed while the architecture reads rLPS from rLPSROM. As a result of analyzing operating frequency of the proposed CABAC architecture, the proposed architecture has improved by 40% than the previous one.

Declustering Policies Using Spatial-Temporal Proximity in Moving Objects DataBases (이동체 데이터베이스에서 시공간 근접성을 고려한 디클러스터링 정책)

  • 홍은석;서영덕;홍봉희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10b
    • /
    • pp.118-120
    • /
    • 2003
  • 이동체 데이터베이스에서 이동체 궤적의 양은 엄청나게 많아서 기존의 단일 디스크 기반에서는 특정영역의 질의에 대한 빠른 응답과 처리율의 향상을 볼수 없다. 따라서 고성능 질의 처리를 위한 시스템의 성능 향상을 위해서는 병렬 처리 기법의 도입이 필요하다. 이런 병렬 처리 기법 중, 기존의 디클러스터링 방법에서는 시간이 지남에 따라 연속적으로 보고되는 이동체 특성을 고려하지 않고 있다. 그러므로 대용량 이동체 데이터에 대하여 고성능 질의 처리를 위한 새로운 디클러스터링 방법이 필요하다. 이 논문에서는 대용량 이동체 데이터베이스에 대한 고성능 질의 처리를 위한 새로운 디클러스터링 정책을 제시하였다. 이동체 데이터의 MBB중 공간 좌표의 근접성만을 고려하여 하나의 SemiAllocation Disk 값을 설정하고 그 값과 시간 도메인을 다시 고려하여 근접성을 계산함으로써 디클러스터링을 할 수 있다. 또한 디스크별 Load Balancing을 고려하여 보다 정확한 디클러스터링 효과를 가지도록 하였다. 이와 같이 이동체의 특성을 고려한 새로운 디클러스터링 정책으로 시스템의 성능을 향상 시킬 수 있다.

  • PDF

A Pattern Matching Method of Large-Size Text Log Data using In-Memory Relational Database System (인메모리 관계형 데이터베이스 시스템을 이용한 대용량 텍스트 로그 데이터의 패턴 매칭 방법)

  • Han, Hyeok;Choi, Jae-Yong;Jin, Sung-Il
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.837-840
    • /
    • 2017
  • 각종 사이버 범죄가 증가함에 따라 실시간 모니터링을 통한 사전 탐지 기술뿐만 아니라, 사후 원인 분석을 통한 사고 재발 방지 기술의 중요성이 증가하고 있다. 사후 분석은 시스템에서 생산된 다양한 유형의 대용량 로그를 기반으로 분석가가 보안 위협 과정을 규명하는 것으로 이를 지원하는 다양한 상용 및 오픈 소스 SW 존재하나, 대부분 단일 분석가 PC에서 운용되는 파일 기반 SW로 대용량 데이터에 대한 분석 성능 저하, 다수 분석가 간의 데이터 공유 불가, 통계 연관 분석 한계 및 대화형 점진적 내용 분석 불가 등의 문제점을 해결하지 못하고 있다. 이러한 문제점을 해결하기 위하여 고성능 인메모리 관계형 데이터베이스 시스템을 로그 스토리지로 활용하는 대용량 로그 분석 SW 개발하였다. 특히, 기 확보된 공격자 프로파일을 활용하여 공격의 유무를 확인하는 텍스트 패턴 매칭 연산은 전통적인 관계형 데이터베이스 시스템의 FTS(Full-Text Search) 기능 활용이 가능하나, 대용량 전용 색인 생성에 따른 비현실적인 DB 구축 소요 시간과 최소 3배 이상의 DB 용량 증가로 인한 시스템 리소스 추가 요구 등의 단점이 있다. 본 논문에서는 인메모리 관계형 데이터베이스 시스템 기반 효율적인 텍스트 패턴 매칭 연산을 위하여, 고성능의 대용량 로그 DB 적재 방법과 새로운 유형의 패턴 매칭 방법을 제안하였다.

TV-Anytime Metadata Management System (TV-Anytime 메타데이터 관리 시스템)

  • Park, Jong-Hyun;Kim, Byung-Kyu;Kang, Ji-Hoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11c
    • /
    • pp.1689-1692
    • /
    • 2002
  • TV-Anytime은 국제 표준으로 자리잡아가고 있는 차세대 디지털 방송용 메타데이터로서 사용자가 직접 원하는 방송을 검색하고 선택하여, 선택한 멀티미디어 데이터를 저장하였다가 시간과 장소에 구애받지 않고 사용할 수 있도록 하는 것을 목표로 하고 있다. TV-Anytime은 XML 스키마로 정의되어 있으며, 방송이라는 특성상 그 크기에 있어서 대용량이다. 본 연구에서는 이러한 TV-Anytime은 XML 스키마로 정의되어 있으며, 방송이라는 특성상 그 크기에 있어서 대용량이다. 본 연구에서는 이러한 TV-Anytime의 특성에 맞는 메타데이타 관리 시스템을 제안한다. 대용량의 문제를 해결하기 위하여 데이터베이스를 사용하며, TV-Anytime 스키마를 분석하여 그에 적합한 스키마를 설계한다. XML 형식의 TV-Anytime 메타데이타에 대한 질의를 위하여 XQuery를 사용한다. 이는 데이터베이스의 저장형식에 무관하게 질의하는 것을 가능하게 만들어 주며, 디지털방송 환경에서 시스템간의 상호 운용성이 확보될 수 있다. 또한, XQuery는 정보검색 기능을 가지고 있어서 향후 컨텐트 기반 정보검색을 포함하는 등 보다 풍부한 의미를 갖는 질의를 사용할 수 있을 것이다.

  • PDF