• 제목/요약/키워드: Large-memory data processing

검색결과 192건 처리시간 0.043초

대용량 데이터의 전송 효율 및 기록 성능 향상을 위한 Zero Copy 기술 적용에 관한 연구 (A Study on the Application of Zero Copy Technology to Improve the Transmission Efficiency and Recording Performance of Massive Data)

  • 송민규;김효령;강용우;제도흥;위석오;이성모;김승래
    • 한국전자통신학회논문지
    • /
    • 제16권6호
    • /
    • pp.1133-1144
    • /
    • 2021
  • Zero-copy는 메모리 무복사로도 불리는 기술로서 이에 대한 사용을 통해 사용자 영역과 커널 영역 간 컨텍스트 스위칭을 줄여 CPU의 부하를 최소화할 수 있다. 하지만 이 기술은 소규모의 랜덤한 파일을 전송하는 용도에 그치고, 대용량 파일 전송에는 아직 널리 활용되지 못하고 있다. 본 논문은 네트워크를 경유한 대용량 파일 처리에 있어서 Zero-copy의 실질적인 적용 방안에 대해 논의하고자 한다. 이를 위해 먼저 Zero-copy 기반으로 데이터를 전송, 저장할 수 있는 소규모 테스트베드 구축 및 프로그램을 개발하였다. 이후 세부 성능 평가를 통해 적용된 기술의 유용성을 세부 검증하고자 한다.

바다물결 모형의 합성 및 GPU를 이용한 시뮬레이션 (Synthesis of Ocean Wave Models and Simulation Using GPU)

  • 이동민;이성기
    • 정보처리학회논문지A
    • /
    • 제14A권7호
    • /
    • pp.421-434
    • /
    • 2007
  • 컴퓨터 그래픽스로 재현되는 많은 자연현상 중의 하나인 바다는 주변 환경에 의해 계속해서 움직이며 복잡한 형태를 나타낼 뿐만 아니라 그 규모가 거대하기 때문에 만족스러운 영상을 얻기 위해서는 많은 계산시간을 필요로 한다. 본 논문에서는 GPU를 연산유닛으로 활용하여 무한히 넓은 바다표면의 움직임을 실시간으로 빠르게 시뮬레이션하고 사실적으로 렌더링하기 위한 방법을 제안한다. 제안하는 방법은 Gerstner 모델에 의해 2차원 투사 격자에서 생성된 저해상도의 메쉬로 바다의 전체적인 구조와 큰 물결을 표현하고, 스펙트럼 모델에 의해 2차원 균일격자에서 생성된 높이 맵과 법선 맵을 사용하여 작은 물결과 자세한 수면의 모습을 표현한다. 전체 과정이 GPU에 의해 처리되기 때문에 CPU자원을 다른 연산에 양보할 수 있을 뿐만 아니라 시스템 메모리와 그래픽스 하드웨어 사이에 기하정보(geometry data)의 이동이 없어 보다 빠른 렌더링이 가능하다. 제안하는 방법은 컴퓨터 게임과 같이 계산량이 많고 빠른 처리가 요구되는 실시간 애플리케이션에 활용 가능성이 크다.

그래프 스트림 처리를 위한 점진적 빈발 패턴 기반 인-메모리 압축 기법 (In-memory Compression Scheme Based on Incremental Frequent Patterns for Graph Streams)

  • 이현병;신보경;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제22권1호
    • /
    • pp.35-46
    • /
    • 2022
  • 최근 네트워크 기술 발전과 함께 IoT 및 소셜 네트워크 서비스의 활성화로 인해 많은 그래프 스트림 데이터가 생성되고 있다. 본 논문에서는 압축률 및 압축 시간에 대해 중점적으로 연구되던 기존의 압축 기법에 그래프 마이닝을 적용하여 스트림 그래프 환경을 함께 고려한 그래프 압축 기술을 제안한다. 또한, 최신 패턴을 유지하여 실시간으로 변화하는 스트림 그래프에서 압축 효율 및 처리속도를 향상시킨다. 본 논문에서는 그래프 스트림 처리를 위한 점진적 빈발 패턴 기반 압축 기법을 제안하였다. 제안하는 기법의 우수성을 보이기 위해 압축률과 처리시간을 기존기법과 비교하여 성능평가를 수행한다. 제안하는 기법은 그래프 데이터의 크기가 커질 때 중복되는 데이터가 많아져 기존 기법보다 빠른 처리속도를 보인다. 따라서, 빠른 처리가 요구되는 스트림 환경에서 제안하는 기법을 활용할 수 있다.

센서 네트워크에서 데이터 집계를 위한 힐버트 커브 기반 데이터 보호 기법 (A Data Protection Scheme based on Hilbert Curve for Data Aggregation in Wireless Sensor Network)

  • 윤민;김용기;장재우
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권11호
    • /
    • pp.1071-1075
    • /
    • 2010
  • 무선 센서 네트워크에 활용되는 센서 노드는 제한된 전력, 메모리 동의 한정된 자원을 지니기 때문에, 제한된 에너지를 효율적으로 관리하기 위한 데이터 집계 기법의 연구가 활발히 진행되어 왔다. 한편, 센서 네트워크는 무선통신을 수행하기 때문에 공격자에게 쉽게 데이터 노출될 수 있다. 따라서, 센서 네트워크에서 데이터 집계를 위한 데이터 보호 기법에 관한 연구가 필수적이다. 그러나, 기존 데이터 집계를 위한 데이터 보호 기법은 네트워크 구성 및 데이터 집계 처리 시, 다수의 연산과 데이터 전송이 발생한다. 이러한 문제점을 해결하기 위하여, 본 논문에서는 데이터 집계를 위한 힐버트 커브(hilbert curve) 기반 데이터 보호 기법을 제안한다. 제안하는 기법은 트리 기반의 라우팅을 구성하여 이웃노드와의 통신을 최소화한다. 또한 seed에 기반한 힐버트 커브 기법을 통해 데이터를 암호화함으로써, 센서 노드간의 통신 시 공격자로부터 데이터를 보호할 수 있다. 마지막으로, 제안하는 기법이 메시지 전송량 및 센서노드 평균 수명 측면에서 기존 연구보다 우수함을 보인다.

차영상 및 윤곽선에 의한 배경에서 화자분리 (Image Separation of Talker from a Background by Differential Image and Contours Information)

  • 박종일;박용범;유현중
    • 정보처리학회논문지B
    • /
    • 제12B권6호
    • /
    • pp.671-678
    • /
    • 2005
  • 본 논문에서는 동영상에서 주요 객체를 추출하여 기존의 배경을 임의의 배경으로 교체하는 알고리즘을 제안한다. 제안된 기법은 이동 통신 화상전화기 및 영상전달 시스템등을 사용한 화상 전송함시 개인의 프라이버시를 보호하고, 배경을 제거함으로써 실제 전송할 데이터의 양을 줄일 수도 있을 뿐만 아니라, 현재배경을 임의의 배경으로 바꾸는 등의 여러 용도로 사용가능하다. 영상처리는 대용량의 데이터를 처리하기 때문에 많은 메모리와 시간 등의 자원을 사용하게 된다. 이는 특히 자원이 제한된 이동통신기기에서 문제가 된다. 실험에서 일반적으로 주요 객체의 움직임의 범위가 크지 않다는 점에 근거하여 검색의 범위를 이전 윤곽선정보의 주변으로 제한함으로써 영상처리에서 걸리는 시간과 자원을 줄일 수 있었다. 구체적으로는 동영상의 초기영상에서 윤곽선 정보를 이용하여 후보 객체영역을 추출하였고, 추출한 영역을 기준으로 다음 영상과 현재 영상과의 차영상을 구하여 움직이는 객체를 추적하는데 이용하였으며, 선택된 영역에서 윤곽선을 구하여 객체영역을 찾는데 이용하였다 이를 통하여 주요 객체와 배경을 효율적으로 분리할 수 있었으며, 사용자가 선택한 임의의 배경으로 대체할 수 있었다.

IRFP-tree(Intersection Rule Based FP-tree): 메모리 효율성을 향상시키기 위해 교집합 규칙 기반의 패러다임을 적용한 FP-tree (IRFP-tree: Intersection Rule Based FP-tree)

  • 이정훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권3호
    • /
    • pp.155-164
    • /
    • 2016
  • 대용량 데이터베이스의 빈도패턴 분석을 위해 기존의 Apriori 방식의 단점을 보완할 수 있는 새로운 트리 기반의 빈도 패턴 분석 알고리즘이 최근 다양하게 연구되고 있다. 그 중 FP-tree는 이러한 빈도 패턴을 분석하기 위해 빈도 패턴을 표현하는 트리 구조로 단 두 번의 전체 데이터베이스 스캔을 통해 빠르게 트리를 구성할 수 있으며 FP-grwoth를 통해 빈도 패턴을 분석할 수 있다. 이처럼 빈도 패턴 트리의 노드 수는 트리 자체의 메모리 할당량과도 연관이 있지만 그 후 growth의 메모리 자원 소비 및 처리 속도에도 영향을 미치게 된다. 따라서 빈도 패턴 트리의 노드 수의 감소는 트리 자체뿐만 아니라 빈도 패턴 분석에 있어서도 매우 중요하다. 하지만 FP-tree는 전체 아이템 수 라는 고정된 기준 문제로 인해 충분한 노드 수의 압축률을 갖지 못하고 있다. 본 논문에서는 이러한 FP-tree의 문제를 보완하여 좀 더 노드 수를 감소시킬 수 있도록 교집합 규칙이라는 새로운 패러다임을 적용한 빈도 패턴 트리인 IRFP-tree를 제시하고 실험을 통해 그 성능에 대해 증명하였다.

대용량 지형 데이터를 위한 웹 기반 분산 가시화 시스템 (Web-Based Distributed Visualization System for Large Scale Geographic Data)

  • 황규현;윤성민;박상훈
    • 한국멀티미디어학회논문지
    • /
    • 제14권6호
    • /
    • pp.835-848
    • /
    • 2011
  • 본 논문에서는 방대한 지형 데이터의 효과적 가시화를 위한 클라이언스-서버 기반의 분산/병렬 시스템을 제안한다. 이 시스템은 웹 기반으로 수행되는 클라이언트 GUI 프로그램과 복수의 PC 클러스터에서 구동되는 분산/병렬 서버 프로그램으로 구성된다. PC 뿐만 아니라 모바일 기기에서도 클라이언트 프로그램이 수행될 수 있도록 자바 기반의 OpenGL 그래픽스 라이브러리인 JOGL을 사용하여 GUI를 설계하였으며, 사용하는 기기의 현재 사용 가능한 메모리 크기와 화면의 최대 해상도 정보를 서버에게 전달하여 서버의 작업을 최소화하였다. 서버로 사용된 PC 클러스터는 분산된 지형 데이터를 액세스하고 이를 클라이언트로부터 받은 정보에 따라 적절히 리샘플링 한 후 이를 다시 전송하는 작업을 담당한다. 서버의 각 노드들뿐만 아니라 클라이언트까지 캐시 자료구조를 유지함으로써 분산된 방대한 지형 데이터의 반복 접근 시 발생되는 지연 시간을 최소화하도록 설계하였다.

숫자 기호화를 통한 신경기계번역 성능 향상 (Symbolizing Numbers to Improve Neural Machine Translation)

  • 강청웅;노영헌;김지수;최희열
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권6호
    • /
    • pp.1161-1167
    • /
    • 2018
  • 기계 학습의 발전은 인간만이 할 수 있었던 섬세한 작업들을 기계가 할 수 있도록 이끌었고, 이에 따라 많은 기업체들은 기계 학습 기반의 번역기를 출시하였다. 현재 상용화된 번역기들은 우수한 성능을 보이지만 숫자 번역에서 문제가 발생하는 것을 발견했다. 번역기들은번역할문장에 큰숫자가 있을경우종종숫자를잘못번역하며, 같은문장에서숫자만바꿔번역할 때문장의구조를 완전히바꾸어 번역하기도 한다. 이러한 문제점은오번역의 가능성을 높이기 때문에해결해야 될 사안으로여겨진다. 본 논문에서는 Bidirectional RNN (Recurrent Neural Network), LSTM (Long Short Term Memory networks), Attention mechanism을 적용한 Neural Machine Translation 모델을 사용하여 데이터 클렌징, 사전 크기 변경을 통한 모델 최적화를 진행 하였고, 최적화된 모델에 숫자 기호화 알고리즘을 적용하여 상기 문제점을 해결하는 번역 시스템을 구현하였다. 본논문은 데이터 클렌징 방법과 사전 크기 변경, 그리고 숫자 기호화 알고리즘에 대해 서술하였으며, BLEU score (Bilingual Evaluation Understudy score) 를 이용하여 각 모델의 성능을 비교하였다.

전파를 이용한 실시간 혈압 모니터링 시스템 개발 (Development of Real-time Blood Pressure Monitoring System using Radio Wave)

  • 장동원;엄순영;최재익
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 춘계학술대회
    • /
    • pp.308-311
    • /
    • 2015
  • 전세계적으로 건강에 대한 관심이 증가되어 기존 의료 장비보다 편리하고 정밀한 비접촉, 실시간 헬스 모니터링 시스템 개발이 요구되고 있다. 그러므로 우리는 UWB(Ultra Wide Band) 레이더를 통해서 인체에 비접촉, 연속적으로 혈관의 운동 신호를 수집하고 이 수집된 데이터를 실시간적으로 신호처리해서 맥박, 수축기 혈압, 이완기 혈압을 측정할 수 있는 임베디드 기반의 전파를 이용한 혈압 모니터링 시스템을 개발하였다. 이 시스템은 임베디드 기반 GUI(Graphic User Interface)의 프로그램을 통해서 UWB 레이더 및 제어 시스템을 모니터링하면서 정확한 정보를 실시간으로 LCD(Liquid Crystal Display)에 표시한다. 임베디드 시스템은 소형화를 위해 제한된 자원을 사용해야 하기 때문에 기존의 PC GUI 설계 모드는 상대적으로 더 큰 메모리를 사용하므로 임베디드 시스템에 적합하지 않을 뿐 만 아니라 더 많은 CPU(Central Processing Unit) 처리시간을 요구한다.

  • PDF

공간데이타 마이닝을 위한 효율적인 그리드 셀 기반 공간 클러스터링 알고리즘 (An Efficient Grid Cell Based Spatial Clustering Algorithm for Spatial Data Mining)

  • 문상호;이동규;서영덕
    • 정보처리학회논문지D
    • /
    • 제10D권4호
    • /
    • pp.567-576
    • /
    • 2003
  • 대용량의 공간데이터베이스로부터 암시적이고 유용한 지식을 자동적으로 추출하는 공간데이터 마이닝은 데이타 양이 급격히 증가하면서 필요성이 더욱 증대되고 있다. 공간데이터 마이닝에서 데이타를 분석하여 유사한 그룹으로 분류하는 공간 클러스터링은 매우 중요한 분야이다. 기존 연구에서 공간 클러스터링을 위한 여러 가지 알고리즘들이 제시되었지만, 다음과 같은 문제점들이 있다. 먼저 클러스터링을 위하여 객체들 간의 거리론 기반으로 하므로 데이타 양이 많아질수록 계산 비용이 커진다. 또한, 메모리 상주 데이타를 대상으로 하므로 대용량의 데이타인 경우에 효율이 떨어진다. 본 논문에서는 공간데이터 마이닝을 위하여 그리드 셀을 기반으로 한 효율적인 공간 클러스터링 방법을 제시한다. 이 클러스터링에서는 기존 공간 클러스터링 기법들의 문제점을 해결하는데 중점을 둔다. 세부적으로 공간 클러스터링의 효율성을 높이기 위하여 클러스터링시에 발생하는 비용(계산량)을 감소시키는 것이다. 이를 위해서 공간지역성을 보장하는 대표적인 공간분할 방법인 그리드 셀을 기반으로 한 공간 클러스터링 기법을 제시한다.