• 제목/요약/키워드: 데이터 처리량

검색결과 2,581건 처리시간 0.028초

제한된 메모리를 가진 GPU를 이용한 효율적인 그래프 알고리즘 처리 기법 (An Efficient Graph Algorithm Processing Scheme using GPUs with Limited Memory)

  • 송상호;이현병;최도진;임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제22권8호
    • /
    • pp.81-93
    • /
    • 2022
  • 최근 대용량 그래프의 반복 처리를 위하여 GPU를 이용하는 연구가 진행되고 있다. 메모리가 제한된 GPU를 이용하여 대용량 그래프를 처리하기 위해서는 그래프를 서브 그래프로 분할한 후 서브 그래프들을 스케줄링해서 처리해야 한다. 그러나 활성 정점에 따라 서브 그래프가 처리되기 때문에 그래프 처리 과정 속에서 불필요한 데이터 전송이 반복된다. 본 논문에서는 메모리가 제한된 GPU 환경에서 효율적인 그래프 알고리즘 처리 기법을 제안하고 성능 평가를 수행한다. 제안하는 기법은 그래프 차등 서브 그래프 스케줄링 방법과 그래프 분할 방법으로 구성된다. 대용량 그래프 분할 방법은 GPU에서 효율적으로 처리할 수 있도록 대용량 그래프를 서브 그래프로 분할할 수 있는 방법을 결정한다. 차등 서브그래프 스케줄링 방법은 GPU에서 처리하는 서브그래프를 스케줄링하여 반복적으로 사용되는 HOST-GPU 간의 데이터 중복 전송을 줄인다. 다양한 그래프 처리 알고리즘들의 성능 평가를 수행함으로써 제안하는 기법은 기존 분할 기법 대비 170%, 기존 처리 기법 대비 268% 향상되었다.

기계학습에 기반한 댐 수위 이상 데이터 탐지 (Detection of Abnormal Dam Water Level Data Based on Machine Learning)

  • 방수일;이도길
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.293-296
    • /
    • 2021
  • K-water에서는 다목적댐의 관리를 위해 실시간으로 댐수위, 하천 수위 및 강우량 등을 계측하고 있으며, 계측된 값들은 댐을 효과적으로 운영하는데 필요한 데이터로 활용되고 있다. 특히 댐수위 이상 데이터를 탐지하지 못한 채 그대로 사용할 경우 댐의 방류 시기와 방류량 등을 결정하는 중요한 의사결정을 그르칠 수 있으므로 이를 신속히 탐지하는 것이 매우 중요하다. 현재의 자동화된 이상 데이터 탐지방법 중 하나는 현재 데이터가 최댓값과 최솟값을 초과할 때, 다른 하나는 현재 데이터와 일정 시간 동안의 평균값 간의 차이가 관리자가 정한 특정 값을 벗어났을 때를 기준으로 삼고 있다. 전자는 상한과 하한의 초과 여부만 판단하므로 탐지가 쉬우나 정상범위 내에서 발생한 이상 데이터는 탐지가 불가하다. 후자는 관리자의 경험을 통해 판단 조건을 정하기 때문에 객관성이 결여되는 문제가 있다. 특히 방류와 강우가 복합적으로 댐수위에 영향을 미치는 홍수기에 관리자의 경험에 기초한 이상 데이터 판별은 신뢰성의 문제가 있을 수 있다. 따라서 본 연구에서는 기계학습을 최초로 적용하여 이상 데이터를 탐지하고자 하였다. 댐수위, 누적강우량 및 누적방류량 데이터와 댐수위데이터를 가공하여 생성한 댐수위차, 댐수위차평균, 댐수위평균 등 자질들의 다양한 조합을 만든 후 이를 Random Forest, SVM, AdaptiveBoost 및 다층퍼셉트론(MLP) 등과 같은 여러 가지 기계학습모델 등을 통해 이상 데이터를 판별하는 실험(분류)을 하였다. 실험결과 댐수위, 댐수위차, 댐수위-댐수위평균, 누적강우량, 누적방류량 및 댐수위차평균을 사용하였을 때 MLP에서 가장 우수한 성능을 보였다. 이 연구를 통해서 댐수위 이상 데이터를 기계학습의 분류기능을 통해 효과적으로 탐지할 수 있다는 것과 모델의 성능은 실험에 사용한 자질의 수뿐 아니라 자질의 종류에도 큰 영향을 받는다는 것을 알 수 있었다.

고속 처리량을 위한 NS-2 기반 IEEE 802.11n MAC/PHY 연동 기법분석 (Analysis of IEEE 802.11n MAC and PHY Integration Method for High Throughput Performance based on NS-2)

  • 김주석;이윤호;송재수;김경석
    • 한국콘텐츠학회논문지
    • /
    • 제9권7호
    • /
    • pp.67-75
    • /
    • 2009
  • 최근 무선 인터넷 수요의 증가와 더불어 IEEE 802.11 WLAN의 표준화 작업도 활발히 진행 중이다. 고속처리량을 위한 IEEE 802.11n의 연구 동향은 크게 두 가지로 MAC 계층에서 패킷 간의 Aggregation을 통하여 시스템 처리량을 높인 결과와PHY 계층에서 MIMO 시스템을 적용하여 데이터 전송속도를 높인 결과로 정리될 수 있다. 그러나 아직까지 MAC 계층과 PHY 계층의 연동을 고려하여 IEEE 802.11n의 성능 분석을 보인 결과는 발표되지 않았다. 본 논문에서는 IEEE 802.11n 시스템에서 MAC 계층과 PHY 계층의 연동을 고려하여 성능을 분석한다. MAC 계층에서의 A-MPDU 기법과 PGY 계층에서 MIMO 방식을 적용한다. 결과적으로 기존의 방식에 비해 데이터 전송속도의 증가와 처리량이 향상되었음을 보인다. 또한, MAC과 PRY의 연동을 고려하여 현실성 있는 시뮬레이터인 NS-2를 사용하기로 한다.

데이터 샘플링 기반 프루닝 기법을 도입한 효율적인 각도 기반 공간 분할 병렬 스카이라인 질의 처리 기법 (An Efficient Angular Space Partitioning Based Skyline Query Processing Using Sampling-Based Pruning)

  • 최우성;김민석;;정재화;정순영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권1호
    • /
    • pp.1-8
    • /
    • 2017
  • 다기준 의사결정 시 활용할 수 있는 스카이라인 질의는 다수의 선택지 중에서 사용자가 '선호하지 않을 만한'(uninteresting) 선택지를 제거함으로써 사용자가 검토해야 하는 선택지의 수를 대폭 감소시키기 때문에 대용량 데이터 분석 시 매우 유용하게 활용될 수 있다. 이러한 배경에서 대용량 데이터에 대한 스카이라인 질의를 분산 병렬 처리하는 기법이 각광을 받고 있으며, 특히 맵리듀스(MapReduce) 기반의 분산 병렬 처리 기법 연구가 활발히 진행되어 왔다. 맵리듀스 기반 알고리즘의 병렬성 제고를 위해서는 부하 불균등 문제 중복 계산 문제 과다한 네트워크 비용 발생 문제를 해소해야 한다. 본 논문에서는 부하 불균등 문제와 중복 계산 문제를 해소하면서도 데이터 샘플링 기반 프루닝을 통해 네트워크 비용 절감 시킬 수 있는 맵리듀스 기반 병렬 스카이라인 질의 처리 기법인 MR-SEAP(MapReduce sample Skyline object Equality Angular Partitioning)을 소개한다. 또한 다양한 관점에서의 실험 평가함으로써 제안 기법의 효용성을 다방면으로 검증했다.

무선랜 기반의 복수 무인기 통신링크 최대 처리량 분석 (Theoretical Maximum Throughput (TMT) Analysis of the Multiple UAVs datalink system using WLAN (IEEE 802.11b))

  • 김인규;문상만
    • 항공우주기술
    • /
    • 제12권2호
    • /
    • pp.118-122
    • /
    • 2013
  • 본 논문에서는 복수 무인항공기 통신장비로 IEEE 802.11b 기술을 적용할 때 기존 무선랜 표준서에서 제시한 송수신 지연시간과 최대 처리량을 근거로 하여 통신 가능한 무인항공기 대수와 전송 데이터량을 예측하였다.

그룹특징기반 슬라이딩 윈도우 클러스터링에서의 k-means와 k-medoids 비교 평가 (Comparison between k-means and k-medoids Algorithms for a Group-Feature based Sliding Window Clustering)

  • 양주연;심준호
    • 한국전자거래학회지
    • /
    • 제23권3호
    • /
    • pp.225-237
    • /
    • 2018
  • 대용량 데이터의 발생과 처리가 대중화되면서 대용량 데이터 스트림 처리에 대한 수요가 급격하게 증가하고 있다. 이 수요에 따라 다양한 대용량 데이터 처리 기술이 개발되고 있다. 한 분야로 주목받고 있는 방식은 슬라이딩 윈도우를 사용한 데이터 스트림 클러스터링이다. 슬라이딩 윈도우를 사용한 데이터 스트림 클러스터링은 윈도우가 이동할 때마다 새로운 클러스터를 생성한다. 기존의 슬라이딩 윈도우 상의 클러스터링 기법은 코어셋(Coreset)을 기반으로 데이터 스트림 클러스터링을 구현하고 있다. 이 연구에서는 코어셋을 활용한 그룹특징을 이용한 알고리즘 내에서 이용하는 클러스터링 알고리즘을 변경하였다. 그리고 이를 통해 제안 알고리즘과 기존 알고리즘의 파라미터 값 변화에 따른 성능 비교 실험을 진행하였다. 개선된 사항에 대해 논하여 두 알고리즘을 비교하고 실험자에게 파라미터에 따른 이용 방향을 제시한다.

웹모아 : 통합 파일 전송 도구 개발 (WebMoa : Development of an Integrated File Transfer Tool)

  • 강경만;김미형;김소영;박찬정
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (중)
    • /
    • pp.1225-1228
    • /
    • 2003
  • 최근 계정과 일정량의 하드를 제공하는 무료 사이트들이 많이 있다. 여러 곳의 계정을 이용하여 대용량의 홈페이지를 만들 수 있으나 일일이 작업하기는 번거롭다. 특히, 데이터를 이동하는 경우에 디스켓이나 CD 등을 이용하여야 하는 불편함이 있다. 본 논문에서는 이러한 불편함을 제거하기 위하여 웹 저장소로서 기능을 수행할 수 있는 웹모아를 구현한다. 웹모아는 하드를 포맷하거나 흑은 중요한 데이터를 저장해야 할 경우 데이터 백업장소로 사용할 수 있고 데이터를 이동해야 할 경우. 임시 기억장소로 사용할 수 있다 또한, 대용량의 홈페이지를 만드는 경우 여러 개의 무료 계정들을 마치 하나의 계정처럼 사용할 수 있도록 해준다.

  • PDF

Intelligent SSD를 위한 효율적인 데이터 마이닝 알고리즘 (An Efficient Data Mining Algorithm for Intelligent SSD)

  • 김진형;배덕호;김상욱;오현옥;박찬익
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
    • /
    • pp.178-179
    • /
    • 2012
  • 최근, 빅데이터 등 대용량의 데이터가 등장함에 따라 SSD 안에 추가적인 프로세서를 장착하여 데이터 처리 능력을 부여한 Intelligent SSD (ISSD)의 필요성이 대두되고 있다. 본 논문에서는 먼저, ISSD의 특징을 분석하고, ISSD가 대용량 처리에 적합함을 보인다. 더 나아가, ISSD를 위한 k-means 알고리즘을 제안하고, 비용 모델을 수립을 통해 제안한 알고리즘의 우수성을 검증한다.

클라우드 환경에서 데이터 접근 사용자의 프라이버시 보호를 위한 익명 CP-ABE 기법에 관한 연구 (A Study on Anonymous CP-ABE Scheme for Privacy Protection of Data Access Users in Cloud Environments)

  • 황용운;이임영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.186-187
    • /
    • 2019
  • 최근 클라우드에서 발생하는 보안위협을 해결하기 위한 다양한 보안 기술 중 속성기반 암호인 CP-ABE 방식의 접근제어 기법을 사용하여 사용자간의 데이터를 안전하게 공유한다. 현재까지 다양한 CP-ABE방식의 접근제어 기법이 연구되었지만, 이 중 보안위협에 취약한 방식들이 존재한다. 특히 제 3자는 암호문에 지정된 접근구조를 통해 데이터에 접근하려는 사용자의 속성을 유추할 수 있고, 이로 인해 사용자의 프라이버시를 침해할 수 있다. 이에 사용자의 프라이버시를 보호할 수 있는 익명 CP-ABE 방식이 연구되고 있다. 하지만 기존에 연구된 익명 CP-ABE 방식 중 제대로 익명화가 적용되지 않은 방식과, 효율성이 부족한 방식들이 존재한다. 이에 복호화하는 사용자의 연산량은 증가된 암호문의 속성의 개수에 비례하기 때문에 비효율적이다. 본 논문에서는 데이터에 접근하는 사용자의 프라이버시를 보호하고, 사용자의 연산량의 효율을 높일 수 있는 익명 CP-ABE 방식을 제안한다.

대용량 이관시스템을 위한 멀티 쓰레드 기반 데이터 이관 기법 (An Efficient Data Transfer Algorithm based on Multi-thread for Big Data Transfer System)

  • 장원준;류병걸
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.85-88
    • /
    • 2019
  • 4차 산업 혁명의 진행에 따라 빅 데이터를 활용한 다양한 응용 분야와 프로그램들이 생겨나고 있다. 이에 따라 기존에 성능 문제가 크게 제기되지 않았던 복사, 해쉬 계산 등의 문제에 대한 요구사항이 디지털 포렌식이나 디지털 데이터 기록물 보존 등의 분야에서 급증하고 있다. 본 논문에서는 복사, 해쉬가 동시에 진행되는 디지털 데이터 이관 분야에서 활용되는 대용량 이관 시스템을 위해 향상된 성능이 제공되는 알고리즘을 소개하며, 이를 구현한 시스템 구조를 제안한다. 또한 실험을 통해 제안하는 알고리즘이 기존에 활용되던 이관 시스템에 비해 평균 39% 향상된 성능을 보임을 증명한다.