• 제목/요약/키워드: Massive Data Processing

검색결과 231건 처리시간 0.026초

토러스 연결망 기반의 대용량 멀티미디어용 분산 스토리지 시스템 (Torus Network Based Distributed Storage System for Massive Multimedia Contents)

  • 김재열;김동오;김홍연;김영균;서대화
    • 한국멀티미디어학회논문지
    • /
    • 제19권8호
    • /
    • pp.1487-1497
    • /
    • 2016
  • Explosively growing service of digital multimedia data increases the need for highly scalable low-cost storage. This paper proposes the new storage architecture based on torus network which does not need network switch and erasure coding for efficient storage usage for high scalability and efficient disk utilization. The proposed model has to compensate for the disadvantage of long network latency and network processing overhead of torus network. The proposed storage model was compared to two most popular distributed file system, GlusterFS and Ceph distributed file systems through a prototype implementation. The performance of prototype system shows outstanding results than erasure coding policy of two file systems and mostly even better results than replication policy of them.

다중서버 방식의 새로운 인스턴트메시지 서비스 구조 (A New Architecture of Instant Message Service with Multiple Servers)

  • 장춘서;이기수
    • 한국컴퓨터정보학회논문지
    • /
    • 제18권11호
    • /
    • pp.99-106
    • /
    • 2013
  • 인스턴트메시지(Instant Message) 서비스에서 서버는 인스턴트메시지와 사용자들에 대한 다량의 프레즌스 자원을 담은 요청 메시지를 처리해야하고 등록한 프레즌스 자원에서 발생하는 다량의 통지 메시지도 처리해야 한다. 본 논문에서는 사용자 수의 증가에 따라 서버의 부하를 효율적으로 분산하여 처리 할 수 있고 확장 호처리 언어를 적용하여 사용자에게 다양한 기능을 제공 할 수 있는 새로운 다중 서버 방식을 사용한 인스턴트메시지 서비스 구조를 제안하였다. 서비스 사용자는 프레즌스 정보 및 자신이 원하는 기능을 기술한 호처리 언어 스크립트를 서버에 등록하며, 서버는 인스턴트메시지의 처리 및 프레즌스 서비스와 호처리 언어 스크립트 실행 기능을 제공한다. 이를 위하여 확장된 프레즌스 정보 데이터 구조가 제안되었고 인스턴트메시지 서비스 처리에 필요한 호처리 언어 동작 태그들이 새롭게 추가되었다. 따라서 본 시스템에서는 시스템의 확장성이 높아지고 프레즌스 서비스와 호 처리를 조합한 다양한 서비스를 사용자에게 제공할 수 있게 된다. 또 서버에 인스턴트메시지 처리 모듈을 통합하여 시스템 전체의 SIP(Session Initiation Protocol) 메시지의 발생 양을 줄여 시스템의 효율을 더욱 높일 수 있도록 하였다. 제안된 시스템의 성능은 실험을 통하여 분석하였다.

KREONET 기반의 과학기술협업연구 플랫폼(RealLab) 설계 및 프로토타입 구축 (Design and Prototyping of Scientific Collaboration Platform over KREONET)

  • 권윤주;홍원택
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제4권9호
    • /
    • pp.297-306
    • /
    • 2015
  • 클라우드 컴퓨팅은 유연한 사용 및 제반 비용 절감 등을 이점으로 다양한 분야에서 그 사용 범위를 넓혀가고 있다. 최근, 과학기술연구 분야에서도 연구 인프라 구축 및 운영의 어려움을 해결하기 위한 한 방법으로서 클라우드 컴퓨팅의 적용이 시도되고 있다. 특히, 과학기술 연구 분야는 대용량 실험데이터의 확보 및 결과데이터 공유 등 네트워킹 기반의 다양한 협업을 필요로 하므로 고성능 네트워킹 인프라를 기반으로 한 클라우드 컴퓨팅 환경의 제공이 요구되고 있다. 이에 본 논문에서는 KREONET/GLORIAD 상에서 실험환경과 데이터의 공유 인프라를 포함하여 과학기술연구 분야의 통합 연구 환경을 제공하는 클라우드 기반의 협업연구 플랫폼인 RealLab을 제안한다. 그리고 그 활용시나리오를 통해 물리적인 시스템의 설치 없이 필요로 하는 연구 환경을 신속하게 생성할 수 있고, 대용량의 실험데이터를 빠르게 전송 및 공유할 수 있는 방안을 제시한다.

MPEG-7 기반 비디오/이미지 검색 시스템(VIRS) (MPEG-7 based Video/Image Retrieval System (VIRS))

  • 이재호;김형준;김회율
    • 정보처리학회논문지B
    • /
    • 제10B권5호
    • /
    • pp.543-552
    • /
    • 2003
  • 멀티미디어데이터의 급격한 양적 팽창은 원하는 데이터를 빠르고 정확하게 검색해야 한다는 새로운 과제를 안겨주었다. 이러한 효율적 검색을 위해서 가장 중요한 기반이 되는 것이 바로 데이터의 적절한 표현이다. 2001년 국제 표준으로 제정된 MPEG-7은 바로 이러한 이유로 멀티미디어 데이터의 표현에 대한 표준화를 다루고 있다. 그러나 MPEG-7의 내용은 표준의 특성상 포함하는 범위가 방대하고 실제 검색시스템을 구축하려는 이들에게 다루기 힘든 것이 사실이다. 이에 본 논문에서는 MPEG-7에 제시되어 있는 표준 중 비주얼 기술자들만을 이용하여 간단한 검색시스템을 구축하는 방법에 대하여 제시하고 그 검색 결과를 도시하였다. 또한 개발된 시스템인 MPEG-7 VIRS(Video/Image Retrieval System)의 검색 결과를 통하여 각 비주얼 기술자를 이용한 검색과 다중 기술자들의 조합을 이용한 검색간의 결과를 분석하였으며 앞으로 MPEG-7을 이용한 검색 시스템이 나아갈 방향에 대한 간단한 제시를 하고 있다.

Rough Set Theory와 Support Vector Machine 알고리즘을 이용한 RSIDS 설계 (A Design of RSIDS using Rough Set Theory and Support Vector Machine Algorithm)

  • 이병관;정은희
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권12호
    • /
    • pp.179-185
    • /
    • 2012
  • 본 논문에서는 RST(Rough Set Theory)과 SVM(Support Vector Machine) 알고리즘을 이용한 RSIDS (RST and SVM based Intrusion Detection System)를 설계하였다. RSIDS는 PrePro(Preprocessing) 모듈, RRG(RST based Rule Generation) 모듈, 그리고 SAD(SVM based Attack Detection) 모듈로 구성된다. PrePro 모듈은 수집한 정보를 RSIDS의 데이터 형식에 맞게 변경한다. RRG 모듈은 공격 자료를 분석하여 공격 규칙을 생성하고, 그 규칙을 이용하여 대량화된 데이터에서 공격정보를 추출하고, 그리고 추출한 공격정보를 SAD 모듈에 전달한다. SAD 모듈은 추출된 공격 정보를 이용하여 공격을 탐지하여 관리자에게 통보한다. 그 결과, 기존의 SVM과 비교해볼 때, RSIDS는 평균 공격 탐지율 77.71%에서 85.28%로 향상되었으며, 평균 FPR은 13.25%에서 9.87%로 감소하였다. 따라서 RSIDS는 기존의 SVM을 이용한 공격 탐지 기법보다 향상되었다고 할 수 있다.

NDN에서 Off-Path 콘텐츠 접근기법들에 대한 성능 비교 연구 (A Comparative Study on Off-Path Content Access Schemes in NDN)

  • 이준석;김도형
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제10권12호
    • /
    • pp.319-328
    • /
    • 2021
  • 인터넷에서의 대용량 콘텐츠들에 대한 서비스가 일반화됨에 따라 기존 TCP/IP 프로토콜에서의 비효율적인 데이터 전송에 대한 문제점들이 제기되었고, 그 결과로 정보중심네트워크 (Information-centric networking) 패러다임이 새롭게 제시되었다. 정보중심네트워크에서는 IP와 같은 위치 식별자를 대신하여 콘텐츠 이름을 통해 콘텐츠 접근이 이루어지며, 네트워크 노드들 (e.g., 라우터)은 캐시를 활용하여 전송중인 콘텐츠들을 저장하여 이후 발생하는 사용자 요청들에 대한 서비스를 수행할 수 있다. 사용자 요청이 멀리 위치한 콘텐츠 서버가 아닌 가까운 네트워크 캐시에서 서비스될 수 있게 됨에 따라 서비스 지연 감소, 네트워크 대역폭의 효율적 사용, 서비스 확장성 확보 등의 이점이 소개되었다. 그런데 이와 같은 정보중심네트워크에서의 이점들은 캐시에 저장되어 있는 콘텐츠가 얼마나 적극적으로 활용될 수 있느냐에 의해 결정될 수 있다. 본 논문에서는 1) 정보중심네트워크의 대표적인 아키텍쳐 중의 하나인 Named-data Networking (NDN) 에서의 콘텐츠 접근 기법에 대해 소개하고, 2) 특별히 라우팅 경로를 벗어나 캐시되어 있는 콘텐츠들을 접근할 수 있도록 하기 위해 제안된 기법들에 대한 리뷰를 진행하며, 3) ndnSIM 시뮬레이터를 활용해 이들 기법들에 대한 성능 비교 평가를 진행한다.

대용량 데이터의 전송 효율 및 기록 성능 향상을 위한 Zero Copy 기술 적용에 관한 연구 (A Study on the Application of Zero Copy Technology to Improve the Transmission Efficiency and Recording Performance of Massive Data)

  • 송민규;김효령;강용우;제도흥;위석오;이성모;김승래
    • 한국전자통신학회논문지
    • /
    • 제16권6호
    • /
    • pp.1133-1144
    • /
    • 2021
  • Zero-copy는 메모리 무복사로도 불리는 기술로서 이에 대한 사용을 통해 사용자 영역과 커널 영역 간 컨텍스트 스위칭을 줄여 CPU의 부하를 최소화할 수 있다. 하지만 이 기술은 소규모의 랜덤한 파일을 전송하는 용도에 그치고, 대용량 파일 전송에는 아직 널리 활용되지 못하고 있다. 본 논문은 네트워크를 경유한 대용량 파일 처리에 있어서 Zero-copy의 실질적인 적용 방안에 대해 논의하고자 한다. 이를 위해 먼저 Zero-copy 기반으로 데이터를 전송, 저장할 수 있는 소규모 테스트베드 구축 및 프로그램을 개발하였다. 이후 세부 성능 평가를 통해 적용된 기술의 유용성을 세부 검증하고자 한다.

자동 주석 갱신 및 다중 분할 칼라 히스토그램 기법을 이용한 멀티미디에 데이터베이스 시스템 (A Multimedia Database System using Method of Automatic Annotation Update and Multi-Partition Color Histogram)

  • 안재명;오해석
    • 정보처리학회논문지B
    • /
    • 제11B권6호
    • /
    • pp.701-708
    • /
    • 2004
  • 기존의 내용기반 비디오 검색 시스템들은 주석기반 검색 또는 특징기반 검색과 같은 단일 방식으로만 검색을 하므로 검색 효율이 낮을 뿐 아니라 완전한 자동 처리가 되지 않아 시스템 관리자나 주석자의 많은 노력을 요구한다. 본 논문에서는 주석기반 검색과 특징기반 검색을 이용하여 대용량의 비디오 데이터에 대한 사용자의 다양한 의미검색을 지원하는 에이전트 기반에서의 자동화되고 통합된 비디오 의미기반 검색 시스템을 제안한다. 사용자의 기본적인 질의를 분석하고 질의에 의해 추출된 키 프레임의 이미지를 사용자가 선택함으로써 인덱싱 에이전트는 추출된 키 프레임의 주석에 대한 의미를 더욱 구체화시킨다. 또한, 사용자에 의해 선택된 키 프레임은 특징기반 검색의 질의 이미지가 되고 인덱싱 에이전트는 제안하는 다중 분할 칼라 히스토그램 기법을 통해 질의 이미지와 데이터베이스의 키 프레임들을 비교한 후 가장 유사한 키 프레임 이미지를 검색하여 사용자에게 디스플레이 한다. 제안하여 구현된 시스템은 현저히 향상된 성능을 보였다.

연판정 Reed-Solomon 리스트 디코딩의 Factorization을 위한 효율적인 VLSI 구조 (Efficient VLSI Architecture for Factorization in Soft-Decision Reed-Solomon List Decoding)

  • 이성만;박태근
    • 대한전자공학회논문지SD
    • /
    • 제47권11호
    • /
    • pp.54-64
    • /
    • 2010
  • Reed-Solomon(RS) 코드는 강력한 에러 정정 능력으로 널리 사용된다. 최근 Sudan에 의해 Reed-Solomon 코드의 리스트 디코딩 알고리즘이 정립되었다. 리스트 디코더는 일반적인 디코더보다 더 큰 디코딩 반경을 가지며 하나 이상의 코드를 찾아낸다. 리스트 디코더는 복잡도와 latency가 매우 큰 Interpolation 과 Factorization 단계를 포함하므로 효율적인 하드웨어 설계가 필요하다. Factorization 은 latency가 매 단계마다 변하는 특성을 가져 복잡도가 높으며, 하드웨어 효율 저하의 문제가 발생한다. 본 논문에서는 하드웨어의 재사용을 높인 구조와 알고리즘의 효율적인 처리 스케쥴을 제안한다. 제안한 구조는 각 단계를 작은 단위의 R-MAC 유닛으로 나누어 매 단계마다 하드웨어를 재구성하여 처리함으로서 높은 하드웨어 효율과 효율적인 메모리 구조를 통해 복잡도가 낮은 순차처리를 적용하면서도 높은 처리량을 보이며, 여러 가지 어플리케이션에 적용가능하다. 제안한 구조는 동부 아남 $0.18{\mu}m$ 표준 셀 라이브러리를 사용하여 합성한 결과 최대 동작 주파수는 330MHz이다.

HTML 태그 깊이 임베딩: 웹 문서 기계 독해 성능 개선을 위한 BERT 모델의 입력 임베딩 기법 (HTML Tag Depth Embedding: An Input Embedding Method of the BERT Model for Improving Web Document Reading Comprehension Performance)

  • 목진왕;장현재;이현섭
    • 사물인터넷융복합논문지
    • /
    • 제8권5호
    • /
    • pp.17-25
    • /
    • 2022
  • 최근 종단 장치(Edge Device)의 수가 증가함에 따라 빅데이터가 생성되었고 특히 정제되지 않은 HTML 문서가 증가하고 있다. 따라서 자연어 처리 모델을 이용해 HTML 문서 내에서 중요한 정보를 찾아내는 기계 독해(Machine Reading Comprehension) 기술이 중요해지고 있다. 본 논문에서는 기계 독해의 여러 연구에서 준수한 성능을 보이는 BERT(Bidirectional Encoder Representations from Transformers) 모델이 HTML 문서 구조의 깊이를 효과적으 로 학습할 수 있는 HTDE(HTML Tag Depth Embedding Method)를 제안하였다. HTDE는 BERT의 각 입력 토큰에 대하여 HTML 문서로부터 태그 스택을 생성하고 깊이 정보를 추출한다. 그리고 BERT의 입력 임베딩에 토큰의 깊이를 입력으로하는 HTML 임베딩을 더한다. 이 방법은 문서 구조를 토큰 단위로 표현하여 주변 토큰과의 관계를 식별할 수 있기 때문에 HTML 문서에 대한 BERT의 정확도를 향상시키는 효과가 있다. 마지막으로 실험을 통해 BERT의 기존 임베딩 기법에 비해 HTML 구조에 대한 모델 예측 정확도가 향상됨을 증명하였다.