• 제목/요약/키워드: Message Queue

검색결과 75건 처리시간 0.026초

중앙 집중식 키 관리를 통한 MQTT 프로토콜 효율성 증대 연구 (A Study on the Enhancement of MQTT Protocol with Centralized Key Management)

  • 원찬희;김기천
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.312-313
    • /
    • 2017
  • 모든 사물들이 다양한 네트워크를 통해 상호 소통하는 지능형 기술 및 서비스인 사물인터넷(Internet of Things)은 최근 ICT산업의 발전으로 주목받고 있는 분야 중 하나이다. 사물인터넷에서 주로 사용되는 프로토콜 중 하나인 MQTT(Message Queue Telemetry Transport)는 메모리 및 전력 이용을 효율화시키기 위해 가벼운 패킷 구조를 채택하였으며 보안성을 제공하기 위해 TLS 방식을 사용하는 안전한 프로토콜이다. 본 논문에서는 MQTT에서 TLS을 사용할 때 Broker에서 처리되는 암복호화 과정 대신, 인증 서버 추가를 통하여 중앙 집중식 키 관리를 수행하는 효율적인 MQTT 프로토콜을 제안하고자 한다.

  • PDF

교육 동영상 공유 서비스의 카프카 기반 데이터 공유 방안 (A Kafka-based Data Sharing Method for Educational Video Services)

  • 이현섭;김진덕
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.574-576
    • /
    • 2021
  • 대규모 운영시스템이나 확장성을 고려한 시스템을 구성할 때 마이크로서비스 기법을 도입하는 것이 필요하다. 카프카는 pub/sub 모델을 가지는 메시지 큐로서 분산환경에 잘 적용되는 특징을 가지며, 다양한 데이터 소스를 활용할 수 있다는 점에서 마이크로서비스에 적합하다. 이 논문에서는 아파치의 카프카를 이용한 교육동영상 공유 서비스의 데이터 공유 방안을 제안하고자 한다. 제안하는 시스템은 교육 동영상 공유서비스이 다양한 데이터를 공유하기 위해 카프카 클러스터를 구축하며, 아울러 교육동영상의 유사도를 기반으로 하는 추천 시스템과 연계하기 위해 스파크 클러스터를 이용한다. 그리고 파일, RDBMS의 DB등과 같은 다양한 데이터 소스를 공유하는 방안을 제시한다.

  • PDF

개인화된 건강 데이터의 대량 처리 모니터링을 위한 메시지 모델 및 동적 버퍼 할당 설계 (Design of Dynamic Buffer Assignment and Message model for Large-scale Process Monitoring of Personalized Health Data)

  • 전영준;황희정
    • 한국인터넷방송통신학회논문지
    • /
    • 제15권6호
    • /
    • pp.187-193
    • /
    • 2015
  • ICT 힐링플랫폼은 만성질환 예방을 목적으로 하며 개인의 생체신호 및 생황습관 등의 정보에 기반을 둔 질환 조기 경보를 목표로 한다. 이를 위한 2-step 개방형 시스템(TOS)에는 힐링플랫폼과 개인건강데이터 저장소간의 중계가 설계되었으며 데이터 처리과정을 실시간으로 전송(모니터링)하기 위한 대량 커넥션 기반의 publish/subscribe(pub/sub) 서비스가 고려되었다. 그러나 TOS pub/sub의 초기 설계에서는 커넥션 메시지를 deflate 알고리즘으로 인코딩하기 위해, 커넥션의 유휴(idle) 여부 및 메시지의 종류에 상관없이 동일한 버퍼를 할당한다. 본 논문의 동적 버퍼 할당은 다음과 수행된다. 우선 각 커넥션의 메시지 전송 유형을 큐잉하고, 각 큐는 tf-idf를 통해 특징(feature)추출 연산 후 벡터로 변환하여 k-means 클러스터에 입력하여 군집을 생성한다. 특정 군집으로 분류된 커넥션은 해당 군집의 자원 테이블에 따라 자원을 재할당 한다. 이때 각 군집의 센트로이드(centroid)는 해당 군집을 대표하는 큐잉 패턴을 사전에 선택하여 자원참조 테이블(버퍼 크기별 인코딩 효율)로 도출한다. 제안된 설계는 TOS의 인코딩 버퍼 자원을 네트워크 커넥션에 효율적으로 배분하기 위해, 군집 및 특징 연산을 위한 연산 자원과 네트워크 대역폭 간의 trade-off를 수행함으로써 TOS의 tps(단위 시간당 실시간 데이터 처리 모니터링 연결수)를 높이는데 활용할 수 있다.

멀티쓰레드 기반 센서네트워크 운영체제에서 동작하는 상태머신 프레임워크 (State Machine Frameworks Operating in Sensor Network Operation System based on Multi-Thread)

  • 이승근;김병곤;최병규;허신
    • 정보처리학회논문지A
    • /
    • 제17A권3호
    • /
    • pp.127-136
    • /
    • 2010
  • 무선 센서네트워크는 유비쿼터스 컴퓨팅에서 생활환경과 컴퓨터 사이의 중계자 역할을 하는 매우 중요한 연구 분야이다. 매우 제약적인 자원 환경에서 동작하여야 하는 센서 노드의 특성 때문에 제한된 자원을 효율적으로 관리할 수 있는 센서네트워크 운영체제가 요구된다. 또한 센서네트워크는 외부 물리 환경의 변화에 반응하여 동작하는 시스템이기 때문에 여러 이벤트를 동시에 신속하게 처리 할 수 있어야 한다. 이러한 요구조건을 만족시킬 수 있도록 TinyOS나 MANTIS, NanoQplus 등 센서네트워크용 운영체제에서 다양한 기법들이 제시되고 있다. 하지만, 센서네트워크 응용 프로그램을 개발하는 프로그래머 입장에서는 제약이 심한 개발 환경과 개발을 용이하게 할 수 있도록 하는 프레임워크가 부족한 문제점도 매우 크다. 이를 위해 본 논문에서는 반응형 시스템에 적합한 상태머신 프레임워크를 멀티쓰레드 기반의 센서네트워크운영체제인 NanoQplus에 구현하였다. 또한 효과적인 이벤트 처리를 위한 이벤트 브로커 모듈 및 상태머신간 메시지 공유를 위한 메시지 자료구조와 메시지 및 메시지큐를 핸들링하고 상태머신의 전이를 수행하는 실행 모듈을 제안한다. 추가적으로 상태머신 프레임워크기반의 응용 프로그램을 좀 더 용이한 개발을 지원할 수 있는 CASE(Computer-aided software engineering)툴을 개발하였다.

하둡 기반 대규모 작업 배치 및 처리 기술 설계 (Design of a Large-scale Task Dispatching & Processing System based on Hadoop)

  • 김직수;구엔 카오;김서영;황순욱
    • 정보과학회 논문지
    • /
    • 제43권6호
    • /
    • pp.613-620
    • /
    • 2016
  • 본 논문에서는 대규모의 작업을 고성능으로 처리하기 위한 Many-Task Computing(MTC) 기술을 기존의 빅데이터 처리 플랫폼인 Hadoop에 적용하기 위한 MOHA(Many-Task Computing on Hadoop) 프레임워크에 대해 기술한다. 세부적으로는 MOHA의 기본 개념과 개발 동기, 분산 작업 큐에 기반한 PoC(Proof-of-Concept) 수행 결과를 제시하고 향후 연구 방향에 대해서 논의하고자 한다. MTC 응용은 각각의 태스크들이 요구하는 I/O 처리량은 상대적으로 많지 않지만, 동시에 대량의 태스크들을 고성능으로 처리해야하고 이들이 파일을 통해서 통신한다는 특징을 가지고 있다. 따라서 기존의 상대적으로 큰 데이터 블록 사이즈에 기반한 Hadoop 응용과는 또 다른 패턴의 데이터 집약형 워크로드라고 할 수 있다. 이러한 MTC 기술과 빅데이터 기술의 융합을 통해 멀티 응용 플랫폼으로 진화하고 있는 Hadoop 생태계에 신규 프레임워크로서 대규모 계산과학 응용을 실행할 수 있는 MOHA를 추가하여 기여할 수 있을 것이다.

클라우드 환경에서의 효율적인 빅 데이터 처리를 위한 로그 데이터 수집 아키텍처 (An Efficient Log Data Management Architecture for Big Data Processing in Cloud Computing Environments)

  • 김주리;반효경
    • 한국인터넷방송통신학회논문지
    • /
    • 제13권2호
    • /
    • pp.1-7
    • /
    • 2013
  • 최근 빅 데이터 관리가 정보기술 분야의 학계와 업계에서 중요한 이슈로 떠오르고 있다. 빅 데이터 중 소프트웨어 시스템에서 필연적으로 생성되는 대표적인 유형 중 하나가 로그 데이터이다. 로그 데이터는 서비스 제공자가 더 나은 서비스를 제공하고 소프트웨어의 품질을 향상시키기 위해 필요하다. 따라서 적절한 방법으로 로그 데이터를 수집하고 이를 분석할 수 있는 인프라 환경을 구축하는 것은 매우 중요하다. 본 논문은 로그 데이터에 특화된 새로운 빅 데이터 관리 기법을 제안한다. 제안하는 기법은 다수의 클라이언트 어플리케이션에서 생성되는 로그 데이터를 네트워크를 통해 전송하고 이를 실시간으로 저장한 후 분석할 수 있는 아키텍처를 제공한다. 해당 아키텍처는 서버-클라이언트 환경에서 로그의 비동기적인 처리를 지원하여 원격 로깅임에도 불구하고 데이터 처리의 병목 현상이나 클라이언트의 성능 저하를 발생시키지 않는다. 제안하는 기법을 실제 시스템에 구현하고 실측한 결과 확장성 있는 로그 데이터 관리가 이루어짐을 확인하였다. 특히, 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 개발 프로토타입 또한 오픈소스 소프트웨어 형태로 공개하여 누구나 사용할 수 있도록 하였다.

WPAN을 위한 가상 슬롯 기반 다중 접근 방식 (Virtual Slot Multiple Access for Wireless Personal Area Network)

  • 황도연;권의혁;임재성
    • 한국통신학회논문지
    • /
    • 제31권9A호
    • /
    • pp.837-843
    • /
    • 2006
  • WPAN환경에서 고속 저속 네트워크를 위한 표준 IEEE 802.15.3과 IEEE 802.15.4이 설계되었다. 현재 WPAN 표준에서 제시하는 MAC 프로토콜의 다중 접근 방식은 CSMA방식과 TDMA방식을 분리하여 결합한 방식이다. TDMA부분에서는 PNC(Piconet Coordinator)에 의해 가변적인 길이의 timeslot이 각 station에 할당된다. 그리고 각 timeslot내에는 여러 개의 데이터 패킷이 전송 가능한 multi-frame TDMA구조를 이루고 있다. 하지만 표준에서 정의하는 다중 접근 방식은 VBR (Variable Bit Rate)과 같이 데이터 전송률의 변화가 빈번한 데이터 서비스를 효율적으로 지원하기 어렵다. 이러한 특성의 데이터 트래픽에서는 superframe 내에 많은 수의 idle timeslot을 발생시키므로 시스템의 throughput을 감소시키고 delay를 증가시키게 된다. 본 논문에서는 가상 슬롯 기반의 다중 접근 방식인 VSMA(Virtual Slot Multiple Access)를 제안한다. 제안하는 기법은 multi-frame TDMA의 환경에서 성능을 향상시킬 수 있는 기법으로서 가상 슬롯을 할당 받은 station은 높은 접근 우선 순위를 갖고 그 밖의 station은 낮은 접근 우선 순위를 갖게 하여 채널을 효과적으로 사용할 수 있는 기법이다. 다양한 환경에서의 시뮬레이션을 통해 본 논문에서 제안한 기법이 효율적인 채널 사용을 통해서 향상된 성능을 보인다는 것을 증명하였다.

비동기 기반 마이크로 서비스에 적용 가능한 이벤트 스트림 처리 프레임워크 제안 (A Proposal of Event Stream Processing Frameworks applicable to Asynchronous-based Microservice)

  • 박상일
    • 한국인터넷방송통신학회논문지
    • /
    • 제17권2호
    • /
    • pp.45-50
    • /
    • 2017
  • 마이크로서비스 아키텍쳐(Microservice Architecture)는 실시간 실감 미디어 방송시스템과 같이 대규모 분산시스템에 적합한 서비스 아키텍쳐의 하나이다. 스케일-아웃(Scale-Out)기법 과 같은 수평적 성능 확장이 쉽기 때문에 최근 넷플릭스나 트위터와 같은 서비스 플랫폼 업체들이 앞다투어 이와 같은 시스템을 도입하고 있다. 또한 마이크로 서비스 아키텍쳐는 기존의 REST와 같은 웹 API에서 처리하기 어려운 영상처리나 실시간 데이터 분석 등을 비동기 기반의 프로세싱를 이용하여 처리 가능하게 하고 있다. 본 논문은 IoT 센서 데이터 분석이나 대용량 실감미디어를 실시간으로 편집하는 클라우드 기반 영상편집과 같은 다수의 이벤트들이 스트림으로 발생하며 플랫폼 내에서 비동기로 처리하는 상황에서 이벤트의 처리 순서가 보장되지 않음을 실험으로 증명하고 이에 알맞은 비동기 기반 마이크로서비스에 적용 가능한 이벤트 스트림 처리 프레임워크를 제안한다.

무선 환경에서 SSL/TLS를 사용하는 IoT의 에너지 효율성 향상을 위한 기법 (A Method to Improve Energy Efficiency for IoT Using SSL/TLS on Wireless Network)

  • 정진희;조대호
    • 정보보호학회논문지
    • /
    • 제26권3호
    • /
    • pp.661-666
    • /
    • 2016
  • 사물인터넷은 다양한 기기들이 서로 연결되어 효율적인 에너지 소모와 높은 보안을 유지하기 위해 경량의 메시징 프로토콜인 MQTT와 암호화 프로토콜인 SSL/TLS를 사용한다. SSL/TLS의 cipher suite 협상 단계에서 기기에 고정된 cipher suites로부터 선호도가 가장 높은 cipher suite를 선택한다. 선택된 cipher suite는 해당 통신 중에 필수적으로 제공받아야 하는 무결성, 기밀성을 제공하지만 필요 이상으로 높은 강도의 보안성을 제공할 수 있다. 이러한 한계는 에너지를 필요 이상으로 소비하게 만들 수 있으므로 본 논문에서는 SSL/TLS를 사용한 기기들의 에너지 효율성을 향상시키는 퍼지 기반 cipher suite 결정 기법을 제안한다. 실험을 통해 제안 기법은 기존 기법보다 에너지 효율성이 평균 36.03% 향상되었다.

CDM 데이터 공유를 위한 자동화 시스템 (Automation System for Sharing CDM Data)

  • 정채은;강윤희;박용범
    • Journal of Platform Technology
    • /
    • 제8권3호
    • /
    • pp.3-9
    • /
    • 2020
  • 의료 분야에서 연구 목적을 위해 공유에 대한 필요성이 증가함에 따라 공통 데이터 모델(CDM)의 활용이 증가하고 있다. 하지만 CDM 데이터를 공유할 때 접근 제어와 데이터 내에 있는 개인 정보 보호가 되지 않는 문제들이 존재한다. 본 논문에서는 이러한 문제를 해결하기 위해 블록체인 네트워크에 암호화 방식을 사용하여 CDM 데이터에 대한 접근 제어를 하고, CDM 데이터의 정보를 기록하여 추적이 가능하게 했다. 또한 대용량의 CDM 데이터를 공유하기 위해 IPFS를 이용하였으며, 공유하는 과정을 자동화하기 위해 Celery를 활용하였다. 즉, CDM 데이터 공유에 필요한 정보를 신뢰 기반 기술, 분산 파일 시스템 그리고 자동화를 위한 메시지 큐가 나누어 가진 멀티 채널 자동화 시스템을 제안한다. 이를 통해 CDM 데이터를 공유하는 과정에서 발생하는 접근 제어와 데이터 내에 있는 개인 정보 보호 문제를 해결하고자 한다.

  • PDF