• 제목/요약/키워드: 스트리밍시스템

검색결과 621건 처리시간 0.039초

Spark Streaming 기반 클라우드 시스템에서 실시간 고장 복구를 지원하기 위한 기법들 (Techniques to Guarantee Real-Time Fault Recovery in Spark Streaming Based Cloud System)

  • 김정호;박대동;김상욱;문용식;홍성수
    • 정보과학회 논문지
    • /
    • 제44권5호
    • /
    • pp.460-468
    • /
    • 2017
  • 실시간 클라우드의 실현에 있어서 데이터 분석 프레임워크는 중추 역할을 수행한다. 현존하는 프레임워크들 중에 가장 많은 요구사항들을 충족하는 것은 Spark Streaming이다. 하지만 이 프레임워크는 초 단위 실시간 고장 복구를 충족하지 못하고 있다. Spark Streaming의 고장 복구 기법은 정상 동작시에 기록된 누적 변형 히스토리를 토대로 고장 직전 마지막 상태 데이터를 재연산하여 복구하기 때문에 히스토리의 길이에 비례하여 복구 시간이 증가된다. 따라서 제한된 시간 이내에 고장 복구가 완료됨을 보장되지 않는다. 또한 초기 상태 데이터를 고장 감내 스토리지에서 읽는 시간이 수십 초에 달하여 초 단위고장 복구 시간을 달성할 수 없다. 본 논문에서는 언급된 문제들을 해결하기 위한 두 가지 기법들을 제안한다. 이를 Spark Streaming 1.6.2에 적용하고, 실험을 통해 고장 복구 시간이 제한 시간 이내에 완료되며 평균 약 41.57% 단축됨을 확인했다.

다자간 협업 환경을 위한 미디어 서비스 수준에서의 품질 요구사항 갈등 중재방법 (An arbitration approach to resolve conflict to quality requirements in the level of the media service for multi-party collaboration environments)

  • 한상우;김종원
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2008년도 학술대회 1부
    • /
    • pp.601-606
    • /
    • 2008
  • 유비쿼터스 컴퓨팅 환경에서 실시간 미디어의 공유 시, 정보단말들의 성능 편차로 인해, 종단 사용자 간에 전송 미디어의 품질 요구사항에 대한 갈등이 발생할 수 있다. 이러한 문제 해결을 위해 네트워크 또는 응용 측면에서 미디어 스트리밍의 QoS 보장 기법에 대한 많은 연구가 진행되어 왔으나, 높은 개발 비용 및 시스템 복잡도 등 각종 요인으로 인해 보급화에 난항을 겪고 있는 실정이다. 본 논문에서는 미디어 서비스 수준에서, 사용자별 요구사항에 맞도록 서비스들 간의 영상분배 그룹을 형성하여 향상된 미디어 품질을 제공하는 협상 방법을 제안한다. 이를 위해 동일한 시야를 전송하는 영상 서비스들을 하나의 집합으로 만든 후, 사용자별 품질 요구사항의 손해를 최소화하기 위하여 영상 제공자와 영상 수신자간의 적절한 대응관계를 도출하는 알고리즘을 제안한다. 결과적으로 사용자들은 개별적인 요구사항에 부합하는 수준의 영상 서비스를 이용할 수 있게 되어, 미디어 품질 측면에서 향상된 서비스를 기대할 수 있다.

  • PDF

스마트팩토리를 위한 운영빅데이터 분석 플랫폼 (Operational Big Data Analytics platform for Smart Factory)

  • 배혜림;박상혁;최유림;주병준;리스카;풀샤시;푸트라;타오픽;이상화;원석래
    • 한국빅데이터학회지
    • /
    • 제1권2호
    • /
    • pp.9-19
    • /
    • 2016
  • ICT 융합에 대한 관심이 높아진 가운데 독일의 Industry 4.0을 시작으로 제조업과 ICT 융합에 대한 연구가 활발하게 진행되고 있다. 이를 통해 전통적인 제조업의 제조단가를 낮추고 극적인 품질향상을 기대할 수 있게 되었다. 최근 정부의 제조업 3.0 전략 등에 힘입어 국내에서도 제조업에 대한 고도화가 진행되고 있으며, 이러한 추세에 발맞추어 제조업 운영에서 발생하는 빅데이터에 대한 주문맞춤형 분석 플랫폼을 개발하고 이를 통해 제조 현장의 경쟁력을 높이고자 한다. 주문맞춤형 분석 플랫폼은 확장성을 고려하여 스프링 프레임워크를 기반으로 웹에서 실행되도록 설계되었으며, 제조업 현장에서 발생하는 다량의 데이터를 빠르게 처리하기 위하여 스파크와 하둡 파일 시스템을 이용한다. 실시간으로 스트리밍 된 데이터를 프로세스 마이닝 기반 알고리즘을 통해 처리하고 공장의 현황을 분석하여 제조업 현장의 문제를 파악하고 신속한 의사결정을 지원할 수 있다.

  • PDF

연속매체 상영을 위한 실시간 디스크 프리팻칭 기법 (A Real-Time Disk Prefetch Scheme for Continuous Media Playback)

  • 임성채
    • 정보처리학회논문지A
    • /
    • 제11A권7호
    • /
    • pp.547-554
    • /
    • 2004
  • 연속매체(Continuous Media : CM)와 같은 데이터를 온라인으로 상영해야 하는 멀티미디어 시스템에서는 연속매체의 시간제약성을 만족시켜 줄 수 있는 실시간 디스크 스케줄링 기법이 요구되며 이를 통해 상영중인 CM 스트림(stream)의 끊김현상(hiccup)을 막을 수 있다. 이런 디스크 스케줄링을 위해 주기성을 가지는 프리팻칭(prefetching) 기법이 널리 쓰이고 있으며, 이는 연속매체가 상당기간 동안 계속 상영된다는 특성에 기반한 것이다. 본 논문에서도 효과적인 디스크 프리팻칭을 위해, 정시도착채널이란 실시간 디스크 채널을 이용한 스케줄링 기법을 제안한다. 이런 디스크 채널의 생성을 위해 bulk-SCAN 기법이 사용되며 유연한 채널 할당을 위해 실시간 알고리즘인 EDF(earliest-deadline-first) 알고리즘이 이용된다. 제안한 기법은 기존 방법에서와 같이 끊김현상 없는 상영을 제공함은 물론이고, I/O 처리율과 서비스 응답시간 면에서 우수성을 가진다. 논문에서는 이런 성능상의 장점을 시뮬레이션을 통해 보인다.

휘도, 색차의 분포도 분석을 이용한 인지적 무기준법 영상 화질 평가방법 (A Novel Perceptual No-Reference Video-Quality Measurement With the Histogram Analysis of Luminance and Chrominance)

  • 김요한;성덕구;한정현;신지태
    • 방송공학회논문지
    • /
    • 제14권2호
    • /
    • pp.127-133
    • /
    • 2009
  • 영상통신기술의 발달로, 영상화질평가는 많은 연구자들에 의해 새로운 알고리즘이 연구되었고, 성능은 점차 개선되었다. 하지만, 사람의 주관적인 시각시스템은 너무나 다양하고, 복잡하기 때문에 이를 수식화하고, 객관화하는데 많은 어려움이 있다. 영상의 화질을 평가하는 방법은 전체 기준법 (Full-Reference), 감소기준법 (Reduced-Reference) 그리고 무기준법 (No-Reference)으로 나눌 수 있다. 이중 무기준법은 수신 영상외의 다른 정보가 필요 없기 때문에, 다양한 영상 스트리밍서비스에 사용될 수 있다. 본 연구에서는, 영상의 양자화로 인한 범위 왜곡을 고려한 새로운 무기준법 영상 화질 평가 방법을 제안한다. 그리고, 성능을 비교하기 위해서, ITU-T P910 문서에 따른 주관적 화질 평가를 수행하고, 이를 363개의 영상을 통해 새로운 방법과 기존의 방법을 비교하였다. 실험 결과 제안된 방법의 실제 주관적 화질과의 상관도는 다른 기존방법보다 높은 것으로 나타났다.

차세대 집중형 항행 서비스를 위한 이동체 웹 서버 클러스터 설계 (Vehicular Web Server Cluster Design for Next Generation Centralized Navigation Services)

  • 김용호;김영용
    • 한국항행학회논문지
    • /
    • 제13권5호
    • /
    • pp.669-676
    • /
    • 2009
  • HTTP나 오디오/비디오 스트리밍 서비스는 미래 집중형 항행 시스템에서 사용될 수 있는 가장 유력한 서비스들로 이러한 서비스들을 제공하기 위해서 서비스 사업자들은 웹 서버들의 묶음인 웹 서버 클러스터를 사용하는 것이 권장된다. 본 논문에서는 사용자의 등급에 따라 우선순위를 고려한 차등 접속을 제공할 수 있는 웹 서버 클러스터에 대한 수학적 모델링과 성능 분석 그리고 설계 방법을 제공한다. 몇 가지 가능한 시나리오를 통해 사용자 등급에 따라 차등 서비스를 제공해 줄 수 있는 효과적인 웹 서버 클러스터 방법을 대기행렬 이론을 이용한 성능 모델링을 통하여 분석해 보았다. 또한 효과적인 웹 서버 클러스터 방법을 제공해 줄 수 있는 트래픽 부하 조절기 설계에 대한 효율적인 기준도 제시하였다. 마지막으로 제안된 수학적 모델의 정확도를 컴퓨터 모의실험을 통하여 검증하였다.

  • PDF

컨텐츠 스트리밍 데이터의 전송효율 증대를 위한 압축센싱기반 전송채널 대역폭 절감기술 연구 (Improvement of Bandwidth Efficiency for High Transmission Capacity of Contents Streaming Data using Compressive Sensing Technique)

  • 정의석;이용태;한상국
    • 한국산학기술학회논문지
    • /
    • 제16권3호
    • /
    • pp.2141-2145
    • /
    • 2015
  • 본 논문에서는, 압축센싱 기법을 이용하여, 방송 네트워크 시스템의 멀티미디어 신호 전송 대역폭 효율성을 극대화할 수 있는 기법을 제안하였다. 멀티미디어 이미지의 sparisity를 높이기 위해서 2차원 이산 웨이블렛 변환 기법을 적용하는 샘플링 기법과, orthogonal matching pursuit기반 L1 최소화기법을 이용하여 복원하는 기법을 본 논문에서 제안하였다. 다양한 멀티미디어 신호가 압축센싱 기술에 의해 압축되어지기 때문에, 다양한 멀티미디어 데이터가 전송 시 점유하는 대역폭을 감소시킬 수 있다. 10Gs/s로 샘플링 되어진, 20% 압축률을 갖는 $256{\times}256$ 흑백스케일 이미지가 20km 광전송되어진 후에, Sparse한 방송신호를 복원하는, L1 최소화 기법을 이용하여 복원되었다(비트 에러오류율: $10^{-12}$).

다중 경로를 이용한 TCP/IP 기반 고품질 및 고장 감내 비디오 전송 시스템 (A video transmission system for a high quality and fault tolerance based on multiple paths using TCP/IP)

  • 김남수;이종열;편기현
    • 인터넷정보학회논문지
    • /
    • 제15권6호
    • /
    • pp.1-8
    • /
    • 2014
  • e-러닝의 활성화와 인터넷 비디오 서비스 증가로 인하여 대규모 사용자에 대한 비디오 전송 서비스에 대한 요구가 매년 증가하고 있다. 이러한 요구를 충족시키기 위해 기존 방식은 비디오 서버를 루트 노드로 갖는 트리 구조를 이용하는데 이 방식은 경로상의 한 노드에서만 문제가 발생해도 그 노드 하위 노드들 전체의 서비스가 단절되는 위험성을 안고 있다. 본 연구에서는 다중 경로를 활용한 주문형 비디오 전송 서비스를 제안한다. 기존의 구조에서 사용하는 경로에 백업과 속도 향상을 위한 새로운 경로를 추가함으로서 상위 노드의 문제가 하위 노드의 서비스에 미치는 영향을 방지하여 고품질의 비디오 서비스를 제공할 수 있음을 실험을 통해 보인다.

오디오/비디오 스트리밍을 지원하는 분산 객체 프레임 워크 설계 및 구현 (Design and Implementation of Distributed Object Framework Supporting Audio/Video Streaming)

  • 반덕훈;김동성;박연상;이헌주
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권4호
    • /
    • pp.440-448
    • /
    • 1999
  • 본 논문은 객체지향형 분산처리 환경 하에서 오디오나 비디오 등과 같은 실시간(real-time) 스트림(stream) 데이타를 처리하는 데 필요한 소프트웨어 기반구조를 설계하고 구현한 내용을 기술한다. 본 논문에서 제시한 DAViS(Distributed Object Framework supporting Audio/Video Streaming)는, 오디오/비디오 데이타의 처리와 관련된 여러 소프트웨어 구성요소들을 분산객체로 추상화하고, 그 객체들간의 제어정보 교환경로와 오디오/비디오 데이타 전송경로를 서로 분리하여 처리한다. 분산응용프로그램 작성자는 DAViS에서 제공하는 서비스들을 이용하여, 기존의 분산프로그래밍 환경이 제공하는 것과 동일한 수준에서 오디오/비디오 데이타에 대한 처리를 표현할 수 있다. DAViS는, 새로운 형식의 오디오/비디오 데이타를 처리하는 부분을 손쉽게 통합하고, 하부 네트워크의 전송기술이나 컴퓨터시스템 관련 기술의 진보를 신속하고 자연스럽게 수용할 수 있도록 하는 유연한 구조를 가지고 있다. Abstract This paper describes the design and implementation of software framework which supports the processing of real-time stream data like audio and video in distributed object-oriented computing environment. DAViS(Distributed Object Framework supporting Audio/Video Streaming), proposed in this paper, abstracts software components concerning the processing of audio/video data as distributed objects and separates the transmission path of data between them from that of control information. Based on DAViS, distributed applications can be written in the same abstract level as is provided by the existing distributed environment in handling audio/video data. DAViS has a flexible internal structure enough to easily incorporate new types of audio/video data and to rapidly accommodate the progress of underlying network and computer system technology with very little modifications.

실시간 다중 렌더링을 위한 이중 서버 구조 (A 2-Tier Server Architecture for Real-time Multiple Rendering)

  • 임충규
    • 한국게임학회 논문지
    • /
    • 제12권4호
    • /
    • pp.13-22
    • /
    • 2012
  • 초고속 인터넷의 광범위한 보급으로 가능해진 클라우드 컴퓨팅 기반 게임 서비스는 클라우드 노드에서 게임을 실행하고 게임의 영상을 원격 사용자의 단말기에 영상 스트림으로 전송함으로써 게임 서비스가 이루어진다. 사용자 입력은 게임에 즉각적으로 전송되고 반영된다. 이러한 서비스가 가능한 이유는 사용자 입력이 반영되고 게임 영상이 사용자에게 전달되는데 걸리는 시간이 최소화되어. 컴퓨터 게임에서 요구되는 반응성을 일반적으로 만족시킬 수 있었기 때문이다. 하지만 이러한 서비스는 고품질 3D 게임을 서비스하는 경우, 서버 구축에 많은 비용이 소요될 수 있다. 클라우드 노드가 탑재하고 있는 일반적인 그래픽 시스템은 동시에 하나의 3D 어플리케이션을 지원하도록 설계되어 있기 때문이다. 하나의 클라우드 노드에서 다수의 3D 게임을 실행하기 위해서는 그 실행에 필요한 실시간 다중 렌더링 기술이 필수적이다. 본 논문은 다수의 컴퓨터 게임을 하나의 클라우드 노드에서 실행시키고 다른 노드에서 각 게임 영상을 획득할 수 있는 이중 서버 구조를 제안한다. 몇가지 실험을 실시하여 기술적 가능성을 알아본다.