• Title/Summary/Keyword: 압축 전송

Search Result 986, Processing Time 0.034 seconds

Real-time data analysis technique using large data compression based spark (스파크 기반의 대용량 데이터 압축을 이용한 실시간 데이터 분석 기법)

  • Park, Soo-Yong;Shin, Yong-Tae
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.07a
    • /
    • pp.545-546
    • /
    • 2020
  • 스파크는 데이터 분석을 위한 오픈소스 툴이다. 스파크에서는 실시간 데이터 분석을 위하여 스파크 스트리밍이라는 기술을 제공한다. 스파크 스트리밍은 데이터 소스가 분석서버로 데이터 스트림을 전송한다. 이때 전송하는 데이터의 크기가 커질 경우 전송과정에서 지연이 발생할 수 있다. 제안하는 기법은 전송하고자 하는 데이터의 크기가 클 때 허프만 인코딩을 이용하여 데이터를 압축하여 전송시키므로 지연시간을 줄일 수 있다.

  • PDF

Development of a High Performance Web Server Using A Real-Time Compression Architecture (실시간 압축 전송 아키텍쳐를 이용한 고성능 웹 서버 구현)

  • 민병조;강명석;우천희;남의석;김학배
    • Journal of the Korea Computer Industry Society
    • /
    • v.5 no.3
    • /
    • pp.345-354
    • /
    • 2004
  • In these days, such services are popularized as E-commerce, E-government, multimedia services, and home networking applications. Most web traffics generated contemporarily basically use the Hyper Text Transfer Protocol(HTTP). Unfortunately, the HTTP is improper for these applications that comprise significant components of the web traffics. In this paper, we introduce a real-time contents compression architecture that maximizes the web service performance as well as reduces the response time. This architecture is built into the linux kernel-based web accelerating module. It guarantees not only the freshness of compressed contents but also the minimum time delay using an server-state adaptive algorithm, which can determine whether the server sends the compressed message considering the consumption of server resources when heavy requests reach the web server Also, We minimize the CPU overhead of the web server by exclusively implementing the compression kernel-thread. The testing results validates that this architecture saves the bandwidth of the web server and that elapsed time improvement is dramatic.

  • PDF

Development of a High Performance Web Server Using A Real-Time Compression Architecture (실시간 압축 전송 아키텍쳐를 이용한 고성능 웹서버 구현)

  • Min Byungjo;Hwang June;Kim Hagbae
    • The KIPS Transactions:PartC
    • /
    • v.11C no.6 s.95
    • /
    • pp.781-786
    • /
    • 2004
  • In these days, such services are popularized as E-commerce, E- government, multimedia services, and home networking applications. Most web traffics generated contemporarily basically use the Hyper Text Transfer Protocol(HTTP). Unfortunately, the HTTP is improper for these applications that comprise significant components of the web traffics. In this paper, we introduce a real-time contents compression architecture that maximizes the web service performance as well as reduces the response time. This architecture is built into the linux kernel-based web accelerating module. It guarantees not only the freshness of compressed contents but also the minimum time delay using an server-state adaptive algorithm, which can determine whether the server sends the compressed message considering the consumption of sewer resources when heavy requests reach the web server. Also, We minimize the CPU overhead of the web server by exclusively implementing the compression kernel-thread. The testing results validates that this architecture saves the bandwidth of the web server and that elapsed time improvement is dramatic.

Joint Optimization of Error Resilient Video Coding and Error Correction Coding Technique over Wireless Mobile Channels (이동통신 환경에서 전송 오류에 강인한 영상 부호화 기법과 오류 정정 부호화 기법의 동시 최적화에 관한 연구)

  • 이창우;김종원
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.26 no.6B
    • /
    • pp.802-809
    • /
    • 2001
  • 이동통신 채널에서 압축된 동영상 정보를 전송하게 되면 다경로 전송으로 인한 페이딩 영향과 시, 공간상으로 압축된 동영상 정보의 오류 전파 때문에 최종적으로 복원되는 동영상 신호의 화질이 크게 저하된다. 이에 능동적으로 대처하기 위하여 다양한 오류 정정 부호화 기법들이 전체 정보량 증가를 감수하면서 제안되어 왔다. 본 논문에서는 이동통신 환경에서 압축된 동영상 신호의 안정적인 전송을 위해서 ITU-T H.263 기법으로 압축된 동영상 정보에 두 종류의 다전송율 지원 오류 정정 부호들을 적용한 경우의 동영상 보호 능력을 분석 비교한다. 즉 표준기법에서 널리 사용되는 RCPC(rate compatible punctured convolutional) 부호와 RC 특성을 갖는 turbo 부호인 RCPT(rate compatible punctured turbo) 부호를 사용한 동영상 부호 시스템의 성능을 가산 백색 잡음 채널과 레일리 페이딩 채널에서 해석하고, 압축과 오류 정정 부호화율의 동시 최적화를 살펴본다.

  • PDF

JPEG(Joint Photographic Experts Group)표준 영상 압축기법을 이용한 원격측정에 관한 연구

  • 김상철;왕지남
    • Proceedings of the Korean Operations and Management Science Society Conference
    • /
    • 1995.04a
    • /
    • pp.290-300
    • /
    • 1995
  • 본 연구는 JPEG(Joint Photographic Experts Group)표준 영상압축 방법을 이용한 원격측정 (remote measuring) 시스템을 다룬다. 많은 디지탈 비디오(digital video)이 응용중에서 주요 어려움은 디지탈 영상(digital image)을 직접적으로 표현하기 위해 필요한 방대한 데이터의 처리문제이다. 그리고 디지탈 영상의 직접적인 사용은 고수준 기억용량(high storage)과 전송비용(transmission costs)으로 인하여 응용상 여러가지 제약조건이 수반되었다. 이런 이유로 인하여 여러가지 영상압축 기법이 개발되어왔으며 본 연구는 정지영상(still pictures)에 대하여 JPEG 표준을 사용한 영상압축과 압축된 영상을 사용하여 실제 제조업의 공정검사에 응용하는 것이다. 수행도 평가척도로서 원래영상과 압축된 영상과의 압축비, 원래영상과 압축된 영상과의 픽셀(pixel)의 회색도 값(gray-level value)의 평균과 RMSE(root mean square error), 그리고 원래영상과 압축된 영상을 원거리(또는 근거리)로 전송하여 전송된 압축영상을 푼 후 두 지점간의 거리 측정에 따르는 실제거리와 측정거리에 대한 오차를 이용하였다.

  • PDF

Encoding Scheme for Error Propagation Control Using Motion Vector in Video Communication (화상통신에서의 오류전파 제어를 위한 보조 모션벡터 압축 기법)

  • 이주경;최태욱;정기동
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04a
    • /
    • pp.550-552
    • /
    • 2002
  • 표준 비디오 압축 기법은 프레임 간의 시간적, 공간적 중복성을 이용하여 데이터를 압축한다. 압축된 프레임이 인터넷을 통하여 전송되는 중에 네트워크의 상태에 따라 패킷의 손실이 발생할 수 있다. 이러한 오류가 발생하면 손실된 블록을 포함하는 프레임의 화질 뿐 아니라, 이 프레임을 참조하여 압축된 이후의 프레임에도 영향을 미친다. 본 논문에서는 전송오류가 발생한 경우, 디코더에서의 오류전파를 최소화하기 위해 보조 모션벡터를 이용한 압축 기법을 제안한다. 즉, 여러 개의 후보 프레임 중 현재 압축하려는 매크로블록과 가장 가까운 값을 가진 두 개의 매크로 블록을 선택하여 그 위치를 기본 모션벡터와 보조 모션벡터로 지정한다. 이때, 두 모션벡터는 서로 다른 프레임에 속한다. 디코더에서 압축해제를 위해 참조하는 기본 모션벡터의 프레임이 손실된 경우, 보조모션 벡터를 이용하여 원래의 화질에 가깝게 디코딩 할 수 있다. 이 기법은 오류제어를 위한 피드백 채널이 필요하지 않으며, 네트워크상의 전송오류 발생시 표준 H.263 압축보다 높은 성능을 보인다.

  • PDF

A study on implementing Moving Picture Transmission System through UBS (USB(Universal Serial Bus)에서의 동영상 전송시스템 구현에 관한 연구)

  • 이재형;박인규
    • Proceedings of the IEEK Conference
    • /
    • 1998.10a
    • /
    • pp.739-742
    • /
    • 1998
  • 실시간 동영상의 전송을 위해 본 논문에서는 USB를 전송매체로 하여 구현했다. USB는 키보드, 스태너, 모뎀등 다양하게 사용되고 있는 인터페이스를 한나로 통일하고, 포트의 부족을 해결하기 위해서 개발된 것으로 고속의 데어터전송(12Mbps)을 가능하다. USB의 고속데이터 전송의 특징은 정지화상(JPEG) 뿐만 아니라 실시간 동영상(MPEG1, MPEG2)의 전송을 가능하게 한다. 본 논문에서는 USB로 실시간 동영상 전송을 위한 시스템 구조를 제시하였고 보다 효율적인 데이터 전송을 위한 USB Data Transfer Type에 관해 연구하였다. 720×480의 동영상의 압축을 위해 기존의 널리 이용되는 DCT대신 wevelet 알고리즘을 이용하였고 실시간 압축과 복원을 위해 video compression codec인 adv601를 사용하여 동영상 및 정지화상압축을 하였다. 또한 DSP(TMS320C32)를 이용하여 Quantization Bin Width Calculation을 함으로써 video bit stream의 크기를 가변적으로 제어하려 하였다. 이로서 동영상의 전송시 발생될 수 있는 데이터 병목현상을 해결 하였고 USB뿐만 아니라 다양한 통신망{ISDN(128Kbps), T1(1.5Mbps) T3(45Mbps)}에서의 동영상의 실시간 전송이 가능한 시스템 구조를 제시하였다.

  • PDF

Development of 60 GHz Band Transceiver System for Multimedia Contents Transmission (멀티미디어 콘텐츠 전송용 60 GHz대 송수신 시스템 개발)

  • Cho, Jine-Yeon;Kim, Chang-Il;Kim, Nam-Soo
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.15 no.2
    • /
    • pp.57-63
    • /
    • 2015
  • There are increasing demands for the transmission of high speed and non-compressed video informations. The video data usually compressed before transmission for reducing the data. And the received data uncompressed at a receiver, consequently the processing delay is unavoided. In this paper, we implement a 60 GHz band wireless transmission system for real time multimedia contents transmission, and successfully transmit the full HD class uncompressed video information at 4 Gbps with 20 m apart. Hence the non-compressed video data from a remote camera or a smart phone can be transmitted and displayed in a large screen in real time via the developed transceiver system.

Integration of Uncompressed HD Video Transport System and Network-based Tiled Display (비압축 HD 비디오 전송 시스템과 네트워크 기반 타일드 디스플레이의 결합)

  • Park, Jong-Churl;Chae, Jong-Kwon;Choi, Ki-Ho;Kim, Jong-Won;Jo, Jin-Yong;Kwak, Jai-Seung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06a
    • /
    • pp.277-281
    • /
    • 2007
  • 광 기반 네트워크 기술의 발전에 따라 Gbps 급의 대역폭을 요구하는 비입축 HD (high definition) 영상을 낮은 지연으로 전송하고 재생하는 것이 가능해지고 있다. 이를 위하여 다양한 비압축 HD 미디어 전송 시스템이 소개되어 왔으며, 이들은 일반적으로 RTP(Real-time Transport Protocol)에 기반으로 한 실시간 데이터 전송과 비압축 미디어 인터페이스를 효과적으로 결합하여 대화형으로 사용함에도 지장이 없는 저지연의 실감형 시스템을 지원하고 있다. 본 논문에서는 [4,5]에서 제안된 비압축 HD 미디어 시스템의 실감성을 향상시키기 위하여 9600 $\times$ 4800 해상도의 타일드 디스플레이를 통해 전송된 비압축 HD 영상을 재생할 수 있는 기법을 제시한다. 또한 실제 구현된 비압축 HD 영상과 타일드 디스플레이 간의 연동 실험을 통하여 제안된 결합 방식의 타당성을 확인하고, 그 결과로 얻어진 실감성 있는 미디어 서비스의 효용성을 입증한다.

  • PDF

New high-efficient universal code(BL-beta) proposal for com pressed data transferring of real-time IoT sensing or financia l transaction data (IoT 및 금융 거래 실시간 데이터 정보의 압축 전송을 위한 새로운 고효율 유니버설 코드(BL-beta) 제안)

  • Kim, Jung-Hoon
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.11 no.4
    • /
    • pp.421-429
    • /
    • 2018
  • While IoT device sensing data or financial transaction data is transmitted in real time, huge data traffic is generated in processing it. This huge data can be effectively compressed or transmitted using universal code, which is a real-time lossless compressor. In this paper, we propose our BL-beta code, which is newly developed universal code for compressing stock trading data, which the maximum range of measured values is difficult to predict and is generated within a relatively constant range over a very short period of time. For compressing real-time stock trading data, Compared with the fixed length bit transmission, the compression efficiency is at least 49.5% higher than that of the fixed length bit transmission, and the compression transmission performance is 16.6% better than the Exponential Golomb code.