• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.108-110
• /
• 2010

최근 3D 비디오 서비스에 대한 관심이 고조되고 있는 가운데, 지상파 DMB 및 위성 DMB에서도 스테레오스코픽 비디오 서비스를 제공하기 위한 노력이 진행되고 있다[1]-[3]. DMB-AF 파일 포맷[4]은 MPEG에서 제정한 DMB 파일 포맷 국제 표준이다. 이 표준 제정 당시에는 스테레오스코픽 비디오 콘텐트를 지원하는 기능이 들어 있지 않았다. 본 논문에서는 DMB-AF 한 파일 내에서 2D 비디오, BIFS에 의해 스테레오스코픽 이미지가 오버레이된 2D 비디오, 스테레오스코픽 비디오 등이 시간적으로 혼용될 수 있는 방법을 제안한다. 또한 이 방법은 기존 2D 비디오의 재생만 지원하는 기존 DMB-AF 플레이어와의 호환성을 보장한다. 따라서 기존 DMB-AF 플레이어가 BIFS에 의해 스테레오스코픽 이미지가 오버레이된 2D 비디오 또는 스테레오스코픽 비디오가 포함된 DMB-AF 파일을 재생할 때에는 2D 이미지 또는 2D 비디오로 재생할 수 있다. 제안한 방법은 한 프레임을 좌우로 반으로 나누어 좌안 및 우안 비디오를 좌우로 배치한 화면분할(side-by-side) 포맷에 의한 스테레오스코픽 비디오뿐만 아니라 좌안 또는 우안 비디오 중 하나는 2D 재생용의 기준 비디오로 다른 하나는 스테레오스코픽 비디오를 위한 부가 비디오로 사용하는 기본 포맷에 의한 스테레오스코픽 비디오도 지원한다. 후자의 경우, 부가 비디오는 가로 해상도가 기준 비디오의 1/2인 선택사항 포맷도 지원한다. 스테레오스코픽 비디오를 지원하기 위해, 기존 DMB-AF 표준의 확장을 최소화하는 방법을 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2015.07a
• /
• pp.268-271
• /
• 2015

본 논문에서는 고해상도 비디오를 위한 프레임 레이트 변환 방법을 제시한다. 서로 다른 방식이나 포맷을 가진 영상 신호를 변환할 때에는 시각적으로 거슬리는 움직임 지터(motion jitter)나 영상의 모서리에서의 블러링(blurring) 현상이 일어날 수 있다. 제시하는 방법에서는 이러한 문제점을 해결하기 위해 양방향 움직임 추정/보상을 이용하여 프레임 레이트를 증가 변환한다. 또한 보다 정확한 움직임 벡터를 찾기 위해 다중 프레임을 통한 양방향 탐색 방법을 제안한다. 먼저, 픽셀 값을 알고 있는 현재 프레임과 이전 프레임간의 움직임 벡터를 이용하여 양방향 움직임 벡터를 얻는다. 얻은 움직임 벡터는 벡터 스무딩 블록을 거친다. 그 후 OBMC(Overlapped Block Motion Compensation)를 이용하여 보간 프레임을 구성한다. 실험 결과는 기존 방법들보다 제안 방법이 주관적 화질 면에서 우수함을 나타낸다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06d
• /
• pp.377-382
• /
• 2008

본 논문에서는 대역폭의 감소를 가능하게 하는 프레임 드로핑을 MPEG-4파일 포맷을 따르는 미디어에 적용 했을 때, 암호화를 통하여 저작권을 보호할 수 있는 방법을 제안하였다. 프레임 드로핑은 특정 비디오 프레임을 제거함으로써 서버의 과부하를 줄이는 방법이다. 프레임 간의 종속성이 가장 적은 B 프레임을 먼저 제거하고 종속성의 관계에 따라 I, P 프레임 순서대로 제거한다. 드로핑 된 파일을 서버에 저장후 전송하는 방법과 전송 시에 실시간 드로핑을 이용하여 전송하는 두 가지 방법을 설계하였다. MPEG-4 데이터의 암호화에는 3가지 방법을 설계하였고, 블록암호화 알고리즘은 DES(Data Encryption Standartd)를 사용하였다. 이러한 방법으로 MPEG-4 스트리밍 서비스 시에 서버의 DRM 솔루션을 구현하고, 최적의 방법을 선택하기 위해 드로핑, 암호화, 복호화 및 영상의 품질을 비교하였다.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.48 no.6
• /
• pp.61-67
• /
• 2011

Stereoscopic 3D video can be transmitted by frame-compatible packing format to fulfill the compatibility requirement with the existing digital TV. Then, the reduced stereo image needs to be expanded to the original size at the receiver. This paper proposes an adaptive interpolation method for the discarded image lines. The horizontal line-based linear filter and NEDI6 filter are used selectively for the interpolation of each pixel. Experimental results show that the NEDI6 combined with the horizontal line-based linear filter yields better image quality than the bilinear method by around 0.6dB.

• Journal of Digital Convergence
• /
• v.14 no.1
• /
• pp.189-194
• /
• 2016

Recently, there is increasing demand for image processing technology while activated the use of equipments such as camera, camcorder and CCTV. In particular, research and development related to 3D image technology using the depth camera such as Kinect sensor has been more activated. Kinect sensor is a high-performance camera that can acquire a 3D human skeleton structure via a RGB, skeleton and depth image in real-time frame-by-frame. In this paper, we develop a system. This system captures the motion of a 3D human skeleton structure using the Kinect sensor. And this system can be stored by selecting the motion file format as trc and bvh that is used for general purposes. The system also has a function that converts TRC motion captured format file into BVH format. Finally, this paper confirms visually through the motion capture data viewer that motion data captured using the Kinect sensor is captured correctly.

• The Transactions of the Korea Information Processing Society
• /
• v.5 no.7
• /
• pp.1691-1716
• /
• 1998

본 논문에서는 계층적 블록매칭 알고리즘(HBMA)을 위한 두 가지 병렬 VLSI 아키텍쳐를 제안한다. HBMA는 계층에 따른 반복수행과 공간 인터폴레이션을 기반으로 수행되며, 이러한 수행 특성은 병렬처리의 장애요소인 데이터 종속성을 내재하고 있다. 제안된 아키텍쳐는 HBMA의 계층간 데이터 종속성을 해결하기 위하여 기본적으로 파이프라인 구조를 채택하고 있으며, HBMA에서 주어진 매개변수에 따라 세 단계의 스테이지로 구성된다. 제안된 아키텍쳐는 입력 프레임 데이터의 흐름을 제어하는 방식에 따라 두 가지 종류로 구분된다. U-Architecture는 단방향 스캔 순서를 따르도록 설계되었으며, B-Architecture는 양방향 스캔 수서를 따르도록 설계되었다. 각 아키텍쳐의 내부 메모리와 인터폴레이션 모듈은 해당 스캔 순서에 따라 동기적으로 동작할 수 있는 구조를 가진다. 성능분석의 결과로서 본 논문에서 제안한 두 가지 아키텍쳐가 모두 방송용 비디오 포맷을 실시간으로 처리할 수 있음을 보이고, HDTV 포맷은 가까운 장래의 VLSI 기술로 실시간 성능을 얻을 수 있음을 보였다. 또한, B-Architecture는 공간 연결성 내부 메모리 구조를 채택함으로써 입력 데이터의 재활용도를 높이고, 이에 따라 Q-Architecture에 비해서 데이터 입출력 핀의 개수를 약 반정도 줄일 수 있는 특성을 보이고 있다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.20 no.2
• /
• pp.375-384
• /
• 2016

In this paper, when stereo image, satellite view and corresponding depth maps were used as the input data, we propose a new method that convert these data to data format suitable for compressing, and then by using these format, intermediate view is synthesized. In the transmitter depth maps are merged to a global depth map and satellite view are converted to residual image corresponding hole region as out of frame area and occlusion region. And these images subsampled to reduce a mount of data and stereo image of main view are encoded by HEVC codec and transmitted. In the receiver intermediate views between stereo image and between stereo image and bit-rate are synthesized using decoded global depth map, residual images and stereo image. Through experiments, we confirm good quality of intermediate views synthesized by proposed format subjectively and objectively in comparison to intermediate views synthesized by MVD format versus total bit-rate.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.322-324
• /
• 2021

최근 고주사율 디스플레이 시장 확대와 실감콘텐츠에 대한 요구에 따라, 높은 프레임율의 동영상 콘텐츠에 대한 관심이 증가하고 있다. 본 논문은 이용자의 비디오를 초슬로우 비디오로 변환해주는 웹 기반 서비스 시스템을 제안한다. 이는 사용자가 웹을 통해 비디오를 업로드하면, 딥러닝 기반의 비디오 프레임 보간 알고리즘을 이용하여 초고프레임율의 동영상으로 변환하며. 변환된 초저속 비디오를 웹을 통해 보여주거나 파일 포맷으로 제공한다. 제안 시스템은 복잡한 연산을 요구하는 딥러닝 네트워크 모듈과 사용자와의 상호작용을 위한 웹 페이지 모듈로 구성되었다. 프레임 보간을 위해서, State-of-the-art 기술인 딥러닝 기반의 Real-Time Intermediate Flow Estimation for Video Frame Interpolation 방법이 활용되었으며, 웹페이지는 HTML, CSS, Javascript, Flask를 사용하여 구축되었고, Flask를 활용하여 두 모듈이 연동되었다. 제안 웹 기반 시스템을 통해, 사용자는 딥러닝 네트워크 구동에 필요한 별도의 지식 없이 통신 자원만으로 고실감의 경험과 편의성을 제공받을 수 있다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.26 no.6A
• /
• pp.1019-1033
• /
• 2001

본 논문에서는 멀티미디어 스트리밍을 위한 표준 프로토콜과 미디어 포맷을 지원하고, 실시간 객체지향형 멀티미디어 데이터베이스(BeeHive)를 지원하는 통합 멀티미디어 스트리밍 서비스 프레임워크(ISSA)를 제안한다. ISSA의 핵심 구성요소는 세션의 생성과 스트림 제어를 담당하는 세션 관리자, 스트리밍 데이터의 전송을 담당하는 전송 관리자, 미디어의 압축과 복원 및 재생을 담당하는 미디어 관리자, 그리고 데이터베이스와의 연동을 담당하는 데이터베이스 커넥터이다. ISSA는 스트림의 제어를 위하여 IETF에서 제안한 RTSP, 스트림과 세션의 표현과 초기화를 위해 SDP와 SIP, 스트림 데이터의 실시간 전송을 위하여 RTP 및 TCP, UDP를 지원한다. 또한, ISSA는 VOD, MOD, 웹캐스팅을 위한 개발과 라이브러리를 제공하며, 웹서버와 CORBA A/V 스트리밍 서비스와의 연동을 위한 게이트웨이도 제공한다. ISSA는 운영체제 환경에서 플랫폼에 독립적으로 작동하고, 객체지향 멀티미디어 데이터베이스 서비스를 지원한다. 그리고 멀티캐스팅, 웹캐스팅, 멀티미디어 통신을 위한 표준 프로토콜을 지원하며, 상용 코덱인 Microsoft 사의 Direct Show를 지원할 수 있는 RTP 소스필터를 가지고 있다. 마지막으로, 기존의 다양한 표준 미디어 포맷을 지원할 뿐만 아니라, 새로운 미디어 포맷도 쉽게 수용할 수 있도록 설계되어 있다.

• Information and Communications Magazine
• /
• v.24 no.4
• /
• pp.67-75
• /
• 2007

본 고에서는 MPEG 3DGC(3D Graphics Compression)서브그룹에서 진행중인ISO/IEC 14496-16 AFX(Animation Framework extension)중 Animation과 관련된 동향에 대해 기술한다. 가상 공간에서의 bone-based, 모델과 같은 캐릭터 애니메이션의 표현과 압축, 소스 모델과 타겟 모델로 부터 일련의 연속적인 중간 모델들을 만들어서 부드러운 애니메이션이 가능하도록 하는 모핑 애니메이션, 키 프레임 애니메이션의 압축에 대해 살펴보고, 현재 진행중인 Frame-based Animation Compression 대해 살펴본다. 마지막으로, 이러한 압축 툴을 사용하여 압축한 3D 비트 스트림을 다중화(Multiplexing)하여 저장하는 m3d 데이터 포맷에 대해 살펴본다.